取り込み時の正規化
クエリ時の解析
ASIM の概要で説明されているように、Microsoft Sentinel では、クエリ時と取り込み時の両方の正規化を使用して、それぞれの利点を活用します。
クエリ時の正規化を使用するには、クエリの _Im_Dns など、クエリ時統一パーサーを使用します。 クエリ時の解析を使用した正規化には、次のようないくつかの利点があります。
- 元の形式の保持: クエリ時の正規化では、データを変更する必要がないため、ソースによって送信された元のデータ形式が保持されます。
- 重複する可能性のあるストレージの回避: 正規化されたデータは元のデータのビューに過ぎないため、元のデータと正規化されたデータの両方を格納する必要はありません。
- 開発が容易: クエリ時パーサーはデータのビューを提示し、データを変更しないため、簡単に開発できます。 パーサーの開発、テスト、修正はすべて、既存のデータで行うことができます。 さらに、問題が検出されるとパーサーを修正でき、修正が既存のデータに適用されます。
取り込み時の解析
ASIM クエリ時パーサーは最適化されますが、クエリ時の解析では、特に大規模なデータ セットでクエリの速度が低下する場合があります。
取り込み時の解析では、イベントが Microsoft Sentinel に取り込まれ、正規化された形式で格納されるので、正規化されたスキーマにイベントを変換できます。 取り込み時の解析は柔軟性が低く、パーサーの開発が困難ですが、データは正規化された形式で格納されるため、パフォーマンスが向上します。
正規化されたデータは、Microsoft Sentinel の正規化されたネイティブ テーブル、または ASIM スキーマを使用するカスタム テーブルに格納できます。 ASIM スキーマに近いスキーマ (同一ではない) を持つカスタム テーブルは、取り込み時正規化のパフォーマンス上の利点も備えています。
現在、ASIM では、取り込み時の正規化の宛先として、次のネイティブ正規化テーブルがサポートされています。
- 監査イベント スキーマの ASimAuditEventLogs。
- 認証スキーマの ASimAuthenticationEventLogs。
- DNS スキーマ用の ASimDnsActivityLogs。
- ネットワーク セッション スキーマ用の ASimNetworkSessionLogs
- Web セッション スキーマの ASimWebSessionLogs。
ネイティブ正規化テーブルの利点は、既定で ASIM 統一パーサーに含まれていることです。 パーサーの管理に関するページで説明されているように、カスタム正規化テーブルは統一パーサーに含めることができます。
取り込み時とクエリ時の正規化の組み合わせ
クエリでは、クエリ時と取り込み時の両方の正規化を利用するために _Im_Dns など、クエリ時統一パーサーを常に使用する必要があります。 ネイティブ正規化テーブルは、スタブ パーサーを使用することでクエリされたデータに含まれます。
スタブ パーサーは、正規化されたテーブルを入力として使用するクエリ時パーサーです。 正規化されたテーブルでは解析が必要ないため、スタブ パーサーが効率的です。
スタブ パーサーにより、ASIM ネイティブ テーブルに追加される、呼び出しクエリへのビューが提示されます。
- エイリアス - 繰り返し値でストレージを無駄にしないために、エイリアスは ASIM ネイティブ テーブルに格納されず、スタブ パーサーによってクエリ時に追加されます。
- 定数値 - エイリアスと同様に、同じ理由で、ASIM 正規化テーブルにも EventSchema などの定数値は格納されません。 スタブ パーサーが、これらのフィールドを追加します。 ASIM 正規化テーブルは多くのソースによって共有され、取り込み時パーサーは出力バージョンを変更できます。 そのため、EventProduct、EventVendor、EventSchemaVersion などのフィールドは一定ではなく、スタブ パーサーによって追加されません。
- フィルター処理 - スタブ パーサーでは、フィルター処理も実装されます。 ASIM ネイティブ テーブルでは、パフォーマンスを向上させるためのフィルター パーサーは必要ありませんが、統一パーサーへの組み込みをサポートするためにフィルター処理が必要です。
- 更新と修正 - スタブ パーサーを使用すると、問題をより迅速に修正できます。 たとえば、データが誤って取り込まれた場合、取り込み中にメッセージ フィールドから IP アドレスが抽出されていない可能性があります。 IP アドレスは、クエリ時にスタブ パーサーによって抽出できます。
カスタム正規化テーブルを使用する場合は、パーサーの管理に関するページで説明されているように、独自のスタブ パーサーを作成してこの機能を実装し、統一パーサーに追加します。 開始点として、DNS ネイティブ テーブル スタブ パーサーやそれと同等のフィルター パーサーなど、スタブ パーサーをネイティブ テーブルに使用します。 テーブルが半正規化されている場合は、スタブ パーサーを使用して、必要な追加の解析と正規化を実行します。
パーサーの記述の詳細については、ASIM パーサーを開発するに関するページを参照してください。
取り込み時の正規化の実装
取り込み時にデータを正規化するには、データ収集ルール (DCR) を使用する必要があります。 DCR を実装する手順は、データの取り込みに使用される方法によって異なります。 詳細については、「Microsoft Sentinel で取り込み時にデータを変換またはカスタマイズする」の記事を参照してください。
KQL 変換クエリは、DCR の中核となるものです。 DCR で使用される KQL バージョンは、パイプライン イベント処理の要件に対応するために Microsoft Sentinel の他の場所で使用されるバージョンとは若干異なります。 したがって、DCR で使用するにはクエリ時パーサーを変更する必要があります。 相違点の詳細と、クエリ時パーサーを取り込み時パーサーに変換する方法については、DCR KQL の制限事項に関するページを参照してください。
次のステップ
詳細については、次を参照してください。