セキュリティ データ量の増加が続く中、組織は、AI、コンプライアンス、調査に使用されるテレメトリのコスト効率の高いリテンション期間のバランスを取る一方で、必要なデータのみが高パフォーマンスストレージ層に保持されるようにするという課題に直面しています。 Microsoft Sentinel でフィルターと分割のデータ変換を使用して、インジェスト時にデータを変更してデータ保持戦略を最適化することで、この課題に対処します。
この記事では、カスタム データ収集規則 (DCR) 構成を手動で作成しなくても、フィルター変換と分割データ変換を構成する方法について説明します。 データ インジェストを調整することで、これらの変換によってパフォーマンスが向上し、ノイズが軽減されます。
データ変換を使用すると、格納されるデータと階層を制御することで、セキュリティ データ パイプラインを最適化できます。 フィルター変換と分割変換を使用すると、次の利点があります。
コストの最適化: 脅威の検出に寄与しない低価値のデータを除外することで、ストレージと処理のコストを削減します。 アクセス頻度の低いデータをコスト効率の高い Data Lake Storage にルーティングすると同時に、優先度の高いデータを Analytics 層に保持します。
SOC 効率の向上: アクション可能で価値の高いイベントにセキュリティ オペレーション センター (SOC) を集中します。 インジェスト時のノイズを取り除くことで、アナリストは無関係なログを調べる時間を減らし、実際の脅威の調査に多くの時間を費やします。
クエリ パフォーマンスの向上: Analytics レベルのデータセットが小さいと、クエリの実行時間が短縮されます。 この改善により、脅威ハンティング、インシデント調査、分析ルールの応答性が向上します。
コンプライアンスとリテンション期間の柔軟性: 運用ワークロード用に Analytics レベルを最適化しながら、Data Lake レベルで規制監査とフォレンジック分析のための包括的なデータリテンション期間を維持します。 このアプローチは、パフォーマンスを犠牲にすることなく、コンプライアンス要件を満たします。
スケーラブルなデータ管理: 組織のデータ量が増加するにつれて、変換によってコストとパフォーマンスの制御を維持できます。 テーブル間で一貫性のあるポリシーを適用して、予測可能なデータ管理を確保します。
フィルター変換と分割変換は、ニーズに合わせてデータを進化させる大規模な変換フレームワークの最初のステップです。 データ変換の概念の詳細については、「 Microsoft Sentinel でのカスタム データ インジェストと変換」を参照してください。
前提条件
フィルターまたは分割変換ルールを構成する前に、次の要件を確認します。
統合されたロールベースのアクセス制御 (RBAC) を備えた Microsoft Defender ポータルで、[データ操作] アクセス許可グループの下にある [データ (管理)] アクセス許可を持っていること。
Microsoft Sentinel ワークスペースには、次のアクセス許可が必要です。
以下を提供する Log Analytics 共同作成者ロールを持っていること。
- Microsoft.OperationalInsights/workspaces/write
- Log Analytics ワークスペースへの Microsoft.OperationalInsights/workspaces/tables の書き込みアクセス許可。
サポートするテーブル
フィルター変換と分割変換には、テーブルのサポート要件が異なります。
- フィルター処理: データ収集規則 (DCR) をサポートするすべてのテーブルでサポートされます。
- 分割: 分析のみのインジェスト、Data Lake のみのインジェスト、およびデータ収集ルール (DCR) をサポートする任意のテーブルでサポートされます。
コネクタのテーブルが DCR をサポートしているかどうかを確認するには、「 Microsoft Sentinel データ コネクタの検索」を参照してください。
フィルター変換
フィルター変換を使用すると、調査に役立たないインジェスト中にデータを破棄することで、ノイズを減らすことができます。 フィルター変換ルールを使用して、除外するデータを決定する KQL 条件を指定します。残りのデータは Analytics 層に送信されます。
次の必要がある場合は、フィルター変換を使用します。
- ノイズを減らす: ファイアウォール ログから "許可" イベントなどの定期的な重大度の低いログを除外して、SOC をアクション可能なイベントに集中させます。
- コストの最適化: 脅威の検出に寄与しないデータを破棄することで、ストレージと処理のコストを削減します。
- パフォーマンスの向上: 格納されているデータの量を減らすことで、クエリを高速化し、分析を合理化します。
フィルター変換の次の例を考えてみましょう。
企業は、異常を特定するためにファイアウォール ログに依存しています。 ほとんどのファイアウォール ログは、脅威検出に影響しない重大度の低い定期的な "許可" イベントです。 ブロックされたトラフィックや重大度が高いなどの重大なイベントのみを保持し、低い値のログをフィルター処理するには、KQL 条件を使用してフィルター変換ルールを作成し、イベントが "許可" されていない中または高のデータのみを Analytics 層に送信します。
分割変換
分割変換を使用すると、指定した条件に基づいて、Analytics 層と Data Lake 層の間でデータをルーティングできます。 分割変換ルールを使用して、Analytics のどのデータが格納されるのかを決定する KQL 式を定義します。 式と一致しないデータは、Data Lake 層にのみルーティングされます。
注
分割変換を構成すると、Analytics 層に指定されたデータも Data Lake 層にミラー化されます。 分析条件に一致しないデータは、Data Lake レベルにのみ移動します。 この構成により、長期的な保持とコンプライアンスの目的で、すべてのデータを Data Lake で使用できます。
適切なストレージ層にデータをルーティングしてコストとパフォーマンスのバランスを取る必要がある場合は、分割変換を使用します。
- ストレージ コストを最適化する: 古いログまたはアクセス頻度の低いログを Data Lake 層にルーティングして、コスト効率の高い長期的なストレージを実現します。
- パフォーマンスを維持する: アクティブな脅威ハンティング中にクエリを高速化するために、Analytics レベルで最新のログを保持します。
- コンプライアンス要件を満たす: 運用の機敏性を損なうことなく、規制監査とフォレンジック分析の履歴ログを保持します。
分割変換の次の例を考えてみましょう。
脅威の検出とコンプライアンスのために、企業は毎日何百万ものファイアウォール ログ エントリを取り込みます。 SOC チームは、アクティブな調査のために最近のログにリアルタイムでアクセスする必要がありますが、規制監査の履歴ログも保持する必要があります。 分析層にリアルタイム データをルーティングし、履歴データを Data Lake 層にルーティングする分割変換ルールを作成します。
Important
Microsoft Sentinel で作成した変換は、DCR を使用して Azure Monitor で作成された変換と競合する可能性があります。 たとえば、DCR がテーブルに既に適用されていて、特定のリージョン以外のすべてがフィルター処理され、そのリージョンのみを除外するフィルターがさらに適用されている場合、データは取り込まれません。 DCR と変換をテーブルに適用することの組み合わせの効果を理解し、確認してください。
フィルター変換ルールを構成する
フィルター変換ルールを作成するには、次の手順に従います。
Microsoft Defender ポータルで、 Microsoft Sentinel>Configuration>Tables に移動します。
テーブルを選択します。 サイドパネルで、フィルタールールを選択します。
サイド パネルで、 ルール名を入力します。
[ 条件 ] フィールドに、除外するデータを指定する KQL 式を入力します。取り込みたくないデータの場合、KQL 式は true と評価されます。
フィルターを有効にするには、 ルールの状態 スイッチを [オン ] に設定します。
Important
フィルターでデータを除外します。フィルター条件に一致するデータは破棄され、Analytics レベルまたは Data Lake レベルには取り込まれません。 KQL 式で、除外するデータが正確にキャプチャされていることを確認します。
別の条件を追加するには、[ 条件の追加] を選択し、新しい KQL 式を入力してデータをフィルター処理します。 複数の条件が論理 OR と組み合わされるため、条件のいずれかに一致するデータが除外されます。
[ 保存] を 選択してルールを適用します。
テーブルの [変換 ルール] 列をチェックして、フィルター ルールが適用されていることを確認します。 この列には、 フィルター ルールがアクティブな場合にフィルターが表示されます。
分割変換ルールを構成する
分割変換ルールを作成するには、次の手順に従います。
Defender ポータルで、 Microsoft Sentinel>Configuration>Tables に移動します。
テーブルを選択し、[ ルールの分割] を選択します。
サイド パネルで、 ルール名を入力します。
[KQL 式] フィールドに、Analytics レベルに取り込むデータを定義する KQL 式を入力します。 この式と一致しないデータは、Data Lake 層に取り込まれます。
[ 保存] を 選択してルールを適用します。
テーブルの [変換 ルール] 列をチェックして、分割ルールが適用されていることを確認します。 分割 ルールがアクティブ な場合、列に分割が表示されます。
注
Data Lake 層に取り込まれた分割データは、元のテーブルと同じ名前の別のテーブルに入りますが、サフィックスは "_SPLT" になります。 たとえば、"FirewallLogs" テーブルに分割ルールを適用すると、Data Lake 層にルーティングされたデータは別の "FirewallLogs_SPLT" テーブルに取り込まれます。 このセットアップでは、Analytics レベルと Data Lake レベルで保持ポリシーとアクセス ポリシーを個別に管理できます。
分割テーブルのリテンション期間を構成する
分割ルールを作成した後、各層の保持設定を構成します。
元のテーブルの下に、結果の 分析 テーブルと Data Lake 分割テーブルが表示されます。
リテンション期間を構成するには、Analytics テーブルまたは Data Lake テーブルを選択します。
[ データ保有期間の設定] を選択します。
保持期間を構成して保存します。
または、元のテーブルを選択し、結合された [データ保持設定] ダイアログから Analytics と Data Lake のリテンション期間 の両方を構成します。
ルールの管理
既存のルールを管理するには、テーブルを選択し、管理するルールの種類に応じて [ ルールの分割 ] または [ ルールのフィルター] を選択します。
- ルールを無効にするには、[ルールの 状態 ] スイッチを選択してルールをオフにし、[ 保存] を選択します。
- [削除] を選択してルールを 削除します。
KQL クエリを実行してルールを確認し、データが正しく取り込まれており、正しいレベルにルーティングされていることを確認します。
既知の制限
フィルター変換と分割変換を使用する場合は、次の制限事項に注意してください。
XDR テーブルの可視性: XDR テーブルに適用された分割変換とフィルター変換は、最初の 30 日間のデータの高度な検出には表示されません。 変換が適用され、データが最初の 30 日を超えると、Advanced Hunting で通常どおりに動作します。 Log Analytics または Microsoft Sentinel からクエリを実行したデータには、すぐにコスト削減が反映されます。
伝達遅延: 変換が有効になるまでに最大 1 時間かかることがあります。
テーブルのサポート: データ収集規則 (DCR) をサポートするテーブルのみが、分割変換とフィルター変換をサポートします。