Splunk から Azure Monitor ログに移行する

  • [アーティクル]

Azure Monitor ログは、クラウドベースのマネージド監視および監視サービスであり、コスト管理、スケーラビリティ、柔軟性、統合、メンテナンス オーバーヘッドの低減という点で多くの利点を提供します。 このサービスは、大量のデータを処理し、あらゆる規模の組織のニーズが満たされるように簡単にスケーリングできるように設計されています。

Azure Monitor ログは、Windows イベント ログ、Syslog、カスタム ログなど、さまざまなソースからデータを収集し、すべての Azure リソースと Azure 以外のリソースの統合ビューを提供します。 高度なクエリ言語とキュレーションされた視覚化を使用することで、数百万ものレコードをすばやく分析して、監視データの重要なパターンを特定し、理解し、対応できます。

この記事では、ログ記録とログ データ分析のために Splunk Observability デプロイを Azure Monitor ログに移行する方法について説明します。

セキュリティ情報イベント管理 (SIEM) デプロイを Splunk Enterprise Security から Azure Sentinel に移行する方法については、「Microsoft Sentinel への移行を計画する」を参照してください。

Azure Monitor に移行する理由

Azure Monitor への移行の利点は次のとおりです。

オファリングを比較する

Splunk オファリング Product Azure オファリング
Splunk プラットフォーム
  • Splunk Cloud Platform
  • Splunk Enterprise
 Azure Monitor ログは、Azure および Azure 以外のリソースとアプリケーションによって生成されたテレメトリ データを収集、分析、操作するための一元化されたサービスとしてのソフトウェア (SaaS) プラットフォームです。
Splunk Observability
  • Splunk Infrastructure Monitoring
  • Splunk APM
  • Splunk IT Service Intelligence
 Azure Monitor は、クラウド、マルチクラウド、オンプレミス環境からのテレメトリを収集し、分析し、対応するために、Microsoft Sentinel と共有される強力なデータ インジェスト パイプラインの上に構築されたエンドツーエンドのソリューションです。 Azure Monitor は、クラウド、ハイブリッド、オンプレミスの環境を監視するための包括的なソリューションを企業に提供するものであり、ネットワークの分離、回復性の機能とデータ センター障害からの保護、レポート、アラートと応答の機能を備えています。
Azure Monitor の組み込み機能には次のものが含まれます。
  • Azure Monitor Insights: データの入力、検索、アラート、視覚化があらかじめ構成されていてすぐに使用できるキュレーションされた監視エクスペリエンス。
  • Application Insights: ライブ Web アプリケーションのためのアプリケーション パフォーマンス管理 (APM) を提供します。
  • Azure Monitor AIOps と組み込み機械学習機能: 分析情報を提供し、問題のトラブルシューティングを支援します。また、容量の使用状況と自動スケーリングの予測、アプリケーションのパフォーマンスの問題の特定と分析、仮想マシン、コンテナー、その他のリソースでの異常な動作の検出など、データドリブン タスクを自動化します。
これらの機能は無料でインストールできます。
Splunk Security
  • Splunk Enterprise Security
  • Splunk Mission Control
    Splunk SOAR
 Microsoft Sentinel は、Azure Monitor プラットフォームを通じて実行されるクラウドネイティブ ソリューションであり、企業全体にわたるインテリジェントなセキュリティ分析と脅威インテリジェンスを提供します。

主な概念の概要

Azure Monitor ログ 同様の Splunk の概念 説明
Log Analytics ワークスペース 名前空間 Log Analytics ワークスペースは、すべての Azure と Azure 以外のマネージド リソースからログ データを収集できる環境です。 ワークスペース内のデータは、クエリと分析、Azure Monitor 機能とその他の Azure サービスのために使用できます。 Splunk 名前空間と同様に、Log Analytics ワークスペース内のデータや成果物 (アラートやブックなど) へのアクセスを管理できます。
分割課金、リージョンデータ ストレージの要件、回復性の考慮などのニーズに基づいて、Log Analytics ワークスペースのアーキテクチャを設計します。
テーブル管理 インデックス作成 Azure Monitor ログは、ログ データをマネージド Azure Data Explorer データベースのテーブルに取り込みます。 インジェスト時には、データのインデックスがサービスによって自動的に作成され、タイムスタンプが設定されます。これにより、Kusto 照会言語 (KQL) クエリを使用して、さまざまな種類のデータを格納し、データにすばやくアクセスできます。
テーブルのプロパティを使用して、テーブル スキーマ、データ保持とアーカイブを管理し、監査とトラブルシューティングまたは機能やサービスによる継続的な分析と使用のためにデータを保存するかどうかを管理できます。
Splunk と Azure Data Explorer のデータ処理とクエリの概念比較については、「Splunk から Kusto 照会言語へのマップ」を参照してください。
Basic と Analytics のログ データ プラン Azure Monitor ログには、ログの取り込みと保持のコストを削減して、ニーズに基づいて Azure Monitor の高度な機能と分析機能を利用できる 2 つのログ データ プランが用意されています。
Analytics プランでは、対話型クエリと、機能やサービスでの使用のためにログ データを提供できます。
Basic ログ データ プランは、トラブルシューティング、デバッグ、監査、コンプライアンスのためにログを取り込んで保持する低コストの方法となっています。
アーカイブとアーカイブされたデータへのクイック アクセス データ バケットの状態 (ホット、ウォーム、コールド、解凍済み)、アーカイブ、動的データ アクティブ アーカイブ (DDAA) コスト効率の高いアーカイブ オプションを使用すると、Log Analytics ワークスペースにログが保持され、必要なときにアーカイブされたログ データにすばやくアクセスできます。 アーカイブ構成の変更は、データが物理的に外部ストレージに転送されないために、すぐに有効になります。 アーカイブされたデータの復元や検索ジョブの実行により、アーカイブされたデータの特定の時間範囲をリアルタイム分析に使用されるようにすることができます。
アクセス制御 ロールベースのユーザー アクセス、アクセス許可 Azure ロールベースのアクセス制御 (RBAC) を使って、特定のリソースの読み取り、書き込み、操作を実行できるユーザーとリソースを定義します。 リソースにアクセスできるユーザーは、リソースのログにアクセスできます。
Azure の組み込みロール、カスタム ロール、ロールのアクセス許可の継承、監査履歴などの機能を使うと、データのセキュリティとアクセスの管理が容易になります。
また、特定のデータの種類へのアクセスをきめ細かく制御するため、ワークスペース レベルのアクセスとテーブル レベルのアクセスを構成することもできます。
データ変換 変換、フィールドの抽出 変換を使用すると、Log Analytics ワークスペースに送信される前に、受信データのフィルター処理や変更ができます。 変換を使用して、機密データの削除、Log Analytics ワークスペース内のデータのエンリッチ、計算の実行、データ コストの削減が不要なデータの除外を実施します。
データ収集ルール データ入力、データ パイプライン 収集するデータ、そのデータの変換方法、およびデータの送信先を定義します。
Kusto クエリ言語 (KQL) Splunk Search Processing Language (SPL) Azure Monitor ログでは、Kusto 照会言語の大規模なサブセットを使用します。この言語は、単純なログ検索に適していますが、集計、結合、スマート分析などの高度な機能も備えています。 Splunk SPL の知識を KQL に転換するために、「Splunk から Kusto 照会言語へのマップ」を使用します。 また、チュートリアルによる KQL の学習と KQL トレーニング モジュールも使用できます。
Log Analytics Splunk Web、検索アプリ、ピボット ツール Azure Monitor ログでログ クエリを編集および実行するための Azure portal のツール。 Log Analytics には、KQL を使用することなくデータを探索して視覚化するための豊富なツール セットも用意されています。
コストの最適化 Azure Monitor には、ニーズに基づいてコストを理解、監視、最適化するために役立つツールとベスト プラクティスが用意されています。

1. 現在の使用状況を把握する

現在の Splunk の使用状況は、Azure Monitor で選択する価格レベルを決定し、将来のコストを見積もる際に役立ちます。

2. Log Analytics ワークスペースを設定する

Log Analytics ワークスペースでは、すべてのマネージド リソースからのログ データを収集します。 Log Analytics ワークスペースには、データを最大 7 年間保持できます。 ワークスペース内の低コストのデータ アーカイブを使用すると、外部データ ストアの管理のためのオーバーヘッドなしで、アーカイブされたデータに必要なときにすばやく簡単にアクセスできます。

管理を容易にするために、1 つの Log Analytics ワークスペースにすべてのログ データを収集することをお勧めします。 複数のワークスペースの使用を検討している場合は、「Log Analytics ワークスペース アーキテクチャを設計する」を参照してください。

データ収集用に Log Analytics ワークスペースを設定するには:

  1. Log Analytics ワークスペースを作成します。

    Azure Monitor ログは、使用する Azure サービスと Azure リソースに対して定義したデータ収集設定に基づいて、ワークスペース内に自動的に Azure テーブルを作成します。

  2. Log Analytics ワークスペースを構成します (次の項目を含む):

    1. 価格レベル。
    2. Log Analytics ワークスペースを専用クラスターにリンクして、価格レベルに基づいた高度な機能を利用できます (資格がある場合)。
    3. 日次上限。
    4. データ保有。
    5. ネットワークの分離。
    6. アクセスの制御。

  3. テーブル レベルの構成設定を使用して、次の手順を実行します。

    1. テーブルごとのログ データ プランを定義します。

      既定のログ データ プランは Analytics です。このプランでは、Azure Monitor の豊富な監視と分析機能を利用できます。

    2. ワークスペース レベルのデータ保持とアーカイブ ポリシーとは異なるポリシーにする必要がある場合は、特定のテーブルのデータ保持とアーカイブ ポリシーを設定します。

    3. データ モデルに基づいて、テーブル スキーマを変更します。

3. Splunk の成果物を Azure Monitor に移行する

ほとんどの Splunk の成果物を移行するためには、Splunk Processing Language (SPL) を Kusto 照会言語 (KQL) に変換する必要があります。 詳細については、「Splunk から Kusto 照会言語へのマップ」および「Azure Monitor でログ クエリの使用を開始する」を参照してください。

次の表に、Splunk の成果物と、同等の成果物を Azure Monitor で設定するためのガイダンスへのリンクを示します。

Splunk の成果物 Azure Monitor の成果物
警告 アラート ルール
アラート アクション アクション グループ
インフラストラクチャおよび監視 Azure Monitor Insights は、事前に構成されたデータ入力、検索、アラート、視覚化を備えたすぐに使用できるキュレーションされた監視エクスペリエンスのセットであり、データの迅速かつ効果的な分析を開始できます。
ダッシュボード ブック
検索 Azure Monitor には、次に示すように、データをエンリッチするさまざまな方法が用意されています。
- データ収集ルール。複数のソースから Log Analytics ワークスペースにデータを送信し、データの取り込み前に計算と変換を実行できます。
- 異なるテーブルのデータを結合する結合演算子や、外部ストレージからデータを返す externaldata 演算子などの KQL 演算子。
- 高度な機械学習の適用と追加データのストリーミングのための、Azure Machine Learning や Azure Event Hubs などのサービスとの統合。
名前空間 Log Analytics ワークスペースまたは Azure リソース グループで定義したアクセス制御に基づいて、Azure Monitor の成果物に対するアクセス許可を付与または制限できます。
アクセス許可 アクセス管理
Reports Azure Monitor には、次に示すようなデータの分析、視覚化、共有のためのさまざまなオプションが用意されています。
- Grafana との統合
- Insights
- Workbooks
- Dashboards
- Power BI との統合
- Excel との統合
検索 クエリ
ソースの種類 Log Analytics ワークスペースでデータ モデルを定義します。 受信データのフィルター処理、書式設定、または変更のために、インジェスト時変換を使用します。
データ収集のメソッド 特定のリソース用に設計された Azure Monitor ツールについては、「データを収集する」を参照してください。

検出ルールや SOAR の自動化など、Splunk SIEM 成果物の移行についての詳細は、「Microsoft Sentinel への移行を計画する」を参照してください。

4. データを収集する

Azure Monitor には、環境内の Azure のログ データ ソースと Azure 以外のリソースからデータを収集するためのツールが用意されています。

リソースからデータを収集するには:

  1. 次の表に基づいて、関連するデータ収集ツールを設定します。
  2. リソースからの収集が必要なデータを決定します。
  3. 変換を使用して、機密データの削除、データのエンリッチ、計算の実行、コストの削減が不要なデータの除外を実施します。

次の表は、さまざまな種類のリソースからデータを収集するために Azure Monitor が提供するツールの一覧です。

リソースの種類 データ収集ツール 同様の Splunk ツール 収集されるデータ
Azure 診断設定 Azure テナント - Microsoft Entra 監査ログは、サインイン アクティビティの履歴と、テナント内での変更の監査証跡を提供します。
Azure リソース - ログおよびパフォーマンス カウンター。
Azure サブスクリプション - サービスの正常性レコードと、Azure サブスクリプションのリソースに対して行われた構成の変更に関するレコード。
Application Application Insights Splunk APM アプリケーション パフォーマンス監視データ。
コンテナー Container insights Container Monitoring コンテナーのパフォーマンス データ。
オペレーティング システム Azure Monitor エージェント Universal Forwarder、Heavy Forwarder Azure および Azure 以外の仮想マシンのゲスト オペレーティング システムからのデータを監視します。
Azure 以外のソース ログ インジェスト API HTTP Event Collector (HEC) 監視対象リソースのデータ収集エンドポイントに送信するファイル ベースのログとデータ。

Azure Monitor ログに接続されているさまざまなデータ ソースを示す図。

5. Azure Monitor ログに移行する

一般的な方法は、履歴データを Splunk で維持しながら、段階的に Azure Monitor ログに移行することです。 この期間中には、次のことができます。

Splunk から履歴データをエクスポートするには:

  1. Splunk のエクスポート メソッドのいずれかを使用して、データを CSV 形式でエクスポートします。
  2. エクスポートしたデータを収集するには:

    1. Azure Monitor エージェントを使用して、Splunk からのエクスポート データを収集します。手順については、「Azure Monitor エージェントを使用してテキスト ログを収集する」を参照してください。

      または

    2. エクスポートしたデータをログ インジェスト API で直接収集します。手順については、「REST API を使用して Azure Monitor ログにデータを送信する」を参照してください。

Splunk から Azure Monitor ログの Log Analytics ワークスペースへのデータ ストリーミングを示す図。

次のステップ