Logstash を使用して HTTP Data Collection API でログをストリーミングする (レガシ)

[アーティクル]
04/06/2023

重要

Logstash 出力プラグインを使用したデータインジェストは、現在パブリックプレビューの段階にあります。この機能はサービスレベルアグリーメントなしで提供されています。運用環境のワークロードに使用することはお勧めできません。詳しくは、Microsoft Azure プレビューの追加使用条件に関するページをご覧ください。

Note

さらに新しいバージョンの Logstash プラグインでは、DCR ベースの API を使って、外部データソースからカスタムと標準のテーブルにログを転送できます。新しいプラグインを使うと、列名と型の構成など、出力スキーマを完全に制御できます。

Logstash データ収集エンジン用の Microsoft Sentinel の出力プラグインを使用することで、Logstash 経由で任意の種類のログを Microsoft Sentinel の Log Analytics ワークスペースに直接送信できます。ログは、ユーザーが出力プラグインを使って定義したカスタムテーブルに送信されます。このバージョンのプラグインでは、HTTP Data Collection API が使われます。

Logstash データ収集エンジンの操作の詳細については、Logstash の概要に関するページをご覧ください。

概要

アーキテクチャと背景

Logstash エンジンは、次の 3 つのコンポーネントで構成されています。

入力プラグイン:さまざまなソースのデータのカスタマイズされたコレクション。
フィルタープラグイン:指定した条件に従ったデータの操作と正規化。
出力プラグイン:収集および処理されたデータのさまざまな宛先へのカスタマイズされた送信。

Note

Microsoft では、ここで説明する、Microsoft Sentinel で提供される Logstash 出力プラグインのみをサポートしています。このプラグインの現在のバージョンは、2020-08-25 にリリースされた v1.0.0 です。出力プラグインに関する問題については、サポートチケットを開くことができます。
Microsoft では、Microsoft Sentinel 用のサードパーティ製 Logstash 出力プラグインや、その他の種類の Logstash プラグインやコンポーネントをサポートしていません。
Microsoft Sentinel の Logstash 出力プラグインでサポートされるのは、Logstash のバージョン 7.0 から 7.17.10 までと、バージョン 8.0 から 8.9 まで、及び 8.11 のみです。 Logstash 8 を使う場合は、パイプラインで ECS を無効にすることをお勧めします。

Logstash 用の Microsoft Sentinel 出力プラグインでは、Log Analytics HTTP データコレクター REST API を使用して、JSON 形式のデータを Log Analytics ワークスペースに送信します。データはカスタムログに取り込まれます。

Log Analytics REST API の詳細を確認します。
カスタムログの詳細を確認します。

Logstash で Microsoft Sentinel 出力プラグインをデプロイする

手順 1:インストール

Microsoft Sentinel 出力プラグインは、Logstash コレクションで使用できます。

Logstash のプラグインの操作に関するドキュメントに記載されている手順に従って、microsoft-logstash-output-azure-loganalytics プラグインをインストールします。
Logstash システムがインターネットにアクセスできない場合は、Logstash のオフラインプラグイン管理に関するドキュメントに記載されている手順に従って、オフラインプラグインパックを準備して使用します。 (この場合、インターネットにアクセスできる別の Logstash システムを構築する必要があります)。

手順 2:構成

Logstash の構成ファイルの構造に関するドキュメントの情報を使用して、次のキーと値を使用して Microsoft Sentinel 出力プラグインを構成に追加します。 (適切な構成ファイルの構文は表の後に示しています)。

フィールド名	データ型	Description
`workspace_id`	string	ワークスペース ID GUID を入力します (ヒントを参照)。
`workspace_key`	string	ワークスペースの主キー GUID を入力します (ヒントを参照)。
`custom_log_table_name`	string	ログが取り込まれるテーブルの名前を設定します。構成できるのは、出力プラグインごとに 1 つのテーブル名だけです。ログテーブルは、Microsoft Sentinel の [ログ] の下の [カスタムログ] カテゴリの [テーブル] に `_CL` サフィックス付きで表示されます。
`endpoint`	string	省略可能なフィールド。既定では、これは Log Analytics エンドポイントです。代替エンドポイントを設定するには、このフィールドを使用します。
`time_generated_field`	string	省略可能なフィールド。このプロパティは Log Analytics の既定の TimeGenerated フィールドよりも優先されます。データソースのタイムスタンプフィールドの名前を入力します。フィールドのデータは、ISO 8601 形式 (`YYYY-MM-DDThh:mm:ssZ`) に準拠している必要があります
`key_names`	array	Log Analytics 出力スキーマフィールドの一覧を入力します。各リスト項目は、単一引用符で囲み、項目をコンマで区切り、リスト全体を角かっこで囲む必要があります。以下の例を参照してください。
`plugin_flush_interval`	数値	省略可能なフィールド。 Log Analytics へのメッセージの転送間の最大間隔 (秒) を定義するように設定します。既定値は 5 です。
`amount_resizing`	boolean	true または false 自動スケーリングメカニズムを有効または無効にします。これにより、受信したログデータの量に応じてメッセージバッファーサイズが調整されます。
`max_items`	数値	省略可能なフィールド。 `amount_resizing` が "false" に設定されている場合にのみ適用されます。メッセージバッファーサイズ (レコード単位) の上限の設定に使用します。既定値は 2000 です。
`azure_resource_id`	string	省略可能なフィールド。データが存在する Azure リソースの ID を定義します。リソース ID 値は特に、リソースコンテキスト RBAC を使用して特定のデータへのアクセスのみを許可する場合に便利です。

ヒント

ワークスペース ID と主キーは、ワークスペースリソースの [エージェント管理] で確認できます。
ただし、資格情報やその他の機密情報を構成ファイルにクリアテキストで格納することは、セキュリティのベストプラクティスに沿っていないため、構成にワークスペース ID とワークスペースの主キーを安全に含めるために、Logstash キーストアを利用することを強くお勧めします。手順については、Elastic のドキュメントを参照してください。

サンプルの構成

いくつかの異なるオプションを使用するいくつかのサンプル構成を次に示します。

filebeat 入力パイプを使用する基本構成:

  input {
      beats {
          port => "5044"
      }
  }
  filter {
  }
  output {
      microsoft-logstash-output-azure-loganalytics {
        workspace_id => "<your workspace id>"
        workspace_key => "<your workspace key>"
        custom_log_table_name => "tableName"
      }
  }

tcp 入力パイプを使用する基本構成:

  input {
      tcp {
          port => "514"
          type => syslog #optional, will effect log type in table
      }
  }
  filter {
  }
  output {
      microsoft-logstash-output-azure-loganalytics {
        workspace_id => "<your workspace id>"
        workspace_key =>  "<your workspace key>"
        custom_log_table_name => "tableName"
      }
  }

高度な構成:

  input {
      tcp {
          port => 514
          type => syslog
      }
  }
  filter {
      grok {
          match => { "message" => "<%{NUMBER:PRI}>1 (?<TIME_TAG>[0-9]{4}-[0-9]{1,2}-[0-9]{1,2}T[0-9]{1,2}:[0-9]{1,2}:[0-9]{1,2})[^ ]* (?<HOSTNAME>[^ ]*) %{GREEDYDATA:MSG}" }
      }
  }
  output {
      microsoft-logstash-output-azure-loganalytics {
          workspace_id => "<WS_ID>"
          workspace_key => "${WS_KEY}"
          custom_log_table_name => "logstashCustomTable"
          key_names => ['PRI','TIME_TAG','HOSTNAME','MSG']
          plugin_flush_interval => 5
      }
  }

非構造化テキストデータからカスタム timestampと JSON 文字列を解析し、選択した一連のフィールドを抽出されたtimestampで Log Analytics にログ記録するための、より高度な構成：

  # Example log line below:
  # Mon Nov 07 20:45:08 2022: { "name":"_custom_time_generated", "origin":"test_microsoft", "sender":"test@microsoft.com", "messages":1337}
  # take an input
  input {
      file {
          path => "/var/log/test.log"
      }
  }
  filter {
  # extract the header timestamp and the Json section
      grok {
          match => {
              "message" => ["^(?<timestamp>.{24}):\s(?<json_data>.*)$"]
          }
      }
  # parse the extracted header as a timestamp
  date {
      id => 'parse_metric_timestamp'
          match => [ 'timestamp', 'EEE MMM dd HH:mm:ss yyyy' ]
          timezone => 'Europe/Rome'
          target => 'custom_time_generated'
      }
  json {
      source => "json_data"
      }
  }
  # output to a file for debugging (optional)
  output {
      file {
          path => "/tmp/test.txt"
          codec => line { format => "custom format: %{message} %{custom_time_generated} %{json_data}"}
      }
  }
  # output to the console output for debugging (optional)
  output {
      stdout { codec => rubydebug }
  }
  # log into Log Analytics
  output {
      microsoft-logstash-output-azure-loganalytics {
          workspace_id => '[REDACTED]'
          workspace_key => '[REDACTED]'
          custom_log_table_name => 'RSyslogMetrics'
          time_generated_field => 'custom_time_generated'
          key_names => ['custom_time_generated','name','origin','sender','messages']
      }
  }

Note

内部の動作、構成、およびパフォーマンス設定の詳細については、出力プラグインの GitHub リポジトリをご覧ください。

手順 3:Logstash を再起動する

手順 4: Microsoft Sentinel で受信ログを表示する

メッセージが出力プラグインに送信されていることを確認します。
Microsoft Sentinel ナビゲーションメニューから [ログ] を選択します。 [テーブル] 見出しの下にある [カスタムログ] カテゴリを展開します。構成で (_CL サフィックスで) 指定したテーブルの名前を見つけてクリックします。
テーブルのレコードを表示するには、テーブル名をスキーマとして使用して、テーブルに対してクエリを実行します。

出力プラグインの監査ログを監視する

Microsoft Sentinel 出力プラグインの接続とアクティビティを監視するには、適切な Logstash ログファイルを有効にします。ログファイルの場所については、Logstash ディレクトリレイアウトに関するドキュメントをご覧ください。

このログファイルにデータが表示されない場合は、いくつかのイベントをローカルで生成して送信し (入力プラグインとフィルタープラグインを使用)、出力プラグインがデータを受信していることを確認します。 Microsoft Sentinel では、出力プラグインに関連する問題のみがサポートされます。

次のステップ

このドキュメントでは、Logstash を使用して外部データソースを Microsoft Sentinel に接続する方法について説明しました。 Microsoft Sentinel の詳細については、次の記事を参照してください。

データと潜在的な脅威を可視化する方法についての説明。
組み込みまたはカスタムのルールを使用して、Microsoft Sentinel で脅威の検出を開始する。

Logstash を使用して HTTP Data Collection API でログをストリーミングする (レガシ)

概要

アーキテクチャと背景

Logstash で Microsoft Sentinel 出力プラグインをデプロイする

手順 1:インストール

手順 2:構成

サンプルの構成

手順 3:Logstash を再起動する

手順 4: Microsoft Sentinel で受信ログを表示する

出力プラグインの監査ログを監視する

次のステップ

その他のリソース