Azure 監視データをイベント ハブと外部パートナーにストリーミングする
データを Azure Monitor から外部ツールにストリーミングする効果的な方法は、Azure Event Hubs を使用することです。 この記事では、データを Event Hubs にストリーミングする方法を説明し、そのデータをハブから使用できるパートナーの一部を一覧表示します。 一部のパートナーは Azure Monitor と統合し、Azure でホストされるサービスを提供しています。
Event Hubs 名前空間を作成します
データ ソースのストリーミングを構成する前に、Event Hubs 名前空間とイベント ハブを作成する必要があります。 この名前空間とイベント ハブが、すべての監視データの送信先です。 Event Hubs 名前空間は、同じアクセス ポリシーを共有するイベント ハブの論理グループです。これは、ストレージ アカウントがストレージ アカウント内に BLOB 用の個別のコンテナーを持つのとよく似ています。 監視データのストリーム配信に使用する Event Hubs 名前空間とイベント ハブについては、次の詳細を考慮してください。
- イベント ハブのスループット スケールは、スループット単位の数によって増やすことができます。 通常、必要なスループット ユニットは 1 つだけです。 自分のログの使用量が増加してスケールアップする必要が生じた場合は、名前空間のスループット ユニット数を手動で増やすか、自動インフレを有効にすることができます。
- 多数のコンシューマー間での消費量は、パーティションの数によって並列化することができます。 1 つのパーティションでのサポート上限は 20 MBps です (1 秒あたり約 20,000 件のメッセージ)。 データを使用するツールにより、複数のパーティションからの使用をサポートする場合とサポートしない場合があります。 設定するパーティションの数がわからない場合は、まず 4 つのパーティションから始めることをお勧めします。
- イベント ハブでのメッセージの保持期間を少なくとも 7 日間に設定します。 消費元のツールが 1 日以上ダウンした場合でも、この保持期間にすることで、ダウンした時点から最大 7 日前までのイベントを復旧できます。
- イベント ハブには既定のコンシューマー グループを使用します。 2 種類のツールで同じイベント ハブの同じデータを使用する予定がある場合を除き、他のコンシューマー グループを作成したり、個別のコンシューマー グループを使用したりする必要はありません。
- Azure Activity Log の場合は、Event Hubs 名前空間を選ぶと、Azure Monitor によって、その名前空間内に
insights-logs-operational-logsという名前のイベント ハブが作成されます。 その他のログ タイプについては、既存のイベント ハブを選択するか、Azure Monitor によってログ カテゴリごとにイベント ハブを作成することができます。 - イベント ハブからデータを使用するマシンまたは仮想ネットワークでは、送信ポート 5671 と 5672 を開く必要があります。
ストリーミング メソッド
データを Event Hubs に送信するには、Azure Monitor で次の方法を使用することができます。
データ収集ルール
データ収集ルールは、ログとメトリックを Event Hubs、Log Analytics ワークスペース、Azure Storage にストリーミングするために使用されます。 データ収集ルールを設定する方法の詳細については、「Azure Monitor のデータ収集ルール」と、データ収集ルールの作成と編集に関するページを参照してください。診断設定
診断設定を使用して、ログとメトリックを Event Hubs にストリーミングします。 診断設定を設定する方法については、診断設定の作成に関するページを参照してください。Logic Apps を使用して手動でストリーミングする
イベント ハブに直接ストリーム配信できないデータについては、Azure Storage に書き込むことができます。その後、時刻によってトリガーされるロジック アプリを使って、データを Azure Blob Storage からプルし、メッセージとしてイベント ハブにプッシュできます。 詳細については、「Azure Logic Apps のワークフローからイベント ハブに接続する」を参照してください。
データ形式
次の JSON は、イベント ハブに送信されるメトリック データの例です。
[
{
"records": [
{
"count": 2,
"total": 0.217,
"minimum": 0.042,
"maximum": 0.175,
"average": 0.1085,
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:03:00.0000000Z",
"metricName": "CpuTime",
"timeGrain": "PT1M"
},
{
"count": 2,
"total": 0.284,
"minimum": 0.053,
"maximum": 0.231,
"average": 0.142,
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:04:00.0000000Z",
"metricName": "CpuTime",
"timeGrain": "PT1M"
},
{
"count": 1,
"total": 1,
"minimum": 1,
"maximum": 1,
"average": 1,
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:03:00.0000000Z",
"metricName": "Requests",
"timeGrain": "PT1M"
},
...
]
}
]
次の JSON は、イベント ハブに送信されるログ データの例です。
[
{
"records": [
{
"time": "2023-04-18T09:39:56.5027358Z",
"category": "AuditEvent",
"operationName": "VaultGet",
"resultType": "Success",
"correlationId": "cccc2222-dd33-4444-55ee-666666ffffff",
"callerIpAddress": "10.0.0.10",
"identity": {
"claim": {
"http://schemas.microsoft.com/identity/claims/objectidentifier": "dddddddd-3333-4444-5555-eeeeeeeeeeee",
"appid": "44445555-eeee-6666-ffff-7777aaaa8888"
}
},
"properties": {
"id": "https://mykeyvault.vault.azure.net/",
"clientInfo": "AzureResourceGraph.IngestionWorkerService.global/1.23.1.224",
"requestUri": "https://northeurope.management.azure.com/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/rg-001/providers/Microsoft.KeyVault/vaults/mykeyvault?api-version=2023-02-01&MaskCMKEnabledProperties=true",
"httpStatusCode": 200,
"properties": {
"sku": {
"Family": "A",
"Name": "Standard",
"Capacity": null
},
"tenantId": "bbbbcccc-1111-dddd-2222-eeee3333ffff",
"networkAcls": null,
"enabledForDeployment": 0,
"enabledForDiskEncryption": 0,
"enabledForTemplateDeployment": 0,
"enableSoftDelete": 1,
"softDeleteRetentionInDays": 90,
"enableRbacAuthorization": 0,
"enablePurgeProtection": null
}
},
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/mykeyvault",
"operationVersion": "2023-02-01",
"resultSignature": "OK",
"durationMs": "16"
}
],
"EventProcessedUtcTime": "2023-04-18T09:42:07.0944007Z",
"PartitionId": 1,
"EventEnqueuedUtcTime": "2023-04-18T09:41:14.9410000Z"
},
...
Azure Monitor とパートナー ツールの統合
Azure Monitor で監視データをイベント ハブにルーティングすると、外部の SIEM や監視ツールに簡単に統合することができます。 次の表の一覧は、ツールと Azure Monitor の統合の例です。
| ツール | Azure でホスト | 説明 |
|---|---|---|
| IBM QRadar | いいえ | Microsoft Azure DSM および Microsoft Azure Event Hub プロトコルは、IBM サポート Web サイトからダウンロードすることができます。 |
| Splunk | いいえ | Microsoft Cloud Services 用の Splunk アドオンは、Splunkbase で使用できるオープンソース プロジェクトです。 アドオンを Splunk インスタンスにインストールできず、プロキシを使用しているか、または Splunk Cloud で実行している場合、Azure Function for Splunkを使用して、これらのイベントを Splunk HTTP Event Collector に転送できます。 このツールは、イベント ハブの新しいメッセージによってトリガーされます。 |
| sumologic | いいえ | 「イベント ハブから Azure 監査アプリのログを収集する」で、イベント ハブのデータを使用するように SumoLogic を設定する手順が説明されています。 |
| ArcSight | いいえ | ArcSight スマート コネクタ コレクションの一部として、ArcSight Azure イベント ハブ スマート コネクタが提供されています。 |
| Syslog サーバー | いいえ | Azure Monitor データを Syslog サーバーに直接ストリーム配信したい場合は、Azure 関数に基づくソリューションを使用できます。 |
| LogRhythm | いいえ | LogRhythm を設定してイベント ハブからログを収集する手順については、LogRhythm の Web サイトを参照してください。 |
| Logz.io | はい | 詳細については、Azure で実行される Java アプリ用の Logz.io を使用した監視とログ記録の概要に関するページを参照してください。 |