チュートリアル: Azure Event Hubs から Azure Monitor ログにイベントを取り込む (パブリックプレビュー)

[アーティクル]
12/28/2023

Azure Event Hubs は、Azure および外部サービスによって取り込まれる複数のソースからイベントを収集するビッグデータストリーミングプラットフォームです。この記事では、イベントハブから Log Analytics ワークスペースにデータを直接取り込む方法について説明します。

このチュートリアルでは、以下の内容を学習します。

Log Analytics ワークスペースにイベントハブデータの送信先テーブルを作成する
データ収集エンドポイントを作成する
データ収集ルールを作成する
イベントハブにデータ収集ルールのアクセス許可を付与する
データ収集ルールをイベントハブに関連付ける

必須コンポーネント

Azure Event Hubs から Azure Monitor ログにイベントを送信するには、次のリソースがすべて同じリージョンに必要です。

共同作成者の権限以上がある Log Analytics ワークスペース。
Log Analytics ワークスペースを専用クラスターにリンクするか、コミットメントレベルを持っている必要があります。
パブリックネットワークアクセスを許可する Event Hubs 名前空間。 Private Link とネットワークセキュリティ境界 (NSP) は現在サポートされていません。
イベントを含むイベントハブ。イベントハブにイベントを送信するには、「Azure Event Hubs でのイベントの送受信のチュートリアル」の手順に従うか、Azure リソースの診断設定を構成します。

サポートされているリージョン

Azure Monitor では現在、次のリージョンの Event Hubs からのインジェストがサポートされています。

アメリカ	ヨーロッパ	中東	アフリカ	アジア太平洋
ブラジル南部	フランス中部	アラブ首長国連邦北部	南アフリカ北部	オーストラリア中部
ブラジル南東部	北ヨーロッパ			オーストラリア東部
カナダ中部	ノルウェー東部			オーストラリア南東部
カナダ東部	スイス北部			インド中部
米国東部	スイス西部			東アジア
米国東部 2	英国南部			東日本
米国中南部	英国西部			JIO インド西部
米国西部	西ヨーロッパ			韓国中部
米国西部 3				東南アジア

必要な情報を収集する

以降の手順では、サブスクリプション ID、リソースグループ名、ワークスペース名、ワークスペースリソース ID、イベントハブインスタンスリソース ID が必要です。

Log Analytics ワークスペース メニューでワークスペースに移動して プロパティ を選択し、サブスクリプション ID、リソースグループ、ワークスペース名をコピーします。このチュートリアルでリソースを作成するには、これらの詳細が必要です。
[JSON] を選択して [リソース JSON] 画面を開き、ワークスペースの [リソース ID] をコピーします。データ収集ルールを作成するには、ワークスペースリソース ID が必要です。
イベントハブインスタンスに移動し、[JSON] を選択して [リソース JSON] 画面を開き、イベントハブインスタンスの [リソース ID] をコピーします。データ収集ルールをイベントハブに関連付けるには、イベントハブインスタンスのリソース ID が必要です。

Log Analytics ワークスペースに送信先テーブルを作成する

データを取り込めるようになる前に、送信先テーブルを設定する必要があります。カスタムテーブルとサポートされている Azure テーブルにデータを取り込むことができます。

イベントを取り込むカスタムテーブルを作成するには、Azure portal で次の操作を実行します。

[Cloud Shell] ボタンを選択して、環境が [PowerShell] に設定されていることを確認します。

以下の PowerShell コマンドを実行してテーブルを作成します。その際、JSON にはテーブル名 (<table_name>) を設定し (カスタムテーブルの場合はサフィックス _CL を付けます)、Invoke-AzRestMethod -Path コマンドには <subscription_id>、<resource_group_name>、<workspace_name>、<table_name> の値を設定します。

$tableParams = @'
{
    "properties": {
        "schema": {
            "name": "<table_name>",
            "columns": [
                {
                    "name": "TimeGenerated",
                    "type": "datetime",
                    "description": "The time at which the data was ingested."
                },
                {
                    "name": "RawData",
                    "type": "string",
                    "description": "Body of the event."
                },
                {
                    "name": "Properties",
                    "type": "dynamic",
                    "description": "Additional message properties."
                }
            ]
        }
    }
}
'@

Invoke-AzRestMethod -Path "/subscriptions/<subscription_id>/resourcegroups/<resource_group_name>/providers/microsoft.operationalinsights/workspaces/<workspace_name>/tables/<table_name>?api-version=2021-12-01-preview" -Method PUT -payload $tableParams

重要

列名は、先頭を文字にする必要があり、最大 45 文字の英数字とアンダースコア (_) で構成できます。
_ResourceId、id、_ResourceId、_SubscriptionId、TenantId、Type、UniqueId、Title は予約されている列名です。
列名では大文字と小文字が区別されます。データ収集ルールでは、必ず正しい大文字と小文字を使用してください。

データ収集エンドポイントを作成する

データ収集ルールを使用してデータを収集するには、データ収集エンドポイントが必要です。

データ収集エンドポイントを作成します。

重要

Log Analytics ワークスペースと同じリージョンにデータ収集エンドポイントを作成します。
データ収集エンドポイントの [概要] 画面で、[JSON ビュー] を選択します。
データ収集ルールの [リソース ID] をコピーします。この情報は、次の手順で必要になります。

データ収集ルールを作成する

Azure Monitor ではデータ収集ルールを使用して、収集するデータ、データの変換方法、データの送信先を定義します。

Azure portal でデータ収集ルールを作成するには、次の操作を実行します。

ポータルの検索ボックスに、「テンプレート」と入力して、[カスタムテンプレートのデプロイ] を選択します。
[Build your own template in the editor] (エディターで独自のテンプレートをビルド) を選択します。

下の Resource Manager テンプレートをエディターに貼り付けて、[保存] を選択します。

データ収集ルールで、次の詳細に注目します。

identity - 使用するマネージド ID の種類を定義します。この例では、システム割り当て ID を使用します。ユーザー割り当てマネージド ID を構成することもできます。
dataCollectionEndpointId - データ収集エンドポイントのリソース ID。
streamDeclarations - イベントハブから取り込むデータ (受信データ) を定義します。ストリーム宣言は変更できません。
- TimeGenerated - データがイベントハブから Azure Monitor ログに取り込まれた時刻。
- RawData - イベントの本文。詳細については、「イベントを読み取る」をご覧ください。
- Properties - イベントのユーザープロパティ。詳細については、「イベントを読み取る」をご覧ください。
datasources - イベントハブコンシューマーグループと、データを取り込むストリームを指定します。
destinations - データが送信されるすべての送信先を指定します。 1 つ以上の Log Analytics ワークスペースにデータを取り込むことができます。
dataFlows - ストリームを送信先ワークスペースと照合し、変換クエリと送信先テーブルを指定します。この例では、前に作成したカスタムテーブルにデータを取り込みます。サポートされている Azure テーブルに取り込むこともできます。
transformKql - 受信データをワークスペースに送信する前に適用する変換 (ストリーム宣言) を指定します。この例では、受信データを対応するスキーマで作成したカスタムテーブルにマッピングするため、transformKql を source に設定します。これにより、ソースからのデータが変更されることはありません。別のスキーマを持つテーブルにデータを取り込む場合、または取り込み前にデータをフィルター処理する場合は、データ収集変換を定義します。

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "dataCollectionRuleName": {
            "type": "string",
            "metadata": {
                "description": "Specifies the name of the data collection Rule to create."
            }
        },
        "workspaceResourceId": {
            "type": "string",
            "metadata": {
                "description": "Specifies the Azure resource ID of the Log Analytics workspace to use."
            }
        },
        "endpointResourceId": {
            "type": "string",
            "metadata": {
                "description": "Specifies the Azure resource ID of the data collection endpoint to use."
            }
        },
        "tableName": {
            "type": "string",
            "metadata": {
                "description": "Specifies the name of the table in the workspace."
            }
        },
        "consumerGroup": {
            "type": "string",
            "metadata": {
                "description": "Specifies the consumer group of event hub."
            },
            "defaultValue": "$Default"
        }
    },
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "[parameters('dataCollectionRuleName')]",
            "location": "[resourceGroup().location]", 
            "apiVersion": "2022-06-01",
            "identity": {
                             "type": "systemAssigned"
              },
            "properties": {
                "dataCollectionEndpointId": "[parameters('endpointResourceId')]",
                "streamDeclarations": {
                    "Custom-MyEventHubStream": {
                        "columns": [
                {
                    "name": "TimeGenerated",
                    "type": "datetime"
                },
                {
                    "name": "RawData",
                    "type": "string"
                },
                {
                    "name": "Properties",
                    "type": "dynamic"
                }
            ]
                    }
                },
                "dataSources": {
                    "dataImports": {
                         "eventHub": {
                                    "consumerGroup": "[parameters('consumerGroup')]",
                                    "stream": "Custom-MyEventHubStream",
                                    "name": "myEventHubDataSource1"
                                                          }
                                           }
               },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "[parameters('workspaceResourceId')]",
                            "name": "MyDestination"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-MyEventHubStream"
                        ],
                        "destinations": [
                            "MyDestination"
                        ],
                        "transformKql": "source",
                        "outputStream": "[concat('Custom-', parameters('tableName'))]"
                    }
                ]
            }
        }
    ]
}

[カスタムデプロイ] 画面で、データ収集ルールを保存する [サブスクリプション] と [リソースグループ] を指定し、テンプレートに定義されているパラメーターの値を指定します。
- [リージョン] - データ収集ルールのリージョン。選択したリソースグループに基づいて自動的に設定されます。
- [データ収集ルール名] - ルールに名前を付けます。
- [ワークスペースリソース ID] - 「必要な情報を収集する」をご覧ください。
- [エンドポイントリソース ID] - データ収集エンドポイントの作成時に生成されます。
- [テーブル名] - 宛先テーブルの名前を指定します。この例で、およびカスタムテーブルを使用するときは常に、テーブル名の末尾にサフィックス _CL を付ける必要があります。 Azure テーブルにデータを取り込む場合は、サフィックスを付けずにテーブル名 (Syslog など) を入力します。
- コンシューマーグループ - 既定では、コンシューマーグループは $Default に設定されます。必要に応じて、値を別のイベントハブコンシューマーグループに変更します。
[確認と作成] を選択し、詳細を確認したら [作成] をクリックします。
デプロイが完了したら、[デプロイの詳細] ボックスを展開し、データ収集ルールを選択して詳細を表示します。 [JSON ビュー] を選択します。
データ収集ルールの [リソース ID] をコピーします。この情報は、次の手順で必要になります。

ユーザー割り当てマネージド ID を構成する (省略可能)

ユーザー割り当て ID をサポートするようにデータ収集ルールを構成するには、上記の例で、以下を置き換えます。

    "identity": {
                        "type": "systemAssigned"
        },

次の内容に置き換えます。

    "identity": {
            "type": "userAssigned",
            "userAssignedIdentities": {
                "<identity_resource_Id>": {
                }
            }
        },

<identity_resource_Id> 値を見つけるには、Azure portal でユーザー割り当てマネージド ID リソースに移動し、[JSON] を選択して [リソース JSON] 画面を開き、マネージド ID のリソース ID をコピーします。

Azure テーブルにログデータを取り込む (省略可能)

サポートされている Azure テーブルにデータを取り込むには、次の操作を実行します。

データ収集ルールで outputStream を変更します。

変更前: "outputStream": "[concat('Custom-', parameters('tableName'))]"

宛先: "outputStream": "outputStream": "[concat(Microsoft-', parameters('tableName'))]"
transformKql で、取り込まれたデータを送信先の Azure テーブルのターゲット列に送信する変換を定義します。

イベントハブにデータ収集ルールへのアクセス許可を付与する

マネージド ID を使用すると、作成したデータ収集ルールとデータ収集エンドポイントにイベントを送信するアクセス許可を、任意のイベントハブまたは Event Hubs 名前空間に付与できます。 Event Hubs 名前空間にアクセス許可を付与すると、名前空間内のすべてのイベントハブがアクセス許可を継承します。

Azure portal のイベントハブまたは Event Hubs 名前空間から、[アクセス制御 (IAM)]>[ロールの割り当ての追加] を選択します。
[Azure Event Hubs データ受信者] を選択し、[次へ] を選択します。
アクセスの割り当て先 で マネージド ID を選択し、メンバーを選択する をクリックします。 データ収集ルール を選択し、データ収集ルールを名前で検索し、選択をクリックします。
[確認と割り当て] を選択して、ロールの割り当てを保存する前に詳細を確認します。

データ収集ルールをイベントハブに関連付ける

最後の手順では、イベントを収集するイベントハブにデータ収集ルールを関連付けます。

同じコンシューマーグループを共有し、同じストリームにデータを取り込む複数のイベントハブに 1 つのデータ収集ルールを関連付けることができます。または、一意のデータ収集ルールを各イベントハブに関連付けることもできます。

重要

イベントハブからデータを取り込むには、少なくとも 1 つのデータ収集ルールをイベントハブに関連付ける必要があります。イベントハブに関連するすべてのデータ収集ルールの関連付けを削除すると、イベントハブからのデータの取り込みは停止されます。

Azure portal でデータ収集ルールの関連付けを作成するには、次の操作を実行します。

Azure portal の検索ボックスに、テンプレート と入力して、[カスタムテンプレートのデプロイ] を選択します。
[Build your own template in the editor] (エディターで独自のテンプレートをビルド) を選択します。

下の Resource Manager テンプレートをエディターに貼り付けて、[保存] を選択します。

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "eventHubResourceID": {
      "type": "string",
      "metadata": {
        "description": "Specifies the Azure resource ID of the event hub to use."
      }
    },
    "associationName": {
      "type": "string",
      "metadata": {
        "description": "The name of the association."
      }
    },
    "dataCollectionRuleID": {
      "type": "string",
      "metadata": {
        "description": "The resource ID of the data collection rule."
      }
    }
  },
  "resources": [
    {
      "type": "Microsoft.Insights/dataCollectionRuleAssociations",
      "apiVersion": "2021-09-01-preview",
      "scope": "[parameters('eventHubResourceId')]",
      "name": "[parameters('associationName')]",
      "properties": {
        "description": "Association of data collection rule. Deleting this association will break the data collection for this event hub.",
        "dataCollectionRuleId": "[parameters('dataCollectionRuleId')]"
      }
    }
  ]
}

[カスタムデプロイ] 画面で、データ収集ルールの関連付けを保存する [サブスクリプション] と [リソースグループ] を指定し、テンプレートに定義されているパラメーターの値を指定します。
- [リージョン] - 選択したリソースグループに基づいて自動的に設定されます。
- [イベントハブインスタンスのリソース ID] - 「必要な情報を収集する」をご覧ください。
- [関連付けの名前] - 関連付けに名前を付けます。
- [データ収集ルール ID] - データ収集ルールを作成するときに生成されます。
[確認と作成] を選択し、詳細を確認したら [作成] をクリックします。

取り込まれたイベントの送信先テーブルを確認する

データ収集ルールをイベントハブに関連付けたので、Azure Monitor ログは、保持期間が期限切れになっていない既存のすべてのイベントとすべての新しいイベントを取り込みます。

取り込まれたイベントの送信先テーブルを確認するには、次の操作を実行します。

ワークスペースに移動し、[ログ] を選択します。
クエリエディターで単純なクエリを作成し、[実行] を選択します。
```
<table_name>
```
イベントハブからのイベントが表示されます。

リソースをクリーンアップする

このチュートリアルでは、次のリソースを作成しました。

カスタムテーブル
データ収集エンドポイント
データ収集ルール
データ収集ルールの関連付け

これらのリソースがまだ必要かどうかを評価します。必要のないリソースを個別に削除するか、リソースグループを削除してこれらのリソースをすべて一度に削除します。リソースを実行したままにすると、コストが発生する可能性があります。

イベントハブからのデータの取り込みを停止するには、イベントハブに関連するすべてのデータ収集ルールの関連付けを削除するか、データ収集ルール自体を削除します。また、これらのアクションにより、イベントハブのチェックポイント処理もリセットされます。

既知の問題と制限事項

Microsoft Entra ディレクトリ間でサブスクリプションを譲渡する場合は、「Azure リソースのマネージド ID に関する既知の問題」で説明されている手順に従って、データの取り込みを続行する必要があります。
Event Hubs から Azure Monitor ログに最大 64 KB のメッセージを取り込むことができます。

次のステップ

以下に関する詳細情報をご覧ください。

チュートリアル: Azure Event Hubs から Azure Monitor ログにイベントを取り込む (パブリック プレビュー)