Создание подключения к данным Центров событий для Azure Data Explorer

Статья
05/03/2023

Azure Data Explorer предлагает прием из Центров событий, платформы потоковой передачи больших данных и службы приема событий. Центры событий могут обрабатывать миллионы событий в секунду практически в реальном времени.

В этой статье описано, как подключиться к концентратору событий и принять данные в Azure Data Explorer. Общие сведения о приеме данных из Центров событий см. в разделе Центры событий Azure подключении к данным.

Предварительные требования

Подписка Azure. Создайте бесплатную учетную запись Azure.
Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
Целевая таблица. Создайте таблицу или используйте существующую таблицу.
Сопоставление приема для таблицы.
Концентратор событий с данными для приема.

Создание подключения к данным концентратора событий

В этом разделе описано, как установить подключение между концентратором событий и таблицей azure Data Explorer. Пока это подключение установлено, данные передаются из концентратора событий в целевую таблицу. Если концентратор событий перемещен в другой ресурс или подписку, необходимо обновить или повторно создать подключение.

В портал Azure перейдите к кластеру и выберите Базы данных. Затем выберите базу данных, содержащую целевую таблицу.
В меню слева выберите Пункт Прием данных. Затем на верхней панели выберите Добавить подключение к данным.

Заполните форму, указав следующую информацию, а затем нажмите кнопку Создать.

Параметр	Рекомендуемое значение	Описание поля
Имя подключения к данным	test-hub-connection	Имя создаваемого подключения к обозревателю данных Azure.
Подписка		Идентификатор подписки, в которой размещается ресурс концентратора событий.
Пространство имен концентратора событий	Уникальное имя пространства имен	Имя, выбранное ранее и определяющее пространство имен.
концентратор событий;	test-hub	Созданный концентратор событий.
Группа потребителей	test-group	Группа получателей событий, определенная в созданном концентраторе событий.
Свойства системы событий	Выбор необходимых свойств	Системные свойства концентратора событий. Если в сообщении о событии имеется несколько записей, к первой записи добавляются системные свойства. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.
Сжатие	Нет	Тип сжатия полезных данных сообщений концентратора событий. Поддерживаемые типы сжатия: нет, GZip.
Управляемое удостоверение (рекомендуется)	Назначаемое системой	Управляемое удостоверение, используемое кластером Azure Data Explorer для доступа к чтению из концентратора событий. Для управления доступом к концентратору событий рекомендуется использовать управляемые удостоверения. Примечание. При создании нового подключения к данным: * назначаемые системой удостоверения создаются автоматически, если еще не существуют; * управляемому удостоверению автоматически назначается роль приемника данных Центров событий Azure, которая добавляется в кластер Azure Data Explorer. Рекомендуется проверить, назначена ли роль и добавлено ли удостоверение в кластер.

Примечание

При наличии подключения к данным, которое не использует управляемые удостоверения, рекомендуется обновить его для использования управляемых удостоверений.

Ниже приведены инструкции по созданию подключения концентратора событий с помощью мастера приема данных в пользовательском веб-интерфейсе Azure Data Explorer.

Примечание

Чтобы использовать мастер, необходимо иметь по крайней мере разрешения пользователя базы данных .
Сведения о том, как включить доступ между кластером и учетной записью хранения без общего доступа, см. в статье Создание управляемой частной конечной точки.
Кластер и концентратор событий должны быть связаны с теми же клиентами. В противном случае используйте один из вариантов пакета SDK, например C# или Python.

На вкладке Данныев пользовательском веб-интерфейсе Azure Data Explorer выберите Прием данных из карта концентратора событий.
Откроется окно Прием данных с выбранной вкладкой Назначение . Поля Кластер и База данных заполняются автоматически. Вы можете выбрать другой кластер или базу данных из раскрывающихся меню.
В разделе Таблица выберите Создать таблицу и введите имя новой таблицы. В качестве альтернативы используйте существующую таблицу.
Выберите Далее: Источник.
В разделе Тип источника выберите Центр событий.

В разделе Подключение к данным заполните следующие поля и выберите Далее: схема.

Параметр	Рекомендуемое значение	Описание поля
Подписка		Идентификатор подписки, в которой размещается ресурс концентратора событий.
Пространство имен концентратора событий		Имя, которое идентифицирует ваше пространство имен.
концентратор событий;		Концентратор событий, который вы хотите использовать.
Имя подключения к данным	TestDataConnection	Имя, которое идентифицирует ваше подключение для передачи данных.
Группа потребителей		Группа потребителей, определенная в вашем концентраторе событий.
Сжатие		Тип сжатия полезных данных сообщений концентратора событий.
Свойства системы событий	Выбор необходимых свойств	Системные свойства концентратора событий. При наличии нескольких записей в сообщении о событии к первой добавляются системные свойства. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.
Дата начала получения события	Время в формате UTC	Подключение к данным извлекает существующие события Центров событий, созданные после даты начала получения событий. Можно получить только события, сохраненные в течение срока хранения Центров событий. Если дата начала получения события не указана , по умолчанию используется время создания подключения к данным.

Задайте политику приема. Если для кластера включена потоковая передача , можно выбрать Потоковая передача приема. Если потоковая передача не включена для кластера, задайте время пакетной обработки. Для Центров событий рекомендуемое время пакетной обработки составляет 30 секунд.
Выберите формат данных. Для данных в формате CSV игнорируйте первую запись , чтобы игнорировать строку заголовка файла. Для данных в формате JSON выберите Игнорировать ошибки формата данных , чтобы принимать данные в формате JSON, или оставить не выбранным, чтобы принимать данные в формате multijson. Выберите вложенные уровни , чтобы определить деление данных столбца таблицы.
Если данные, которые вы видите в окне предварительного просмотра, неполные, вам может потребоваться больше данных для создания таблицы со всеми необходимыми полями данных. Используйте следующие команды для получения новых данных из концентратора событий:
- Отменить и получить новые данные: отбрасывает представленные данные и выполняет поиск новых событий.
- Получить больше данных: Поиск дополнительных событий в дополнение к уже найденным.
Примечание

Чтобы увидеть предварительный просмотр ваших данных, концентратор событий должен отправлять события.
По завершении выберите Next: Сводка.
В окне Непрерывный прием из концентратора событий установленный все шаги помечаются зеленым проверка метками после успешного завершения установки.

Установите пакет NuGet Microsoft.Azure.Management.Kusto.
Создайте субъект приложения Azure AD для проверки подлинности. Вам потребуются идентификатор каталога (клиента), идентификатор приложения и секрет клиента.

Выполните следующий код.

var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
var clientSecret = "PlaceholderClientSecret"; //Client Secret
var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
    .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
    .WithClientSecret(clientSecret)
    .Build();
var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
var resourceGroupName = "testrg";
//The cluster and database that are created as part of the Prerequisites
var clusterName = "mykustocluster";
var databaseName = "mykustodatabase";
var eventHubConnectionName = "myeventhubconnect";
//The event hub that is created as part of the Prerequisites
var eventHubResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
var consumerGroup = "$Default";
var location = "Central US";
//The table and column mapping are created as part of the Prerequisites
var tableName = "StormEvents";
var mappingRuleName = "StormEvents_CSV_Mapping";
var dataFormat = EventHubDataFormat.CSV;
var compression = "None";
var databaseRouting = "Multi";
var eventHubConnectionData = new EventHubDataConnection(
    eventHubResourceId, consumerGroup,
    location: location, tableName: tableName, mappingRuleName: mappingRuleName,
    dataFormat: dataFormat, compression: compression, databaseRouting: databaseRouting
);
await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, eventHubConnectionName, eventHubConnectionData);

Параметр	Рекомендуемое значение	Описание поля
tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента. Также известен как идентификатор каталога.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор подписки, используемой для создания ресурсов.
clientid	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента приложения, которое имеет доступ к ресурсам в клиенте.
clientSecret	PlaceholderClientSecret	Секрет клиента приложения, которое имеет доступ к ресурсам в клиенте.
имя_группы_ресурсов	testrg	Имя группы ресурсов, содержащей ваш кластер.
clusterName	mykustocluster	Имя вашего кластера.
databaseName	mykustodatabase	Имя целевой базы данных в вашем кластере.
eventHubConnectionName	myeventhubconnect	Необходимое имя вашего подключения для передачи данных.
tableName	StormEvents	Имя целевой таблицы в целевой базе данных.
mappingRuleName	StormEvents_CSV_Mapping	Имя сопоставления столбцов, связанного с целевой таблицей.
dataFormat	csv	Формат данных сообщения.
eventHubResourceId	Идентификатор ресурса	Идентификатор ресурса вашего концентратора событий, в котором хранятся данные для приема.
consumerGroup	$Default	Группа потребителей вашего концентратора событий.
location	Центральная часть США	Расположение ресурса подключения к данным.
compression	Gzip или None	Тип сжатия данных.
databaseRouting	Multi или Single	Маршрутизация базы данных для подключения. Если задать значение Single, подключение к данным направляется в одну базу данных в кластере, как указано в параметре databaseName . Если задать значение Multi, можно переопределить целевую базу данных по умолчанию с помощьюсвойства приемаDatabase. Дополнительные сведения см. в разделе Маршрутизация событий.

Импортируйте необходимые библиотеки.
```
pip install azure-common
pip install azure-mgmt-kusto
```
Создайте субъект приложения Azure AD для проверки подлинности. Вам потребуются идентификатор каталога (клиента), идентификатор приложения и секрет клиента.

Выполните следующий код.

from azure.mgmt.kusto import KustoManagementClient
from azure.mgmt.kusto.models import EventHubDataConnection
from azure.identity import ClientSecretCredential

#Directory (tenant) ID
tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Application ID
client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Client Secret
client_secret = "xxxxxxxxxxxxxx"
subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
credentials = ServicePrincipalCredentials(
        client_id=client_id,
        secret=client_secret,
        tenant=tenant_id
    )
kusto_management_client = KustoManagementClient(credentials, subscription_id)

resource_group_name = "myresourcegroup"
#The cluster and database that are created as part of the Prerequisites
cluster_name = "mycluster"
database_name = "mydatabase"
data_connection_name = "myeventhubconnect"
#The event hub that is created as part of the Prerequisites
event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/myresourcegroup/providers/Microsoft.EventHub/namespaces/myeventhubnamespace/eventhubs/myeventhub"";
consumer_group = "$Default"
location = "Central US"
#The table and column mapping that are created as part of the Prerequisites
table_name = "mytable"
mapping_rule_name = "mytablemappingrule"
data_format = "csv"
database_routing = "Multi"
#Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
poller = kusto_management_client.data_connections.create_or_update(
            resource_group_name=resource_group_name,
            cluster_name=cluster_name,
            database_name=database_name,
            data_connection_name=data_connection_name,
            parameters=EventHubDataConnection(
                event_hub_resource_id=event_hub_resource_id,
                consumer_group=consumer_group,
                location=location,
                table_name=table_name,
                mapping_rule_name=mapping_rule_name,
                data_format=data_format,
                database_routing=database_routing
            )
        )
poller.wait()
print(poller.result())

Параметр	Рекомендуемое значение	Описание поля
tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента. Также известен как идентификатор каталога.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор подписки, используемой для создания ресурсов.
client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента приложения, которое имеет доступ к ресурсам в клиенте.
client_secret	xxxxxxxxxxxxxx	Секрет клиента приложения, которое имеет доступ к ресурсам в клиенте.
resource_group_name	myresourcegroup	Имя группы ресурсов, содержащей ваш кластер.
cluster_name	mycluster	Имя вашего кластера.
database_name	mydatabase	Имя целевой базы данных в вашем кластере.
data_connection_name	myeventhubconnect	Необходимое имя вашего подключения для передачи данных.
имя_таблицы	mytable	Имя целевой таблицы в целевой базе данных.
mapping_rule_name	mytablemappingrule	Имя сопоставления столбцов, связанного с целевой таблицей.
data_format	csv	Формат данных сообщения.
event_hub_resource_id	Идентификатор ресурса	Идентификатор ресурса вашего концентратора событий, в котором хранятся данные для приема.
consumer_group	$Default	Группа потребителей вашего концентратора событий.
location	Центральная часть США	Расположение ресурса подключения к данным.
databaseRouting	Multi или Single	Маршрутизация базы данных для подключения. Если задать значение Single, подключение к данным направляется в отдельную базу данных в кластере, как указано в параметре databaseName . Если задать значение Multi, можно переопределить целевую базу данных по умолчанию с помощьюсвойства приемаDatabase. Дополнительные сведения см. в разделе Маршрутизация событий.

В следующем примере показан шаблон Azure Resource Manager для добавления подключения к данным Центров событий. Вы можете изменить и развернуть шаблон на портале Azure с помощью формы.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Удаление подключения к данным концентратора событий

Чтобы удалить подключение концентратора событий из портал Azure, выполните указанные ниже действия.

Перейдите к кластеру. В меню слева выберите Базы данных. Затем выберите базу данных, содержащую целевую таблицу.
В меню слева выберите Подключения к данным. Затем установите флажок рядом с соответствующим подключением к данным концентратора событий.
В верхней строке меню выберите Удалить.

Чтобы удалить подключение к концентратору событий, выполните следующую команду:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Чтобы удалить подключение к концентратору событий, выполните следующую команду:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)

Дальнейшие действия

Запрос данных в Azure Data Explorer

Share via

Создание подключения к данным Центров событий для Azure Data Explorer

Предварительные требования

Создание подключения к данным концентратора событий

Удаление подключения к данным концентратора событий

Дальнейшие действия

Дополнительные ресурсы