Создание подключения к данным Центр Интернета вещей для Azure Data Explorer

В этой статье показано, как принимать данные в Azure Data Explorer из Центра Интернета вещей, платформы потоковой передачи больших данных и службы приема данных Интернета вещей.

Общие сведения о передаче данных в Azure Data Explorer из Центра Интернета вещей см. в разделе Подключение к Центру Интернета вещей.

Примечание

Принимаются только события, поставленные в очередь после создания подключения к данным.

Предварительные требования

• Подписка Azure. Создайте бесплатную учетную запись Azure.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
• Целевая таблица. Создайте таблицу или используйте существующую таблицу.
• Сопоставление приема для таблицы.
• Центр Интернета вещей с данными для приема.

Создание подключения к данным Центр Интернета вещей

В этом разделе описано, как установить подключение между Центр Интернета вещей и таблицей azure Data Explorer. Пока это подключение установлено, данные передаются из Центр Интернета вещей в целевую таблицу.

Портал

1. В меню слева кластера Azure Data Explorer выберите Базы данных, а затем выберите базу данных, содержащую целевую таблицу.

   

2. Выберите Подключение к базе данных и Добавить подключение к данным. В раскрывающемся списке выберите Центр Интернета вещей.

   

3. Заполните форму, указав следующую информацию.

   Параметр	Описание поля
   Имя подключения к данным	Имя подключения, которое вы хотите создать в Azure Data Explorer
   Подписка	Идентификатор подписки, в которой размещается ресурс Центров событий.
   Центр Интернета вещей	Имя Центра Интернета вещей
   Политика общего доступа	Название политики общего доступа. Должны быть разрешения на чтение
   Группа потребителей	Группа потребителей, определенная во встроенной конечной точке Центра Интернета вещей
   Свойства системы событий	Свойства системы событий Центра Интернета вещей. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.

   

   Примечание

   • Свойства системы событий поддерживаются для событий с одной записью.
   • Для сопоставления CSV свойства добавляются в начале записи. Для сопоставления JSON свойства добавляются в соответствии с именем, которое отображается в раскрывающемся списке.

4. В зависимости от варианта использования может потребоваться включить маршрутизацию с несколькими базами данных. Дополнительные сведения о маршрутизации в базы данных см. в разделе Маршрутизация событий.

   

5. Заполните следующие параметры маршрутизации:

   Параметр	Рекомендуемое значение	Описание поля
   Имя таблицы	TestTable	Таблица, которую вы создали в testdb.
   Формат данных	JSON	Поддерживаемые форматы: AVRO, CSV, JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHE AVRO и W3CLOG.
   Сопоставление	TestMapping	Сопоставление, которое вы создали в testdb, которое сопоставляет входящие данные с именами столбцов и типами данных testdb. Если значение не указано, используется сопоставление данных удостоверений, полученное из схемы таблицы.

   

   Примечание

   • По умолчанию данные JSON анализируются как multijson. Выберите Игнорировать ошибки формата , чтобы принимать данные в строгом формате JSON.
   • Если вы выбрали Свойства системы событий, необходимо включить системные свойства в схему таблицы и сопоставление.

6. Нажмите кнопку создания.

Предупреждение

В случае отработки отказа вручную повторно создайте подключение к данным.

C#

1. Установите пакет NuGet Microsoft.Azure.Management.Kusto.

2. Создайте Azure AD субъект приложения, который будет использоваться для проверки подлинности. Вам потребуется идентификатор каталога (клиента), идентификатор приложения и секрет клиента.

3. Выполните следующий код.

   var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
   var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
   var clientSecret = "PlaceholderClientSecret"; //Client Secret
   var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
   var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
       .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
       .WithClientSecret(clientSecret)
       .Build();
   var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
   var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
   var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
   var resourceGroupName = "testrg";
   //The cluster and database that are created as part of the Prerequisites
   var clusterName = "mykustocluster";
   var databaseName = "mykustodatabase";
   var iotHubConnectionName = "myiothubconnect";
   //The IoT hub that is created as part of the Prerequisites
   var iotHubResourceId = "/subscriptions/<iotHubSubscriptionId>/resourceGroups/<iotHubResourceGroupName>/providers/Microsoft.Devices/IotHubs/<iotHubName>";
   var sharedAccessPolicyName = "iothubforread";
   var consumerGroup = "$Default";
   var location = "Central US";
   //The table and column mapping are created as part of the Prerequisites
   var tableName = "StormEvents";
   var mappingRuleName = "StormEvents_CSV_Mapping";
   var dataFormat = DataFormat.CSV;
   var databaseRouting = "Multi";
   var iotHubConnectionData = new IotHubDataConnection(
       iotHubResourceId, consumerGroup, sharedAccessPolicyName,
       tableName: tableName, location: location, mappingRuleName: mappingRuleName,
       dataFormat: dataFormat, databaseRouting: databaseRouting
   );
   await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, iotHubConnectionName, iotHubConnectionData);
   

   Параметр	Рекомендуемое значение	Описание поля
   tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента. Также известен как идентификатор каталога.
   subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор подписки, используемой для создания ресурсов.
   clientid	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента приложения, которое имеет доступ к ресурсам в клиенте.
   clientSecret	PlaceholderClientSecret	Секрет клиента приложения, которое имеет доступ к ресурсам в клиенте.
   имя_группы_ресурсов	testrg	Имя группы ресурсов, содержащей ваш кластер.
   clusterName	mykustocluster	Имя вашего кластера.
   databaseName	mykustodatabase	Имя целевой базы данных в вашем кластере.
   iotHubConnectionName	myiothubconnect	Необходимое имя вашего подключения для передачи данных.
   tableName	StormEvents	Имя целевой таблицы в целевой базе данных.
   mappingRuleName	StormEvents_CSV_Mapping	Имя сопоставления столбцов, связанного с целевой таблицей.
   dataFormat	csv	Формат данных сообщения.
   iotHubResourceId	Идентификатор ресурса	Идентификатор ресурса вашего центра Интернета вещей, в котором хранятся данные для приема.
   sharedAccessPolicyName	iothubforread	Имя политики общего доступа, определяющей разрешения для устройств и служб на подключение к Центру Интернета вещей.
   consumerGroup	$Default	Группа потребителей вашего концентратора событий.
   location	Центральная часть США	Расположение ресурса подключения к данным.
   databaseRouting	Multi или Single	Маршрутизация базы данных для подключения. Если задать значение Single, подключение к данным направляется в отдельную базу данных в кластере, как указано в параметре databaseName . Если задать значение Multi, можно переопределить целевую базу данных по умолчанию с помощьюсвойства приемаDatabase. Дополнительные сведения см. в разделе Маршрутизация событий.

Python

1. Импортируйте необходимые библиотеки.

   pip install azure-common
   pip install azure-mgmt-kusto
   

2. Создайте Azure AD субъект приложения, который будет использоваться для проверки подлинности. Вам потребуется идентификатор каталога (клиента), идентификатор приложения и секрет клиента.

3. Выполните следующий код.

   from azure.mgmt.kusto import KustoManagementClient
   from azure.mgmt.kusto.models import IotHubDataConnection
   from azure.common.credentials import ServicePrincipalCredentials
   
   #Directory (tenant) ID
   tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Application ID
   client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Client Secret
   client_secret = "xxxxxxxxxxxxxx"
   subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   credentials = ServicePrincipalCredentials(
           client_id=client_id,
           secret=client_secret,
           tenant=tenant_id
       )
   kusto_management_client = KustoManagementClient(credentials, subscription_id)
   
   resource_group_name = "testrg"
   #The cluster and database that are created as part of the Prerequisites
   cluster_name = "mykustocluster"
   database_name = "mykustodatabase"
   data_connection_name = "myeventhubconnect"
   #The IoT hub that is created as part of the Prerequisites
   iot_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.Devices/IotHubs/xxxxxx";
   shared_access_policy_name = "iothubforread"
   consumer_group = "$Default"
   location = "Central US"
   #The table and column mapping that are created as part of the Prerequisites
   table_name = "StormEvents"
   mapping_rule_name = "StormEvents_CSV_Mapping"
   data_format = "csv"
   database_routing = "Multi"
   
   #Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
   poller = kusto_management_client.data_connections.create_or_update(resource_group_name=resource_group_name, cluster_name=cluster_name, database_name=database_name, data_connection_name=data_connection_name,
                                               parameters=IotHubDataConnection(iot_hub_resource_id=iot_hub_resource_id, shared_access_policy_name=shared_access_policy_name,
                                                                                   consumer_group=consumer_group, table_name=table_name, location=location, mapping_rule_name=mapping_rule_name, data_format=data_format, database_routing=database_routing))
   

   Параметр	Рекомендуемое значение	Описание поля
   tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента. Также известен как идентификатор каталога.
   subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор подписки, используемой для создания ресурсов.
   client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента приложения, которое имеет доступ к ресурсам в клиенте.
   client_secret	xxxxxxxxxxxxxx	Секрет клиента приложения, которое имеет доступ к ресурсам в клиенте.
   resource_group_name	testrg	Имя группы ресурсов, содержащей ваш кластер.
   cluster_name	mykustocluster	Имя вашего кластера.
   database_name	mykustodatabase	Имя целевой базы данных в вашем кластере.
   data_connection_name	myeventhubconnect	Необходимое имя вашего подключения для передачи данных.
   имя_таблицы	StormEvents	Имя целевой таблицы в целевой базе данных.
   mapping_rule_name	StormEvents_CSV_Mapping	Имя сопоставления столбцов, связанного с целевой таблицей.
   data_format	csv	Формат данных сообщения.
   iot_hub_resource_id	Идентификатор ресурса	Идентификатор ресурса вашего центра Интернета вещей, в котором хранятся данные для приема.
   shared_access_policy_name	iothubforread	Имя политики общего доступа, определяющей разрешения для устройств и служб на подключение к Центру Интернета вещей.
   consumer_group	$Default	Группа потребителей вашего концентратора событий.
   location	Центральная часть США	Расположение ресурса подключения к данным.
   database_routing	Multi или Single	Маршрутизация базы данных для подключения. Если задать значение Single, подключение к данным направляется в отдельную базу данных в кластере, как указано в параметре databaseName . Если задать значение Multi, можно переопределить целевую базу данных по умолчанию с помощьюсвойства приемаDatabase. Дополнительные сведения см. в разделе Маршрутизация событий.

Шаблон ARM

В следующем примере показан шаблон Azure Resource Manager для добавления подключения к данным Центра Интернета вещей. Вы можете изменить и развернуть шаблон на портале Azure с помощью формы.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "IotHubs_iothubdemo_name": {
            "type": "string",
            "defaultValue": "iothubdemo",
            "metadata": {
                "description": "Specifies the IoT Hub name."
            }
        },
        "iothubpolices_iothubowner_name": {
            "type": "string",
            "defaultValue": "iothubowner",
            "metadata": {
                "description": "Specifies the shared access policy name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the IoT Hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
           "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the IoT Hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the IoT Hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2019-09-07",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "IotHub",
            "properties": {
                "iotHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Devices/IotHubs', parameters('IotHubs_iothubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "sharedAccessPolicyName": "[parameters('iothubpolices_iothubowner_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                 "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Удаление подключения к данным Центр Интернета вещей

Портал

Чтобы удалить подключение Центр Интернета вещей из портал Azure, выполните указанные ниже действия.

1. Перейдите в кластер. В меню слева выберите Базы данных. Затем выберите базу данных, содержащую целевую таблицу.
2. В меню слева выберите Подключения к данным. Затем установите флажок рядом с соответствующим Центр Интернета вещей подключением к данным.
3. В верхней строке меню выберите Удалить.

C#

Чтобы удалить подключение Центр Интернета вещей, выполните следующую команду:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Python

Чтобы удалить подключение Центр Интернета вещей, выполните следующую команду:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)

Дальнейшие действия

• Запрос данных в Azure Data Explorer