Tworzenie połączenia danych IoT Hub dla usługi Azure Data Explorer

W tym artykule pokazano, jak pozyskiwać dane do usługi Azure Data Explorer z IoT Hub, platformy przesyłania strumieniowego danych big data i usługi pozyskiwania IoT.

Aby uzyskać ogólne informacje na temat pozyskiwania do usługi Azure Data Explorer z IoT Hub, zobacz Nawiązywanie połączenia z IoT Hub.

Uwaga

Pozyskane są tylko zdarzenia w kolejce po utworzeniu połączenia danych.

Wymagania wstępne

• Subskrypcja platformy Azure. Utwórz bezpłatne konto platformy Azure.
• Baza danych i klaster usługi Azure Data Explorer. Utwórz klaster i bazę danych.
• Tabela docelowa. Utwórz tabelę lub użyj istniejącej tabeli.
• Mapowanie pozyskiwania dla tabeli.
• IoT Hub z danymi do pozyskiwania.

Tworzenie połączenia danych IoT Hub

W tej sekcji ustanowisz połączenie między IoT Hub a tabelą azure Data Explorer. Tak długo, jak to połączenie jest na miejscu, dane są przesyłane z IoT Hub do tabeli docelowej.

Portal

1. W menu po lewej stronie klastra usługi Azure Data Explorer wybierz pozycję Bazy danych, a następnie wybierz bazę danych zawierającą tabelę docelową.

   

2. Wybierz pozycję Połączenia danych i Dodaj połączenie danych. Z listy rozwijanej wybierz pozycję IoT Hub.

   

3. Wypełnij formularz, używając poniższych informacji.

   Ustawienie	Opis pola
   Nazwa połączenia danych	Nazwa połączenia, które chcesz utworzyć na platformie Azure Data Explorer
   Subskrypcja	Identyfikator subskrypcji, w którym znajduje się zasób usługi Event Hubs.
   Usługa IoT Hub	nazwa IoT Hub
   Zasady dostępu współdzielonego	Nazwa zasad dostępu współdzielonego. Musi mieć uprawnienia do odczytu
   Grupa konsumentów	Grupa odbiorców zdefiniowana w wbudowanym punkcie końcowym IoT Hub
   Właściwości systemu zdarzeń	Właściwości systemu zdarzeń IoT Hub. Podczas dodawania właściwości systemu utwórz lub zaktualizuj schemat tabeli i mapowanie w celu uwzględnienia wybranych właściwości.

   

   Uwaga

   • Właściwości systemu zdarzeń są obsługiwane w przypadku zdarzeń z jednym rekordem.
   • W przypadku mapowania csv właściwości są dodawane na początku rekordu. W przypadku mapowania JSON właściwości są dodawane zgodnie z nazwą wyświetlaną na liście rozwijanej.

4. W zależności od przypadku użycia możesz włączyć routing z wieloma bazami danych. Aby uzyskać więcej informacji na temat routingu bazy danych, zobacz Routing zdarzeń.

   

5. Wypełnij następujące ustawienia routingu:

   Ustawienie	Sugerowana wartość	Opis pola
   Nazwa tabeli	TestTable	Tabela utworzona w bazie danych testdb.
   Format danych	JSON	Obsługiwane formaty to AVRO, CSV, JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHE AVRO i W3CLOG.
   Mapowanie	TestMapping	Mapowanie utworzone w bazie danych testdb, które mapuje dane przychodzące na nazwy kolumn i typy danych bazy danych testdb. Jeśli nie zostanie określone, zostanie użyte mapowanie danych tożsamości pochodzące ze schematu tabeli.

   

   Uwaga

   • Dane JSON są domyślnie analizowane jako wieloszonowe. Wybierz pozycję Ignoruj błędy formatu , aby pozyskać dane w ścisłym formacie JSON.
   • W przypadku wybrania właściwości systemu zdarzeń należy uwzględnić właściwości systemu w schemacie tabeli i mapowaniu.

6. Wybierz przycisk Utwórz.

Ostrzeżenie

W przypadku ręcznego przejścia w tryb failover utwórz ponownie połączenie danych.

C#

1. Zainstaluj pakiet NuGet Microsoft.Azure.Management.Kusto.

2. Utwórz jednostkę aplikacji Azure AD do użycia do uwierzytelniania. Potrzebny będzie identyfikator katalogu (dzierżawy), identyfikator aplikacji i klucz tajny klienta.

3. Uruchom następujący kod.

   var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
   var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
   var clientSecret = "PlaceholderClientSecret"; //Client Secret
   var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
   var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
       .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
       .WithClientSecret(clientSecret)
       .Build();
   var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
   var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
   var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
   var resourceGroupName = "testrg";
   //The cluster and database that are created as part of the Prerequisites
   var clusterName = "mykustocluster";
   var databaseName = "mykustodatabase";
   var iotHubConnectionName = "myiothubconnect";
   //The IoT hub that is created as part of the Prerequisites
   var iotHubResourceId = "/subscriptions/<iotHubSubscriptionId>/resourceGroups/<iotHubResourceGroupName>/providers/Microsoft.Devices/IotHubs/<iotHubName>";
   var sharedAccessPolicyName = "iothubforread";
   var consumerGroup = "$Default";
   var location = "Central US";
   //The table and column mapping are created as part of the Prerequisites
   var tableName = "StormEvents";
   var mappingRuleName = "StormEvents_CSV_Mapping";
   var dataFormat = DataFormat.CSV;
   var databaseRouting = "Multi";
   var iotHubConnectionData = new IotHubDataConnection(
       iotHubResourceId, consumerGroup, sharedAccessPolicyName,
       tableName: tableName, location: location, mappingRuleName: mappingRuleName,
       dataFormat: dataFormat, databaseRouting: databaseRouting
   );
   await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, iotHubConnectionName, iotHubConnectionData);
   

   Ustawienie	Sugerowana wartość	Opis pola
   tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Identyfikator dzierżawy. Znany również jako identyfikator katalogu.
   subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Identyfikator subskrypcji używany do tworzenia zasobów.
   clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Identyfikator klienta aplikacji, która może uzyskiwać dostęp do zasobów w dzierżawie.
   clientSecret	Symbol zastępczyClientSecret	Klucz tajny klienta aplikacji, który może uzyskiwać dostęp do zasobów w dzierżawie.
   resourceGroupName	testrg	Nazwa grupy zasobów zawierającej klaster.
   clusterName	mykustocluster	Nazwa klastra.
   databaseName	mykustodatabase	Nazwa docelowej bazy danych w klastrze.
   iotHubConnectionName	myiothubconnect	Żądana nazwa połączenia danych.
   tableName	StormEvents	Nazwa tabeli docelowej w docelowej bazie danych.
   mappingRuleName	StormEvents_CSV_Mapping	Nazwa mapowania kolumny powiązana z tabelą docelową.
   Dataformat	Csv	Format danych komunikatu.
   iotHubResourceId	Identyfikator zasobu	Identyfikator zasobu centrum IoT, który przechowuje dane pozyskiwania.
   sharedAccessPolicyName	iothubforread	Nazwa zasad dostępu współdzielonego definiujących uprawnienia dla urządzeń i usług w celu nawiązania połączenia z IoT Hub.
   consumerGroup	$Default	Grupa odbiorców centrum zdarzeń.
   location	Środkowe stany USA	Lokalizacja zasobu połączenia danych.
   databaseRouting	Wiele lub pojedynczy	Routing bazy danych dla połączenia. Jeśli ustawisz wartość Pojedyncza, połączenie danych zostanie przekierowane do pojedynczej bazy danych w klastrze, jak określono w ustawieniu databaseName . Jeśli ustawisz wartość Multi, możesz zastąpić domyślną docelową bazę danych przy użyciu właściwości Pozyskiwaniebazy danych. Aby uzyskać więcej informacji, zobacz Routing zdarzeń.

Python

1. Zainstaluj wymagane biblioteki.

   pip install azure-common
   pip install azure-mgmt-kusto
   

2. Utwórz jednostkę aplikacji Azure AD do użycia do uwierzytelniania. Potrzebny będzie identyfikator katalogu (dzierżawy), identyfikator aplikacji i klucz tajny klienta.

3. Uruchom następujący kod.

   from azure.mgmt.kusto import KustoManagementClient
   from azure.mgmt.kusto.models import IotHubDataConnection
   from azure.common.credentials import ServicePrincipalCredentials
   
   #Directory (tenant) ID
   tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Application ID
   client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Client Secret
   client_secret = "xxxxxxxxxxxxxx"
   subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   credentials = ServicePrincipalCredentials(
           client_id=client_id,
           secret=client_secret,
           tenant=tenant_id
       )
   kusto_management_client = KustoManagementClient(credentials, subscription_id)
   
   resource_group_name = "testrg"
   #The cluster and database that are created as part of the Prerequisites
   cluster_name = "mykustocluster"
   database_name = "mykustodatabase"
   data_connection_name = "myeventhubconnect"
   #The IoT hub that is created as part of the Prerequisites
   iot_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.Devices/IotHubs/xxxxxx";
   shared_access_policy_name = "iothubforread"
   consumer_group = "$Default"
   location = "Central US"
   #The table and column mapping that are created as part of the Prerequisites
   table_name = "StormEvents"
   mapping_rule_name = "StormEvents_CSV_Mapping"
   data_format = "csv"
   database_routing = "Multi"
   
   #Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
   poller = kusto_management_client.data_connections.create_or_update(resource_group_name=resource_group_name, cluster_name=cluster_name, database_name=database_name, data_connection_name=data_connection_name,
                                               parameters=IotHubDataConnection(iot_hub_resource_id=iot_hub_resource_id, shared_access_policy_name=shared_access_policy_name,
                                                                                   consumer_group=consumer_group, table_name=table_name, location=location, mapping_rule_name=mapping_rule_name, data_format=data_format, database_routing=database_routing))
   

   Ustawienie	Sugerowana wartość	Opis pola
   tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Identyfikator dzierżawy. Znany również jako identyfikator katalogu.
   subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Identyfikator subskrypcji używany do tworzenia zasobów.
   client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Identyfikator klienta aplikacji, która może uzyskiwać dostęp do zasobów w dzierżawie.
   client_secret	xxxxxxxxxxxxxx	Klucz tajny klienta aplikacji, który może uzyskiwać dostęp do zasobów w dzierżawie.
   resource_group_name	testrg	Nazwa grupy zasobów zawierającej klaster.
   cluster_name	mykustocluster	Nazwa klastra.
   Nazwa_bazy_danych	mykustodatabase	Nazwa docelowej bazy danych w klastrze.
   data_connection_name	myeventhubconnect	Żądana nazwa połączenia danych.
   Nazwa_tabeli	StormEvents	Nazwa tabeli docelowej w docelowej bazie danych.
   mapping_rule_name	StormEvents_CSV_Mapping	Nazwa mapowania kolumny powiązana z tabelą docelową.
   data_format	Csv	Format danych komunikatu.
   iot_hub_resource_id	Identyfikator zasobu	Identyfikator zasobu centrum IoT, który przechowuje dane pozyskiwania.
   shared_access_policy_name	iothubforread	Nazwa zasad dostępu współdzielonego definiujących uprawnienia dla urządzeń i usług w celu nawiązania połączenia z IoT Hub.
   consumer_group	$Default	Grupa odbiorców centrum zdarzeń.
   location	Środkowe stany USA	Lokalizacja zasobu połączenia danych.
   database_routing	Wiele lub pojedynczy	Routing bazy danych dla połączenia. Jeśli ustawisz wartość Pojedyncza, połączenie danych zostanie przekierowane do pojedynczej bazy danych w klastrze, jak określono w ustawieniu databaseName . Jeśli ustawisz wartość Multi, możesz zastąpić domyślną docelową bazę danych przy użyciu właściwości Pozyskiwaniebazy danych. Aby uzyskać więcej informacji, zobacz Routing zdarzeń.

Szablon usługi ARM

W poniższym przykładzie przedstawiono szablon usługi Azure Resource Manager do dodawania połączenia danych IoT Hub. Szablon można edytować i wdrożyć w Azure Portal przy użyciu formularza.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "IotHubs_iothubdemo_name": {
            "type": "string",
            "defaultValue": "iothubdemo",
            "metadata": {
                "description": "Specifies the IoT Hub name."
            }
        },
        "iothubpolices_iothubowner_name": {
            "type": "string",
            "defaultValue": "iothubowner",
            "metadata": {
                "description": "Specifies the shared access policy name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the IoT Hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
           "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the IoT Hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the IoT Hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2019-09-07",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "IotHub",
            "properties": {
                "iotHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Devices/IotHubs', parameters('IotHubs_iothubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "sharedAccessPolicyName": "[parameters('iothubpolices_iothubowner_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                 "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Usuwanie połączenia danych IoT Hub

Portal

Aby usunąć połączenie IoT Hub z Azure Portal, wykonaj następujące czynności:

1. Przejdź do klastra. W menu po lewej stronie wybierz pozycję Bazy danych. Następnie wybierz bazę danych zawierającą tabelę docelową.
2. W menu po lewej stronie wybierz pozycję Połączenia danych. Następnie zaznacz pole wyboru obok odpowiedniego połączenia danych IoT Hub.
3. Na górnym pasku menu wybierz pozycję Usuń.

C#

Aby usunąć połączenie IoT Hub, uruchom następujące polecenie:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Python

Aby usunąć połączenie IoT Hub, uruchom następujące polecenie:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)

Następne kroki

• wykonywanie zapytań o dane w usłudze Azure Data Explorer