Een IoT Hub-gegevensverbinding maken voor Azure Data Explorer

In dit artikel leest u hoe u gegevens opneemt in Azure Data Explorer vanuit IoT Hub, een streamingplatform voor big data en een IoT-opnameservice.

Zie Verbinding maken met IoT Hub voor algemene informatie over opname in Azure Data Explorer vanuit IoT Hub.

Notitie

Alleen gebeurtenissen die worden verzameld nadat u de gegevensverbinding hebt gemaakt, worden opgenomen.

Vereisten

• Een Azure-abonnement. Maak een gratis Azure-account.
• Een Azure Data Explorer-cluster en -database. Maak een cluster en database.
• Een doeltabel. Maak een tabel of gebruik een bestaande tabel.
• Een opnametoewijzing voor de tabel.
• Een IoT Hub met gegevens voor opname.

Een IoT Hub-gegevensverbinding maken

In deze sectie brengt u een verbinding tot stand tussen de IoT Hub en uw Azure Data Explorer-tabel. Zolang deze verbinding is ingesteld, worden gegevens vanuit de IoT Hub naar uw doeltabel verzonden.

Portal

1. Selecteer Databases in het linkermenu van uw Azure Data Explorer-cluster en selecteer vervolgens de database die uw doeltabel bevat.

   

2. Selecteer Gegevensverbindingen en gegevensverbinding toevoegen. Selecteer IoT Hub in de vervolgkeuzelijst.

   

3. Vul het formulier in met de volgende gegevens.

   Instelling	Veldomschrijving
   Naam van gegevensverbinding	De naam van de verbinding die u wilt maken in Azure Data Explorer
   Abonnement	De abonnements-id waar de Event Hubs-resource zich bevindt.
   IoT Hub	Naam van de IoT Hub
   Beleid voor gedeelde toegang	De naam van het beleid voor gedeelde toegang. Moet leesmachtigingen hebben
   Consumentengroep	De consumentengroep die is gedefinieerd in het ingebouwde IoT Hub-eindpunt
   Eigenschappen van gebeurtenissysteem	De eigenschappen van het IoT Hub-gebeurtenissysteem. Wanneer u systeemeigenschappen toevoegt, maakt of werkt u een tabelschema en toewijzing toe om de geselecteerde eigenschappen op te nemen.

   

   Notitie

   • Eigenschappen van het gebeurtenissysteem worden ondersteund voor gebeurtenissen met één record.
   • Voor CSV-toewijzing worden eigenschappen toegevoegd aan het begin van de record. Voor JSON-toewijzing worden eigenschappen toegevoegd op basis van de naam die wordt weergegeven in de vervolgkeuzelijst.

4. Afhankelijk van uw use-case kunt u routering met meerdere databases inschakelen. Zie Gebeurtenissenroutering voor meer informatie over databaseroutering.

   

5. Vul de volgende routeringsinstellingen in:

   Instelling	Voorgestelde waarde	Veldomschrijving
   Tabelnaam	TestTable	De tabel die u in testdb hebt gemaakt.
   Gegevensopmaak	JSON	Ondersteunde indelingen zijn AVRO, CSV, JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHE AVRO en W3CLOG.
   Toewijzing	TestMapping	De toewijzing die u hebt gemaakt in testdb, waarmee binnenkomende gegevens worden toegewezen aan de kolomnamen en gegevenstypen van testdb. Als dit niet is opgegeven, wordt een identiteitsgegevenstoewijzing gebruikt die is afgeleid van het schema van de tabel.

   

   Notitie

   • JSON-gegevens worden standaard geparseerd als multijson. Selecteer Notatiefouten negeren om de gegevens op te nemen in een strikte JSON-indeling.
   • Als u systeemeigenschappen voor gebeurtenissen hebt geselecteerd, moet u systeemeigenschappen opnemen in het tabelschema en de toewijzing.

6. Selecteer Maken.

Waarschuwing

In het geval van een handmatige failover maakt u de gegevensverbinding opnieuw.

C#

1. Installeer het Microsoft.Azure.Management.Kusto NuGet-pakket.

2. Maak een Azure AD-toepassingsprincipaal die moet worden gebruikt voor verificatie. U hebt de map-id (tenant), de toepassings-id en het clientgeheim nodig.

3. Voer de volgende code uit.

   var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
   var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
   var clientSecret = "PlaceholderClientSecret"; //Client Secret
   var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
   var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
       .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
       .WithClientSecret(clientSecret)
       .Build();
   var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
   var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
   var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
   var resourceGroupName = "testrg";
   //The cluster and database that are created as part of the Prerequisites
   var clusterName = "mykustocluster";
   var databaseName = "mykustodatabase";
   var iotHubConnectionName = "myiothubconnect";
   //The IoT hub that is created as part of the Prerequisites
   var iotHubResourceId = "/subscriptions/<iotHubSubscriptionId>/resourceGroups/<iotHubResourceGroupName>/providers/Microsoft.Devices/IotHubs/<iotHubName>";
   var sharedAccessPolicyName = "iothubforread";
   var consumerGroup = "$Default";
   var location = "Central US";
   //The table and column mapping are created as part of the Prerequisites
   var tableName = "StormEvents";
   var mappingRuleName = "StormEvents_CSV_Mapping";
   var dataFormat = DataFormat.CSV;
   var databaseRouting = "Multi";
   var iotHubConnectionData = new IotHubDataConnection(
       iotHubResourceId, consumerGroup, sharedAccessPolicyName,
       tableName: tableName, location: location, mappingRuleName: mappingRuleName,
       dataFormat: dataFormat, databaseRouting: databaseRouting
   );
   await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, iotHubConnectionName, iotHubConnectionData);
   

   Instelling	Voorgestelde waarde	Veldomschrijving
   tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx	Uw tenant-id. Ook wel map-id genoemd.
   subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx	De abonnements-id die u gebruikt voor het maken van resources.
   clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx	De client-id van de toepassing die toegang heeft tot resources in uw tenant.
   clientSecret	Tijdelijke aanduidingClientSecret	Het clientgeheim van de toepassing die toegang heeft tot resources in uw tenant.
   resourceGroupName	testrg	De naam van de resourcegroep die uw cluster bevat.
   clusterName	mykustocluster	De naam van het cluster.
   databaseName	mykustodatabase	De naam van de doeldatabase in uw cluster.
   iotHubConnectionName	myiothubconnect	De gewenste naam van uw gegevensverbinding.
   tableName	StormEvents	De naam van de doeltabel in de doeldatabase.
   mappingRuleName	StormEvents_CSV_Mapping	De naam van de kolomtoewijzing die is gerelateerd aan de doeltabel.
   dataFormat	CSV	De gegevensindeling van het bericht.
   iotHubResourceId	Resource-id	De resource-id van uw IoT-hub die de gegevens bevat voor opname.
   sharedAccessPolicyName	iothubforread	De naam van het beleid voor gedeelde toegang waarmee de machtigingen voor apparaten en services worden gedefinieerd om verbinding te maken met IoT Hub.
   consumerGroup	$Default	De consumentengroep van uw Event Hub.
   locatie	US - centraal	De locatie van de gegevensverbindingsresource.
   databaseRouting	Meerdere of enkele	De databaseroutering voor de verbinding. Als u de waarde instelt op Single, wordt de gegevensverbinding doorgestuurd naar één database in het cluster, zoals opgegeven in de instelling databaseName . Als u de waarde instelt op Multi, kunt u de standaarddoeldatabase overschrijven met behulp van de eigenschap Databaseopname. Zie Gebeurtenissenroutering voor meer informatie.

Python

1. Installeer de vereiste bibliotheken.

   pip install azure-common
   pip install azure-mgmt-kusto
   

2. Maak een Azure AD-toepassingsprincipaal die moet worden gebruikt voor verificatie. U hebt de map-id (tenant), de toepassings-id en het clientgeheim nodig.

3. Voer de volgende code uit.

   from azure.mgmt.kusto import KustoManagementClient
   from azure.mgmt.kusto.models import IotHubDataConnection
   from azure.common.credentials import ServicePrincipalCredentials
   
   #Directory (tenant) ID
   tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Application ID
   client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Client Secret
   client_secret = "xxxxxxxxxxxxxx"
   subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   credentials = ServicePrincipalCredentials(
           client_id=client_id,
           secret=client_secret,
           tenant=tenant_id
       )
   kusto_management_client = KustoManagementClient(credentials, subscription_id)
   
   resource_group_name = "testrg"
   #The cluster and database that are created as part of the Prerequisites
   cluster_name = "mykustocluster"
   database_name = "mykustodatabase"
   data_connection_name = "myeventhubconnect"
   #The IoT hub that is created as part of the Prerequisites
   iot_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.Devices/IotHubs/xxxxxx";
   shared_access_policy_name = "iothubforread"
   consumer_group = "$Default"
   location = "Central US"
   #The table and column mapping that are created as part of the Prerequisites
   table_name = "StormEvents"
   mapping_rule_name = "StormEvents_CSV_Mapping"
   data_format = "csv"
   database_routing = "Multi"
   
   #Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
   poller = kusto_management_client.data_connections.create_or_update(resource_group_name=resource_group_name, cluster_name=cluster_name, database_name=database_name, data_connection_name=data_connection_name,
                                               parameters=IotHubDataConnection(iot_hub_resource_id=iot_hub_resource_id, shared_access_policy_name=shared_access_policy_name,
                                                                                   consumer_group=consumer_group, table_name=table_name, location=location, mapping_rule_name=mapping_rule_name, data_format=data_format, database_routing=database_routing))
   

   Instelling	Voorgestelde waarde	Veldomschrijving
   tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx	Uw tenant-id. Ook wel map-id genoemd.
   subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx	De abonnements-id die u gebruikt voor het maken van resources.
   client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx	De client-id van de toepassing die toegang heeft tot resources in uw tenant.
   client_secret	xxxxxxxxxxxx	Het clientgeheim van de toepassing die toegang heeft tot resources in uw tenant.
   resource_group_name	testrg	De naam van de resourcegroep die uw cluster bevat.
   cluster_name	mykustocluster	De naam van het cluster.
   database_name	mykustodatabase	De naam van de doeldatabase in uw cluster.
   data_connection_name	myeventhubconnect	De gewenste naam van uw gegevensverbinding.
   table_name	StormEvents	De naam van de doeltabel in de doeldatabase.
   mapping_rule_name	StormEvents_CSV_Mapping	De naam van de kolomtoewijzing die is gerelateerd aan de doeltabel.
   data_format	CSV	De gegevensindeling van het bericht.
   iot_hub_resource_id	Resource-id	De resource-id van uw IoT-hub die de gegevens bevat voor opname.
   shared_access_policy_name	iothubforread	De naam van het beleid voor gedeelde toegang waarmee de machtigingen voor apparaten en services worden gedefinieerd om verbinding te maken met IoT Hub.
   consumer_group	$Default	De consumentengroep van uw Event Hub.
   locatie	US - centraal	De locatie van de gegevensverbindingsresource.
   database_routing	Meerdere of enkele	De databaseroutering voor de verbinding. Als u de waarde instelt op Single, wordt de gegevensverbinding doorgestuurd naar één database in het cluster, zoals opgegeven in de instelling databaseName . Als u de waarde instelt op Multi, kunt u de standaarddoeldatabase overschrijven met behulp van de eigenschap Databaseopname. Zie Gebeurtenissenroutering voor meer informatie.

ARM-sjabloon

In het volgende voorbeeld ziet u een Azure Resource Manager-sjabloon voor het toevoegen van een IoT Hub-gegevensverbinding. U kunt de sjabloon bewerken en implementeren in Azure Portal met behulp van het formulier.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "IotHubs_iothubdemo_name": {
            "type": "string",
            "defaultValue": "iothubdemo",
            "metadata": {
                "description": "Specifies the IoT Hub name."
            }
        },
        "iothubpolices_iothubowner_name": {
            "type": "string",
            "defaultValue": "iothubowner",
            "metadata": {
                "description": "Specifies the shared access policy name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the IoT Hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
           "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the IoT Hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the IoT Hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2019-09-07",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "IotHub",
            "properties": {
                "iotHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Devices/IotHubs', parameters('IotHubs_iothubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "sharedAccessPolicyName": "[parameters('iothubpolices_iothubowner_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                 "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Een IoT Hub-gegevensverbinding verwijderen

Portal

Ga als volgt te werk om de IoT Hub-verbinding uit Azure Portal te verwijderen:

1. Ga naar uw cluster. Selecteer Databases in het linkermenu. Selecteer vervolgens de database die de doeltabel bevat.
2. Selecteer Gegevensverbindingen in het linkermenu. Schakel vervolgens het selectievakje in naast de relevante IoT Hub-gegevensverbinding.
3. Selecteer Verwijderen in de bovenste menubalk.

C#

Voer de volgende opdracht uit om de IoT Hub-verbinding te verwijderen:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Python

Voer de volgende opdracht uit om de IoT Hub-verbinding te verwijderen:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)

Volgende stappen

• Query's uitvoeren op gegevens in Azure Data Explorer