Skapa en IoT Hub-dataanslutning för Azure Data Explorer

Artikel
05/03/2023

Den här artikeln visar hur du matar in data i Azure Data Explorer från IoT Hub, en plattform för stordataströmning och IoT-inmatningstjänst.

Allmän information om hur du matar in i Azure Data Explorer från IoT Hub finns i Ansluta till IoT Hub.

Kommentar

Endast händelser som anges när du har skapat dataanslutningen matas in.

Förutsättningar

En Azure-prenumeration. Skapa ett kostnadsfritt Azure-konto.
Ett Azure Data Explorer-kluster och en databas. Skapa ett kluster och en databas.
En måltabell. Skapa en tabell eller använd en befintlig tabell.
En inmatningsmappning för tabellen.
En IoT Hub med data för inmatning.

Skapa en IoT Hub-dataanslutning

I det här avsnittet upprättar du en anslutning mellan IoT Hub och din Azure Data Explorer-tabell. Så länge den här anslutningen är på plats överförs data från IoT Hub till måltabellen.

I den vänstra menyn i Azure Data Explorer-klustret väljer du Databaser och sedan den databas som innehåller måltabellen.
Välj Dataanslutningar och Lägg till dataanslutning. I listrutan väljer du IoT Hub.

Fyll i formuläret med följande information.

Inställning	Fältbeskrivning
Namn på dataanslutning	Namnet på den anslutning som du vill skapa i Azure Data Explorer
Prenumeration	Prenumerations-ID:t där Event Hubs-resursen finns.
IoT-hubb	Namn på IoT Hub
Princip för delad åtkomst	Namnet på principen för delad åtkomst. Måste ha läsbehörighet
Konsumentgrupp	Konsumentgruppen som definierats i den inbyggda IoT Hub-slutpunkten
Egenskaper för händelsesystem	IoT Hub-händelsesystemegenskaperna. När du lägger till systemegenskaper skapar eller uppdaterar du tabellschema och mappning för att inkludera de valda egenskaperna.

Skärmbild av webbgränssnittet för Azure Data Explorer som visar formuläret För dataanslutning.

Kommentar

Händelsesystemegenskaper stöds för händelser med en post.
För CSV-mappning läggs egenskaper till i början av posten. För JSON-mappning läggs egenskaper till enligt namnet som visas i listrutan.

Beroende på ditt användningsfall kanske du vill aktivera routning för flera databaser. Mer information om databasroutning finns i Händelseroutning.

Fyll i följande routningsinställningar:

Inställning	Föreslaget värde	Fältbeskrivning
Tabellnamn	TestTable	Tabellen som du skapade i testdb.
Dataformat	JSON	Format som stöds är AVRO, CSV, JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHE AVRO och W3CLOG.
Mappning	TestMapping	Mappningen som du skapade i testdb, som mappar inkommande data till kolumnnamnen och datatyperna för testdb. Om det inte anges används en identitetsdatamappning som härletts från tabellens schema.

Skärmbild av webbgränssnittet för Azure Data Explorer som visar standardinställningarna för routning i tabellformuläret Mål.

Kommentar

JSON-data parsas som multijson som standard. Välj Ignorera formatfel för att mata in data i strikt JSON-format.
Om du har valt Egenskaper för händelsesystem måste du inkludera systemegenskaper i tabellschemat och mappningen.

Välj Skapa.

Varning

Vid manuell redundans återskapar du dataanslutningen.

Installera NuGet-paketet Microsoft.Azure.Management.Kusto.
Skapa ett Huvudnamn för Azure AD-programmet som ska användas för autentisering. Du behöver katalog-ID(klient)-ID, program-ID och klienthemlighet.

Kör följande kod.

var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
var clientSecret = "PlaceholderClientSecret"; //Client Secret
var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
    .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
    .WithClientSecret(clientSecret)
    .Build();
var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
var resourceGroupName = "testrg";
//The cluster and database that are created as part of the Prerequisites
var clusterName = "mykustocluster";
var databaseName = "mykustodatabase";
var iotHubConnectionName = "myiothubconnect";
//The IoT hub that is created as part of the Prerequisites
var iotHubResourceId = "/subscriptions/<iotHubSubscriptionId>/resourceGroups/<iotHubResourceGroupName>/providers/Microsoft.Devices/IotHubs/<iotHubName>";
var sharedAccessPolicyName = "iothubforread";
var consumerGroup = "$Default";
var location = "Central US";
//The table and column mapping are created as part of the Prerequisites
var tableName = "StormEvents";
var mappingRuleName = "StormEvents_CSV_Mapping";
var dataFormat = DataFormat.CSV;
var databaseRouting = "Multi";
var iotHubConnectionData = new IotHubDataConnection(
    iotHubResourceId, consumerGroup, sharedAccessPolicyName,
    tableName: tableName, location: location, mappingRuleName: mappingRuleName,
    dataFormat: dataFormat, databaseRouting: databaseRouting
);
await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, iotHubConnectionName, iotHubConnectionData);

Inställning	Föreslaget värde	Fältbeskrivning
tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Ditt klientorganisations-ID. Kallas även katalog-ID.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Det prenumerations-ID som du använder för att skapa resurser.
clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Klient-ID för programmet som kan komma åt resurser i din klientorganisation.
clientSecret	PlaceholderClientSecret	Klienthemligheten för programmet som kan komma åt resurser i din klientorganisation.
resourceGroupName	testrg	Namnet på resursgruppen som innehåller klustret.
clusterName	mykustocluster	Namnet på klustret.
databaseName	mykustodatabase	Namnet på måldatabasen i klustret.
iotHubConnectionName	myiothubconnect	Önskat namn på dataanslutningen.
tableName	StormEvents	Namnet på måltabellen i måldatabasen.
mappingRuleName	StormEvents_CSV_Mapping	Namnet på din kolumnmappning som är relaterad till måltabellen.
dataFormat	csv	Meddelandets dataformat.
iotHubResourceId	Resurs-ID	Resurs-ID:t för din IoT-hubb som innehåller data för inmatning.
sharedAccessPolicyName	iothubforread	Namnet på principen för delad åtkomst som definierar behörigheter för enheter och tjänster att ansluta till IoT Hub.
consumerGroup	$Default	Konsumentgruppen för din händelsehubb.
plats	USA, centrala	Platsen för dataanslutningsresursen.
databaseRouting	Flera eller enstaka	Databasroutningen för anslutningen. Om du anger värdet till Enkel dirigeras dataanslutningen till en enskild databas i klustret enligt vad som anges i inställningen databaseName . Om du anger värdet till *Multi kan du åsidosätta standardmåldatabasen med hjälp av egenskapen Databasinmatning.* Mer information finns i Händelseroutning.

Installera de bibliotek som krävs.

pip install azure-common
pip install azure-mgmt-kusto

Skapa ett Huvudnamn för Azure AD-programmet som ska användas för autentisering. Du behöver katalog-ID(klient)-ID, program-ID och klienthemlighet.

Kör följande kod.

from azure.mgmt.kusto import KustoManagementClient
from azure.mgmt.kusto.models import IotHubDataConnection
from azure.common.credentials import ServicePrincipalCredentials

#Directory (tenant) ID
tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Application ID
client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Client Secret
client_secret = "xxxxxxxxxxxxxx"
subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
credentials = ServicePrincipalCredentials(
        client_id=client_id,
        secret=client_secret,
        tenant=tenant_id
    )
kusto_management_client = KustoManagementClient(credentials, subscription_id)

resource_group_name = "testrg"
#The cluster and database that are created as part of the Prerequisites
cluster_name = "mykustocluster"
database_name = "mykustodatabase"
data_connection_name = "myeventhubconnect"
#The IoT hub that is created as part of the Prerequisites
iot_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.Devices/IotHubs/xxxxxx";
shared_access_policy_name = "iothubforread"
consumer_group = "$Default"
location = "Central US"
#The table and column mapping that are created as part of the Prerequisites
table_name = "StormEvents"
mapping_rule_name = "StormEvents_CSV_Mapping"
data_format = "csv"
database_routing = "Multi"

#Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
poller = kusto_management_client.data_connections.create_or_update(resource_group_name=resource_group_name, cluster_name=cluster_name, database_name=database_name, data_connection_name=data_connection_name,
                                            parameters=IotHubDataConnection(iot_hub_resource_id=iot_hub_resource_id, shared_access_policy_name=shared_access_policy_name,
                                                                                consumer_group=consumer_group, table_name=table_name, location=location, mapping_rule_name=mapping_rule_name, data_format=data_format, database_routing=database_routing))

Inställning	Föreslaget värde	Fältbeskrivning
tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Ditt klientorganisations-ID. Kallas även katalog-ID.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Det prenumerations-ID som du använder för att skapa resurser.
client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Klient-ID för programmet som kan komma åt resurser i din klientorganisation.
client_secret	xxxxxxxxxxxxxxxx	Klienthemligheten för programmet som kan komma åt resurser i din klientorganisation.
resource_group_name	testrg	Namnet på resursgruppen som innehåller klustret.
cluster_name	mykustocluster	Namnet på klustret.
database_name	mykustodatabase	Namnet på måldatabasen i klustret.
data_connection_name	myeventhubconnect	Önskat namn på dataanslutningen.
table_name	StormEvents	Namnet på måltabellen i måldatabasen.
mapping_rule_name	StormEvents_CSV_Mapping	Namnet på din kolumnmappning som är relaterad till måltabellen.
data_format	csv	Meddelandets dataformat.
iot_hub_resource_id	Resurs-ID	Resurs-ID:t för din IoT-hubb som innehåller data för inmatning.
shared_access_policy_name	iothubforread	Namnet på principen för delad åtkomst som definierar behörigheter för enheter och tjänster att ansluta till IoT Hub.
consumer_group	$Default	Konsumentgruppen för din händelsehubb.
plats	USA, centrala	Platsen för dataanslutningsresursen.
database_routing	Flera eller enstaka	Databasroutningen för anslutningen. Om du anger värdet till Enkel dirigeras dataanslutningen till en enskild databas i klustret enligt vad som anges i inställningen databaseName . Om du anger värdet till *Multi kan du åsidosätta standardmåldatabasen med hjälp av egenskapen Databasinmatning.* Mer information finns i Händelseroutning.

I följande exempel visas en Azure Resource Manager-mall för att lägga till en IoT Hub-dataanslutning. Du kan redigera och distribuera mallen i Azure-portalen med hjälp av formuläret .

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "IotHubs_iothubdemo_name": {
            "type": "string",
            "defaultValue": "iothubdemo",
            "metadata": {
                "description": "Specifies the IoT Hub name."
            }
        },
        "iothubpolices_iothubowner_name": {
            "type": "string",
            "defaultValue": "iothubowner",
            "metadata": {
                "description": "Specifies the shared access policy name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the IoT Hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
           "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the IoT Hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the IoT Hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2019-09-07",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "IotHub",
            "properties": {
                "iotHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Devices/IotHubs', parameters('IotHubs_iothubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "sharedAccessPolicyName": "[parameters('iothubpolices_iothubowner_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                 "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Ta bort en IoT Hub-dataanslutning

Gör följande för att ta bort IoT Hub-anslutningen från Azure-portalen:

Gå till klustret. Välj Databaser på den vänstra menyn. Välj sedan den databas som innehåller måltabellen.
Välj Dataanslutningar på den vänstra menyn. Markera sedan kryssrutan bredvid relevant IoT Hub-dataanslutning.
Välj Ta bort på den översta menyraden.

Kör följande kommando för att ta bort IoT Hub-anslutningen:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Kör följande kommando för att ta bort IoT Hub-anslutningen:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)

Nästa steg

Fråga efter data i Azure Data Explorer

Dela via

Skapa en IoT Hub-dataanslutning för Azure Data Explorer

Förutsättningar

Skapa en IoT Hub-dataanslutning

Ta bort en IoT Hub-dataanslutning

Nästa steg

Ytterligare resurser