Membuat koneksi data IoT Hub untuk Azure Data Explorer

Artikel ini memperlihatkan kepada Anda cara menyerap data ke Azure Data Explorer dari IoT Hub, platform streaming big data, dan layanan penyerapan IoT.

Untuk informasi umum tentang menyerap ke Azure Data Explorer dari IoT Hub, lihat Menyambungkan ke IoT Hub.

Catatan

Hanya peristiwa yang masuk antrean setelah Anda membuat koneksi data yang terserap.

Prasyarat

• Langganan Azure. Membuat akun Azure gratis.
• Kluster dan database Azure Data Explorer. Membuat kluster dan database.
• Tabel tujuan. Buat tabel atau gunakan tabel yang sudah ada.
• Pemetaan penyerapan untuk tabel.
• IoT Hub dengan data untuk penyerapan.

Membuat koneksi data IoT Hub

Di bagian ini, Anda akan membuat koneksi antara IoT Hub dan tabel Azure Data Explorer Anda. Selama koneksi ini ada, data dikirimkan dari IoT Hub ke dalam tabel target Anda.

Portal

1. Di menu sebelah kiri kluster Azure Data Explorer Anda, pilih Database lalu pilih database yang berisi tabel target Anda.

   

2. Pilih Koneksi data dan Tambahkan koneksi data. Dari menu dropdown, pilih IoT Hub.

   

3. Isi formulir dengan informasi berikut.

   Pengaturan	Deskripsi bidang
   Nama koneksi data	Nama koneksi yang ingin Anda buat di Azure Data Explorer
   Langganan	ID langganan tempat sumber daya Azure Event Hubs berada.
   IoT Hub	Nama IoT Hub
   Kebijakan akses bersama	Nama kebijakan akses bersama. Harus memiliki izin baca
   Grup konsumen	Grup konsumen yang ditentukan dalam titik akhir bawaan IoT Hub
   Properti sistem peristiwa	Properti sistem peristiwa IoT Hub. Saat menambahkan properti sistem, buat atau perbarui skema tabel dan pemetaan untuk menyertakan properti yang dipilih.

   

   Catatan

   • Properti sistem peristiwa didukung untuk peristiwa rekaman tunggal.
   • Untuk pemetaan CSV, properti ditambahkan di awal rekaman. Untuk pemetaan JSON, properti ditambahkan sesuai dengan nama yang muncul di daftar drop-down.

4. Bergantung pada kasus penggunaan Anda, Anda mungkin ingin mengaktifkan perutean multi-database. Untuk informasi selengkapnya tentang perutean database, lihat Perutean peristiwa.

   

5. Isi pengaturan perutean berikut:

   Pengaturan	Nilai yang disarankan	Deskripsi bidang
   Nama tabel	TestTable	Tabel yang Anda buat di testdb.
   Format data	JSON	Format yang didukung adalah AVRO, CSV, JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHE AVRO, dan W3CLOG.
   Pemetaan	TestMapping	Pemetaan yang Anda buat di testdb, yang memetakan data masuk ke nama kolom dan jenis data testdb. Jika tidak ditentukan, pemetaan data identitas yang berasal dari skema tabel digunakan.

   

   Catatan

   • Data JSON diurai sebagai multijson secara default. Pilih Abaikan kesalahan format untuk menyerap data dalam format JSON yang ketat.
   • Jika Anda memilih Properti sistem peristiwa, Anda harus menyertakan properti sistem dalam skema tabel dan pemetaan.

6. Pilih Buat.

Peringatan

Jika terjadi failover manual, buat ulang koneksi data.

C#

1. Instal paket Microsoft.Azure.Management.Kusto NuGet.

2. Buat prinsipal aplikasi Azure ACTIVE Directory untuk digunakan untuk autentikasi. Anda akan memerlukan ID direktori (penyewa), ID aplikasi, dan rahasia klien.

3. Jalankan kode berikut.

   var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
   var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
   var clientSecret = "PlaceholderClientSecret"; //Client Secret
   var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
   var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
       .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
       .WithClientSecret(clientSecret)
       .Build();
   var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
   var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
   var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
   var resourceGroupName = "testrg";
   //The cluster and database that are created as part of the Prerequisites
   var clusterName = "mykustocluster";
   var databaseName = "mykustodatabase";
   var iotHubConnectionName = "myiothubconnect";
   //The IoT hub that is created as part of the Prerequisites
   var iotHubResourceId = "/subscriptions/<iotHubSubscriptionId>/resourceGroups/<iotHubResourceGroupName>/providers/Microsoft.Devices/IotHubs/<iotHubName>";
   var sharedAccessPolicyName = "iothubforread";
   var consumerGroup = "$Default";
   var location = "Central US";
   //The table and column mapping are created as part of the Prerequisites
   var tableName = "StormEvents";
   var mappingRuleName = "StormEvents_CSV_Mapping";
   var dataFormat = DataFormat.CSV;
   var databaseRouting = "Multi";
   var iotHubConnectionData = new IotHubDataConnection(
       iotHubResourceId, consumerGroup, sharedAccessPolicyName,
       tableName: tableName, location: location, mappingRuleName: mappingRuleName,
       dataFormat: dataFormat, databaseRouting: databaseRouting
   );
   await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, iotHubConnectionName, iotHubConnectionData);
   

   Pengaturan	Nilai yang disarankan	Deskripsi bidang
   tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID penyewa Anda. Juga dikenal sebagai ID direktori.
   subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID langganan yang Anda gunakan untuk pembuatan sumber daya.
   clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID klien aplikasi yang dapat mengakses sumber daya di penyewa Anda.
   clientSecret	PlaceholderClientSecret	Rahasia klien aplikasi yang dapat mengakses sumber daya di penyewa Anda.
   resourceGroupName	testrg	Nama grup sumber daya yang berisi kluster Anda.
   clusterName	mykustocluster	Nama kluster Anda.
   databaseName	mykustodatabase	Nama database target dalam kluster Anda.
   iotHubConnectionName	myiothubconnect	Nama koneksi data yang diinginkan.
   tableName	StormEvents	Nama tabel target dalam database target.
   mappingRuleName	StormEvents_CSV_Mapping	Nama pemetaan kolom Anda yang terkait dengan tabel target.
   dataFormat	csv	Format data pesan.
   iotHubResourceId	ID Sumber Daya	ID sumber daya hub IoT Anda yang menyimpan data untuk penyerapan.
   sharedAccessPolicyName	iothubforread	Nama kebijakan akses bersama yang menentukan izin untuk perangkat dan layanan untuk terhubung ke IoT Hub.
   consumerGroup	$Default	Grup konsumen pusat aktivitas Anda.
   lokasi	US Tengah	Lokasi sumber daya koneksi data.
   databaseRouting	Multi atau Tunggal	Perutean database untuk koneksi. Jika Anda mengatur nilai ke Tunggal, koneksi data dirutekan ke database tunggal di kluster seperti yang ditentukan dalam pengaturan databaseName . Jika Anda mengatur nilai ke Multi, Anda bisa mengambil alih database target default menggunakan properti Penyerapan database. Untuk informasi selengkapnya, lihat Perutean peristiwa.

Python

1. Instal pustaka yang diperlukan.

   pip install azure-common
   pip install azure-mgmt-kusto
   

2. Buat prinsipal aplikasi Azure ACTIVE Directory untuk digunakan untuk autentikasi. Anda akan memerlukan ID direktori (penyewa), ID aplikasi, dan rahasia klien.

3. Jalankan kode berikut.

   from azure.mgmt.kusto import KustoManagementClient
   from azure.mgmt.kusto.models import IotHubDataConnection
   from azure.common.credentials import ServicePrincipalCredentials
   
   #Directory (tenant) ID
   tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Application ID
   client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Client Secret
   client_secret = "xxxxxxxxxxxxxx"
   subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   credentials = ServicePrincipalCredentials(
           client_id=client_id,
           secret=client_secret,
           tenant=tenant_id
       )
   kusto_management_client = KustoManagementClient(credentials, subscription_id)
   
   resource_group_name = "testrg"
   #The cluster and database that are created as part of the Prerequisites
   cluster_name = "mykustocluster"
   database_name = "mykustodatabase"
   data_connection_name = "myeventhubconnect"
   #The IoT hub that is created as part of the Prerequisites
   iot_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.Devices/IotHubs/xxxxxx";
   shared_access_policy_name = "iothubforread"
   consumer_group = "$Default"
   location = "Central US"
   #The table and column mapping that are created as part of the Prerequisites
   table_name = "StormEvents"
   mapping_rule_name = "StormEvents_CSV_Mapping"
   data_format = "csv"
   database_routing = "Multi"
   
   #Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
   poller = kusto_management_client.data_connections.create_or_update(resource_group_name=resource_group_name, cluster_name=cluster_name, database_name=database_name, data_connection_name=data_connection_name,
                                               parameters=IotHubDataConnection(iot_hub_resource_id=iot_hub_resource_id, shared_access_policy_name=shared_access_policy_name,
                                                                                   consumer_group=consumer_group, table_name=table_name, location=location, mapping_rule_name=mapping_rule_name, data_format=data_format, database_routing=database_routing))
   

   Pengaturan	Nilai yang disarankan	Deskripsi bidang
   tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID penyewa Anda. Juga dikenal sebagai ID direktori.
   subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID langganan yang Anda gunakan untuk pembuatan sumber daya.
   client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID klien aplikasi yang dapat mengakses sumber daya di penyewa Anda.
   client_secret	xxxxxxxxxxxxxxxx	Rahasia klien aplikasi yang dapat mengakses sumber daya di penyewa Anda.
   resource_group_name	testrg	Nama grup sumber daya yang berisi kluster Anda.
   cluster_name	mykustocluster	Nama kluster Anda.
   database_name	mykustodatabase	Nama database target dalam kluster Anda.
   data_connection_name	myeventhubconnect	Nama koneksi data yang diinginkan.
   table_name	StormEvents	Nama tabel target dalam database target.
   mapping_rule_name	StormEvents_CSV_Mapping	Nama pemetaan kolom Anda yang terkait dengan tabel target.
   data_format	csv	Format data pesan.
   iot_hub_resource_id	ID Sumber Daya	ID sumber daya hub IoT Anda yang menyimpan data untuk penyerapan.
   shared_access_policy_name	iothubforread	Nama kebijakan akses bersama yang menentukan izin untuk perangkat dan layanan untuk terhubung ke IoT Hub.
   consumer_group	$Default	Grup konsumen pusat aktivitas Anda.
   lokasi	US Tengah	Lokasi sumber daya koneksi data.
   database_routing	Multi atau Tunggal	Perutean database untuk koneksi. Jika Anda mengatur nilai ke Tunggal, koneksi data dirutekan ke database tunggal di kluster seperti yang ditentukan dalam pengaturan databaseName . Jika Anda mengatur nilai ke Multi, Anda bisa mengambil alih database target default menggunakan properti Penyerapan database. Untuk informasi selengkapnya, lihat Perutean peristiwa.

Templat ARM

Contoh berikut menunjukkan templat Azure Resource Manager untuk menambahkan koneksi data IoT Hub. Anda dapat mengedit dan menyebarkan templat di portal Microsoft Azure dengan menggunakan formulir.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "IotHubs_iothubdemo_name": {
            "type": "string",
            "defaultValue": "iothubdemo",
            "metadata": {
                "description": "Specifies the IoT Hub name."
            }
        },
        "iothubpolices_iothubowner_name": {
            "type": "string",
            "defaultValue": "iothubowner",
            "metadata": {
                "description": "Specifies the shared access policy name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the IoT Hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
           "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the IoT Hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the IoT Hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2019-09-07",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "IotHub",
            "properties": {
                "iotHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Devices/IotHubs', parameters('IotHubs_iothubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "sharedAccessPolicyName": "[parameters('iothubpolices_iothubowner_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                 "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Menghapus koneksi data IoT Hub

Portal

Untuk menghapus koneksi IoT Hub dari portal Azure, lakukan hal berikut:

1. Buka kluster Anda. Dari menu sebelah kiri, pilih Database. Kemudian, pilih database yang berisi tabel target.
2. Dari menu sebelah kiri, pilih Koneksi data. Kemudian, pilih kotak centang di samping koneksi data IoT Hub yang relevan.
3. Dari bilah menu atas, pilih Hapus.

C#

Untuk menghapus koneksi IoT Hub, jalankan perintah berikut:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Python

Untuk menghapus koneksi IoT Hub, jalankan perintah berikut:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)

Langkah berikutnya

• Mengkueri data di Azure Data Explorer