Membuat koneksi data Azure Event Hubs untuk Azure Data Explorer

Artikel
05/03/2023

Azure Data Explorer menawarkan penyerapan dari Azure Event Hubs, platform streaming big data, dan layanan penyerapan peristiwa. Azure Event Hubs dapat memproses jutaan peristiwa per detik dalam waktu hampir bersamaan.

Dalam artikel ini, Anda akan menyambungkan ke pusat aktivitas dan menyerap data ke Azure Data Explorer. Untuk gambaran umum tentang penyerapan dari Azure Event Hubs, lihat Koneksi data Azure Event Hubs.

Prasyarat

Langganan Azure. Membuat akun Azure gratis.
Kluster dan database Azure Data Explorer. Membuat kluster dan database.
Tabel tujuan. Buat tabel atau gunakan tabel yang sudah ada.
Pemetaan penyerapan untuk tabel.
Pusat aktivitas dengan data untuk penyerapan.

Membuat koneksi data pusat aktivitas

Di bagian ini, Anda akan membuat koneksi antara hub peristiwa dan tabel Azure Data Explorer Anda. Selama koneksi ini ada, data dikirimkan dari hub peristiwa ke tabel target Anda. Jika hub peristiwa dipindahkan ke sumber daya atau langganan yang berbeda, Anda harus memperbarui atau membuat ulang koneksi.

Di portal Azure, buka kluster Anda dan pilih Database. Kemudian, pilih database yang berisi tabel target Anda.
Dari menu sebelah kiri, pilih Penyerapan data. Kemudian, di bilah atas, pilih Tambahkan koneksi data.

Isi formulir dengan informasi berikut, lalu pilih Buat.

Pengaturan	Nilai yang disarankan	Deskripsi bidang
Nama koneksi data	test-hub-connection	Nama koneksi yang ingin Anda buat di Azure Data Explorer.
Langganan		ID langganan tempat sumber daya pusat aktivitas berada.
Namespace layanan event hub	Nama namespace layanan yang unik	Nama yang Anda pilih sebelumnya yang mengidentifikasi namespace layanan Anda.
Pusat aktivitas	test-hub	Pusat aktivitas yang Anda buat.
Grup konsumen	test-group	Grup konsumen yang ditentukan di pusat aktivitas yang Anda buat.
Properti sistem peristiwa	Pilih properti yang relevan	Properti sistem pusat aktivitas. Jika ada beberapa rekaman per pesan peristiwa, properti sistem ditambahkan ke rekaman pertama. Saat menambahkan properti sistem, buat atau perbarui skema tabel dan pemetaan untuk menyertakan properti yang dipilih.
Kompresi	Tidak	Jenis kompresi payload pesan pusat aktivitas. Jenis kompresi yang didukung: Tidak ada, Gzip.
Identitas Terkelola (disarankan)	Ditetapkan sistem	Identitas terkelola yang digunakan oleh kluster Data Explorer untuk akses membaca dari hub peristiwa. Sebaiknya gunakan identitas terkelola untuk mengontrol akses ke pusat aktivitas Anda. Catatan: Ketika koneksi data dibuat: * Identitas yang ditetapkan sistem dibuat secara otomatis jika tidak ada * Identitas terkelola secara otomatis diberi peran Penerima Data Azure Event Hubs dan ditambahkan ke kluster Data Explorer Anda. Sebaiknya verifikasi bahwa peran tersebut ditugaskan dan identitas ditambahkan ke kluster.

Catatan

Jika Anda memiliki koneksi data yang sudah ada yang tidak menggunakan identitas terkelola, sebaiknya perbarui untuk menggunakan identitas terkelola.

Langkah-langkah berikut akan memandu Anda membuat koneksi pusat aktivitas melalui wizard penyerapan di antarmuka pengguna web Azure Data Explorer.

Catatan

Untuk menggunakan wizard, Anda harus memiliki setidaknya izin Pengguna Database.
Untuk mengaktifkan akses antara kluster dan akun penyimpanan tanpa akses publik, lihat Membuat Titik Akhir Privat Terkelola.
Kluster dan hub peristiwa harus dikaitkan dengan penyewa yang sama. Jika tidak, gunakan salah satu opsi SDK, seperti C# atau Python.

Dari tab Data UI web Azure Data Explorer, pilih Serap dari data Penyerapan dari kartu Pusat Aktivitas.
Jendela Serap data terbuka dengan tab Tujuan dipilih. Bidang Kluster dan Database diisi otomatis. Anda dapat memilih kluster atau database yang berbeda dari menu drop-down.
Di bawah Tabel, pilih Tabel baru dan masukkan nama untuk tabel baru. Atau, gunakan tabel yang ada.
Pilih Berikutnya: Sumber.
Di bawah Jenis sumber, pilih Pusat Aktivitas.

Di bawah Koneksi Data, isi bidang berikut dan pilih Berikutnya: Skema.

Pengaturan	Nilai yang disarankan	Deskripsi bidang
Langganan		ID langganan tempat sumber daya pusat aktivitas berada.
Namespace layanan event hub		Nama yang mengidentifikasi namespace Anda.
Pusat aktivitas		Pusat aktivitas yang ingin Anda gunakan.
Nama koneksi data	TestDataConnection	Nama yang mengidentifikasi koneksi data Anda.
Grup konsumen		Grup konsumen yang ditentukan di pusat aktivitas Anda.
Kompresi		Jenis kompresi payload pesan pusat aktivitas.
Properti sistem peristiwa	Pilih properti yang relevan	Properti sistem pusat aktivitas. Jika ada beberapa rekaman per pesan peristiwa, properti sistem ditambahkan ke rekaman pertama. Saat menambahkan properti sistem, buat atau perbarui skema tabel dan pemetaan untuk menyertakan properti yang dipilih.
Tanggal mulai pengambilan peristiwa	Waktu Universal Terkoordinasi (UTC)	Koneksi data mengambil peristiwa Azure Event Hubs yang sudah ada yang dibuat setelah tanggal mulai pengambilan Peristiwa. Hanya peristiwa yang dipertahankan oleh periode retensi Azure Event Hubs yang dapat diambil. Jika tanggal mulai Pengambilan peristiwa tidak ditentukan, waktu default adalah waktu saat koneksi data dibuat.

Atur kebijakan penyerapan. Jika streaming diaktifkan untuk kluster, Anda dapat memilih Penyerapan streaming. Jika streaming tidak diaktifkan untuk kluster, atur waktu Batching. Untuk Azure Event Hubs, waktu batching yang direkomendasikan adalah 30 detik.
Pilih format Data. Untuk data berformat CSV, Abaikan rekaman pertama untuk mengabaikan baris judul file. Untuk data berformat JSON, pilih Abaikan kesalahan format data untuk menyerap data dalam format JSON atau biarkan tidak dipilih untuk menyerap data dalam format multijson. Pilih tingkat Berlapis untuk menentukan pembagian data kolom tabel.
Jika data yang Anda lihat di jendela pratinjau tidak selesai, Anda mungkin memerlukan lebih banyak data untuk membuat tabel dengan semua bidang data yang diperlukan. Gunakan perintah berikut untuk mengambil data baru dari pusat aktivitas Anda:
- Buang dan ambil data baru: buang data yang disajikan dan cari peristiwa baru.
- Ambil lebih banyak data: Cari lebih banyak peristiwa selain peristiwa yang sudah ditemukan.
Catatan

Untuk melihat pratinjau data Anda, pusat aktivitas Anda harus mengirim peristiwa.
Pilih Berikutnya: Ringkasan.
Di jendela Penyerapan berkelanjutan dari Event Hub yang dibuat , semua langkah ditandai dengan tanda centang hijau saat pendirian berhasil diselesaikan.

Instal paket Microsoft.Azure.Management.Kusto NuGet.
Buat prinsipal aplikasi Azure ACTIVE Directory untuk digunakan untuk autentikasi. Anda akan memerlukan ID direktori (penyewa), ID aplikasi, dan rahasia klien.

Jalankan kode berikut.

var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
var clientSecret = "PlaceholderClientSecret"; //Client Secret
var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
    .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
    .WithClientSecret(clientSecret)
    .Build();
var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
var resourceGroupName = "testrg";
//The cluster and database that are created as part of the Prerequisites
var clusterName = "mykustocluster";
var databaseName = "mykustodatabase";
var eventHubConnectionName = "myeventhubconnect";
//The event hub that is created as part of the Prerequisites
var eventHubResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
var consumerGroup = "$Default";
var location = "Central US";
//The table and column mapping are created as part of the Prerequisites
var tableName = "StormEvents";
var mappingRuleName = "StormEvents_CSV_Mapping";
var dataFormat = EventHubDataFormat.CSV;
var compression = "None";
var databaseRouting = "Multi";
var eventHubConnectionData = new EventHubDataConnection(
    eventHubResourceId, consumerGroup,
    location: location, tableName: tableName, mappingRuleName: mappingRuleName,
    dataFormat: dataFormat, compression: compression, databaseRouting: databaseRouting
);
await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, eventHubConnectionName, eventHubConnectionData);

Pengaturan	Nilai yang disarankan	Deskripsi bidang
tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID penyewa Anda. Juga dikenal sebagai ID direktori.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID langganan yang Anda gunakan untuk pembuatan sumber daya.
clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID klien aplikasi yang dapat mengakses sumber daya di penyewa Anda.
clientSecret	PlaceholderClientSecret	Rahasia klien aplikasi yang dapat mengakses sumber daya di penyewa Anda.
resourceGroupName	testrg	Nama grup sumber daya yang berisi kluster Anda.
clusterName	mykustocluster	Nama kluster Anda.
databaseName	mykustodatabase	Nama database target dalam kluster Anda.
eventHubConnectionName	myeventhubconnect	Nama koneksi data yang diinginkan.
tableName	StormEvents	Nama tabel target dalam database target.
mappingRuleName	StormEvents_CSV_Mapping	Nama pemetaan kolom Anda yang terkait dengan tabel target.
dataFormat	csv	Format data pesan.
eventHubResourceId	ID Sumber Daya	ID sumber daya hub peristiwa Anda yang menyimpan data untuk penyerapan.
consumerGroup	$Default	Grup konsumen pusat aktivitas Anda.
lokasi	US Tengah	Lokasi sumber daya koneksi data.
kompresi	Gzip atau Tidak Ada	Jenis kompresi data.
databaseRouting	Multi atau Tunggal	Perutean database untuk koneksi. Jika Anda mengatur nilai ke Tunggal, koneksi data dirutekan ke database tunggal di kluster seperti yang ditentukan dalam pengaturan databaseName . Jika Anda mengatur nilai ke Multi, Anda bisa mengambil alih database target default menggunakan properti Penyerapan database. Untuk informasi selengkapnya, lihat Perutean peristiwa.

Instal pustaka yang diperlukan.

pip install azure-common
pip install azure-mgmt-kusto

Buat prinsipal aplikasi Azure ACTIVE Directory untuk digunakan untuk autentikasi. Anda akan memerlukan ID direktori (penyewa), ID aplikasi, dan rahasia klien.

Jalankan kode berikut.

from azure.mgmt.kusto import KustoManagementClient
from azure.mgmt.kusto.models import EventHubDataConnection
from azure.identity import ClientSecretCredential

#Directory (tenant) ID
tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Application ID
client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Client Secret
client_secret = "xxxxxxxxxxxxxx"
subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
credentials = ServicePrincipalCredentials(
        client_id=client_id,
        secret=client_secret,
        tenant=tenant_id
    )
kusto_management_client = KustoManagementClient(credentials, subscription_id)

resource_group_name = "myresourcegroup"
#The cluster and database that are created as part of the Prerequisites
cluster_name = "mycluster"
database_name = "mydatabase"
data_connection_name = "myeventhubconnect"
#The event hub that is created as part of the Prerequisites
event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/myresourcegroup/providers/Microsoft.EventHub/namespaces/myeventhubnamespace/eventhubs/myeventhub"";
consumer_group = "$Default"
location = "Central US"
#The table and column mapping that are created as part of the Prerequisites
table_name = "mytable"
mapping_rule_name = "mytablemappingrule"
data_format = "csv"
database_routing = "Multi"
#Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
poller = kusto_management_client.data_connections.create_or_update(
            resource_group_name=resource_group_name,
            cluster_name=cluster_name,
            database_name=database_name,
            data_connection_name=data_connection_name,
            parameters=EventHubDataConnection(
                event_hub_resource_id=event_hub_resource_id,
                consumer_group=consumer_group,
                location=location,
                table_name=table_name,
                mapping_rule_name=mapping_rule_name,
                data_format=data_format,
                database_routing=database_routing
            )
        )
poller.wait()
print(poller.result())

Pengaturan	Nilai yang disarankan	Deskripsi bidang
tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID penyewa Anda. Juga dikenal sebagai ID direktori.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID langganan yang Anda gunakan untuk pembuatan sumber daya.
client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID klien aplikasi yang dapat mengakses sumber daya di penyewa Anda.
client_secret	xxxxxxxxxxxxxxxx	Rahasia klien aplikasi yang dapat mengakses sumber daya di penyewa Anda.
resource_group_name	myresourcegroup	Nama grup sumber daya yang berisi kluster Anda.
cluster_name	mycluster	Nama kluster Anda.
database_name	mydatabase	Nama database target dalam kluster Anda.
data_connection_name	myeventhubconnect	Nama koneksi data yang diinginkan.
table_name	mytable	Nama tabel target dalam database target.
mapping_rule_name	mytablemappingrule	Nama pemetaan kolom Anda yang terkait dengan tabel target.
data_format	csv	Format data pesan.
event_hub_resource_id	ID Sumber Daya	ID sumber daya hub peristiwa Anda yang menyimpan data untuk penyerapan.
consumer_group	$Default	Grup konsumen pusat aktivitas Anda.
lokasi	US Tengah	Lokasi sumber daya koneksi data.
databaseRouting	Multi atau Tunggal	Perutean database untuk koneksi. Jika Anda mengatur nilai ke Tunggal, koneksi data dirutekan ke database tunggal di kluster seperti yang ditentukan dalam pengaturan databaseName . Jika Anda mengatur nilai ke Multi, Anda bisa mengambil alih database target default menggunakan properti Penyerapan database. Untuk informasi selengkapnya, lihat Perutean peristiwa.

Contoh berikut menunjukkan templat Azure Resource Manager untuk menambahkan koneksi data Azure Event Hubs. Anda dapat mengedit dan menyebarkan templat di portal Microsoft Azure dengan menggunakan formulir.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Menghapus koneksi data pusat aktivitas

Untuk menghapus koneksi pusat aktivitas dari portal Azure, lakukan hal berikut:

Buka kluster Anda. Dari menu sebelah kiri, pilih Database. Kemudian, pilih database yang berisi tabel target.
Dari menu sebelah kiri, pilih Koneksi data. Kemudian, pilih kotak centang di samping koneksi data pusat aktivitas yang relevan.
Dari bilah menu atas, pilih Hapus.

Untuk menghapus koneksi pusat aktivitas, jalankan perintah berikut:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Untuk menghapus koneksi pusat aktivitas, jalankan perintah berikut:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)

Langkah berikutnya

Mengkueri data di Azure Data Explorer

Bagikan melalui

Membuat koneksi data Azure Event Hubs untuk Azure Data Explorer

Prasyarat

Membuat koneksi data pusat aktivitas

Menghapus koneksi data pusat aktivitas

Langkah berikutnya

Sumber Daya Tambahan: