Membuat koneksi data Azure Event Hubs untuk Azure Data Explorer

Azure Data Explorer menawarkan penyerapan dari Azure Event Hubs, platform streaming big data, dan layanan penyerapan peristiwa. Azure Event Hubs dapat memproses jutaan peristiwa per detik dalam waktu hampir bersamaan.

Dalam artikel ini, Anda menyambungkan ke pusat aktivitas dan menyerap data ke Azure Data Explorer. Untuk gambaran umum tentang penyerapan dari Azure Event Hubs, lihat Koneksi data Azure Event Hubs.

Untuk mempelajari cara membuat koneksi menggunakan SDK Kusto, lihat Membuat koneksi data Azure Event Hubs dengan SDK.

Untuk sampel kode berdasarkan versi SDK sebelumnya, lihat artikel yang diarsipkan.

Membuat koneksi data pusat aktivitas

Di bagian ini, Anda membuat koneksi antara pusat aktivitas dan tabel Azure Data Explorer Anda. Selama koneksi ini ada, data dikirimkan dari hub peristiwa ke tabel target Anda. Jika pusat aktivitas dipindahkan ke sumber daya atau langganan yang berbeda, Anda perlu memperbarui atau membuat ulang koneksi.

Mendapatkan data

Prasyarat

• Akun Microsoft atau identitas pengguna Microsoft Entra. Langganan Azure tidak diperlukan.
• Kluster dan database Azure Data Explorer. Membuat kluster dan database.
• Penyerapan streaming harus dikonfigurasi pada kluster Azure Data Explorer Anda.

Dapatkan data

1. Dari menu sebelah kiri, pilih Kueri.

2. Klik kanan pada database tempat Anda ingin menyerap data. Pilih Dapatkan data.

   

Sumber

Di jendela Dapatkan data , tab Sumber dipilih.

Pilih sumber data dari daftar yang tersedia. Dalam contoh ini, Anda menyerap data dari Azure Event Hubs.

Konfigurasikan

1. Pilih database dan tabel target. Jika Anda ingin menyerap data ke dalam tabel baru, pilih + Tabel baru dan masukkan nama tabel.

   Catatan

   Nama tabel dapat mencapai 1024 karakter termasuk spasi, alfanumerik, tanda hubung, dan garis bawah. Karakter khusus tidak didukung.

   

2. Isi bidang berikut:

   Pengaturan	Deskripsi bidang
   Langganan	ID langganan tempat sumber daya pusat aktivitas berada.
   Namespace layanan event hub	Nama yang mengidentifikasi namespace Anda.
   Pusat aktivitas	Pusat aktivitas yang ingin Anda gunakan
   Grup konsumen	Grup konsumen yang ditentukan dalam peristiwa Anda
   Nama koneksi data	Nama yang mengidentifikasi koneksi data Anda.
   Filter tingkat lanjut
   Kompresi	Jenis kompresi payload pesan pusat aktivitas.
   Properti sistem peristiwa	Properti sistem pusat aktivitas. Jika ada beberapa rekaman per pesan peristiwa, properti sistem ditambahkan ke rekaman pertama. Saat menambahkan properti sistem, buat atau perbarui skema tabel dan pemetaan untuk menyertakan properti yang dipilih.
   Tanggal mulai pengambilan peristiwa	Koneksi data mengambil peristiwa Azure Event Hubs yang sudah ada yang dibuat setelah tanggal mulai pengambilan Peristiwa. Hanya peristiwa yang dipertahankan oleh periode retensi Azure Event Hubs yang dapat diambil. Jika tanggal mulai Pengambilan peristiwa tidak ditentukan, waktu default adalah waktu saat koneksi data dibuat.

3. Pilih Selanjutnya

Memeriksa

Tab Periksa terbuka dengan pratinjau data.

Untuk menyelesaikan proses penyerapan, pilih Selesai.

Opsional:

• Jika data yang Anda lihat di jendela pratinjau tidak selesai, Anda mungkin memerlukan lebih banyak data untuk membuat tabel dengan semua bidang data yang diperlukan. Gunakan perintah berikut untuk mengambil data baru dari pusat aktivitas Anda:

  • Membuang dan mengambil data baru: Membuang data yang disajikan dan mencari peristiwa baru.

  • Ambil lebih banyak data: Cari lebih banyak peristiwa selain peristiwa yang sudah ditemukan.

    Catatan

    Untuk melihat pratinjau data Anda, pusat aktivitas Anda harus mengirim peristiwa.

• Pilih Penampil perintah untuk melihat dan menyalin perintah otomatis yang dihasilkan dari input Anda.

• Gunakan menu dropdown File definisi skema untuk mengubah file tempat skema disimpulkan.

• Ubah format data yang disimpulkan secara otomatis dengan memilih format yang diinginkan dari menu dropdown. Lihat Format data yang didukung oleh Azure Data Explorer untuk penyerapan.

• Edit kolom.

• Jelajahi Opsi tingkat lanjut berdasarkan jenis data.

Edit kolom

Catatan

• Untuk format tabular (CSV, TSV, PSV), Anda tidak dapat memetakan kolom dua kali. Untuk memetakan ke kolom yang sudah ada, pertama-tama hapus kolom baru.
• Anda tidak dapat mengubah tipe kolom yang sudah ada. Jika Anda mencoba memetakan ke kolom yang memiliki format yang berbeda, Anda mungkin berakhir dengan kolom kosong.

Perubahan yang dapat Anda lakukan dalam tabel tergantung pada parameter berikut:

• Jenis tabel baru atau sudah ada
• Jenis pemetaan baru atau sudah ada

Jenis tabel	Jenis Pemetaan	Penyesuaian yang tersedia
Tabel Baru	Tambahkan Pemetaan Baru	Ganti nama kolom, ubah jenis data, ubah sumber data, transformasi pemetaan, tambahkan kolom, hapus kolom
Tabel yang sudah ada	Tambahkan Pemetaan Baru	Tambahkan kolom (di mana Anda kemudian dapat mengubah jenis data, mengganti nama, dan memperbarui)
Tabel yang sudah ada	Pemetaan yang ada	tidak ada

Memindahkan transformasi

Some data format mappings (Parquet, JSON, and Avro) support simple ingest-time transformations. Untuk menerapkan transformasi pemetaan, buat atau perbarui kolom di jendela Edit kolom .

Transformasi pemetaan dapat dilakukan pada kolom string jenis atau tanggalwaktu, dengan sumber memiliki tipe data int atau panjang. Supported mapping transformations are:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Opsi tingkat lanjut berdasarkan jenis data

Tabular (CSV, TSV, PSV):

• Jika Anda menyerap format tabular dalam tabel yang sudah ada, Anda bisa memilih Tingkat Lanjut>Pertahankan skema tabel saat ini. Data tabular tidak selalu menyertakan nama kolom yang digunakan untuk memetakan data sumber ke kolom yang ada. Ketika opsi ini dicentang, pemetaan dilakukan secara berurutan, dan skema tabel tetap sama. Jika opsi ini tidak dicentang, kolom baru dibuat untuk data masuk, terlepas dari struktur data.

• Untuk menggunakan baris pertama sebagai nama kolom, pilih Baris pertama Tingkat Lanjut>adalah header kolom.

  

JSON:

• Untuk menentukan pembagian kolom data JSON, pilih Tingkat Berlapis Tingkat Lanjut>, dari 1 hingga 100.

• Jika Anda memilih Kesalahan format data Abaikan Tingkat Lanjut>, data diserap dalam format JSON. Jika Anda membiarkan kotak centang ini tidak dipilih, data diserap dalam format multijson.

  

Ringkasan

Di jendela Persiapan data, ketiga langkah ditandai dengan tanda centang hijau saat penyerapan data berhasil diselesaikan. Anda bisa menampilkan perintah yang digunakan untuk setiap langkah, atau memilih kartu untuk mengkueri, memvisualisasikan, atau menghilangkan data yang diserap.

Portal - Halaman Azure Data Explorer

Prasyarat

• Langganan Azure. Membuat akun Azure gratis.
• Kluster dan database Azure Data Explorer. Membuat kluster dan database.
• Tabel tujuan. Buat tabel atau gunakan tabel yang sudah ada.
• Pemetaan penyerapan untuk tabel.
• Pusat aktivitas dengan data untuk penyerapan.

Dapatkan data

1. Di portal Azure, buka kluster Anda dan pilih Database. Kemudian, pilih database yang berisi tabel target Anda.

   

2. Dari menu sebelah kiri, pilih Penyerapan data. Kemudian, di bilah atas, pilih Tambahkan koneksi data.

3. Isi formulir dengan informasi berikut, lalu pilih Buat.

   Pengaturan	Nilai yang disarankan	Deskripsi bidang
   Nama koneksi data	test-hub-connection	Nama koneksi yang ingin Anda buat di Azure Data Explorer.
   Langganan		ID langganan tempat sumber daya pusat aktivitas berada.
   Namespace layanan event hub	Nama namespace layanan yang unik	Nama yang Anda pilih sebelumnya yang mengidentifikasi namespace layanan Anda.
   Pusat aktivitas	test-hub	Pusat aktivitas yang Anda buat.
   Grup konsumen	test-group	Grup konsumen yang ditentukan di pusat aktivitas yang Anda buat.
   Properti sistem peristiwa	Pilih properti yang relevan	Properti sistem pusat aktivitas. Jika ada beberapa rekaman per pesan peristiwa, properti sistem ditambahkan ke rekaman pertama. Saat menambahkan properti sistem, buat atau perbarui skema tabel dan pemetaan untuk menyertakan properti yang dipilih.
   Kompresi	Tidak	Jenis kompresi payload pesan pusat aktivitas. Jenis kompresi yang didukung: Tidak ada, gzip.
   Identitas Terkelola (disarankan)	Ditetapkan sistem	Identitas terkelola yang digunakan oleh kluster Data Explorer untuk akses membaca dari hub peristiwa. Sebaiknya gunakan identitas terkelola untuk mengontrol akses ke pusat aktivitas Anda. Catatan: Ketika koneksi data dibuat: * Identitas yang ditetapkan sistem dibuat secara otomatis jika tidak ada * Identitas terkelola secara otomatis diberi peran Penerima Data Azure Event Hubs dan ditambahkan ke kluster Data Explorer Anda. Sebaiknya verifikasi bahwa peran tersebut ditugaskan dan identitas ditambahkan ke kluster.

   Catatan

   Jika Anda memiliki koneksi data yang sudah ada yang tidak menggunakan identitas terkelola, sebaiknya perbarui untuk menggunakan identitas terkelola.

Portal - Halaman Azure Event Hubs

Prasyarat

• Langganan Azure. Membuat akun Azure gratis.
• Kluster dan database Azure Data Explorer. Membuat kluster dan database.
• Tabel tujuan. Buat tabel atau gunakan tabel yang sudah ada.
• Pemetaan penyerapan untuk tabel.
• Pusat aktivitas dengan data untuk penyerapan.

Dapatkan data

1. Di portal Azure, telusuri ke Instans Azure Event Hubs Anda.

2. Di bawah menu sisi Fitur , pilih Analisis data dengan Kusto.

3. Pilih Mulai untuk membuka wizard penyerapan ke Azure Data Explorer.

   

   Catatan

   • Anda harus memiliki setidaknya izin Pengguna Database.
   • Untuk mengaktifkan akses antara kluster dan akun penyimpanan tanpa akses publik, lihat Membuat Titik Akhir Privat Terkelola.
   • Kluster dan hub peristiwa harus dikaitkan dengan penyewa yang sama. Jika tidak, gunakan salah satu opsi SDK, seperti C# atau Python.

4. Panel Sisi data penyerapan terbuka dengan tab Tujuan dipilih. Pilih bidang Kluster dan Database dari menu drop-down. Pastikan Anda memilih kluster yang sedang berjalan. Jika tidak, Anda tidak akan dapat memilih Database dan melanjutkan proses penyerapan.

5. Di bawah Tabel, pilih Tabel baru dan masukkan nama untuk tabel baru. Atau, gunakan tabel yang Sudah Ada.

6. Pilih Berikutnya: Sumber.

7. Di bawah Jenis sumber, jenis dan detail Pusat Aktivitas diisi otomatis berdasarkan Instans Azure Event Hubs yang Anda mulai.

8. Di bawah Koneksi Data, isi bidang berikut dan pilih Berikutnya: Skema.

   Pengaturan	Nilai yang disarankan	Deskripsi bidang
   Langganan		ID langganan tempat sumber daya pusat aktivitas berada.
   Namespace layanan event hub		Nama yang mengidentifikasi namespace Anda.
   Pusat aktivitas		Pusat aktivitas yang ingin Anda gunakan.
   Nama koneksi data	TestDataConnection	Nama yang mengidentifikasi koneksi data Anda.
   Grup konsumen		Grup konsumen yang ditentukan di pusat aktivitas Anda.
   Kompresi		Jenis kompresi payload pesan pusat aktivitas.
   Properti sistem peristiwa	Pilih properti yang relevan	Properti sistem pusat aktivitas. Jika ada beberapa rekaman per pesan peristiwa, properti sistem ditambahkan ke rekaman pertama. Saat menambahkan properti sistem, buat atau perbarui skema tabel dan pemetaan untuk menyertakan properti yang dipilih.
   Tanggal mulai pengambilan peristiwa	Waktu Universal Terkoordinasi (UTC)	Koneksi data mengambil peristiwa Azure Event Hubs yang sudah ada yang dibuat setelah tanggal mulai pengambilan Peristiwa. Hanya peristiwa yang dipertahankan oleh periode retensi Azure Event Hubs yang dapat diambil. Jika tanggal mulai Pengambilan peristiwa tidak ditentukan, waktu default adalah waktu saat koneksi data dibuat.

9. Jika streaming diaktifkan untuk kluster, Anda dapat memilih Penyerapan streaming. Jika streaming tidak diaktifkan untuk kluster, atur latensi batching data. Untuk Azure Event Hubs, waktu batching yang direkomendasikan adalah 30 detik.

   

10. Pilih format Data. Untuk data berformat CSV, Abaikan rekaman pertama untuk mengabaikan baris judul file. Untuk data berformat JSON, pilih Abaikan kesalahan format data untuk menyerap data dalam format JSON atau biarkan tidak dipilih untuk menyerap data dalam format multijson. Pilih tingkat Berlapis untuk menentukan pembagian data kolom tabel.

11. Jika data yang Anda lihat di jendela pratinjau tidak selesai, Anda mungkin memerlukan lebih banyak data untuk membuat tabel dengan semua bidang data yang diperlukan. Gunakan perintah berikut untuk mengambil data baru dari pusat aktivitas Anda:

    • Buang dan ambil data baru: buang data yang disajikan dan cari peristiwa baru.
    • Ambil lebih banyak data: Cari lebih banyak peristiwa selain peristiwa yang sudah ditemukan.

    Catatan

    Untuk melihat pratinjau data Anda, pusat aktivitas Anda harus mengirim peristiwa.

12. Pilih Berikutnya: Ringkasan.

13. Di jendela Penyerapan berkelanjutan dari Event Hub yang dibuat , semua langkah ditandai dengan tanda centang hijau saat pendirian berhasil diselesaikan.

Templat ARM

Prasyarat

• Langganan Azure. Membuat akun Azure gratis.
• Kluster dan database Azure Data Explorer. Membuat kluster dan database.
• Tabel tujuan. Buat tabel atau gunakan tabel yang sudah ada.
• Pemetaan penyerapan untuk tabel.
• Pusat aktivitas dengan data untuk penyerapan.

Templat ARM

Contoh berikut menunjukkan templat Azure Resource Manager untuk menambahkan koneksi data Azure Event Hubs. Anda dapat mengedit dan menyebarkan templat di portal Microsoft Azure dengan menggunakan formulir.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Menghapus koneksi data pusat aktivitas

Mendapatkan data

Hapus koneksi data melalui portal Azure seperti yang dijelaskan di tab portal.

Portal

Untuk menghapus koneksi pusat aktivitas dari portal Azure, lakukan hal berikut:

1. Buka kluster Anda. Dari menu sebelah kiri, pilih Database. Kemudian, pilih database yang berisi tabel target.
2. Dari menu sebelah kiri, pilih Koneksi data. Kemudian, pilih kotak centang di samping koneksi data pusat aktivitas yang relevan.
3. Dari bilah menu atas, pilih Hapus.

Konten terkait

• Periksa koneksi dengan aplikasi pesan sampel Pusat aktivitas
• Mengkueri data di UI Web