Membuat koneksi data Azure Event Hubs untuk Azure Data Explorer

Azure Data Explorer menawarkan penyerapan dari Event Hubs, platform streaming big data dan layanan penyerapan peristiwa. Azure Event Hubs dapat memproses jutaan peristiwa per detik dalam waktu hampir bersamaan.

Dalam artikel ini, Anda tersambung ke pusat aktivitas dan menyerap data ke dalam Azure Data Explorer. Untuk gambaran umum tentang pengambilan data dari Azure Event Hubs, lihat pada koneksi data Azure Event Hubs.

Untuk mempelajari cara membuat koneksi menggunakan kit pengembang perangkat lunak (SDK) Kusto, lihat Membuat koneksi data Azure Event Hubs dengan SDK.

Untuk sampel kode berdasarkan versi SDK sebelumnya, lihat artikel yang diarsipkan.

Peringatan

Panduan Dapatkan Data tidak mendukung pembuatan koneksi data ke Azure Event Hubs melalui titik akhir privat atau titik akhir privat terkelola. Untuk membuat koneksi data dari portal Azure, ikuti instruksi di halaman Portal - Azure Event Hubs.

Membuat koneksi data pusat aktivitas

Di bagian ini, Anda membuat koneksi antara pusat aktivitas dan tabel Azure Data Explorer Anda. Selama koneksi ini ada, data dikirimkan dari hub peristiwa ke tabel target Anda. Jika pusat aktivitas dipindahkan ke sumber daya atau langganan yang berbeda, Anda perlu memperbarui atau membuat ulang koneksi.

Mendapatkan data

Prasyarat

• Identitas pengguna akun Microsoft atau Microsoft Entra. Langganan Azure tidak diperlukan.
• Sebuah kluster dan database Azure Data Explorer. Membuat kluster dan database.
• Penyerapan streaming harus dikonfigurasi pada kluster Azure Data Explorer Anda.

Dapatkan data

1. Dari menu sebelah kiri, pilih Kueri.

2. Klik kanan pada database tempat Anda ingin menyerap data. Pilih Dapatkan data.

   

Sumber

Di jendela Dapatkan data , tab Sumber dipilih.

Pilih sumber data dari daftar yang tersedia. Dalam contoh ini, Anda menyerap data dari Azure Event Hubs.

Konfigurasikan

1. Pilih database dan tabel target. Jika Anda ingin menyerap data ke dalam tabel baru, pilih + Tabel baru dan masukkan nama tabel.

   Catatan

   Nama tabel dapat mencapai 1.024 karakter termasuk spasi, alfanumerik, tanda hubung, dan garis bawah. Karakter khusus tidak didukung.

   

2. Isi bidang berikut:

   Pengaturan	Deskripsi bidang
   Langganan	ID langganan tempat sumber daya pusat acara berada.
   Namespace layanan event hub	Nama yang mengidentifikasi namespace Anda.
   Pusat aktivitas	Hub acara yang ingin Anda gunakan
   Grup konsumen	Grup konsumen yang ditentukan dalam peristiwa Anda
   Nama koneksi data	Nama yang mengidentifikasi koneksi data Anda.
   Filter tingkat lanjut
   Kompresi	Jenis kompresi payload pesan pusat aktivitas.
   Properti sistem peristiwa	Properti sistem pusat aktivitas. Jika ada beberapa rekaman per pesan peristiwa, properti sistem ditambahkan ke rekaman pertama. Saat menambahkan properti sistem, buat atau perbarui skema tabel dan pemetaan untuk menyertakan properti yang dipilih.
   Tanggal mulai pengambilan data peristiwa	Koneksi data mengambil event Event Hubs yang sudah ada yang dibuat setelah tanggal mulai pengambilan event. Hanya event yang dipertahankan oleh periode retensi Azure Event Hubs yang dapat diambil. Jika tanggal mulai pengambilan peristiwa tidak ditentukan, waktu default adalah waktu saat koneksi data dibuat.

3. Pilih Selanjutnya

Inspeksi

Tab Periksa terbuka dengan pratinjau data.

Untuk menyelesaikan proses penyerapan, pilih Selesai.

Opsional:

• Jika data yang Anda lihat di jendela pratinjau tidak selesai, Anda mungkin memerlukan lebih banyak data untuk membuat tabel dengan semua bidang data yang diperlukan. Gunakan perintah berikut untuk mengambil data baru dari pusat aktivitas Anda:

  • Mengesampingkan dan mengambil data baru: Mengesampingkan data yang disajikan dan mencari peristiwa baru.

  • Ambil lebih banyak data: Cari lebih banyak peristiwa selain peristiwa yang sudah ditemukan.

    Catatan

    Untuk melihat pratinjau data Anda, pusat aktivitas Anda harus mengirim peristiwa.

• Pilih Penampil perintah untuk melihat dan menyalin perintah otomatis yang dihasilkan dari input Anda.

• Gunakan menu dropdown File definisi skema untuk mengubah file yang digunakan untuk menyimpulkan skema.

• Ubah format data yang disimpulkan secara otomatis dengan memilih format yang diinginkan dari menu dropdown. Lihat format Data yang didukung oleh Azure Data Explorer untuk penyerapan.

• Edit kolom.

• Jelajahi Opsi tingkat lanjut berdasarkan jenis data.

Edit kolom

Catatan

• Untuk format tabular (CSV, TSV, PSV), Anda tidak dapat memetakan kolom dua kali. Untuk memetakan ke kolom yang sudah ada, pertama-tama hapus kolom baru.
• Anda tidak dapat mengubah tipe kolom yang sudah ada. Jika Anda mencoba memetakan ke kolom yang memiliki format yang berbeda, Anda mungkin berakhir dengan kolom kosong.

Perubahan yang dapat Anda lakukan dalam tabel tergantung pada parameter berikut:

• Jenis tabel baru atau sudah ada
• Jenis pemetaan baru atau sudah ada

Jenis tabel	Jenis Pemetaan	Penyesuaian yang tersedia
Tabel Baru	Pemetaan Baru	Ganti nama kolom, ubah jenis data, ubah sumber data, transformasi pemetaan, tambahkan kolom, hapus kolom
Tabel yang sudah ada	Pemetaan Baru	Tambahkan kolom (di mana Anda kemudian dapat mengubah jenis data, mengganti nama, dan memperbarui)
Tabel yang sudah ada	Pemetaan yang ada	tidak ada

Pemetaan transformasi

Beberapa pemetaan format data (Parquet, JSON, dan Avro) mendukung transformasi sederhana pada waktu penerimaan data. Untuk menerapkan transformasi pemetaan, buat atau perbarui kolom di jendela Edit kolom .

Transformasi pemetaan dapat dilakukan pada kolom jenis string atau datetime, dengan sumber memiliki tipe data int atau long. Transformasi pemetaan yang didukung adalah:

• TanggalWaktuDariDetikUnix
• TanggalWaktuDariMiliDetikUnix
• DateTimeFromUnixMicroseconds
• TanggalDanWaktuDariUnixNanodetik

Opsi tingkat lanjut berdasarkan jenis data

Data Tabular (CSV, TSV, PSV):

• Jika Anda memasukkan format tabular dalam tabel yang sudah ada, Anda dapat memilih menu tarik-turun pemetaan tabel dan memilih Gunakan pemetaan eksisting. Data tabular tidak selalu menyertakan nama kolom yang digunakan untuk memetakan data sumber ke kolom yang ada. Ketika opsi ini dicentang, pemetaan dilakukan secara berurutan, dan skema tabel tetap sama.

• Jika tidak, buat pemetaan baru.

• Untuk menggunakan baris pertama sebagai nama kolom, pilih Header baris pertama.

  

JSON:

• Untuk menentukan pembagian kolom data JSON, pilih Tingkat berlapis, dari 1 hingga 100.

Ringkasan

Di jendela Persiapan data, ketiga langkah ditandai dengan tanda centang hijau saat penyerapan data berhasil diselesaikan. Anda bisa menampilkan perintah yang digunakan untuk setiap langkah, atau memilih kartu untuk mengkueri, memvisualisasikan, atau menghilangkan data yang diserap.

Cuplikan layar ringkasan mendapatkan data dari Pusat Acara di Azure Data Explorer.

Portal - halaman Azure Data Explorer

Prasyarat

• Langganan Azure. Buat akun free Azure.
• Sebuah kluster dan database Azure Data Explorer. Membuat kluster dan database.
• Tabel tujuan. Buat tabel atau gunakan tabel yang sudah ada.
• Pemetaan ingestion untuk tabel.
• Sebuah event hub dengan data untuk pemasukan.

Dapatkan data

1. Di portal Azure, buka kluster Anda dan pilih Databases. Kemudian, pilih database yang berisi tabel target Anda.

   

2. Dari menu sebelah kiri, pilih Penyerapan data. Kemudian, di bilah atas, pilih Tambahkan koneksi data.

3. Isi formulir dengan informasi berikut, lalu pilih Buat.

   Pengaturan	Nilai yang disarankan	Deskripsi bidang
   Nama koneksi data	test-hub-connection	Nama koneksi yang ingin Anda buat di Azure Data Explorer.
   Langganan		ID langganan tempat sumber daya pusat acara berada.
   Namespace layanan event hub	Nama namespace yang unik	Nama yang Anda pilih sebelumnya yang mengidentifikasi namespace Anda.
   Pusat aktivitas	test-hub	Pusat aktivitas yang Anda buat.
   Grup konsumen	grup pengujian	Grup konsumen yang ditentukan di pusat aktivitas yang Anda buat.
   Properti sistem peristiwa	Pilih properti yang relevan	Properti sistem pusat aktivitas. Jika ada beberapa rekaman per pesan peristiwa, properti sistem ditambahkan ke rekaman pertama. Saat menambahkan properti sistem, buat atau perbarui skema tabel dan pemetaan untuk menyertakan properti yang dipilih.
   Kompresi	Tidak	Jenis kompresi payload pesan pusat aktivitas. Jenis kompresi yang didukung: None, gzip.
   Identitas Terkelola (disarankan)	Ditetapkan sistem	Identitas terkelola yang digunakan oleh kluster Data Explorer untuk mengakses pembacaan dari event hub. Sebaiknya gunakan identitas terkelola untuk mengontrol akses ke pusat aktivitas Anda. Catatan: Ketika koneksi data dibuat: * Identitas yang ditetapkan sistem dibuat secara otomatis jika tidak ada * Identitas terkelola secara otomatis diberi peran Azure Event Hubs Data Receiver dan ditambahkan ke kluster Data Explorer Anda. Sebaiknya verifikasi bahwa peran tersebut ditugaskan dan identitas ditambahkan ke kluster.

   Catatan

   Jika Anda memiliki koneksi data yang sudah ada yang tidak menggunakan identitas terkelola, sebaiknya perbarui untuk menggunakan identitas terkelola.

Portal - halaman Azure Event Hubs

Prasyarat

• Langganan Azure. Buat akun free Azure.
• Sebuah kluster dan database Azure Data Explorer. Membuat kluster dan database.
• Tabel tujuan. Buat tabel atau gunakan tabel yang sudah ada.
• Pemetaan penyerapan untuk tabel.
• Pusat aktivitas dengan data untuk penyerapan.

Dapatkan data

1. Di portal Azure, telusuri ke Instans Azure Event Hubs Anda.

2. Di bawah menu sisi Fitur , pilih Analisis data dengan Kusto.

3. Pilih Mulai untuk membuka wizard penyerapan ke Azure Data Explorer.

   

   Catatan

   • Anda harus memiliki setidaknya izin Pengguna Database.
   • Untuk mengaktifkan akses antara kluster dan akun penyimpanan tanpa akses publik, lihat Membuat Titik Akhir Privat Terkelola.
   • Kluster dan event hub harus terkait dengan penyewa yang sama. Jika tidak, gunakan salah satu opsi SDK, seperti C# atau Python.

4. Panel data Ingest terbuka dengan tab Tujuan yang dipilih. Pilih bidang Kluster dan Database dari menu dropdown. Pastikan Anda memilih kluster yang sedang berjalan. Jika tidak, Anda tidak dapat memilih Database dan melanjutkan proses penyerapan.

5. Di bawah Tabel, pilih Tabel baru dan masukkan nama untuk tabel baru. Atau, gunakan tabel yang sudah ada.

6. Pilih Berikutnya: Sumber.

7. Di bawah Tipe Sumber, jenis dan detail Event Hub diisi otomatis berdasarkan Instans Event Hubs yang Anda mulai.

8. Di bawah Koneksi Data, isi bidang berikut dan pilih Berikutnya: Skema.

   Pengaturan	Nilai yang disarankan	Deskripsi bidang
   Langganan		ID langganan tempat sumber daya pusat acara berada.
   Namespace layanan event hub		Nama yang mengidentifikasi namespace Anda.
   Pusat aktivitas		Hub acara yang ingin Anda gunakan.
   Nama koneksi data	TestDataConnection	Nama yang mengidentifikasi koneksi data Anda.
   Grup konsumen		Grup konsumen yang ditentukan di pusat aktivitas Anda.
   Kompresi		Jenis kompresi payload pesan pusat aktivitas.
   Properti sistem peristiwa	Pilih properti yang relevan	Properti sistem pusat aktivitas. Jika ada beberapa rekaman per pesan peristiwa, properti sistem ditambahkan ke rekaman pertama. Saat menambahkan properti sistem, buat atau perbarui skema tabel dan pemetaan untuk menyertakan properti yang dipilih.
   Tanggal mulai pengambilan peristiwa	Waktu Universal Terkoordinasi (UTC)	Koneksi data mengambil peristiwa Event Hubs yang sudah ada yang dibuat setelah tanggal mulai pengambilan peristiwa. Hanya peristiwa yang disimpan selama periode retensi oleh Event Hubs yang dapat diambil. Jika Tanggal Mulai Pengambilan Peristiwa tidak ditentukan, waktu default adalah waktu saat koneksi data dibuat.

9. Jika streaming diaktifkan untuk kluster, Anda dapat memilih ingesti streaming. Jika streaming tidak diaktifkan untuk kluster, atur Latensi Batching Data. Untuk Azure Event Hubs, waktu batching yang direkomendasikan adalah 30 detik.

   

10. Pilih Format Data. Untuk data berformat CSV, Abaikan rekaman pertama untuk mengabaikan baris judul file. Untuk data berformat JSON, pilih Abaikan kesalahan format data untuk menyerap data dalam format JSON atau biarkan tidak dipilih untuk menyerap data dalam format multijson. Pilih Berlapis tingkat untuk menentukan pembagian data kolom tabel.

11. Jika data yang Anda lihat di jendela pratinjau tidak selesai, Anda mungkin memerlukan lebih banyak data untuk membuat tabel dengan semua bidang data yang diperlukan. Gunakan perintah berikut untuk mengambil data baru dari pusat aktivitas Anda:

    • Buang dan ambil data baru: buang data yang disajikan dan cari peristiwa baru.
    • Ambil lebih banyak data: Cari lebih banyak peristiwa selain peristiwa yang sudah ditemukan.

    Catatan

    Untuk melihat pratinjau data Anda, hub acara Anda harus mengirimkan peristiwa.

12. Pilih Berikutnya: Ringkasan.

13. Di jendela Penyerapan berkelanjutan dari Event Hub yang dibuat , semua langkah ditandai dengan tanda centang hijau saat pendirian berhasil diselesaikan.

Templat ARM

Prasyarat

• Langganan Azure. Buat akun free Azure.
• Sebuah kluster dan database Azure Data Explorer. Membuat kluster dan database.
• Tabel tujuan. Buat tabel atau gunakan tabel yang sudah ada.
• Pemetaan penyerapan untuk tabel.
• Pusat aktivitas dengan data untuk penyerapan.

Templat ARM

Contoh berikut menunjukkan templat Azure Resource Manager untuk menambahkan koneksi data Azure Event Hubs. Anda dapat edit dan menyebarkan templat di portal Azure dengan menggunakan formulir.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Menghapus koneksi data pusat aktivitas

Mendapatkan data

Hapus koneksi data melalui portal Azure seperti yang dijelaskan di tab portal.

Portal

Untuk menghapus koneksi pusat aktivitas dari portal Azure, lakukan langkah-langkah berikut:

1. Buka kluster Anda. Dari menu sebelah kiri, pilih Database. Kemudian, pilih database yang berisi tabel target.
2. Dari menu sebelah kiri, pilih Koneksi data. Kemudian, pilih kotak centang di samping koneksi data pusat aktivitas yang relevan.
3. Dari bilah menu atas, pilih Hapus.

Konten terkait

• Periksa koneksi dengan aplikasi pesan contoh Event hub
• Mengkueri data di UI Web