Bagikan melalui

Mendapatkan data dari Azure Event Hubs

  • Artikel

Dalam artikel ini, Anda mempelajari cara mendapatkan data dari Azure Event Hubs ke database KQL Anda di Microsoft Fabric. Azure Event Hubs adalah platform streaming big data dan layanan penyerapan peristiwa yang dapat memproses dan mengarahkan jutaan peristiwa per detik.

Untuk mengalirkan data dari Azure Event Hubs ke Real-Time Intelligence, Anda melalui dua langkah utama. Langkah pertama dilakukan di portal Azure, di mana Anda menentukan kebijakan akses bersama pada instans pusat aktivitas Anda dan menangkap detail yang diperlukan untuk terhubung nanti melalui kebijakan ini.

Langkah kedua terjadi di Real-Time Intelligence in Fabric, di mana Anda menghubungkan database KQL ke pusat aktivitas dan mengonfigurasi skema untuk data masuk. Langkah ini membuat dua koneksi. Koneksi pertama, yang disebut "koneksi cloud", menghubungkan Microsoft Fabric ke instans pusat aktivitas. Koneksi kedua menghubungkan "koneksi cloud" ke database KQL Anda. Setelah Anda selesai mengonfigurasi data peristiwa dan skema, data yang dialirkan tersedia untuk dikueri menggunakan Set Kueri KQL.

Prasyarat

Peringatan

Pusat aktivitas Anda tidak boleh berada di belakang firewall.

Mengatur kebijakan akses bersama di pusat aktivitas Anda

Sebelum dapat membuat koneksi ke data Azure Event Hubs, Anda perlu mengatur kebijakan akses bersama (SAS) di hub peristiwa dan mengumpulkan beberapa informasi yang akan digunakan nanti dalam menyiapkan koneksi. Untuk informasi selengkapnya tentang mengotorisasi akses ke sumber daya Azure Event Hubs, lihat Tanda Tangan Akses Bersama.

  1. Di portal Azure, telusuri ke instans pusat aktivitas yang ingin Anda sambungkan.

  2. Di bawah Pengaturan, pilih Kebijakan akses bersama

  3. Pilih +Tambahkan untuk menambahkan kebijakan SAS baru, atau pilih kebijakan yang sudah ada dengan Kelola izin.

    Cuplikan layar pembuatan kebijakan SAS di portal Azure.

  4. Masukkan Nama kebijakan.

  5. Pilih Kelola, lalu Buat.

Mengumpulkan informasi untuk koneksi cloud

Di dalam panel kebijakan SAS, perhatikan empat bidang berikut ini. Anda mungkin ingin menyalin bidang ini dan menempelkannya di suatu tempat, seperti notepad, untuk digunakan di langkah selanjutnya.

Cuplikan layar memperlihatkan cara mengisi koneksi dengan data dari portal Azure.

Referensi bidang Bidang Description Contoh
a Instans Azure Event Hubs Nama instans pusat aktivitas. iotdata
b Kebijakan SAS Nama kebijakan SAS yang dibuat pada langkah sebelumnya DocsTest
c Kunci utama Kunci yang terkait dengan kebijakan SAS Dalam contoh ini, dimulai dengan PGGIISb009...
d Kunci string-primer koneksi Di bidang ini Anda hanya ingin menyalin namespace layanan pusat aktivitas, yang dapat ditemukan sebagai bagian dari string koneksi. eventhubpm15910.servicebus.windows.net

Sumber

  1. Pada pita bawah database KQL Anda, pilih Dapatkan Data.

    Di jendela Dapatkan data , tab Sumber dipilih.

  2. Pilih sumber data dari daftar yang tersedia. Dalam contoh ini, Anda menyerap data dari Azure Event Hubs.

    Cuplikan layar jendela dapatkan data dengan tab sumber dipilih.

Konfigurasikan

  1. Pilih tabel target. Jika Anda ingin menyerap data ke dalam tabel baru, pilih + Tabel baru dan masukkan nama tabel.

    Catatan

    Nama tabel dapat mencapai 1024 karakter termasuk spasi, alfanumerik, tanda hubung, dan garis bawah. Karakter khusus tidak didukung.

  2. Pilih Buat koneksi baru, atau pilih Koneksi yang sudah ada dan lanjutkan ke langkah berikutnya.

Buat koneksi baru

  1. Isi pengaturan Koneksi sesuai dengan tabel berikut ini:

    Cuplikan layar tab sumber.

    Pengaturan Keterangan Contoh nilai
    Namespace layanan event hub Bidang d dari tabel di atas. eventhubpm15910.servicebus.windows.net
    Pusat aktivitas Bidang a dari tabel di atas. Nama instans pusat aktivitas. iotdata
    Connection Untuk menggunakan koneksi cloud yang ada antara Fabric dan Event Hubs, pilih nama koneksi ini. Jika tidak, pilih Buat koneksi baru. Membuat koneksi baru
    Nama koneksi Nama koneksi cloud baru Anda. Nama ini dibuat secara otomatis, tetapi dapat ditimpa. Harus unik dalam penyewa Fabric. Koneksi
    Jenis autentikasi Diisi otomatis. Saat ini hanya Kunci Akses Bersama yang didukung. Kunci Akses Bersama
    Nama Kunci Akses Bersama Bidang b dari tabel di atas. Nama yang Anda berikan ke kebijakan akses bersama. DocsTest
    Kunci Akses Bersama Bidang c dari tabel di atas. Kunci utama kebijakan SAS.

  2. Pilih Simpan. Koneksi data cloud baru antara Fabric dan Event Hubs dibuat.

Menyambungkan koneksi cloud ke database KQL Anda

Baik Anda telah membuat koneksi cloud baru, atau menggunakan yang sudah ada, Anda perlu menentukan grup konsumen. Anda dapat secara opsional mengatur parameter yang lebih menentukan aspek koneksi antara database KQL dan koneksi cloud.

  1. Isi bidang berikut sesuai dengan tabel:

    Cuplikan layar pembuatan koneksi database.

    Pengaturan Keterangan Contoh nilai
    Grup konsumen Grup konsumen yang relevan yang ditentukan di pusat aktivitas Anda. Untuk informasi selengkapnya, lihat grup konsumen. Setelah menambahkan grup konsumen baru, Anda kemudian harus memilih grup ini dari menu drop-down. NewConsumer
    Parameter lainnya
    Kompresi Pemadatan data peristiwa, seperti yang berasal dari pusat aktivitas. Opsi tidak ada (default), atau pemadatan Gzip. Tidak
    Properti sistem peristiwa Untuk informasi selengkapnya, lihat properti sistem pusat aktivitas. Jika ada beberapa rekaman per pesan peristiwa, properti sistem ditambahkan ke rekaman pertama. Lihat properti sistem peristiwa.
    Tanggal mulai pengambilan peristiwa Koneksi data mengambil peristiwa pusat aktivitas yang ada yang dibuat sejak tanggal mulai pengambilan Peristiwa. Ini hanya dapat mengambil peristiwa yang dipertahankan oleh pusat aktivitas, berdasarkan periode retensinya. Zona waktu adalah UTC. Jika tidak ada waktu yang ditentukan, waktu default adalah waktu saat koneksi data dibuat.

  2. Pilih Berikutnya untuk melanjutkan ke tab Inspeksi.

Properti sistem peristiwa

Properti sistem menyimpan properti yang diatur oleh layanan Azure Event Hubs pada saat peristiwa diantrekan. Koneksi data ke pusat aktivitas dapat menyematkan sekumpulan properti sistem yang dipilih ke dalam data yang diserap ke dalam tabel berdasarkan pemetaan tertentu.

Properti Jenis Data Deskripsi
x-opt-enqueued-time datetime Waktu UTC ketika peristiwa diantrekan.
x-opt-sequence-number long Nomor urutan logis peristiwa dalam aliran partisi hub peristiwa.
x-opt-offset string Offset peristiwa dari aliran partisi pusat aktivitas. Pengidentifikasi offset unik dalam partisi aliran pusat aktivitas.
x-opt-publisher string Nama penerbit, jika pesan dikirim ke titik akhir penerbit.
x-opt-partition-key string Kunci partisi dari partisi yang sesuai yang menyimpan peristiwa.

Memeriksa

Untuk menyelesaikan proses penyerapan, pilih Selesai.

Cuplikan layar tab inspeksi.

Opsional:

  • Pilih Penampil perintah untuk melihat dan menyalin perintah otomatis yang dihasilkan dari input Anda.

  • Ubah format data yang disimpulkan secara otomatis dengan memilih format yang diinginkan dari menu dropdown. Data dibaca dari pusat aktivitas dalam bentuk objek EventData . Format yang didukung adalah CSV, JSON, PSV, SCsv, SOHsv TSV, TXT, dan TSVE.

  • Edit kolom.

  • Jelajahi Opsi tingkat lanjut berdasarkan jenis data.

  • Jika data yang Anda lihat di jendela pratinjau tidak selesai, Anda mungkin memerlukan lebih banyak data untuk membuat tabel dengan semua bidang data yang diperlukan. Gunakan perintah berikut untuk mengambil data baru dari pusat aktivitas Anda:

    • Buang dan ambil data baru: buang data yang disajikan dan cari peristiwa baru.
    • Ambil lebih banyak data: Cari lebih banyak peristiwa selain peristiwa yang sudah ditemukan.

Edit kolom

Catatan

  • Untuk format tabular (CSV, TSV, PSV), Anda tidak dapat memetakan kolom dua kali. Untuk memetakan ke kolom yang sudah ada, pertama-tama hapus kolom baru.
  • Anda tidak dapat mengubah tipe kolom yang sudah ada. Jika Anda mencoba memetakan ke kolom yang memiliki format yang berbeda, Anda mungkin berakhir dengan kolom kosong.

Perubahan yang dapat Anda lakukan dalam tabel tergantung pada parameter berikut:

  • Jenis tabel baru atau sudah ada
  • Jenis pemetaan baru atau sudah ada
Jenis tabel Jenis Pemetaan Penyesuaian yang tersedia
Tabel Baru Tambahkan Pemetaan Baru Ganti nama kolom, ubah jenis data, ubah sumber data, transformasi pemetaan, tambahkan kolom, hapus kolom
Tabel yang sudah ada Tambahkan Pemetaan Baru Tambahkan kolom (di mana Anda kemudian dapat mengubah jenis data, mengganti nama, dan memperbarui)
Tabel yang sudah ada Pemetaan yang ada tidak ada

Cuplikan layar kolom terbuka untuk pengeditan.

Memindahkan transformasi

Some data format mappings (Parquet, JSON, and Avro) support simple ingest-time transformations. Untuk menerapkan transformasi pemetaan, buat atau perbarui kolom di jendela Edit kolom .

Transformasi pemetaan dapat dilakukan pada kolom string jenis atau tanggalwaktu, dengan sumber memiliki tipe data int atau panjang. Supported mapping transformations are:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Pemetaan skema untuk file Azure Event Hubs Capture Avro

Salah satu cara untuk menggunakan data Azure Event Hubs adalah dengan mengambil peristiwa melalui Azure Event Hubs di Azure Blob Storage atau Azure Data Lake Storage. Anda kemudian dapat menyerap file pengambilan saat ditulis menggunakan Koneksi Data Event Grid.

Skema file pengambilan berbeda dari skema peristiwa asli yang dikirim ke Azure Event Hubs. Anda harus merancang skema tabel tujuan dengan mengingat perbedaan ini. Secara khusus, payload peristiwa diwakili dalam file pengambilan sebagai array byte, dan array ini tidak secara otomatis didekodekan oleh koneksi data Azure Data Explorer Event Grid. Untuk informasi lebih spesifik tentang skema file untuk data pengambilan Azure Event Hubs Avro, lihat Menjelajahi file Avro yang diambil di Azure Event Hubs.

Untuk mendekode payload peristiwa dengan benar:

  1. Petakan Body bidang peristiwa yang diambil ke kolom jenis dynamic dalam tabel tujuan.
  2. Terapkan kebijakan pembaruan yang mengonversi array byte menjadi string yang dapat dibaca menggunakan fungsi unicode_codepoints_to_string().

Opsi tingkat lanjut berdasarkan jenis data

Tabular (CSV, TSV, PSV):

  • Jika Anda menyerap format tabular dalam tabel yang sudah ada, Anda bisa memilih Skema tabel Pertahankan Tingkat Lanjut>. Data tabular tidak selalu menyertakan nama kolom yang digunakan untuk memetakan data sumber ke kolom yang ada. Ketika opsi ini dicentang, pemetaan dilakukan secara berurutan, dan skema tabel tetap sama. Jika opsi ini tidak dicentang, kolom baru dibuat untuk data masuk, terlepas dari struktur data.

  • Untuk menggunakan baris pertama sebagai nama kolom, pilih Baris pertama Tingkat Lanjut>adalah header kolom.

    Cuplikan layar opsi CSV tingkat lanjut.

JSON:

  • Untuk menentukan pembagian kolom data JSON, pilih Tingkat Berlapis Tingkat Lanjut>, dari 1 hingga 100.

  • Jika Anda memilih Tingkat Lanjut>Lewati baris JSON dengan kesalahan, data diserap dalam format JSON. Jika Anda membiarkan kotak centang ini tidak dipilih, data diserap dalam format multijson.

    Cuplikan layar opsi JSON tingkat lanjut.

Ringkasan

Di jendela Persiapan data, ketiga langkah ditandai dengan tanda centang hijau saat penyerapan data berhasil diselesaikan. Anda bisa memilih kartu untuk dikueri, menghilangkan data yang diserap, atau melihat dasbor ringkasan penyerapan Anda.

Cuplikan layar halaman ringkasan dengan penyerapan yang berhasil diselesaikan.

Konten terkait