Memfilter dan menyerap ke Azure Data Explorer menggunakan editor tanpa kode Azure Stream Analytics

Artikel ini menjelaskan cara menggunakan editor tanpa kode untuk membuat pekerjaan Azure Stream Analytics dengan mudah. Ini terus membaca dari Azure Event Hubs Anda, memfilter data masuk, lalu menulis hasilnya terus menerus ke Azure Data Explorer.

Prasyarat

  • Sumber daya Azure Event Hubs dan Azure Data Explorer Anda harus dapat diakses secara publik dan tidak berada di belakang firewall atau diamankan di Microsoft Azure Virtual Network
  • Data di Azure Event Hubs Anda harus diserialisasikan dalam format JSON, CSV, atau Avro.

Mengembangkan tugas Azure Stream Analytics untuk memfilter dan menyerap data secara real-time

  1. Di portal Azure, temukan dan pilih instans Azure Event Hubs.

  2. Pilih Fitur>Proses Data dan kemudian pilih Mulai pada kartu Filter dan simpan data ke Azure Data Explorer.

    Cuplikan layar memperlihatkan filter dan penyerapan ke kartu Azure Data Lake Storage Gen2 tempat Anda memilih Mulai.

  3. Masukkan nama untuk pekerjaan Azure Stream Analytics, lalu pilih Buat.

    Cuplikan layar yang menampilkan tempat memasukkan nama pekerjaan.

  4. Tentukan Jenis serialisasi data Anda di jendela Azure Event Hubs dan Metode autentikasi yang akan digunakan pekerjaan untuk menyambungkan ke Azure Event Hubs. Kemudian pilih Sambungkan.
    Cuplikan layar yang menampilkan konfigurasi koneksi Azure Event Hubs.

  5. Saat koneksi berhasil dibuat dan Anda memiliki aliran data yang mengalir ke instans Azure Event Hubs, Anda akan segera melihat dua hal:

    • Bidang/kolom yang ada dalam data input. Anda dapat memilih Tambahkan bidang atau pilih simbol tiga titik di samping bidang untuk menghapus, mengganti nama, atau mengubah jenisnya.
      Cuplikan layar memperlihatkan daftar bidang Azure Event Hubs tempat Anda bisa menghapus, mengganti nama, atau mengubah jenis bidang.
    • Sampel langsung dari data masuk di tabel Pratinjau Data yang ada di bawah tampilan diagram. Ini secara otomatis di-refresh secara berkala. Anda dapat memilih Jeda pratinjau streaming untuk melihat tampilan statis data input sampel.
      Cuplikan layar yang menampilkan sampel data pada Pratinjau Data.

  6. Pilih petak Filter untuk mengagregasi data. Pada area Filter, pilih kolom untuk menyaring data masuk sesuai kondisi.

    Cuplikan layar yang memperlihatkan konfigurasi operator filter.

  7. Pilih petak Kelola . Di panel Kelola konfigurasi bidang , pilih bidang yang ingin Anda keluarkan ke hub peristiwa. Jika Anda ingin menambahkan semua bidang, pilih Tambahkan semua bidang.

    Cuplikan layar yang menunjukkan konfigurasi operator bidang yang dikelola.

  8. Pilih petak peta Azure Data Explorer . Di panel konfigurasi, isi parameter yang diperlukan dan sambungkan.

    Catatan

    Tabel harus ada di database yang Anda pilih dan skema tabel harus sama persis dengan jumlah bidang dan jenisnya yang dihasilkan pratinjau data Anda.

    Cuplikan layar yang memperlihatkan konfigurasi output Kusto.

  9. Secara opsional, pilih Dapatkan pratinjau statis/Refresh pratinjau statis untuk melihat pratinjau data yang akan diserap di Hub Acara.
    Cuplikan layar memperlihatkan opsi Ambil pratinjau statis/Segarkan pratinjau statis.

  10. Pilih Simpan lalu pilih Mulai pekerjaan Azure Stream Analytics.
    Cuplikan layar memperlihatkan opsi Simpan dan Mulai.

  11. Untuk memulai pekerjaan, tentukan:

    • Jumlah Streaming Units (SUs) pekerjaan yang dijalankan. SU mewakili jumlah komputasi dan memori yang dialokasikan untuk pekerjaan tersebut. Kami menyarankan agar Anda memulai dengan tiga dan kemudian menyesuaikan sesuai kebutuhan.
    • Penanganan kesalahan data output - Ini memungkinkan Anda menentukan perilaku yang Anda inginkan ketika output pekerjaan ke tujuan Anda gagal karena kesalahan data. Secara default, pekerjaan Anda mencoba kembali hingga operasi tulis berhasil. Anda juga dapat memilih untuk menghilangkan peristiwa output tersebut.
      Cuplikan layar yang menunjukkan opsi pekerjaan Start Stream Analytics tempat Anda dapat mengubah waktu output, mengatur jumlah unit streaming, dan memilih opsi Penanganan kesalahan data output.

  12. Setelah Anda memilih Mulai, pekerjaan mulai berjalan dalam dua menit, dan metrik akan terbuka di bagian tab di bawah ini.

    Cuplikan layar yang memperlihatkan data metrik pekerjaan setelah dimulai.

    Anda juga dapat melihat pekerjaan di bawah bagian Data Proses pada tab pekerjaan Azure Stream Analytics . Pilih Buka metrik untuk memantaunya atau menghentikan dan memulai ulang, sesuai kebutuhan.

    Cuplikan layar tab pekerjaan Azure Stream Analytics tempat Anda melihat status pekerjaan yang sedang berjalan.

Pertimbangan saat menggunakan fitur Replikasi Geografis Azure Event Hubs

Azure Event Hubs baru-baru ini meluncurkan fitur Geo-Replikasi dalam versi pratinjau publik. Fitur ini berbeda dari Geo Disaster Recovery Azure Event Hubs.

Ketika jenis failover adalah Forced dan konsistensi replikasi adalah Asynchronous, pekerjaan Azure Stream Analytics tidak menjamin output persis satu kali ke output Azure Event Hubs.

Azure Stream Analytics, sebagai produsen dengan output dengan event hub, mungkin mengamati penundaan watermark pada pekerjaan selama durasi failover dan selama pembatasan oleh Event Hubs jika lag replikasi antara primer dan sekunder mencapai lag maksimum yang dikonfigurasi.

Azure Stream Analytics, sebagai konsumen dengan Event Hubs sebagai Input, mungkin mengamati penundaan watermark pada pekerjaan selama proses failover dan mungkin melewati data atau menemukan data duplikat setelah failover selesai.

Karena peringatan ini, mulai ulang pekerjaan Azure Stream Analytics dengan waktu mulai yang sesuai tepat setelah failover Azure Event Hubs selesai. Selain itu, karena fitur Geo-replikasi Azure Event Hubs sedang dalam pratinjau publik, saat ini jangan gunakan pola ini untuk pekerjaan Stream Analytics dalam lingkungan produksi. Perilaku Azure Stream Analytics saat ini akan meningkat sebelum fitur Replikasi Geografis Azure Event Hubs tersedia secara umum dan dapat digunakan dalam pekerjaan produksi Azure Stream Analytics.

Langkah berikutnya

Pelajari selengkapnya tentang Azure Stream Analytics dan cara memantau pekerjaan yang telah Anda buat.

  • Last updated on