Memproses data peristiwa dengan editor prosesor peristiwa

Editor prosesor peristiwa adalah pengalaman tanpa kode yang memungkinkan Anda menyeret dan menghilangkan untuk merancang logika pemrosesan data peristiwa. Artikel ini menjelaskan cara menggunakan editor untuk merancang logika pemrosesan Anda.

Catatan

Jika Anda ingin menggunakan kemampuan yang ditingkatkan yang ada dalam pratinjau, pilih Kemampuan yang Ditingkatkan di bagian atas. Jika tidak, pilih Kemampuan Standar. Untuk informasi tentang kemampuan yang ditingkatkan yang ada dalam pratinjau, lihat Pengantar aliran peristiwa Fabric.

Prasyarat

Sebelum memulai, Anda harus menyelesaikan prasyarat berikut:

• Dapatkan akses ke ruang kerja premium dengan izin Kontributor atau di atas tempat eventstream Anda berada.

Penting

Kemampuan yang ditingkatkan dari aliran peristiwa Fabric saat ini dalam pratinjau.

Merancang pemrosesan peristiwa dengan editor

Untuk melakukan operasi pemrosesan aliran pada aliran data Anda menggunakan editor tanpa kode, ikuti langkah-langkah berikut:

1. Pilih Edit pada pita jika Anda belum berada dalam mode edit. Pastikan simpul upstream untuk operasi yang terhubung memiliki skema.

   

2. Untuk menyisipkan operator pemrosesan peristiwa antara simpul streaming dan tujuan dalam mode edit, Anda dapat menggunakan salah satu dari dua metode berikut:

   • Sisipkan operator langsung dari baris koneksi. Arahkan mouse ke baris koneksi lalu pilih tombol + . Menu drop-down muncul di baris koneksi, dan Anda dapat memilih operator dari menu ini.

     

   • Sisipkan operator dari menu pita atau kanvas.

     1. Anda bisa memilih operator dari menu Ubah peristiwa di pita.

        

        Atau, Anda dapat mengarahkan mouse ke salah satu simpul lalu memilih tombol + jika Anda menghapus baris koneksi. Menu drop-down muncul di samping simpul tersebut, dan Anda dapat memilih operator dari menu ini.

        

     2. Setelah menyisipkan operator, Anda perlu menyambungkan kembali simpul ini. Arahkan mouse ke tepi kiri simpul aliran, lalu pilih dan seret lingkaran hijau untuk menyambungkannya ke simpul operator Kelola bidang . Ikuti proses yang sama untuk menyambungkan simpul operator Kelola bidang ke tujuan Anda.

        

3. Pilih simpul operator Kelola bidang . Di panel Kelola konfigurasi bidang , pilih bidang yang ingin Anda keluarkan. Jika Anda ingin menambahkan semua bidang, pilih Tambahkan semua bidang. Anda juga dapat menambahkan bidang baru dengan fungsi bawaan untuk mengagregasi data dari hulu. (Saat ini, fungsi bawaan yang kami dukung adalah beberapa fungsi dalam Fungsi String, Fungsi Tanggal dan Waktu, Fungsi Matematika. Untuk menemukannya, cari di built-in.)

   

4. Setelah Anda mengonfigurasi operator Kelola bidang , pilih Refresh untuk memvalidasi hasil pengujian yang dihasilkan oleh operator ini.

   

5. Jika Anda memiliki kesalahan konfigurasi, kesalahan tersebut muncul di tab Kesalahan penulisan di panel bawah.

   

6. Jika hasil pengujian Anda terlihat benar, pilih Terbitkan untuk menyimpan logika pemrosesan peristiwa dan kembali ke tampilan Langsung.

   

7. Setelah menyelesaikan langkah-langkah ini, Anda dapat memvisualisasikan bagaimana eventstream Anda memulai streaming dan memproses data di Tampilan langsung.

   

Editor pemrosesan peristiwa

Editor prosesor peristiwa (kanvas dalam mode Edit) memungkinkan Anda mengubah data menjadi berbagai tujuan. Masukkan mode Edit untuk merancang operasi pemrosesan aliran untuk aliran data Anda.

Mode Edit menyertakan kanvas dan panel bawah tempat Anda dapat:

• Buat logika transformasi data peristiwa dengan seret dan letakkan.
• Hasil pengujian pratinjau di setiap node pemrosesan dari awal hingga akhir.
• Temukan kesalahan penulisan dalam simpul pemrosesan.

Tata letak editor

• Menu pita dan Kanvas (Nomor satu dalam gambar): Di panel ini, Anda dapat merancang logika transformasi data Anda dengan memilih operator (dari menu Peristiwa transformasi) dan menyambungkan aliran dan simpul tujuan melalui simpul operator yang baru dibuat. Anda dapat menyeret dan meletakkan garis penghubung atau memilih dan menghapus koneksi.
• Panel pengeditan kanan (dua dalam gambar): Panel ini memungkinkan Anda mengonfigurasi simpul yang dipilih atau menampilkan nama aliran.
• Panel bawah dengan pratinjau data dan tab kesalahan penulisan (tiga dalam gambar): Di panel ini, pratinjau hasil pengujian dalam simpul yang dipilih dengan tab Hasil pengujian. Tab Kesalahan penulisan mencantumkan konfigurasi yang tidak lengkap atau salah dalam simpul operasi.

Jenis dan contoh simpul yang didukung

Berikut adalah jenis tujuan yang mendukung untuk menambahkan operator sebelum penyerapan:

• Lakehouse
• KQL Database (Pemrosesan peristiwa sebelum penyerapan)
• Aliran turunan

Catatan

Untuk tujuan yang tidak mendukung penambahan operator pra-penyerapan, Anda dapat terlebih dahulu menambahkan aliran turunan sebagai output operator Anda. Kemudian, tambahkan tujuan yang Anda maksudkan ke aliran turunan ini.

Prosesor peristiwa di Lakehouse dan KQL Database (Pemrosesan peristiwa sebelum penyerapan) memungkinkan Anda memproses data Sebelum diserap ke tujuan Anda.

Prasyarat

Sebelum memulai, Anda harus menyelesaikan prasyarat berikut:

• Dapatkan akses ke ruang kerja premium dengan izin Kontributor atau di atas tempat eventstream Anda berada.
• Dapatkan akses ke ruang kerja premium dengan izin Kontributor atau di atas tempat lakehouse atau KQL Database Anda berada.

Merancang pemrosesan peristiwa dengan editor

Untuk merancang pemrosesan peristiwa Anda dengan editor prosesor peristiwa:

1. Tambahkan tujuan Lakehouse dan masukkan parameter yang diperlukan di panel kanan. (Lihat Tambahkan dan kelola tujuan dalam eventstream untuk instruksi terperinci. )

2. Pilih Buka prosesor peristiwa. Layar editor Pemrosesan peristiwa muncul.

   

3. Di kanvas editor Pemrosesan peristiwa, pilih simpul eventstream. Anda bisa mempratinjau skema data atau mengubah tipe data di panel Eventstream kanan.

   

4. Untuk menyisipkan operator pemrosesan peristiwa antara eventstream ini dan tujuan di editor prosesor peristiwa, Anda dapat menggunakan salah satu dari dua metode berikut:

   1. Sisipkan operator langsung dari baris koneksi. Arahkan mouse ke baris koneksi lalu pilih tombol "+". Menu drop-down muncul di baris koneksi, dan Anda dapat memilih operator dari menu ini.

      

   2. Sisipkan operator dari menu pita atau kanvas.

      1. Anda dapat memilih operator dari menu Operasi di pita. Atau, Anda dapat mengarahkan mouse ke salah satu simpul lalu memilih tombol "+" jika Anda menghapus baris koneksi. Menu drop-down muncul di samping simpul tersebut, dan Anda dapat memilih operator dari menu ini.

         

         

      2. Terakhir, Anda perlu menyambungkan kembali simpul ini. Arahkan mouse ke tepi kiri simpul aliran peristiwa, lalu pilih dan seret lingkaran hijau untuk menyambungkannya ke simpul operator Kelola bidang . Ikuti proses yang sama untuk menyambungkan simpul operator Kelola bidang ke simpul lakehouse.

         

5. Pilih simpul operator Kelola bidang . Di panel Kelola konfigurasi bidang , pilih bidang yang ingin Anda keluarkan. Jika Anda ingin menambahkan semua bidang, pilih Tambahkan semua bidang. Anda juga dapat menambahkan bidang baru dengan fungsi bawaan untuk mengagregasi data dari hulu. (Saat ini, fungsi bawaan yang kami dukung adalah beberapa fungsi di Fungsi String, Fungsi Tanggal dan Waktu, Fungsi Matematika. Untuk menemukannya, cari di "bawaan.")

   

6. Setelah Anda mengonfigurasi operator Kelola bidang , pilih Refresh pratinjau statis untuk mempratinjau data yang dihasilkan operator ini.

   

7. Jika Anda memiliki kesalahan konfigurasi, kesalahan tersebut muncul di tab Kesalahan penulisan di panel bawah.

   

8. Jika data yang Anda pratinjau terlihat benar, pilih Selesai untuk menyimpan logika pemrosesan peristiwa dan kembali ke layar konfigurasi tujuan Lakehouse.

9. Pilih Tambahkan untuk menyelesaikan pembuatan tujuan lakehouse Anda.

Editor prosesor peristiwa

Prosesor Peristiwa memungkinkan Anda mengubah data yang Anda serap ke tujuan lakehouse. Saat mengonfigurasi tujuan lakehouse, Anda menemukan opsi Buka prosesor acara di tengah layar konfigurasi tujuan Lakehouse .

Memilih Buka prosesor peristiwa meluncurkan layar editor Pemrosesan peristiwa, tempat Anda dapat menentukan logika transformasi data Anda.

Editor prosesor peristiwa menyertakan kanvas dan panel bawah tempat Anda dapat:

• Buat logika transformasi data peristiwa dengan seret dan letakkan.
• Pratinjau data di setiap simpul pemrosesan dari awal hingga akhir.
• Temukan kesalahan penulisan dalam simpul pemrosesan.

Tata letak layar seperti editor utama. Ini terdiri dari tiga bagian, yang ditunjukkan pada gambar berikut:

1. Kanvas dengan tampilan diagram: Di panel ini, Anda dapat merancang logika transformasi data dengan memilih operator (dari menu Operasi ) dan menyambungkan eventstream dan node tujuan melalui simpul operator yang baru dibuat. Anda dapat menyeret dan meletakkan garis penghubung atau memilih dan menghapus koneksi.

2. Panel pengeditan kanan: Panel ini memungkinkan Anda mengonfigurasi simpul operasi yang dipilih atau melihat skema eventstream dan tujuan.

3. Panel bawah dengan pratinjau data dan tab kesalahan penulisan: Di panel ini, pratinjau data dalam simpul yang dipilih dengan tab Pratinjau data. Tab Kesalahan penulisan mencantumkan konfigurasi yang tidak lengkap atau salah dalam simpul operasi.

Kesalahan penulisan

Kesalahan penulisan mengacu pada kesalahan yang terjadi di editor Prosesor peristiwa karena konfigurasi node operasi yang tidak lengkap atau salah, membantu Anda menemukan dan memperbaiki potensi masalah dalam prosesor peristiwa Anda.

Anda dapat melihat kesalahan Penulisan di panel bawah editor Prosesor peristiwa. Panel bawah mencantumkan semua kesalahan penulisan, setiap kesalahan penulisan memiliki empat kolom:

• ID Simpul: Menunjukkan ID simpul operasi tempat kesalahan Penulisan terjadi.
• Jenis node: Menunjukkan jenis simpul operasi tempat kesalahan Penulisan terjadi.
• Tingkat: Menunjukkan tingkat keparahan kesalahan Penulisan, ada dua tingkat, Fatal dan Informasi. Kesalahan penulisan tingkat fatal berarti prosesor peristiwa Anda memiliki masalah serius dan tidak dapat disimpan atau dijalankan. Kesalahan penulisan tingkat informasi berarti bahwa prosesor peristiwa Anda memiliki beberapa tips atau saran yang dapat membantu Anda mengoptimalkan atau meningkatkan prosesor peristiwa Anda.
• Kesalahan: Menunjukkan informasi spesifik dari kesalahan penulisan, secara singkat menjelaskan penyebab dan dampak kesalahan penulisan. Anda dapat memilih tab Perlihatkan detail untuk melihat detailnya.

Karena Eventstream dan KQL Database mendukung jenis data yang berbeda, proses konversi jenis data mungkin menghasilkan kesalahan penulisan.

Tabel berikut ini memperlihatkan hasil konversi tipe data dari Eventstream ke KQL Database. Kolom mewakili jenis data yang didukung oleh Eventstream, dan baris mewakili jenis data yang didukung oleh KQL Database. Sel menunjukkan hasil konversi, yang bisa menjadi salah satu dari tiga hal berikut:

✔️ Menunjukkan konversi yang berhasil, tidak ada kesalahan, atau peringatan yang dihasilkan.

❌ Menunjukkan konversi yang tidak mungkin, kesalahan penulisan fatal dihasilkan. Pesan kesalahan mirip dengan: Jenis data "{1}" untuk kolom "{0}" tidak cocok dengan jenis yang diharapkan "{2}" dalam tabel KQL yang dipilih, dan tidak dapat dikonversi secara otomatis.

⚠️ Menunjukkan kemungkinan tetapi konversi yang tidak akurat, kesalahan penulisan informasi dihasilkan. Pesan kesalahan mirip dengan: Jenis data "{1}" untuk kolom "{0}" tidak sama persis dengan jenis yang diharapkan "{2}" dalam tabel KQL yang dipilih. Ini dikonversi secara otomatis ke "{2}".

	string	bool	datetime	dinamis	guid	int	long	real	timespan	desimal
Int64	❌	❌	❌	✔️	❌	⚠️	✔️	⚠️	❌	✔️
Laju	❌	❌	❌	✔️	❌	❌	❌	⚠️	❌	⚠️
String	✔️	❌	❌	✔️	❌	❌	❌	❌	❌	❌
Tanggalwaktu	⚠️	❌	✔️	✔️	❌	❌	❌	❌	❌	❌
Rekaman	⚠️	❌	❌	✔️	❌	❌	❌	❌	❌	❌
Array	⚠️	❌	❌	✔️	❌	❌	❌	❌	❌	❌

Seperti yang Anda lihat dari tabel, beberapa konversi jenis data berhasil, seperti string ke string. Konversi ini tidak menghasilkan kesalahan penulisan apa pun, dan tidak memengaruhi pengoperasian prosesor peristiwa Anda.

Beberapa konversi jenis data tidak mungkin, seperti int ke string. Konversi ini menghasilkan kesalahan penulisan tingkat fatal, menyebabkan prosesor peristiwa Anda gagal disimpan. Anda perlu mengubah jenis data baik di Eventstream atau di tabel KQL untuk menghindari kesalahan ini.

Beberapa konversi jenis data dimungkinkan, tetapi tidak tepat, seperti int ke nyata. Konversi ini menghasilkan kesalahan penulisan tingkat informasi, menunjukkan ketidakcocokan antara jenis data, dan hasil konversi otomatis. Konversi ini dapat menyebabkan data Anda kehilangan presisi atau struktur. Anda dapat memilih apakah akan mengabaikan kesalahan ini, atau mengubah jenis data Anda baik di Eventstream atau di tabel KQL untuk mengoptimalkan prosesor peristiwa Anda.

Operator transformasi

Prosesor acara menyediakan enam operator, yang dapat Anda gunakan untuk mengubah data peristiwa sesuai dengan kebutuhan bisnis Anda.

Agregat

Gunakan transformasi Agregat untuk menghitung agregasi (Jumlah, Minimum, Maksimum, atau Rata-Rata) setiap kali peristiwa baru terjadi selama periode waktu tertentu. Operasi ini juga memungkinkan penggantian nama kolom terhitung ini, dan memfilter atau mengiris agregasi berdasarkan dimensi lain dalam data Anda. Anda dapat memiliki satu atau beberapa agregasi dalam transformasi yang sama.

Perluas

Gunakan transformasi Perluas array untuk membuat baris baru untuk setiap nilai dalam array.

Filter

Gunakan transformasi Filter untuk memfilter peristiwa berdasarkan nilai bidang dalam input. Bergantung pada jenis data (angka atau teks), transformasi mempertahankan nilai yang cocok dengan kondisi yang dipilih, seperti null atau tidak null.

Kelompokkan berdasarkan

Gunakan transformasi Group by untuk menghitung agregasi di semua peristiwa dalam rentang waktu tertentu. Anda dapat mengelompokkan menurut nilai dalam satu atau beberapa bidang. Ini seperti transformasi Agregat memungkinkan penggantian nama kolom, tetapi menyediakan lebih banyak opsi untuk agregasi dan menyertakan opsi yang lebih kompleks untuk jendela waktu. Seperti Agregat, Anda dapat menambahkan lebih dari satu agregasi per transformasi.

Agregasi yang tersedia di dalam transformasi adalah:

• Tengah
• Hitung
• Maksimum
• Minimum
• Percentile (berkelanjutan dan diskret)
• Simpangan Baku
• Jumlah total
• Varian

Dalam skenario streaming waktu, melakukan operasi pada data yang ada di jendela temporal adalah pola yang umum. Prosesor peristiwa mendukung fungsi windowing, yang terintegrasi dengan operator Kelompokkan menurut . Anda dapat menentukannya dalam pengaturan operator ini.

Mengelola Bidang

Transformasi Kelola bidang memungkinkan Anda menambahkan, menghapus, mengubah jenis data, atau mengganti nama bidang yang masuk dari input atau transformasi lain. Pengaturan panel samping memberi Anda opsi untuk menambahkan bidang baru dengan memilih Tambahkan bidang, menambahkan beberapa bidang, atau menambahkan semua bidang sekaligus.

Selain itu, Anda dapat menambahkan bidang baru dengan fungsi bawaan untuk mengagregasi data dari hulu. (Saat ini, fungsi bawaan yang kami dukung adalah beberapa fungsi di Fungsi String, Fungsi Tanggal dan Waktu, dan Fungsi Matematika. Untuk menemukannya, cari di "bawaan.")

Tabel berikut ini memperlihatkan hasil perubahan tipe data menggunakan bidang kelola. Kolom mewakili jenis data asli, dan baris mewakili jenis data target.

• Jika ada ✔️ dalam sel, artinya dapat dikonversi secara langsung dan opsi tipe data target diperlihatkan dalam daftar dropdown.
• Jika ada ❌ di sel, itu berarti tidak dapat dikonversi dan opsi tipe data target tidak diperlihatkan dalam daftar dropdown.
• Jika ada ⚠️ dalam sel, itu berarti dapat dikonversi, tetapi perlu memenuhi kondisi tertentu, seperti format string harus sesuai dengan persyaratan jenis data target. Misalnya, saat mengonversi dari string ke int, string harus berupa formulir bilangan bulat yang valid, seperti 123, bukan abc.

	Int64	Laju	String	Tanggalwaktu	Rekaman	Array
Int64	✔️	✔️	✔️	❌	❌	❌
Laju	✔️	✔️	✔️	❌	❌	❌
String	⚠️	⚠️	✔️	⚠️	❌	❌
Tanggalwaktu	❌	❌	✔️	✔️	❌	❌
Rekaman	❌	❌	✔️	❌	✔️	❌
Array	❌	❌	✔️	❌	❌	✔️

Union

Gunakan transformasi Union untuk menyambungkan dua node atau lebih dan menambahkan peristiwa yang berbagi bidang (dengan nama dan jenis data yang sama) ke dalam satu tabel. Bidang yang tidak cocok dihilangkan dan tidak disertakan dalam output.

Bergabung

Gunakan transformasi Gabungan untuk menggabungkan peristiwa dari dua input berdasarkan pasangan bidang yang Anda pilih. Jika Anda tidak memilih pasangan bidang, gabungan didasarkan pada waktu secara default. Defaultnya membuat transformasi ini berbeda dari batch satu.

Seperti halnya gabungan reguler, Anda memiliki opsi untuk logika gabungan Anda:

• Gabungan dalam: Hanya sertakan rekaman dari kedua tabel tempat pasangan cocok.
• Gabungan luar kiri: Sertakan semua rekaman dari tabel kiri (pertama) dan hanya rekaman dari kedua yang cocok dengan sepasang bidang. Jika tidak ada kecocokan, bidang dari input kedua kosong.

Konten terkait

• Menambahkan dan mengelola tujuan dalam eventstream.