Aliran peristiwa Microsoft Fabric - gambaran umum
Fitur streaming peristiwa dalam pengalaman Microsoft Fabric Real-Time Intelligence memungkinkan Anda membawa peristiwa real-time ke Fabric, mengubahnya, dan kemudian merutekannya ke berbagai tujuan tanpa menulis kode apa pun (tanpa kode). Anda membuat eventstream, yang merupakan instans item Eventstream di Fabric, menambahkan sumber data peristiwa ke aliran, secara opsional menambahkan transformasi untuk mengubah data peristiwa, lalu merutekan data ke tujuan yang didukung. Selain itu, dengan titik akhir Apache Kafka yang tersedia pada item Eventstream, Anda dapat mengirim atau menggunakan peristiwa real time menggunakan protokol Kafka.
Membawa peristiwa ke Fabric
Fitur stream peristiwa memberi Anda berbagai konektor sumber untuk mengambil data peristiwa dari berbagai sumber. Ada lebih banyak sumber yang tersedia saat Anda mengaktifkan Kemampuan yang ditingkatkan pada saat membuat eventstream.
Penting
Kemampuan yang ditingkatkan dari aliran peristiwa Fabric saat ini dalam pratinjau.
| Sumber | Deskripsi |
|---|---|
| Azure Event Hubs | Jika Anda memiliki hub peristiwa Azure, Anda dapat menyerap data pusat aktivitas ke Microsoft Fabric menggunakan Eventstream. |
| Azure IoT Hub | Jika Anda memiliki hub Azure IoT, Anda dapat menyerap data IoT ke Microsoft Fabric menggunakan Eventstream. |
| Pengambilan Data Perubahan Azure SQL Database (CDC) | Konektor sumber CDC Azure SQL Database memungkinkan Anda mengambil rekam jepret data saat ini dalam database Azure SQL. Konektor kemudian memantau dan merekam perubahan tingkat baris di masa mendatang pada data ini. |
| PostgreSQL Database CDC | Konektor sumber PostgreSQL Database Change Data Capture (CDC) memungkinkan Anda mengambil rekam jepret data saat ini dalam database PostgreSQL. Konektor kemudian memantau dan merekam perubahan tingkat baris di masa mendatang pada data ini. |
| MySQL Database CDC | Konektor Sumber Azure MySQL Database Change Data Capture (CDC) memungkinkan Anda mengambil rekam jepret data saat ini dalam database Azure Database for MySQL. Anda dapat menentukan tabel yang akan dipantau, dan eventstream merekam perubahan tingkat baris di masa mendatang ke tabel. |
| Azure Cosmos DB CDC | Konektor sumber Azure Cosmos DB Change Data Capture (CDC) untuk aliran peristiwa Microsoft Fabric memungkinkan Anda mengambil rekam jepret data saat ini dalam database Azure Cosmos DB. Konektor kemudian memantau dan merekam perubahan tingkat baris di masa mendatang pada data ini. |
| SQL Server di VM DB (CDC) | Konektor sumber SQL Server di VM DB (CDC) untuk aliran peristiwa Fabric memungkinkan Anda mengambil rekam jepret data saat ini dalam database SQL Server di VM. Konektor kemudian memantau dan merekam perubahan tingkat baris di masa mendatang pada data. |
| Azure SQL Managed Instance CDC | Konektor sumber CDC Azure SQL Managed Instance untuk aliran peristiwa Microsoft Fabric memungkinkan Anda mengambil rekam jepret data saat ini dalam database SQL Managed Instance. Konektor kemudian memantau dan merekam perubahan tingkat baris di masa mendatang pada data ini. |
| Google Cloud Pub/Sub | Google Pub/Sub adalah layanan olahpesan yang memungkinkan Anda memublikasikan dan berlangganan streaming acara. Anda dapat menambahkan Google Pub/Sub sebagai sumber ke eventstream Anda untuk menangkap, mengubah, dan merutekan peristiwa real-time ke berbagai tujuan di Fabric. |
| Amazon Kinesis Data Streams | Amazon Kinesis Data Streams adalah layanan penyerapan data yang sangat dapat diskalakan dan sangat tahan lama, dan layanan pemrosesan yang dioptimalkan untuk data streaming. Dengan mengintegrasikan Amazon Kinesis Data Streams sebagai sumber dalam eventstream, Anda dapat memproses aliran data real-time dengan lancar sebelum merutekannya ke beberapa tujuan dalam Fabric. |
| Confluent Cloud Kafka | Confluent Cloud Kafka adalah platform streaming yang menawarkan fungsionalitas streaming dan pemrosesan data yang kuat menggunakan Apache Kafka. Dengan mengintegrasikan Confluent Cloud Kafka sebagai sumber dalam eventstream, Anda dapat memproses aliran data real-time dengan lancar sebelum merutekannya ke beberapa tujuan dalam Fabric. |
| Apache Kafka | Apache Kafka adalah platform terdistribusi sumber terbuka untuk membangun sistem data real-time yang dapat diskalakan. Dengan mengintegrasikan Apache Kafka sebagai sumber dalam eventstream Anda, Anda dapat dengan mulus membawa peristiwa real-time dari Apache Kafka Anda dan memprosesnya sebelum merutekannya ke beberapa tujuan dalam Fabric. |
| Amazon MSK Kafka | Amazon MSK Kafka adalah layanan Kafka yang dikelola sepenuhnya yang menyederhanakan penyiapan, penskalaan, dan manajemen. Dengan mengintegrasikan Amazon MSK Kafka sebagai sumber dalam eventstream Anda, Anda dapat dengan mulus membawa peristiwa real-time dari MSK Kafka Anda dan memprosesnya sebelum merutekannya ke beberapa tujuan dalam Fabric. |
| Peristiwa Azure Blob Storage | Peristiwa Azure Blob Storage dipicu saat klien membuat, mengganti, atau menghapus blob. Konektor memungkinkan Anda menautkan peristiwa Blob Storage ke peristiwa Fabric di hub Real-Time. Anda dapat mengonversi peristiwa ini menjadi aliran data berkelanjutan dan mengubahnya sebelum merutekannya ke berbagai tujuan di Fabric. |
| Peristiwa Item Ruang Kerja Fabric | Peristiwa Fabric Workspace Item adalah peristiwa Fabric diskrit yang terjadi ketika perubahan dilakukan pada Ruang Kerja Fabric Anda. Perubahan ini termasuk membuat, memperbarui, atau menghapus item Fabric. Dengan aliran peristiwa Fabric, Anda dapat mengambil peristiwa ruang kerja Fabric ini, mengubahnya, dan merutekannya ke berbagai tujuan di Fabric untuk analisis lebih lanjut. |
| Data sampel | Anda dapat memilih peristiwa Sepeda, Taksi Kuning, atau Pasar Saham sebagai sumber data sampel untuk menguji penyerapan data saat menyiapkan eventstream. |
| Titik akhir kustom (yaitu, Aplikasi Kustom dalam kemampuan standar) | Fitur titik akhir kustom memungkinkan aplikasi atau klien Kafka Anda terhubung ke Eventstream menggunakan string koneksi, memungkinkan penyerapan data streaming yang lancar ke Eventstream. |
Memproses peristiwa menggunakan pengalaman tanpa kode
Pengalaman seret dan lepas memberi Anda cara yang intuitif dan mudah untuk membuat logika pemrosesan, transformasi, dan perutean data peristiwa Anda tanpa menulis kode apa pun. Diagram aliran data end-to-end dalam eventstream dapat memberi Anda pemahaman komprehensif tentang aliran data dan organisasi. Editor prosesor peristiwa adalah pengalaman tanpa kode yang memungkinkan Anda menyeret dan menghilangkan untuk merancang logika pemrosesan data peristiwa.
| Transformasi | Deskripsi |
|---|---|
| Filter | Gunakan transformasi Filter untuk memfilter peristiwa berdasarkan nilai bidang dalam input. Bergantung pada jenis data (angka atau teks), transformasi mempertahankan nilai yang cocok dengan kondisi yang dipilih, seperti is null atau is not null. |
| Mengelola Bidang | Transformasi Kelola bidang memungkinkan Anda menambahkan, menghapus, mengubah jenis data, atau mengganti nama bidang yang masuk dari input atau transformasi lain. |
| Agregat | Gunakan transformasi Agregat untuk menghitung agregasi (Jumlah, Minimum, Maksimum, atau Rata-Rata) setiap kali peristiwa baru terjadi selama periode waktu tertentu. Operasi ini juga memungkinkan penggantian nama kolom terhitung ini, dan memfilter atau mengiris agregasi berdasarkan dimensi lain dalam data Anda. Anda dapat memiliki satu atau beberapa agregasi dalam transformasi yang sama. |
| Kelompokkan berdasarkan | Gunakan transformasi Group by untuk menghitung agregasi di semua peristiwa dalam rentang waktu tertentu. Anda dapat mengelompokkan menurut nilai dalam satu atau beberapa bidang. Ini seperti transformasi Agregat memungkinkan penggantian nama kolom, tetapi menyediakan lebih banyak opsi untuk agregasi dan menyertakan opsi yang lebih kompleks untuk jendela waktu. Seperti Agregat, Anda dapat menambahkan lebih dari satu agregasi per transformasi. |
| Union | Gunakan transformasi Union untuk menyambungkan dua node atau lebih dan menambahkan peristiwa dengan bidang bersama (dengan nama dan jenis data yang sama) ke dalam satu tabel. Bidang yang tidak cocok dihilangkan dan tidak disertakan dalam output. |
| Perluas | Gunakan transformasi Perluas array untuk membuat baris baru untuk setiap nilai dalam array. |
| Bergabung | Gunakan transformasi Gabung untuk menggabungkan data dari dua aliran berdasarkan kondisi yang cocok di antaranya. |
Jika Anda mengaktifkan Kemampuan yang ditingkatkan saat membuat eventstream, operasi transformasi didukung untuk semua tujuan (dengan aliran turunan yang bertindak sebagai jembatan perantara untuk beberapa tujuan, seperti Titik akhir kustom, Reflex). Jika tidak, operasi transformasi hanya tersedia untuk tujuan Lakehouse dan Eventhouse (pemrosesan peristiwa sebelum penyerapan).
Merutekan peristiwa ke tujuan
Fitur Stream peristiwa Fabric mendukung pengiriman data ke tujuan yang didukung berikut.
| Tujuan | Deskripsi |
|---|---|
| Titik akhir kustom (yaitu, Aplikasi Kustom dalam kemampuan standar) | Dengan tujuan ini, Anda dapat dengan mudah merutekan peristiwa real-time Anda ke titik akhir kustom. Anda dapat menghubungkan aplikasi Anda sendiri ke eventstream dan menggunakan data peristiwa secara real time. Tujuan ini berguna ketika Anda ingin keluar dari data real-time ke sistem eksternal di luar Microsoft Fabric. |
| Eventhouse | Tujuan ini memungkinkan Anda menyerap data peristiwa real-time Anda ke dalam Eventhouse, di mana Anda dapat menggunakan Bahasa Kueri Kusto (KQL) yang kuat untuk mengkueri dan menganalisis data. Dengan data di Eventhouse, Anda dapat memperoleh wawasan yang lebih mendalam tentang data peristiwa Anda dan membuat laporan dan dasbor yang kaya. Anda dapat memilih antara dua mode penyerapan: Penyerapan langsung dan Pemrosesan peristiwa sebelum penyerapan. |
| Lakehouse | Tujuan ini memberi Anda kemampuan untuk mengubah peristiwa real-time Anda sebelum menyerapnya ke lakehouse Anda. Peristiwa real-time dikonversi menjadi format Delta Lake lalu simpan di tabel lakehouse yang ditunjuk. Tujuan ini mendukung skenario pergudangan data. |
| Refleks | Tujuan ini memungkinkan Anda langsung menghubungkan data peristiwa real-time Anda ke Reflex. Reflex adalah jenis agen cerdas yang berisi semua informasi yang diperlukan untuk terhubung ke data, memantau kondisi, dan bertindak. Ketika data mencapai ambang batas tertentu atau cocok dengan pola lain, Reflex secara otomatis mengambil tindakan yang sesuai seperti memberi tahu pengguna atau memulai alur kerja Power Automate. |
| Aliran turunan | Aliran turunan adalah jenis tujuan khusus yang dapat Anda buat setelah menambahkan operasi streaming, seperti Filter atau Kelola Bidang, ke eventstream. Aliran turunan mewakili aliran default yang diubah setelah pemrosesan aliran. Anda dapat merutekan aliran turunan ke beberapa tujuan di Fabric, dan melihat aliran turunan di hub Real-Time. |
Anda dapat melampirkan beberapa tujuan dalam eventstream untuk menerima data secara bersamaan dari eventstream Anda tanpa mengganggu satu sama lain.
Catatan
Kami menyarankan agar Anda menggunakan fitur aliran peristiwa Microsoft Fabric dengan setidaknya 4 unit kapasitas (SKU: F4)
Aliran peristiwa Apache Kafka on Fabric
Fitur stream peristiwa Fabric menawarkan titik akhir Apache Kafka pada item Eventstream, memungkinkan pengguna untuk menyambungkan dan mengonsumsi peristiwa streaming melalui protokol Kafka. Jika Anda sudah memiliki aplikasi yang menggunakan protokol Apache Kafka untuk mengirim atau menggunakan peristiwa streaming dengan topik Kafka tertentu, Anda dapat dengan mudah menyesuaikan aplikasi yang sama untuk mengirim atau menggunakan peristiwa streaming dalam eventstream Anda hanya dengan memperbarui pengaturan koneksi Anda untuk mengarahkan ke titik akhir Kafka yang disediakan dalam eventstream Anda.
Fitur stream peristiwa Fabric didukung oleh Azure Event Hubs, layanan cloud-native yang dikelola sepenuhnya. Saat eventstream dibuat, namespace layanan pusat aktivitas secara otomatis disediakan, dan pusat aktivitas dialokasikan ke aliran default tanpa memerlukan konfigurasi provisi apa pun. Untuk mempelajari selengkapnya tentang fitur yang kompatibel dengan Kafka di layanan Azure Event Hubs, lihat Azure Event Hubs untuk Apache Kafka
Untuk mempelajari selengkapnya tentang cara mendapatkan detail titik akhir Kafka untuk mengirim peristiwa ke eventstream, lihat Menambahkan sumber titik akhir kustom ke eventstream; dan untuk mengkonsumsi peristiwa dari eventstream, lihat Menambahkan tujuan titik akhir kustom ke eventstream
Kemampuan yang ditingkatkan (pratinjau)
Ada lebih banyak fitur, sumber, dan tujuan yang tersedia saat Anda mengaktifkan opsi Kemampuan yang ditingkatkan (pratinjau) saat membuat eventstream. Gunakan tab Kemampuan yang ditingkatkan (pratinjau) dan kemampuan Standar untuk mempelajari tentang sumber dan tujuan tambahan yang didukung dengan kemampuan yang ditingkatkan.
Berikut adalah beberapa fitur penting lainnya dari kemampuan yang ditingkatkan (pratinjau):
- Edit Mode dan Tampilan Langsung. Jelajahi dua mode berbeda untuk memvisualisasikan dan merancang pemrosesan aliran.
- Aliran default dan turunan. Buat aliran aliran berkelanjutan dengan format yang Anda desain, dengan prosesor peristiwa yang dapat digunakan nanti di hub Real-Time.
- Perutean aliran data berdasarkan konten. Mengubah dan merutekan aliran data Anda di mana saja dalam Fabric berdasarkan konten aliran data yang Anda rancang dengan prosesor peristiwa.