Kueri eventstream di Microsoft Fabric dari notebook dengan Spark Structured Streaming

Eventstream di Microsoft Fabric adalah layanan penghapusan dan streaming event yang sepenuhnya dikelola yang memungkinkan pemrosesan data dan analitik secara real-time. Anda dapat mengintegrasikan eventstream dengan notebook Fabric menggunakan Spark Structured Streaming untuk memproses dan menganalisis data streaming secara real time.

Integrasi ini memungkinkan Anda menjelajahi eventstream dan sumber waktu nyata lainnya melalui Real-Time hub, langsung dari dalam notebook Fabric Anda. Anda juga dapat membuat eventstream baru dan mulai menghisap data dari hampir 30 (dan terus bertambah) sumber streaming termasuk database yang mendukung CDC, broker pesan, layanan streaming, dan feed publik. Model pemrograman baru memungkinkan Anda dengan mudah terhubung ke eventstream, membaca data streaming, dan melakukan analitik waktu nyata menggunakan API Spark yang sudah dikenal tanpa string koneksi atau kredensial, sehingga membangun aplikasi real-time lebih aman

Prasyarat

Sebelum memulai, pastikan Anda memiliki prasyarat berikut:

  • Ruang kerja Fabric dengan eventstream diaktifkan.
  • Lingkungan notebook yang disiapkan di Fabric.
  • Pengetahuan dasar tentang Spark Structured Streaming dan PySpark atau Scala.

Langkah-langkah untuk Mengkueri Eventstream dari Notebook

  1. Temukan dan tambahkan eventstream ke notebook:

    1. Buka notebook Microsoft Fabric Anda.

    2. Pilih Tambahkan item data di bawah tab Item data, lalu pilih Dari hub Real-Time dari menu dropdown.

    3. Dalam dialog hub Real-Time, temukan eventstream target yang ingin Anda kueri dengan opsi pencarian dan filter yang berbeda.

    4. Tambahkan eventstream ke lingkungan buku catatan Anda.

      Cuplikan layar memperlihatkan cara menemukan eventstream di hub Real-Time.

      Setelah item eventstream ditambahkan, item tersebut akan muncul di bawah simpul hubReal-Time di penjelajah objek buku catatan Anda dengan nama item, setelah memperluas simpul, Anda akan melihat aliran default atau turunan dalam item eventstream.

      Cuplikan layar memperlihatkan eventstream yang ditambahkan di penjelajah objek buku catatan.

  2. Membaca data streaming dari eventstream:

    1. Dari menu konteks item eventstream di penjelajah objek, pilih Baca dengan Spark untuk membuat sel kode yang telah dikonfigurasi sebelumnya untuk dibaca dari eventstream yang dipilih.

      Cuplikan layar memperlihatkan cara membaca eventstream dengan Spark dari menu konteks.

    2. Di sel kode yang baru dibuat, Anda dapat menggunakan cuplikan kode PySpark berikut untuk membaca data streaming dari eventstream:

      from pyspark.sql import SparkSession
from pyspark.sql.functions import col
from pyspark.sql.types import StringType
from pyspark.sql.dataframe import DataFrame

eventstream_options = {
    "eventstream.itemid": __in_eventstream_item_id,
    "eventstream.datasourceid": __in_eventstream_datasource_id
}

# Read from Kafka using the config map
df_raw = spark.readStream.format("kafka").options(**eventstream_options).load()

decoded_df = df_raw.select(
    col("key").cast(StringType()).alias("key"),
    col("value").cast(StringType()).alias("value"),
    col("partition"),
    col("offset")
)

def showDf(x:DataFrame, y:int):
    x.show()

# Print messages to the console
query = decoded_df.writeStream.foreachBatch(showDf).outputMode("append").start()
query.awaitTermination()

      Nilai opsi eventstream.itemid dan eventstream.datasourceid secara otomatis diisi dalam sel kode parameter di atas sel kode ini.

      Nota

      Untuk setiap pilih pada Baca dengan Spark, sel kode baru dihasilkan dengan parameter yang diperlukan yang diisi secara otomatis, dan tujuan Notebook baru dibuat untuk item Eventstream, di mana eventstream.datasourceid unik untuk setiap tujuan Notebook. Untuk satu item buku catatan, kami sarankan Anda mengaturnya sekali sebagai tujuan untuk satu item Eventstream untuk menghindari pembuatan beberapa tujuan.

      Sebelum menjalankan pekerjaan apa pun, Anda juga dapat mempratinjau data streaming dengan mengklik tombol Pratinjau data di menu konteks item Eventstream. Panel samping terbuka untuk menampilkan rekam jepret data streaming di samping buku catatan.

      Cuplikan layar memperlihatkan cara mempratinjau data Eventstream dari menu konteks.

  3. Tambahkan buku catatan sebagai tujuan: Anda juga bisa menambahkan buku catatan sebagai tujuan untuk Eventstream untuk mulai menyerap data ke Dalam Eventstream dari dalam buku catatan. Untuk informasi selengkapnya, lihat Menambahkan tujuan Spark Notebook ke eventstream.

Conclusion

Mengintegrasikan eventstream di Fabric dengan notebook menggunakan Spark Structured Streaming memungkinkan Anda memproses dan menganalisis data waktu nyata secara mulus. Dengan mengikuti langkah-langkah yang dijelaskan dalam artikel ini, Anda dapat dengan mudah terhubung ke eventstream, membaca data streaming, dan melakukan analitik waktu nyata menggunakan API Spark yang sudah dikenal. Integrasi ini membuka kemungkinan baru untuk membangun aplikasi real-time dan memperoleh wawasan dari streaming data dalam ekosistem Fabric.

Konten terkait

Untuk mempelajari lebih lanjut tentang cara bekerja dengan eventstream dan notebook di Fabric, lihat sumber daya berikut

  • Terakhir diperbarui pada