Consulta eventstream in Microsoft Fabric da un notebook con Spark Structured Streaming

Eventstream in Microsoft Fabric è un servizio di ingestione e streaming di eventi completamente gestito che consente l'elaborazione e l'analisi dei dati in tempo reale. Puoi integrare eventstream con i notebook Fabric usando Spark Structured Streaming per elaborare e analizzare i dati in streaming in tempo reale.

Questa integrazione ti permette di esplorare eventstream e altre fonti in tempo reale tramite l'hub Real-Time, direttamente dai tuoi Fabric notebook. Puoi anche creare nuovi eventstream e iniziare a assorbire dati da quasi 30 (e in crescita) fonti di streaming, inclusi database abilitati al CDC, broker di messaggi, servizi di streaming e feed pubblici. Il nuovo modello di programmazione permette di connetterti facilmente a eventstream, leggere dati in streaming ed eseguire analisi in tempo reale utilizzando le familiari API Spark senza stringhe di connessione o credenziali, rendendo più sicuro costruire applicazioni in tempo reale

Prerequisiti

Prima di iniziare, assicurarsi di disporre dei prerequisiti seguenti:

  • Uno spazio di lavoro Fabric con eventstream abilitato.
  • Un ambiente notebook configurato in Fabric.
  • Conoscenza di base di Spark Structured Streaming e PySpark o Scala.

Passaggi per eseguire query su Eventstream da un notebook

  1. Individuare e aggiungere flusso di eventi in Notebook

    1. Aprire il notebook di Microsoft Fabric.

    2. Selezionare Aggiungi elementi di dati nella scheda Elementi di dati, quindi selezionare Da Real-Time hub dal menu a discesa.

    3. Nella finestra di dialogo Real-Time hub individuare il flusso di eventi di destinazione su cui eseguire una query con diverse opzioni di ricerca e filtro.

    4. Aggiungi l'eventstream al tuo ambiente notebook.

      Screenshot che mostra come individuare eventstream nell'hub Real-Time.

      Dopo aver aggiunto l'elemento eventstream, questo verrà visualizzato sotto il nodo Real-Time hub in Esplora oggetti del notebook con il nome dell'elemento. Dopo aver espanso il nodo, vedrai il flusso predefinito o derivato all'interno dell'elemento eventstream.

      Screenshot che mostra lo stream di eventi aggiunto nell'Esplora oggetti del notebook.

  2. Legge i dati di streaming da eventstream:

    1. Dal menu di scelta rapida dell'elemento eventstream in Esplora oggetti selezionare Leggi con Spark per creare una cella di codice preconfigurata da leggere dal flusso di eventi selezionato.

      Screenshot che mostra come leggere il flusso di eventi con Spark dal menu di scelta rapida.

    2. Nella cella di codice appena creata è possibile usare il frammento di codice PySpark seguente per leggere i dati di streaming dal flusso di eventi:

      from pyspark.sql import SparkSession
from pyspark.sql.functions import col
from pyspark.sql.types import StringType
from pyspark.sql.dataframe import DataFrame

eventstream_options = {
    "eventstream.itemid": __in_eventstream_item_id,
    "eventstream.datasourceid": __in_eventstream_datasource_id
}

# Read from Kafka using the config map
df_raw = spark.readStream.format("kafka").options(**eventstream_options).load()

decoded_df = df_raw.select(
    col("key").cast(StringType()).alias("key"),
    col("value").cast(StringType()).alias("value"),
    col("partition"),
    col("offset")
)

def showDf(x:DataFrame, y:int):
    x.show()

# Print messages to the console
query = decoded_df.writeStream.foreachBatch(showDf).outputMode("append").start()
query.awaitTermination()

      I valori delle opzioni eventstream.itemid e eventstream.datasourceid vengono popolati automaticamente nella cella di codice dei parametri sopra questa cella.

      Annotazioni

      Per ogni selezione in Lettura con Spark, viene generata una nuova cella di codice con i parametri necessari compilati automaticamente e viene creata una nuova destinazione notebook per l'elemento Eventstream, in cui eventstream.datasourceid è univoco per ogni destinazione notebook. Per un elemento del notebook, è consigliabile impostarlo una sola volta come destinazione per un elemento Eventstream per evitare di creare più destinazioni.

      Prima di eseguire qualsiasi processo, è anche possibile visualizzare in anteprima i dati di streaming facendo clic sul pulsante Anteprima dati nel menu di scelta rapida dell'elemento Eventstream. Viene aperto un pannello laterale per visualizzare uno snapshot dei dati di streaming accanto al notebook.

      Screenshot che mostra come visualizzare in anteprima i dati eventstream dal menu di scelta rapida.

  3. Aggiungere notebook come destinazione: è anche possibile aggiungere il notebook come destinazione per Eventstream per avviare l'inserimento di dati in Eventstream dall'interno del notebook. Per altre informazioni, vedere Aggiungere una destinazione del notebook Spark a un flusso di eventi.

Conclusione

Integrare eventstream in Fabric con i notebook tramite Spark Structured Streaming ti permette di elaborare e analizzare i dati in tempo reale senza soluzione di continuità. Seguendo i passaggi descritti in questo articolo, puoi facilmente connetterti a eventstream, leggere i dati in streaming ed eseguire analisi in tempo reale utilizzando le familiari API di Spark. Questa integrazione apre nuove possibilità per costruire applicazioni in tempo reale e ottenere insight attraverso il flusso di dati all'interno dell'ecosistema Fabric.

Contenuti correlati

Per saperne di più su come lavorare con eventstream e notebook in Fabric, consulta le seguenti risorse

  • Ultimo aggiornamento: