Dotaz na eventstream v Microsoft Fabric z notebooku so Spark Structured Streaming

Eventstream v Microsoft Fabric je plne spravovaná služba prijímania a streamovania udalostí, ktorá umožňuje spracovanie a analytiku dát v reálnom čase. Eventstream môžete integrovať s Fabric notebookmi pomocou Spark Structured Streaming na spracovanie a analýzu streamovaných dát v reálnom čase.

Táto integrácia vám umožňuje skúmať eventstreamy a ďalšie zdroje v reálnom čase cez Real-Time hub priamo z vašich Fabric zápisníkov. Môžete tiež vytvárať nové eventstreamy a začínať prijímať dáta z takmer 30 (a stále rastúcich) streamovacích zdrojov vrátane databáz s podporou CDC, sprostredkovateľov správ, streamovacích služieb a verejných kanálov. Nový programovací model vám umožňuje jednoducho sa pripojiť k eventstreamu, čítať streamované dáta a vykonávať analytiku v reálnom čase pomocou známych Spark API bez akýchkoľvek spojovacích reťazcov alebo prihlasovacích údajov, čo zvyšuje bezpečnosť pri tvorbe aplikácií v reálnom čase

Požiadavky

Predtým, než začnete, uistite sa, že máte stanovené nasledujúce predpoklady:

  • Fabric pracovný priestor s povoleným eventstreamom.
  • Prostredie pre zápisník nastavené v Fabric.
  • Základné znalosti Spark Structured Streaming a PySpark alebo Scala.

Kroky na dotazovanie Eventstreamu z notebooku

  1. Objavte a pridajte eventstream do Notebooku:

    1. Otvorte si svoj Microsoft Fabric zápisník.

    2. Vyberte na Pridať dátové položky v záložke Dátové položky , potom vyberte Z Real-Time hubu v rozbaľovacom menu.

    3. V dialógu Real-Time hub nájdite cieľový eventstream, ktorý chcete dotazovať, pomocou rôznych možností vyhľadávania a filtrovania.

    4. Pridajte eventstream do prostredia vášho notebooku.

      Screenshot ukazujúci, ako objaviť eventstream v Real-Time hube.

      Po pridaní položky eventstream sa zobrazí pod uzlom Real-Time hub vo vašom prieskumníku objektov notebooku s názvom predmetu, po rozšírení uzla uvidíte predvolený alebo odvodený stream v rámci položky eventstream.

      Snímka obrazovky zobrazujúca pridaný eventstream v prieskumníku objektov zápisníka.

  2. Prečítajte si streamované údaje z eventstreamu:

    1. Z kontextového menu položky eventstream v object exploreri vyberte Read with Spark , aby ste vytvorili predkonfigurovanú kódovú bunku na čítanie z vybraného eventstreamu.

      Screenshot ukazujúci, ako čítať eventstream v Sparku z kontextového menu.

    2. V novo vytvorenej kódovej bunke môžete použiť nasledujúci úryvok kódu PySpark na čítanie streamovaných dát z eventstreamu:

      from pyspark.sql import SparkSession
from pyspark.sql.functions import col
from pyspark.sql.types import StringType
from pyspark.sql.dataframe import DataFrame

eventstream_options = {
    "eventstream.itemid": __in_eventstream_item_id,
    "eventstream.datasourceid": __in_eventstream_datasource_id
}

# Read from Kafka using the config map
df_raw = spark.readStream.format("kafka").options(**eventstream_options).load()

decoded_df = df_raw.select(
    col("key").cast(StringType()).alias("key"),
    col("value").cast(StringType()).alias("value"),
    col("partition"),
    col("offset")
)

def showDf(x:DataFrame, y:int):
    x.show()

# Print messages to the console
query = decoded_df.writeStream.foreachBatch(showDf).outputMode("append").start()
query.awaitTermination()

      Hodnoty eventstream.itemid a eventstream.datasourceid možnosti sa automaticky vyplnia v bunke parametrového kódu nad touto kódovou bunkou.

      Poznámka

      Pre každý výber pri Read with Spark sa vygeneruje nová kódová bunka s automaticky vyplnenými potrebnými parametrami a vytvorí sa nový cieľ zápisníka pre položku Eventstream, kde je unikátny eventstream.datasourceid pre každý cieľ zápisníka. Pre jednu položku v zápisníku odporúčame nastaviť ju raz ako cieľ pre jednu položku Eventstream, aby ste sa vyhli vytváraniu viacerých cieľov.

      Pred spustením akejkoľvek úlohy si môžete tiež prezrieť streamované dáta kliknutím na tlačidlo Náhľad dát v kontextovom menu položky Eventstream. Bočný panel sa otvorí a vedľa zápisníka ukáže snímku streamovaných dát.

      Snímka obrazovky ukazujúca, ako si z kontextového menu prehliadnuť dáta Eventstream.

  3. Pridať zápisník ako cieľ: Môžete tiež pridať zápisník ako cieľ pre Eventstream, aby začal prijímať dáta do Eventstreamu priamo v zápisníku. Pre viac informácií pozri Pridať cieľ Spark Notebook do eventstreamu.

Záver

Integrácia eventstreamu v Fabric s notebookmi pomocou Spark Structured Streaming vám umožní bezproblémovo spracovávať a analyzovať dáta v reálnom čase. Ak budete postupovať podľa krokov uvedených v tomto článku, môžete sa jednoducho pripojiť k eventstreamu, čítať streamované dáta a vykonávať analytiku v reálnom čase pomocou známych Spark API. Táto integrácia otvára nové možnosti pre tvorbu aplikácií v reálnom čase a získavanie poznatkov zo streamovaných dát v rámci ekosystému Fabric.

Súvisiaci obsah

Ak sa chcete dozvedieť viac o práci s eventstreammi a zápisníkmi v Fabric, pozrite si nasledujúce zdroje

  • Naposledy aktualizované: