Dotaz na eventstream v Microsoft Fabric z notebooku se Spark Structured Streaming

Eventstream v Microsoft Fabric je plně spravovaná služba pro příjem a streamování událostí, která umožňuje zpracování a analytiku dat v reálném čase. Eventstream můžete integrovat s Fabric notebooky pomocí Spark Structured Streaming pro zpracování a analýzu streamovaných dat v reálném čase.

Tato integrace vám umožňuje prozkoumávat eventstreamy a další zdroje v reálném čase přes Real-Time hub přímo z vašich Fabric zápisníků. Můžete také vytvářet nové eventstreamy a začít přijímat data z téměř 30 (a stále rostoucích) streamovacích zdrojů, včetně databází s podporou CDC, zprávových brokerů, streamovacích služeb a veřejných kanálů. Nový programovací model umožňuje snadno se připojit k eventstreamu, číst streamovaná data a provádět analytiku v reálném čase pomocí známých Spark API bez jakýchkoli spojovacích řetězců nebo přihlašovacích údajů, což zvyšuje bezpečnost pro tvorbu aplikací v reálném čase

Požadavky

Než začnete, ujistěte se, že máte splněné následující požadavky:

  • Fabric pracovní prostor s povoleným eventstreamem.
  • Prostředí pro zápisníky nastavené v Fabric.
  • Základní znalost strukturovaného streamování Sparku a PySpark nebo Scala

Postup dotazování na eventstream z poznámkového bloku

  1. Zjišťování a přidání eventstreamu do poznámkového bloku:

    1. Otevřete poznámkový blok Microsoft Fabric.

    2. Vyberte možnost Přidat datové položky na kartě Datové položky a pak v rozevírací nabídce vyberte Z Real-Time centra .

    3. V dialogovém okně centra Real-Time vyhledejte cílový stream událostí, který chcete dotazovat s různými možnostmi vyhledávání a filtru.

    4. Přidejte eventstream do prostředí poznámkového bloku.

      Snímek obrazovky znázorňující, jak zjistit eventstream v centru Real-Time

      Po přidání položky eventstream se zobrazí pod uzlem centraReal-Time v Průzkumníku objektů poznámkového bloku s názvem položky po rozbalení uzlu uvidíte výchozí nebo odvozený datový proud v rámci položky eventstreamu.

      Snímek obrazovky znázorňující přidaný eventstream v Průzkumníku objektů poznámkového bloku

  2. Čtení streamovaných dat z eventstreamu:

    1. V místní nabídce položky eventstream v Průzkumníku objektů vyberte Možnost Číst se Sparkem a vytvořte předem nakonfigurovanou buňku kódu pro čtení z vybraného streamu událostí.

      Snímek obrazovky znázorňující, jak číst stream událostí pomocí Sparku z místní nabídky

    2. V nově vytvořené buňce kódu můžete ke čtení streamovaných dat z eventstreamu použít následující fragment kódu PySpark:

      from pyspark.sql import SparkSession
from pyspark.sql.functions import col
from pyspark.sql.types import StringType
from pyspark.sql.dataframe import DataFrame

eventstream_options = {
    "eventstream.itemid": __in_eventstream_item_id,
    "eventstream.datasourceid": __in_eventstream_datasource_id
}

# Read from Kafka using the config map
df_raw = spark.readStream.format("kafka").options(**eventstream_options).load()

decoded_df = df_raw.select(
    col("key").cast(StringType()).alias("key"),
    col("value").cast(StringType()).alias("value"),
    col("partition"),
    col("offset")
)

def showDf(x:DataFrame, y:int):
    x.show()

# Print messages to the console
query = decoded_df.writeStream.foreachBatch(showDf).outputMode("append").start()
query.awaitTermination()

      Hodnota eventstream.itemid a eventstream.datasourceid možnosti se automaticky vyplní do buňky kódu parametru nad touto buňkou kódu.

      Poznámka:

      Pro každý výběr při čtení pomocí Sparku se vygeneruje nová buňka kódu s potřebnými parametry, které se vyplní automaticky, a vytvoří se nový cíl poznámkového bloku pro položku Eventstream, kde eventstream.datasourceid je jedinečný pro každý cíl poznámkového bloku. Pro jednu položku poznámkového bloku doporučujeme nastavit ji jednou jako cíl pro jednu položku Eventstream, abyste se vyhnuli vytváření více cílů.

      Před spuštěním jakékoli úlohy můžete také zobrazit náhled streamovaných dat kliknutím na tlačítko Náhled dat v místní nabídce položky Eventstream. Otevře se boční panel, který zobrazí snímek streamovaných dat vedle poznámkového bloku.

      Snímek obrazovky znázorňující, jak zobrazit náhled dat eventstreamu z místní nabídky

  3. Přidat poznámkový blok jako cíl: Poznámkový blok můžete také přidat jako cíl pro eventstream a začít ingestovat data do eventstreamu z poznámkového bloku. Další informace najdete v tématu Přidání cíle poznámkového bloku Sparku do streamu událostí.

Conclusion

Integrace eventstreamu ve Fabric s notebooky pomocí Spark Structured Streaming umožňuje bezproblémově zpracovávat a analyzovat data v reálném čase. Dodržováním kroků uvedených v tomto článku se můžete snadno připojit k eventstreamu, číst streamovaná data a provádět analytiku v reálném čase pomocí známých Spark API. Tato integrace otevírá nové možnosti pro tvorbu aplikací v reálném čase a získávání poznatků ze streamovaných dat v rámci ekosystému Fabric.

Související obsah

Chcete-li se dozvědět více o práci s eventstreamy a zápisníky ve Fabric, podívejte se na následující zdroje

  • Poslední aktualizace v