Kysy Microsoft Fabric Eventstream notebookista, jossa on Spark Structured Streaming

Microsoft Fabric Eventstream on täysin hallittu tapahtumien vastaanotto- ja suoratoistopalvelu, joka mahdollistaa reaaliaikaisen datan käsittelyn ja analytiikan. Voit integroida Eventstreamin Microsoft Fabric -muistikirjoihin Spark Structured Streamingin avulla käsittelemään ja analysoimaan suoratoistodataa reaaliajassa.

Tämä integraatio mahdollistaa Eventstreamien ja muiden reaaliaikaisten lähteiden tutkimisen Real-Time-hubin kautta suoraan Fabric-muistikirjoistasi. Voit myös luoda uusia tapahtumavirtoja ja alkaa vastaanottaa dataa lähes 30 (ja kasvavasta) suoratoistolähteestä, mukaan lukien CDC-yhteensopivat tietokannat, viestinvälittäjät, suoratoistopalvelut ja julkiset syötteet. Uusi ohjelmointimalli mahdollistaa helpon yhteyden Eventstreamiin, suoratoistodatan lukemisen ja reaaliaikaisen analytiikan tekemisen tutuilla Spark-rajapinnoilla ilman yhteysehtoja tai tunnuksia, mikä tekee reaaliaikaisten sovellusten rakentamisesta turvallisempaa

Ennakkovaatimukset

Ennen kuin aloitat, varmista, että sinulla on seuraavat edellytykset valmiina:

• Microsoft Fabric -työtila, jossa Eventstream on käytössä.
• Muistikirjaympäristö, joka on asetettu Microsoft Fabriciin.
• Perustiedot Spark Structured Streamingista ja PySparkista tai Scalasta.

Vaiheet Eventstreamin kyselyyn muistikirjasta

1. Löydä ja lisää tapahtumavirta muistikirjaan:

   1. Avaa Microsoft Fabric -muistikirjasi.

   2. Valitse Lisää tietoelementtejäData-elementit -välilehdeltä ja valitse pudotusvalikosta Real-Time hubista .

   3. Real-Time hubin valintaikkunasta etsi kohdetapahtumavirta, jota haluat kysyä, ja käyttää erilaisia haku- ja suodatusvaihtoehtoja.

   4. Lisää eventstream muistikirjasi ympäristöön.

      

      Kun eventstream-kohde on lisätty, se ilmestyy Real-Time-hub-solmun alle muistikirjan objektinhallinnassa esineen nimellä, ja kun solmua laajennetaan, näet oletus- tai johdetun virran tapahtumavirran sisällä.

      

2. Lue stream-dataa eventstreamista:

   1. Eventstream-kohteen kontekstivalikosta objektinhallinnassa valitse Lue Sparkilla luodaksesi ennalta määritetty koodisolu luettavaksi valitusta tapahtumavirrasta.

      

   2. Uudessa koodisolussa voit käyttää seuraavaa PySpark-koodipätkää lukeaksesi streamstream-dataa tapahtumavirrasta:

      from pyspark.sql import SparkSession
      from pyspark.sql.functions import col
      from pyspark.sql.types import StringType
      from pyspark.sql.dataframe import DataFrame
      
      eventstream_options = {
          "eventstream.itemid": __in_eventstream_item_id,
          "eventstream.datasourceid": __in_eventstream_datasource_id
      }
      
      # Read from Kafka using the config map
      df_raw = spark.readStream.format("kafka").options(**eventstream_options).load()
      
      decoded_df = df_raw.select(
          col("key").cast(StringType()).alias("key"),
          col("value").cast(StringType()).alias("value"),
          col("partition"),
          col("offset")
      )
      
      def showDf(x:DataFrame, y:int):
          x.show()
      
      # Print messages to the console
      query = decoded_df.writeStream.foreachBatch(showDf).outputMode("append").start()
      query.awaitTermination()
      

      Arvot eventstream.itemid ja eventstream.datasourceid asetukset täytetään automaattisesti tämän koodisolun yläpuolella olevassa parametrisolussa.

      Note

      Jokaista valintaa varten Read with Sparkissa luodaan uusi koodisolu, johon tarvittavat parametrit täytetään automaattisesti, ja uusi Notebook-kohde luodaan Eventstream-kohteelle, jossa kohde eventstream.datasourceid on yksilöllinen kullekin Notebook-kohteelle. Yhdelle muistikirjan kohteelle suosittelemme, että asetat sen kerran kohteeksi yhdelle Eventstream-kohteelle, jotta vältetään useiden kohteiden syntyminen.

      Ennen minkään työn suorittamista voit myös esikatsella suoratoistodataa klikkaamalla Eventstream-kohteen kontekstivalikosta Preview data -painiketta. Sivupaneeli avautuu, joka näyttää suoratoistodatan kuvan muistikirjan vieressä.

      

3. Lisää muistikirja kohteeksi: Voit myös lisätä muistikirjan kohteeksi, jossa Eventstream alkaa vastaanottaa dataa Eventstreamiin muistikirjan sisältä. Lisätietoja löytyy kohdasta Lisää Spark Notebook -kohde tapahtumavirtaan.

Johtopäätös

Microsoft Fabric Eventstreamin integrointi muistikirjoihin Spark Structured Streamingin avulla mahdollistaa reaaliaikaisen datan käsittelyn ja analysoinnin saumattomasti. Noudattamalla tässä artikkelissa esitettyjä vaiheita voit helposti yhdistää Eventstreamiin, lukea suoratoistotietoja ja suorittaa reaaliaikaista analytiikkaa tuttujen Spark-rajapintojen avulla. Tämä integraatio avaa uusia mahdollisuuksia reaaliaikaisten sovellusten rakentamiseen ja oivallusten saamiseen suoratoistodatasta Microsoft Fabric -ekosysteemissä.

Liittyvä sisältö

Jos haluat oppia lisää Eventstreamien ja muistikirjojen kanssa työskentelystä Microsoft Fabricissa, tutustu seuraaviin resursseihin

• Luo ja hallinnoi tapahtumavirta
• Lisää Spark Notebook -kohde tapahtumavirtaan
• Spark Structured Streaming -opas