Abrufen von Streamingdaten im Lakehouse und Zugreifen darauf über den SQL-Analyseendpunkt

Dieser Quickstart erklärt, wie man eine Spark-Job-Definition erstellt, die Python-Code mit Spark Structured Streaming enthält, um Daten in einem Lakehouse zu landen und diese dann über einen SQL-Analytics-Endpunkt bereitzustellen. Nach Abschluss dieses Quickstarts hast du eine Spark-Job-Definition, die kontinuierlich ausgeführt wird und der SQL-Analytics-Endpunkt die eingehenden Daten anzeigen kann.

Erstellen eines Python-Skripts

Verwenden Sie das folgende Python-Skript, um eine Streaming-Delta-Tabelle in einem Lakehouse mit Apache Spark zu erstellen. Das Skript liest einen Datenstrom generierter Daten (eine Zeile pro Sekunde) und schreibt ihn im Anfügemodus in eine Delta-Tabelle mit dem Namen streamingtable. Es speichert die Daten und Prüfpunktinformationen im angegebenen Lakehouse.

  1. Verwenden Sie den folgenden Python-Code, der strukturiertes Spark-Streaming verwendet, um Daten in einer Lakehouse-Tabelle abzurufen.

    from pyspark.sql import SparkSession

if __name__ == "__main__":
 # Start Spark session
 spark = SparkSession.builder \
     .appName("RateStreamToDelta") \
     .getOrCreate()

 # Table name used for logging
 tableName = "streamingtable"

 # Define Delta Lake storage path
 deltaTablePath = f"Tables/{tableName}"

 # Create a streaming DataFrame using the rate source
 df = spark.readStream \
     .format("rate") \
     .option("rowsPerSecond", 1) \
     .load()

 # Write the streaming data to Delta
 query = df.writeStream \
     .format("delta") \
     .outputMode("append") \
     .option("path", deltaTablePath) \
     .option("checkpointLocation", f"{deltaTablePath}/_checkpoint") \
     .start()

 # Keep the stream running
 query.awaitTermination()

  2. Speichern Sie Ihr Skript als Python-Datei (.py) auf Ihrem lokalen Computer.

Erstellen eines Lakehouse

Führen Sie die folgenden Schritte aus, um ein Lakehouse zu erstellen:

  1. Melden Sie sich beim Fabric-Portal an.

  2. Navigieren Sie zu Ihrem gewünschten Arbeitsbereich, oder erstellen Sie bei Bedarf einen neuen Arbeitsbereich.

  3. Um ein Lakehouse zu erstellen, wählen Sie im Arbeitsbereich Neues Element und dann im daraufhin geöffneten Bereich die Option Lakehouse aus.

    Screenshot: Dialogfeld „Neues Lakehouse“

  4. Geben Sie den Namen Ihres Lakehouse ein, und wählen Sie Erstellen aus.

Erstellen einer Spark-Auftragsdefinition

Verwenden Sie die folgenden Schritte, um eine Spark-Job-Definition zu erstellen:

  1. Wählen Sie in dem Arbeitsbereich, in dem Sie ein Lakehouse erstellt haben, die Option Neues Element aus.

  2. Wählen Sie im daraufhin geöffneten Bereich unter Daten abrufen die Option Spark-Auftragsdefinition aus.

  3. Geben Sie den Namen Ihrer Spark-Jobdefinition ein und wählen Sie Erstellen.

  4. Wählen Sie Hochladen aus, und wählen Sie die Python-Datei aus, die Sie im vorherigen Schritt erstellt haben.

  5. Wählen Sie unter Lakehouse-Referenz das von Ihnen erstellte Lakehouse aus.

Setze die Retry-Richtlinie für die Spark-Job-Definition ein

Führen Sie die folgenden Schritte aus, um die Wiederholungsrichtlinie für Ihre Spark-Auftragsdefinition festzulegen:

  1. Wählen Sie im oberen Menü das Symbol Einstellung aus.

    Screenshot mit dem Symbol

  2. Öffnen Sie die Registerkarte Optimierung, und legen Sie den Trigger Wiederholungsrichtlinie auf Ein fest.

    Screenshot der Registerkarte

  3. Definieren Sie die maximale Anzahl der Wiederholungsversuche, oder aktivieren Sie Unbegrenzte Versuche zulassen.

  4. Geben Sie die Zeit zwischen den einzelnen Wiederholungsversuchen an, und wählen Sie Anwenden aus.

Hinweis

Für die Einrichtung einer Wiederholungsrichtlinie gilt eine maximale Gültigkeitsdauer von 90 Tagen. Nach dem Aktivieren der Wiederholungsrichtlinie wird der Auftrag innerhalb von 90 Tagen gemäß der Richtlinie neu gestartet. Nach diesem Zeitraum werden die Wiederholungsrichtlinie und der Auftrag automatisch beendet. Benutzer*innen müssen dann den Auftrag manuell neu starten, wodurch wiederum die Wiederholungsrichtlinie erneut aktiviert wird.

Ausführung und Überwachung der Spark-Job-Definition

  1. Wählen Sie im oberen Menü das Symbol Ausführen aus.

    Screenshot mit dem Symbol

  2. Überprüfen Sie, ob die Spark-Auftragsdefinition erfolgreich übermittelt und ausgeführt wurde.

Anzeigen von Daten mithilfe eines SQL-Analyseendpunkts

Nach Ausführung des Skripts wird eine Tabelle mit dem Namen streamingtable mit Zeitstempel und Wert-Spalten im Lakehouse erstellt. Sie können die Daten mithilfe des SQL-Analyseendpunkts anzeigen:

  1. Vom Arbeitsplatz aus öffnen Sie Ihr Seehaus.

  2. Wechseln Sie von der oberen rechten Ecke zum SQL-Analyseendpunkt .

  3. Erweitern Sie im linken Navigationsbereich "Schemas > dbo >Tables", wählen Sie "Streamingtable " aus, um eine Vorschau der Daten anzuzeigen.

Zugehöriger Inhalt

  • Last updated on