Referenz zum Echtzeitmodus

Diese Seite beschreibt die Unterstützung für Echtzeit-Modus-Abfragen, die direkt die Structured Streaming APIs verwenden. Für verwaltete Pipelines siehe Echtzeitmodus in Lakeflow-Pipelines, der separate Anforderungen an Laufzeit, Quelle, Senke und Betreiber hat.

Unterstützte Sprachen

Der Echtzeitmodus unterstützt Scala, Java und Python.

Berechnungstypen

Der Echtzeitmodus unterstützt die folgenden Computetypen:

Computetyp Unterstützt
Dedizierter (früher: einzelner Benutzer) ✓
Standard (früher: geteilt) • (nur Python)
Lakeflow-Pipelines auf Classic Unterstützt durch Pipeline-Konfiguration
Lakeflow-Pipelines auf serverlosen Servern Unterstützt durch Pipeline-Konfiguration
Serverlose Notizbücher und Jobs Nicht unterstützt für direkte Echtzeit-Abfragen des strukturierten Streamings

Bei latenzempfindlichen Workloads mit UDFs empfiehlt Databricks die Verwendung des dedizierten Zugriffsmodus. Siehe Tabellenfunktionen.

Ausführungsmodi

Der Echtzeitmodus unterstützt nur den Updatemodus:

Ausführungsmodus Unterstützt
Aktualisierungsmodus ✓
Append mode Nicht unterstützt
Vollständiger Modus Nicht unterstützt

Quellen und Senken

Der Echtzeitmodus unterstützt die folgenden Quellen und Senken:

Quelle oder Spüle Als Quelle Als Spüle
Apache Kafka ✓ ✓
Event Hubs (mit Kafka-Connector) ✓ ✓
Kinesis ✓ (EFO-Modus empfohlen; Abfrage in Databricks Runtime 19 und höher) Nicht unterstützt
AWS MSK ✓ Nicht unterstützt
Delta Nicht unterstützt Nicht unterstützt
Google Pub/Sub (Nachrichtendienst) Nicht unterstützt Nicht unterstützt
Apache-Pulsar Nicht unterstützt Nicht unterstützt
Beliebige Senken (mit forEachWriter) Nicht anwendbar ✓

Betriebspersonal

Der Echtzeitmodus unterstützt die meisten strukturierten Streaming-Operatoren:

Zustandslose Vorgänge

Bediener Unterstützt
Auswahl ✓
Projektion ✓
mapPartitions Nicht unterstützt (siehe Einschränkung)
Union • (mit einigen Einschränkungen)

UDFs

Bediener Unterstützt
Skala UDF ✓ (skalare UDFs). Gruppierte Funktionen wie flatMapGroups und mapGroupsWithState, werden nicht unterstützt.
Python-Benutzerdefinierte Funktion (UDF) • (mit einigen Einschränkungen)

Aggregation

Funktion Unterstützt
sum ✓
anzahl ✓
max ✓
min ✓
avg ✓
Aggregationsfunktionen ✓

Windowing

Bediener Unterstützt
Tumbling ✓
Sliding ✓
Sitzung Nicht unterstützt

Deduplication

Bediener Unterstützt
dropDuplicates ✓
dropDuplicatesWithinWatermark ✓

Stream zu Tabellenbeitritt

Bediener Unterstützt
Innerer Join ✓
Äußere Verknüpfung ✓
Broadcast-Tabellenbeitritt (Tabellengröße von 10 MB oder weniger) ✓
Tabellenbeitritt (ohne Übertragung) Nicht unterstützt

Stream zum Stream-Join

Bediener Unterstützt
Innerer Join • (Databricks Runtime 18 LTS und höher, mit einigen Konfigurationen)
Außen-Join Nicht unterstützt

Note

Um Datenstrom zum Streamen von Verknüpfungen im Echtzeitmodus zu verwenden, müssen Sie zusätzliche Spark-Konfigurationen festlegen. Weitere Informationen zu den Konfigurationen und zu den Anforderungen zum Ausführen mehrerer Datenströme finden Sie unter Stream to stream joins.

Beliebiger Zustandsoperator

Bediener Unterstützt
(flach)MapGroupsWithState Nicht unterstützt
transformWithState (') (bei einigen Unterschieden)

Benutzerdefinierte Senken

Spüle Unterstützt
forEach ✓
forEachBatch Nicht unterstützt

Besondere Überlegungen

Einige Operatoren und Features weisen spezifische Überlegungen oder Unterschiede auf, wenn sie im Echtzeitmodus verwendet werden.

transformWithState im Echtzeitmodus

Zum Erstellen von benutzerdefinierten zustandsbehafteten Anwendungen unterstützt Databricks transformWithState, eine API in Apache Spark Structured Streaming. Siehe Build a custom stateful application with für transformWithState weitere Informationen über die API und Codesnippets.

transformWithState unterstützt sowohl synchrone als auch asynchrone Prozessoren im Echtzeitmodus. Für asynchrone Verarbeitungsanforderungen siehe Asynchrone Verarbeitung mit transformWithState.

Die API verhält sich jedoch im Echtzeitmodus anders als bei Mikrobatchabfragen.

  • Für synchrone Prozessoren ruft der Echtzeitmodus die Methode handleInputRows(key: String, inputRows: Iterator[T], timerValues: TimerValues) für jede Zeile auf.
    • Der inputRows Iterator gibt einen einzelnen Wert zurück. Der Mikro-Batch-Modus ruft ihn einmal für jeden Schlüssel auf, und der inputRows Iterator gibt alle Werte für einen Schlüssel im Mikro-Batch zurück.
    • Berücksichtigen Sie diesen Unterschied beim Schreiben Ihres Codes.
  • Für asynchrone Prozessoren gruppiert der Echtzeitmodus Zeilen, die zusammen ankommen, und ruft für jeden Schlüssel in der Gruppe einmal auf, handleInputRows mit allen Zeilen dieses Schlüssels. Da der Echtzeitmodus langlaufende Batches ausführt, kann derselbe Schlüssel viele Aufrufe innerhalb eines Batches empfangen.
  • Ereigniszeitgeber werden im Echtzeitmodus nicht unterstützt.
  • transformWithStateInPandas wird im Echtzeitmodus nicht unterstützt. Verwenden Sie stattdessen die zeilenbasierte transformWithState API, die Anstelle von Pandas DataFrames Objekte verwendet Row .
  • Im Echtzeitmodus werden Timer je nach Ankunft der Daten verzögert ausgelöst.
    • Wenn ein Timer für 10:00:00 uhr geplant ist, aber keine Daten eingehen, wird der Timer nicht sofort ausgelöst.
    • Wenn Daten um 10:00:10 uhr eingehen, wird der Timer mit einer Verzögerung von 10 Sekunden ausgelöst.
    • Wenn keine Daten eingehen und der lang andauernde Batchprozess beendet wird, wird der Timer unmittelbar ausgelöst, bevor der Batchprozess beendet wird.

Note

Wenn Sie in Databricks Runtime 18.1 und darunter transformWithState und den Echtzeitmodus für Python mit geringem Durchsatz verwenden, werden bei weniger als 5 Datensätzen pro Sekunde möglicherweise erhöhte Latenzen von bis zu ein paar hundert Millisekunden angezeigt. Databricks empfiehlt ein Upgrade auf Databricks Runtime 18.2 und höher, um das Problem zu beheben.

Python UDFs im Echtzeitmodus

Databricks unterstützt die meisten Python benutzerdefinierten Funktionen (USER-Defined Functions, UDFs) im Echtzeitmodus:

Zustandslos

UDF-Typ Unterstützt
Python skalaren UDF (Python skalare benutzerdefinierte Funktionen (UDFs)) ✓
Pfeilskaer-UDF ✓
Pandas Skalar-UDF (pandas benutzerdefinierte Funktionen) ✓
Pfeilfunktion (mapInArrow) Nicht unterstützt (siehe Einschränkung)
Pandas-Funktion (Karte) Nicht unterstützt (siehe Einschränkung)

Zustandsbehaftete Gruppierung (UDAF)

UDF-Typ Unterstützt
transformWithState (nur Row Schnittstelle) ✓
transformWithStateInPandas Nicht unterstützt. Verwenden Sie stattdessen die zeilenbasierte transformWithState API, die Anstelle von Pandas DataFrames Objekte verwendet Row . Details finden Sie transformWithStateInPandas unter "Nicht unterstützt ".
applyInPandasWithState Nicht unterstützt

Nicht zustandsbehaftete Gruppierung (UDAF)

UDF-Typ Unterstützt
apply Nicht unterstützt
applyInArrow Nicht unterstützt
applyInPandas Nicht unterstützt

Tabellenfunktionen

UDF-Typ Unterstützt
UDTF (Python benutzerdefinierte Tabellenfunktionen (UDTFs)) Nicht unterstützt
UC UDF Nicht unterstützt

Es gibt mehrere Punkte, die Sie bei der Verwendung von Python UDFs im Echtzeitmodus berücksichtigen sollten:

  • In Databricks Runtime 19 und höher gruppiert der Echtzeitmodus die Eingabezeilen nach Zeit für alle UDFs, die der Echtzeitmodus unterstützt. Jede Charge sammelt die Zeilen, die innerhalb eines kurzen Zeitfensters (10 Millisekunden) eintreffen, oder bis sie die maximale Chargengröße erreicht hat, und sendet sie dann an die UDF. Dadurch werden Latenz und Durchsatz ausgeglichen, sodass du die Arrow-Batchgröße (spark.sql.execution.arrow.maxRecordsPerBatch) nicht auf 1 setzen musst.
  • In Databricks Runtime 18 LTS und darunter werden die Zeilen nur nach Anzahl gestapelt:
    • Um die Latenz zu minimieren, legen Sie die Pfeilbatchgröße (spark.sql.execution.arrow.maxRecordsPerBatch) auf 1 fest. Diese Konfiguration optimiert die Latenz auf Kosten des Durchsatzes. Erhöhen Sie die Batchgröße nur, wenn ein höherer Durchsatz erforderlich ist, um das Eingabevolume aufzunehmen und die potenzielle Latenzsteigerung zu akzeptieren.
    • Pandas UDFs schneiden mit einer Arrow-Charge-Größe von 1 nicht gut ab. Wenn du Pandas UDFs verwendest, setze die Arrow-Batchgröße auf einen höheren Wert (zum Beispiel 100 oder mehr). Dies bedeutet eine höhere Latenz. Databricks empfiehlt, wenn möglich einen Arrow UDF zu verwenden.
  • transformWithStateInPandas wird im Echtzeitmodus nicht unterstützt. Verwenden Sie stattdessen die zeilenbasierte transformWithState API, die Anstelle von Pandas DataFrames Objekte verwendet Row . Beispiele für transformWithStateInPandas nicht unterstützt und Realzeitmodus für ein funktionierendes Python Beispiel mithilfe der zeilenbasierten API.
  • Bei latenzempfindlichen Workloads mit UDFs empfiehlt Databricks die Verwendung des dedizierten Zugriffsmodus. Im Standardzugriffsmodus kann der Sicherheitsisolationsaufwand UDF-Leistung verlangsamen.