Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Diese Seite beschreibt die Unterstützung für Echtzeit-Modus-Abfragen, die direkt die Structured Streaming APIs verwenden. Für verwaltete Pipelines siehe Echtzeitmodus in Lakeflow-Pipelines, der separate Anforderungen an Laufzeit, Quelle, Senke und Betreiber hat.
Unterstützte Sprachen
Der Echtzeitmodus unterstützt Scala, Java und Python.
Berechnungstypen
Der Echtzeitmodus unterstützt die folgenden Computetypen:
| Computetyp | Unterstützt |
|---|---|
| Dedizierter (früher: einzelner Benutzer) | ✓ |
| Standard (früher: geteilt) | • (nur Python) |
| Lakeflow-Pipelines auf Classic | Unterstützt durch Pipeline-Konfiguration |
| Lakeflow-Pipelines auf serverlosen Servern | Unterstützt durch Pipeline-Konfiguration |
| Serverlose Notizbücher und Jobs | Nicht unterstützt für direkte Echtzeit-Abfragen des strukturierten Streamings |
Bei latenzempfindlichen Workloads mit UDFs empfiehlt Databricks die Verwendung des dedizierten Zugriffsmodus. Siehe Tabellenfunktionen.
Ausführungsmodi
Der Echtzeitmodus unterstützt nur den Updatemodus:
| Ausführungsmodus | Unterstützt |
|---|---|
| Aktualisierungsmodus | ✓ |
| Append mode | Nicht unterstützt |
| Vollständiger Modus | Nicht unterstützt |
Quellen und Senken
Der Echtzeitmodus unterstützt die folgenden Quellen und Senken:
| Quelle oder Spüle | Als Quelle | Als Spüle |
|---|---|---|
| Apache Kafka | ✓ | ✓ |
| Event Hubs (mit Kafka-Connector) | ✓ | ✓ |
| Kinesis | ✓ (EFO-Modus empfohlen; Abfrage in Databricks Runtime 19 und höher) | Nicht unterstützt |
| AWS MSK | ✓ | Nicht unterstützt |
| Delta | Nicht unterstützt | Nicht unterstützt |
| Google Pub/Sub (Nachrichtendienst) | Nicht unterstützt | Nicht unterstützt |
| Apache-Pulsar | Nicht unterstützt | Nicht unterstützt |
Beliebige Senken (mit forEachWriter) |
Nicht anwendbar | ✓ |
Betriebspersonal
Der Echtzeitmodus unterstützt die meisten strukturierten Streaming-Operatoren:
Zustandslose Vorgänge
| Bediener | Unterstützt |
|---|---|
| Auswahl | ✓ |
| Projektion | ✓ |
mapPartitions |
Nicht unterstützt (siehe Einschränkung) |
| Union | • (mit einigen Einschränkungen) |
UDFs
| Bediener | Unterstützt |
|---|---|
| Skala UDF | ✓ (skalare UDFs). Gruppierte Funktionen wie flatMapGroups und mapGroupsWithState, werden nicht unterstützt. |
| Python-Benutzerdefinierte Funktion (UDF) | • (mit einigen Einschränkungen) |
Aggregation
| Funktion | Unterstützt |
|---|---|
| sum | ✓ |
| anzahl | ✓ |
| max | ✓ |
| min | ✓ |
| avg | ✓ |
| Aggregationsfunktionen | ✓ |
Windowing
| Bediener | Unterstützt |
|---|---|
| Tumbling | ✓ |
| Sliding | ✓ |
| Sitzung | Nicht unterstützt |
Deduplication
| Bediener | Unterstützt |
|---|---|
| dropDuplicates | ✓ |
| dropDuplicatesWithinWatermark | ✓ |
Stream zu Tabellenbeitritt
| Bediener | Unterstützt |
|---|---|
| Innerer Join | ✓ |
| Äußere Verknüpfung | ✓ |
| Broadcast-Tabellenbeitritt (Tabellengröße von 10 MB oder weniger) | ✓ |
| Tabellenbeitritt (ohne Übertragung) | Nicht unterstützt |
Stream zum Stream-Join
| Bediener | Unterstützt |
|---|---|
| Innerer Join | • (Databricks Runtime 18 LTS und höher, mit einigen Konfigurationen) |
| Außen-Join | Nicht unterstützt |
Note
Um Datenstrom zum Streamen von Verknüpfungen im Echtzeitmodus zu verwenden, müssen Sie zusätzliche Spark-Konfigurationen festlegen. Weitere Informationen zu den Konfigurationen und zu den Anforderungen zum Ausführen mehrerer Datenströme finden Sie unter Stream to stream joins.
Beliebiger Zustandsoperator
| Bediener | Unterstützt |
|---|---|
| (flach)MapGroupsWithState | Nicht unterstützt |
| transformWithState | (') (bei einigen Unterschieden) |
Benutzerdefinierte Senken
| Spüle | Unterstützt |
|---|---|
| forEach | ✓ |
| forEachBatch | Nicht unterstützt |
Besondere Überlegungen
Einige Operatoren und Features weisen spezifische Überlegungen oder Unterschiede auf, wenn sie im Echtzeitmodus verwendet werden.
transformWithState im Echtzeitmodus
Zum Erstellen von benutzerdefinierten zustandsbehafteten Anwendungen unterstützt Databricks transformWithState, eine API in Apache Spark Structured Streaming.
Siehe Build a custom stateful application with für transformWithState weitere Informationen über die API und Codesnippets.
transformWithState unterstützt sowohl synchrone als auch asynchrone Prozessoren im Echtzeitmodus. Für asynchrone Verarbeitungsanforderungen siehe Asynchrone Verarbeitung mit transformWithState.
Die API verhält sich jedoch im Echtzeitmodus anders als bei Mikrobatchabfragen.
- Für synchrone Prozessoren ruft der Echtzeitmodus die Methode
handleInputRows(key: String, inputRows: Iterator[T], timerValues: TimerValues)für jede Zeile auf.- Der
inputRowsIterator gibt einen einzelnen Wert zurück. Der Mikro-Batch-Modus ruft ihn einmal für jeden Schlüssel auf, und derinputRowsIterator gibt alle Werte für einen Schlüssel im Mikro-Batch zurück. - Berücksichtigen Sie diesen Unterschied beim Schreiben Ihres Codes.
- Der
- Für asynchrone Prozessoren gruppiert der Echtzeitmodus Zeilen, die zusammen ankommen, und ruft für jeden Schlüssel in der Gruppe einmal auf,
handleInputRowsmit allen Zeilen dieses Schlüssels. Da der Echtzeitmodus langlaufende Batches ausführt, kann derselbe Schlüssel viele Aufrufe innerhalb eines Batches empfangen. - Ereigniszeitgeber werden im Echtzeitmodus nicht unterstützt.
-
transformWithStateInPandaswird im Echtzeitmodus nicht unterstützt. Verwenden Sie stattdessen die zeilenbasiertetransformWithStateAPI, die Anstelle von Pandas DataFrames Objekte verwendetRow. - Im Echtzeitmodus werden Timer je nach Ankunft der Daten verzögert ausgelöst.
- Wenn ein Timer für 10:00:00 uhr geplant ist, aber keine Daten eingehen, wird der Timer nicht sofort ausgelöst.
- Wenn Daten um 10:00:10 uhr eingehen, wird der Timer mit einer Verzögerung von 10 Sekunden ausgelöst.
- Wenn keine Daten eingehen und der lang andauernde Batchprozess beendet wird, wird der Timer unmittelbar ausgelöst, bevor der Batchprozess beendet wird.
Note
Wenn Sie in Databricks Runtime 18.1 und darunter transformWithState und den Echtzeitmodus für Python mit geringem Durchsatz verwenden, werden bei weniger als 5 Datensätzen pro Sekunde möglicherweise erhöhte Latenzen von bis zu ein paar hundert Millisekunden angezeigt. Databricks empfiehlt ein Upgrade auf Databricks Runtime 18.2 und höher, um das Problem zu beheben.
Python UDFs im Echtzeitmodus
Databricks unterstützt die meisten Python benutzerdefinierten Funktionen (USER-Defined Functions, UDFs) im Echtzeitmodus:
Zustandslos
| UDF-Typ | Unterstützt |
|---|---|
| Python skalaren UDF (Python skalare benutzerdefinierte Funktionen (UDFs)) | ✓ |
| Pfeilskaer-UDF | ✓ |
| Pandas Skalar-UDF (pandas benutzerdefinierte Funktionen) | ✓ |
Pfeilfunktion (mapInArrow) |
Nicht unterstützt (siehe Einschränkung) |
| Pandas-Funktion (Karte) | Nicht unterstützt (siehe Einschränkung) |
Zustandsbehaftete Gruppierung (UDAF)
| UDF-Typ | Unterstützt |
|---|---|
transformWithState (nur Row Schnittstelle) |
✓ |
transformWithStateInPandas |
Nicht unterstützt. Verwenden Sie stattdessen die zeilenbasierte transformWithState API, die Anstelle von Pandas DataFrames Objekte verwendet Row . Details finden Sie transformWithStateInPandas unter "Nicht unterstützt ". |
applyInPandasWithState |
Nicht unterstützt |
Nicht zustandsbehaftete Gruppierung (UDAF)
| UDF-Typ | Unterstützt |
|---|---|
apply |
Nicht unterstützt |
applyInArrow |
Nicht unterstützt |
applyInPandas |
Nicht unterstützt |
Tabellenfunktionen
| UDF-Typ | Unterstützt |
|---|---|
| UDTF (Python benutzerdefinierte Tabellenfunktionen (UDTFs)) | Nicht unterstützt |
| UC UDF | Nicht unterstützt |
Es gibt mehrere Punkte, die Sie bei der Verwendung von Python UDFs im Echtzeitmodus berücksichtigen sollten:
- In Databricks Runtime 19 und höher gruppiert der Echtzeitmodus die Eingabezeilen nach Zeit für alle UDFs, die der Echtzeitmodus unterstützt. Jede Charge sammelt die Zeilen, die innerhalb eines kurzen Zeitfensters (10 Millisekunden) eintreffen, oder bis sie die maximale Chargengröße erreicht hat, und sendet sie dann an die UDF. Dadurch werden Latenz und Durchsatz ausgeglichen, sodass du die Arrow-Batchgröße (
spark.sql.execution.arrow.maxRecordsPerBatch) nicht auf 1 setzen musst. - In Databricks Runtime 18 LTS und darunter werden die Zeilen nur nach Anzahl gestapelt:
- Um die Latenz zu minimieren, legen Sie die Pfeilbatchgröße (
spark.sql.execution.arrow.maxRecordsPerBatch) auf 1 fest. Diese Konfiguration optimiert die Latenz auf Kosten des Durchsatzes. Erhöhen Sie die Batchgröße nur, wenn ein höherer Durchsatz erforderlich ist, um das Eingabevolume aufzunehmen und die potenzielle Latenzsteigerung zu akzeptieren. - Pandas UDFs schneiden mit einer Arrow-Charge-Größe von 1 nicht gut ab. Wenn du Pandas UDFs verwendest, setze die Arrow-Batchgröße auf einen höheren Wert (zum Beispiel 100 oder mehr). Dies bedeutet eine höhere Latenz. Databricks empfiehlt, wenn möglich einen Arrow UDF zu verwenden.
- Um die Latenz zu minimieren, legen Sie die Pfeilbatchgröße (
-
transformWithStateInPandaswird im Echtzeitmodus nicht unterstützt. Verwenden Sie stattdessen die zeilenbasiertetransformWithStateAPI, die Anstelle von Pandas DataFrames Objekte verwendetRow. Beispiele fürtransformWithStateInPandasnicht unterstützt und Realzeitmodus für ein funktionierendes Python Beispiel mithilfe der zeilenbasierten API. - Bei latenzempfindlichen Workloads mit UDFs empfiehlt Databricks die Verwendung des dedizierten Zugriffsmodus. Im Standardzugriffsmodus kann der Sicherheitsisolationsaufwand UDF-Leistung verlangsamen.