Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Verwenden Sie Structured Streaming, um in Lakebase oder eine externe PostgreSQL-Datenbank mit integriertem Batching, automatischen Wiederholungen und arbeitsbereichsverwalteter Authentifizierung zu schreiben.
Wann der Lakebase-Sink verwendet werden sollte
Verwenden Sie den Lakebase-Sink für Streaming-Schreibvorgänge mit niedriger Latenz in Lakebase oder eine externe PostgreSQL-Datenbank. Für diesen Sink müssen Sie keine benutzerdefinierten foreach Funktionen für die Batchverarbeitung, Verbindungsverwaltung und Fehlerbehandlung implementieren.
Zu den gängigen Anwendungsfällen gehören:
- Aktualisieren Sie Anwendungsdatenbanken in Echtzeit für Betriebsdashboards oder kundenorientierte Features.
- Synchronisieren Sie fortlaufend geänderte Daten, z. B. aggregierte oder gefilterte Streamingergebnisse, in einer Transaktionsdatenbank.
- Schreiben Sie die Ausgabe einer Structured Streaming-Abfrage in eine Lakebase-Tabelle mit einer Latenz von Dutzenden Millisekunden im Echtzeitmodus im klassischen Compute.
Informationen zum Synchronisieren von Daten aus Lakebase zu Delta Lake-Tabellen im Lakehouse finden Sie in umgekehrter Richtung unter Lakebase Change Data Feed.
Anforderungen
-
Databricks Runtime 18 LTS und höher.
- Externe PostgreSQL-Verbindungen erfordern, dass Sie Databricks Runtime 19 und höher verwenden und sich für die benutzerdefinierte JDBC-Vorschau in UC Compute anmelden.
- Intervalldatentypen erfordern, dass Sie Databricks Runtime 19 und höher verwenden.
- Merge-Strategien für Upserts erfordern, dass du Databricks Runtime 19 und höher verwendest.
- Additive Schema Evolution mit
mergeSchemaerfordert, dass Sie Databricks Runtime 19 und höher verwenden.
- Klassische Rechenleistung mit dedizierten oder Standardzugriffsmodi oder serverlose Berechnung für Notebooks oder Jobs. Verwenden Sie für serverlose Rechenumgebungen
Trigger.AvailableNow(). Siehe Streaming mit serverloser Rechenleistung. - Eine Lakebase-Datenbank oder eine Unity-Catalog-Verbindung zu einer externen PostgreSQL-Datenbank.
Identifikationsanforderungen
Für alle Ziele empfiehlt Databricks die Verwendung von Schema-, Tabellen-, Spalten- und Primärschlüssel-Spaltennamen, die mit einem Buchstaben oder Unterstrich beginnen und nur Buchstaben, Zahlen und Unterstriche enthalten. Der Sink erzwingt diese Anforderungen, wenn er automatisch eine Lakebase-Tabelle erstellt. Um Kennungen zu verwenden, die diese Anforderungen nicht erfüllen, erstellen Sie vor Beginn der Abfrage die Zieltabelle.
Mit Datenbank verbinden
Die Lakebase-Spüle unterstützt die folgenden Verbindungsmethoden:
bei Unity Catalog registrierte Lakebase-Tabellen
Bei Lakebase-Tabellen, die mit Unity Catalog registriert sind, verwaltet der Connector automatisch die Anmeldeinformationen und verwendet die Identität des Benutzers oder Dienstprinzipals, der die Abfrage ausführt. Wenn die Tabelle nicht vorhanden ist, erstellt der Verbinder die Tabelle.
Informationen zum Registrieren einer Lakebase-Datenbank im Unity-Katalog finden Sie unter Registrieren einer Lakebase-Datenbank im Unity-Katalog.
Um in eine Lakebase-Tabelle zu schreiben, verwendet man die Methode .toTable() mit einem vollständig qualifizierten Tabellennamen: catalog.schema.table
Python
(df.writeStream
.outputMode("update")
.option("upsertkey", "<primary-key-columns>") # Optional
.option("checkpointLocation", "/Volumes/<catalog>/<schema>/<volume>/<checkpoint-name>")
.toTable("<catalog>.<schema>.<table>")
)
Scala
df.writeStream
.outputMode("update")
.option("upsertkey", "<primary-key-columns>") // Optional
.option("checkpointLocation", "/Volumes/<catalog>/<schema>/<volume>/<checkpoint-name>")
.toTable("<catalog>.<schema>.<table>")
Ersetzen Sie die folgenden Platzhalter:
-
<catalog>.<schema>.<table>: Der voll qualifizierte Name der Zieltabelle. DercatalogUnity-Katalogkatalog, den Sie beim Registrieren der Lakebase-Datenbank erstellt haben, finden Sie unter Registrieren einer Lakebase-Datenbank im Unity-Katalog. Wenn die Tabelle nicht vorhanden ist, erstellt der Verbinder sie. -
<primary-key-columns>:Wahlfrei. Eine kommagetrennte Liste aller Spalten im Primärschlüssel der Zieltabelle, zum Beispielidoderuser_id,event_type. Siehe Upsert-Verhalten. -
/Volumes/<catalog>/<schema>/<volume>/<checkpoint-name>: Ein Unity-Katalog-Volumenpfad, auf dem die Abfrage ihren Checkpoint speichert. Sie können auch einen Cloudobjektspeicher-URI verwenden. Der Speicherort muss Speicher sein, in den Sie schreiben können, nicht auf einen lokalen Datenträger, und muss für jede Streamingabfrage eindeutig sein. Dies ist unabhängig von der Zieltabelle. Siehe Prüfpunkte für strukturiertes Streaming.
Für optionale Konfigurationen wie batchsize und batchintervalsiehe die PostgreSQL-Sink-Optionen.
Lakebase-Tabellen, die nicht bei Unity Catalog registriert sind
Für Lakebase-Tabellen, die nicht im Unity-Katalog registriert sind, verwaltet der Connector automatisch die Anmeldeinformationen und verwendet die Identität des Benutzers oder Dienstprinzipals, der die Abfrage ausführt. Wenn die Tabelle nicht vorhanden ist, erstellt der Verbinder die Tabelle.
Verwenden Sie zum Schreiben in eine Lakebase-Tabelle die Optionen endpoint und dbtable:
Python
(df.writeStream
.format("postgresql")
.outputMode("update")
.option("endpoint", "<project-id>.<branch-id>.<endpoint-id>")
.option("database", "<database>") # Optional. Defaults to databricks_postgres.
.option("dbtable", "<schema>.<table>")
.option("upsertkey", "<primary-key-columns>") # Optional
.option("checkpointLocation", "/Volumes/<catalog>/<schema>/<volume>/<checkpoint-name>")
.start()
)
Scala
df.writeStream
.format("postgresql")
.outputMode("update")
.option("endpoint", "<project-id>.<branch-id>.<endpoint-id>")
.option("database", "<database>") // Optional. Defaults to databricks_postgres.
.option("dbtable", "<schema>.<table>")
.option("upsertkey", "<primary-key-columns>") // Optional
.option("checkpointLocation", "/Volumes/<catalog>/<schema>/<volume>/<checkpoint-name>")
.start()
Ersetzen Sie die folgenden Platzhalter:
-
<project-id>.<branch-id>.<endpoint-id>: Ihr Lakebase-Endpunkt. Suchen Sie alle drei Werte im Ressourcennamen im Menü " Get ID " der Registerkarte " Computes ", die das Formatprojects/<project-id>/branches/<branch-id>/endpoints/<endpoint-id>aufweist. Siehe Berechnen von Bezeichnern. -
<database>:Wahlfrei. Der Name der Ziel-PostgreSQL-Datenbank. Wird standardmäßig aufdatabricks_postgresfestgelegt. Siehe "Datenbanken verwalten". -
<schema>.<table>: Die Zieltabelle im Formatschema.table. Wenn Sie das Schema weglassen, verwendet die Spüle daspublicSchema. Für die automatische Tabellenerstellung verwenden Sie Identifikatoren, die mit einem Buchstaben oder Unterstrich beginnen und nur Buchstaben, Zahlen und Unterstriche enthalten. -
<primary-key-columns>:Wahlfrei. Eine kommagetrennte Liste aller Spalten im Primärschlüssel der Zieltabelle, zum Beispielidoderuser_id,event_type. Siehe Upsert-Verhalten. -
/Volumes/<catalog>/<schema>/<volume>/<checkpoint-name>: Ein Unity-Katalog-Volumenpfad, auf dem die Abfrage ihren Checkpoint speichert. Sie können auch einen Cloudobjektspeicher-URI verwenden. Der Speicherort muss Speicher sein, in den Sie schreiben können, nicht auf einen lokalen Datenträger, und muss für jede Streamingabfrage eindeutig sein. Dies ist unabhängig von der Zieltabelle. Siehe Prüfpunkte für strukturiertes Streaming.
Für optionale Konfigurationen wie batchsize und batchintervalsiehe die PostgreSQL-Sink-Optionen.
Externe PostgreSQL mit Unity-Katalog-Zugangsdaten
Important
Dieses Feature befindet sich in der Public Preview. Workspace-Administratoren können den Zugriff auf Custom JDBC in UC Compute über die Vorschauenseite steuern. Siehe Manage Azure Databricks Previews.
Verwenden Sie eine Unity-Catalog-Verbindung, um sich bei einer externen PostgreSQL-Datenbank zu authentifizieren, ohne Zugangsdaten in Ihrem Code zu speichern. Die Zieltabelle muss bereits existieren.
Stelle eine Verbindung vom Typ POSTGRESQL. Siehe Create a connection. Der Benutzer oder Serviceprinzipal, der die Abfrage ausführt, muss für die Verbindung über USE CONNECTION verfügen.
Um in die PostgreSQL-Tabelle zu schreiben, verwenden Sie die databricks.connection, database, und dbtable Optionen:
Python
(df.writeStream
.format("postgresql")
.outputMode("update")
.option("databricks.connection", "<connection-name>")
.option("database", "<database>")
.option("dbtable", "<schema>.<table>")
.option("upsertkey", "<primary-key-columns>") # Optional
.option("checkpointLocation", "/Volumes/<catalog>/<schema>/<volume>/<checkpoint-name>")
.start()
)
Scala
df.writeStream
.format("postgresql")
.outputMode("update")
.option("databricks.connection", "<connection-name>")
.option("database", "<database>")
.option("dbtable", "<schema>.<table>")
.option("upsertkey", "<primary-key-columns>") // Optional
.option("checkpointLocation", "/Volumes/<catalog>/<schema>/<volume>/<checkpoint-name>")
.start()
Ersetzen Sie die folgenden Platzhalter:
-
<connection-name>: Der Name der Unity-Katalog-Verbindung. -
<database>: Der Name der Ziel-PostgreSQL-Datenbank. -
<schema>.<table>: Die bestehende Zieltabelle im Formatschema.table. Wenn Sie das Schema weglassen, verwendet die Spüle daspublicSchema. -
<primary-key-columns>:Wahlfrei. Eine kommagetrennte Liste aller Spalten im Primärschlüssel der Zieltabelle, zum Beispielidoderuser_id,event_type. Siehe Upsert-Verhalten. -
/Volumes/<catalog>/<schema>/<volume>/<checkpoint-name>: Ein Unity-Katalog-Volumenpfad, auf dem die Abfrage ihren Checkpoint speichert. Sie können auch einen Cloudobjektspeicher-URI verwenden. Der Speicherort muss Speicher sein, in den Sie schreiben können, nicht auf einen lokalen Datenträger, und muss für jede Streamingabfrage eindeutig sein. Dies ist unabhängig von der Zieltabelle. Siehe Prüfpunkte für strukturiertes Streaming.
PostgreSQL-Verbindungen verwenden TLS. Die Zertifikatsverifizierung folgt den Einstellungen der Unity-Katalog-Verbindung, die Sie beim Erstellen der Verbindung auswählen:
-
Serverzertifikat vertrauen: Wenn diese Option ausgewählt ist, verwendet die Verbindung
sslmode=require, wodurch die Verbindung verschlüsselt wird, ohne das Serverzertifikat zu überprüfen. -
Vom Nutzer bereitgestelltes Serverzertifikat: Stellen Sie ein PEM-codiertes Serverzertifikat bereit, um
sslmode=verify-fullzu verwenden, wenn Serverzertifikat vertrauen nicht ausgewählt ist. Wenn du kein Zertifikat bereitstellst, verwendet die Verbindungsslmode=verify-fullden JVM-Standard-Vertrauensspeicher.
Konfigurationsoptionen
Die Senke löst einen Fehler für nicht erkannte Optionen aus, JDBC_STREAMING_SINK_INVALID_OPTIONS.
Für die Sink-Konfigurationsoptionen, einschließlich der gemeinsamen Optionen und der Optionen für jede Verbindungsmethode, siehe die PostgreSQL-Sink-Optionen.
Additive Schemaentwicklung
Legen Sie in Databricks Runtime 19 und höher auf Ihrem Streaming-Writer vor .start() oder .toTable().option("mergeSchema", "true") fest, um DataFrame-Spalten hinzuzufügen, die in einer bestehenden Lakebase- oder externen PostgreSQL-Tabelle fehlen. Die Option ist standardmäßig auf false. Ohne ihn führt ein DataFrame mit neuen Spalten dazu, dass die Abfrage fehlschlägt.
Der Sink prüft beim Initialisieren der Abfrage auf neue Spalten, bevor Daten geschrieben werden. Starten Sie die Abfrage mit dem aktualisierten DataFrame-Schema und mit aktiviertem mergeSchema neu, um neue Spalten hinzuzufügen. Der Sink prüft an jeder Batch-Grenze keine Schemaänderungen.
Neue Spalten sind nullfähig und verwenden die Datentypzuordnungen für automatisch erstellte Lakebase-Tabellen. Bestehende Zeilen haben Nullwerte in den hinzugefügten Spalten. Die vom Sink verwendete Datenbankidentität muss die Berechtigung haben, die Zieltabelle zu ändern. Für externes PostgreSQL muss die Zieltabelle bereits existieren.
Schemaentwicklung fügt nur Spalten der obersten Ebene hinzu. Es benennt keine Spalten um, löscht keine Spalten, ändert keine bestehenden Spaltentypen und erweitert keine Typen. Um diese Änderungen vorzunehmen, stoppen Sie die Abfrage, ändern Sie die Zieltabelle selbst und starten Sie die Abfrage mit einem kompatiblen DataFrame-Schema neu.
Datentypzuordnungen
Der Sink prüft, dass jede DataFrame-Spalte mit der entsprechenden Zielspalte kompatibel ist, bevor er in eine bestehende Lakebase- oder externe PostgreSQL-Tabelle schreibt.
Die folgende Tabelle enthält Typen, die in Databricks Runtime 18 LTS und höher unterstützt werden:
| Spark-Typ | Automatisch erstellter Lakebase-Tabellentyp | Kompatible Typen in bestehenden PostgreSQL-Tabellen |
|---|---|---|
ByteType, ShortType |
smallint |
smallint |
IntegerType |
integer |
integer |
LongType |
bigint |
bigint |
FloatType |
real |
real |
DoubleType |
double precision |
double precision |
DecimalType |
numeric |
numeric |
StringType |
text |
varchar, text |
VarcharType(n) |
varchar(n) |
varchar, text |
CharType(n) |
char(n) |
char |
BinaryType |
bytea |
bytea |
BooleanType |
boolean |
boolean |
TimestampType |
timestamptz |
timestamptz |
TimestampNTZType |
timestamp |
timestamp |
DateType |
date |
date |
ArrayType, MapType, StructType, VariantType, , NullType |
jsonb |
json, jsonb |
Die folgende Tabelle enthält Typen, die in Databricks Runtime 19 und höher unterstützt werden:
| Spark-Typ | Automatisch erstellter Lakebase-Tabellentyp | Kompatible Typen in bestehenden PostgreSQL-Tabellen |
|---|---|---|
DayTimeIntervalType, YearMonthIntervalType |
interval |
interval |
Upsert-Verhalten
Die upsertkey Option identifiziert die Primärschlüsselspalten der Zieltabelle. Für eine bestehende Tabelle müssen die Spalten in upsertkey exakt mit dem Primärschlüssel der Tabelle übereinstimmen. Wenn du die Option weglässt, liest das Waschbecken den Primärschlüssel aus der Tabelle. Für eine Lakebase-Tabelle, die vom Sink erstellt wird, definiert upsertkey den Primärschlüssel. Wenn du die Option weglässt, erstellt der Sink die Tabelle ohne einen Primärschlüssel.
Wenn die Zieltabelle einen Primärschlüssel hat, führt der Sink Upserts mithilfe der PostgreSQL-INSERT INTO ... ON CONFLICT (<primary_key_columns>) DO UPDATE SET ...-Syntax aus. Wenn die Zieltabelle keinen Primärschlüssel hat, führt der Sink Einfügungen durch. Der Ausgabemodus einer Abfrage hat keinen Einfluss auf dieses Verhalten.
Alle Primärschlüsselspalten müssen im DataFrame vorhanden sein und vergleichbare Typen verwenden, wie numerische oder String-Typen.
Um zu steuern, wie Upserts Nicht-Primärschlüsselspalten aktualisieren, siehe Zusammenführungsstrategien für Upserts.
Zusammenführungsstrategien für Upserts
In Databricks Runtime 19 und höher können Sie Zusammenführungsstrategien verwenden, um zu steuern, wie die Senke Spalten aktualisiert, die nicht zum Primärschlüssel gehören, wenn die Zeilen denselben Primärschlüssel haben. Zum Beispiel kann man den größten Zeitstempel behalten oder eine Spalte nur aktualisieren, wenn ein eingehendes Ereignis einen neueren Reihenfolgewert hat.
Merge-Strategien gelten nur für Upserts. Wenn die Zieltabelle keinen Primärschlüssel hat, führt das Setzen von upsert.mergeStrategies oder upsert.defaultMergeStrategy zu einem Fehler. Sie können Strategien nur Nicht-Primärschlüsselspalten zuweisen. Setzen Sie upsert.mergeStrategies auf eine kommagetrennte Liste im Format column:strategy. Legen Sie upsert.defaultMergeStrategy fest, um einen Standard für Spalten ohne explizite Strategien zu konfigurieren. Standardmäßig verwendet das Sink die Strategie latest .
Unterstützte Zusammenführungsstrategien
| Strategy | Behavior |
|---|---|
latest |
Verwenden Sie den neuesten Wert nach Ankunftsreihenfolge. Dies ist die Standardoption. |
earliest |
Verwenden Sie den zuerst eingetroffenen Wert. |
latestNonNull |
Verwenden Sie den letzten Nicht-Null-Wert nach Ankunftsreihenfolge. |
earliestNonNull |
Verwenden Sie den frühesten Nicht-Null-Wert nach Ankunftsreihenfolge. |
greatest |
Verwenden Sie den größeren der vorhandenen und neuen Werte. Nullwerte werden ignoriert, sodass ein nuller eingehender Wert keinen bestehenden Wert ersetzt. |
least |
Verwenden Sie den kleineren der bestehenden und neuen Werte. Nullwerte werden ignoriert, sodass ein nuller eingehender Wert keinen bestehenden Wert ersetzt. |
latestBy(column) |
Verwenden Sie den Wert aus der Zeile mit dem größten Wert in der angegebenen Reihenfolgespalte. Sieh dir an, wie latestBy und earliestBy Gleichstände und Nullwerte behandeln. |
earliestBy(column) |
Verwenden Sie den Wert aus der Zeile mit dem kleinsten Wert in der angegebenen Reihenfolgespalte. Sieh dir an, wie latestBy und earliestBy Gleichstände und Nullwerte behandeln. |
Wie earliestBy und latestBy mit Gleichständen und Nullwerten umgehen
latestBy(column) und earliestBy(column) wählen einen Wert, indem der eingehende Bestellwert mit dem bereits in der Tabelle gespeicherten verglichen wird. Um diesen gespeicherten Wert korrekt zu halten, muss die Sortierspalte die Matching-Strategie verwenden, entweder in upsert.mergeStrategies oder über upsert.defaultMergeStrategy:
- Für
latestBy(column)muss die Sortierspaltegreatestverwenden. - Für
earliestBy(column)muss die Sortierspalteleastverwenden.
is_success:latestBy(last_updated_at) erfordert beispielsweise last_updated_at:greatest.
Wenn beide Ordnungswerte nicht null sind, aktualisiert latestBy(column) eine Spalte nur dann, wenn der eingehende Reihenfolgewert strikt größer (>) als der bestehende Reihenfolgewert ist. Für earliestBy(column) muss es streng kleiner sein (<). Bei beiden Strategien behält der Sink, wenn die Sortierwerte gleich sind, den bestehenden Wert der Spalte. Innerhalb eines einzigen Batches behält der Sink, wenn mehrere Zeilen denselben Primärschlüssel und Ordnungswert haben, die erste erhaltene Zeile.
Wenn zum Beispiel is_successlatestBy(last_updated_at) verwendet und eine eingehende Zeile dieselbe last_updated_at wie die bestehende Zeile hat, behält der Sink die bestehende is_success, selbst wenn der eingehende Wert abweicht.
Für beide Strategien haben Nicht-Null-Sortierwerte Vorrang vor Null-Sortierwerten. Eine eingehende Zeile mit einem Ordnungswert ungleich null ersetzt einen bestehenden Wert, dessen Reihenfolgewert null ist. Eine eingehende Zeile mit einem Null-Sortierwert ersetzt keinen bestehenden Wert, auch wenn der bestehende Sortierwert ebenfalls null ist.
Beispiel: Benutzerdefinierte Upsert-Logik modellieren
Betrachten wir eine Tabelle mit den Spalten id, last_updated_at, creation_date, und is_success. Du solltest vielleicht folgende Logik formulieren:
INSERT INTO events ...
ON CONFLICT (id) DO UPDATE
SET
-- Keep the most recent timestamp.
last_updated_at = GREATEST(events.last_updated_at, EXCLUDED.last_updated_at),
-- Keep the earliest non-null creation date.
creation_date = COALESCE(events.creation_date, EXCLUDED.creation_date),
-- Keep the value of is_success from the event with the most recent last_updated_at.
is_success = CASE
WHEN EXCLUDED.last_updated_at IS NOT NULL
AND (events.last_updated_at IS NULL
OR EXCLUDED.last_updated_at > events.last_updated_at)
THEN EXCLUDED.is_success
ELSE events.is_success
END;
Um diese Logik zu modellieren, verwenden Sie die folgenden Merge-Strategien:
Python
(df.writeStream
.format("postgresql")
.outputMode("update")
.option("databricks.connection", "<connection-name>")
.option("database", "<database>")
.option("dbtable", "<schema>.<table>")
.option("upsertkey", "id")
.option("upsert.mergeStrategies", "last_updated_at:greatest,creation_date:earliestNonNull,is_success:latestBy(last_updated_at)")
.option("checkpointLocation", "/Volumes/<catalog>/<schema>/<volume>/<checkpoint-name>")
.start()
)
Scala
df.writeStream
.format("postgresql")
.outputMode("update")
.option("databricks.connection", "<connection-name>")
.option("database", "<database>")
.option("dbtable", "<schema>.<table>")
.option("upsertkey", "id")
.option("upsert.mergeStrategies", "last_updated_at:greatest,creation_date:earliestNonNull,is_success:latestBy(last_updated_at)")
.option("checkpointLocation", "/Volumes/<catalog>/<schema>/<volume>/<checkpoint-name>")
.start()
Parametrisierte Standard-Merge-Strategien
In Databricks Runtime 19 und höher akzeptiert upsert.defaultMergeStrategy auch latestBy(column) und earliestBy(column). Verwenden Sie diese Standardeinstellungen, um dieselbe Reihenfolgeregel auf Spalten ohne Primärschlüssel anzuwenden, ohne jede Spalte in upsert.mergeStrategiesaufzulisten. Explizite Pro-Spalten-Strategien überschreiben die Standardeinstellung, mit Ausnahme der nachfolgend beschriebenen Reihenfolgespalte.
Wenn die Standardeinstellung latestBy(column) ist, wendet die Senke automatisch greatest auf die Sortierspalte an. Wenn der Standard earliestBy(column) ist, wird least automatisch angewendet. Wenn Sie der Sortierungsspalte explizit eine Strategie zuweisen, muss sie mit der erforderlichen greatest- oder least-Strategie übereinstimmen.
Das folgende Beispiel verwendet last_updated_at, um Werte für alle anderen Nicht-Primärschlüsselspalten auszuwählen:
Python
(df.writeStream
.format("postgresql")
.outputMode("update")
.option("databricks.connection", "<connection-name>")
.option("database", "<database>")
.option("dbtable", "<schema>.<table>")
.option("upsertkey", "id")
.option("upsert.defaultMergeStrategy", "latestBy(last_updated_at)")
.option("checkpointLocation", "/Volumes/<catalog>/<schema>/<volume>/<checkpoint-name>")
.start()
)
Scala
df.writeStream
.format("postgresql")
.outputMode("update")
.option("databricks.connection", "<connection-name>")
.option("database", "<database>")
.option("dbtable", "<schema>.<table>")
.option("upsertkey", "id")
.option("upsert.defaultMergeStrategy", "latestBy(last_updated_at)")
.option("checkpointLocation", "/Volumes/<catalog>/<schema>/<volume>/<checkpoint-name>")
.start()
Leistungsoptimierung
Batchverarbeitung und Rückdruck
Ein Flush wird ausgelöst, sobald eine der beiden Bedingungen erfüllt ist:
- Der Puffer erreicht
batchsizeZeilen, was standardmäßig1000ist. - Das Alter des Puffers überschreitet
batchinterval, was standardmäßig auf100 millisecondsfestgelegt ist.
Wenn die Datenbank nicht mit der eingehenden Datenrate Schritt halten kann, propagiert der Sink Backpressure stromaufwärts an die Quelle.
Hinweise zu Latenz und Durchsatz:
- Verringern Sie für Workloads mit geringer Latenz im Echtzeitmodus
batchinterval, um eine kürzere maximale Zeit vor dem Leeren zu gewährleisten. Siehe Echtzeit-Modus-Konzepte für Konzepte und Echtzeit-Modus-Beispiele für ein Codebeispiel. - Erhöhen Sie
batchsizefür Workloads mit hohem Durchsatz, um den Overhead für jede Transaktion zu reduzieren.
Verbindungsverhalten
Die Senke verwendet Verbindungspooling auf Executors. Standardmäßig verwendet jede Aufgabe eine Datenbankverbindung.
Databricks empfiehlt, den Standardwert der 1 Aufgabe für jede Verbindung zu verwenden. Wenn Sie die Anzahl der Aufgaben pro Verbindung erhöhen, kann es zu Konkurrenz um Verbindungen kommen und die Latenzen bei Verbindungen mit hohem Durchsatz können steigen.
Um das Verhältnis von Vorgängen zu Verbindungen zu konfigurieren, legen Sie die spark.databricks.sql.streaming.jdbc.tasksPerConnection Spark-Konfiguration fest. Wenn die Zieldatenbank ein niedriges Limit für Verbindungen hat, verringern Sie die Anzahl der Shuffle-Partitionen oder erhöhen Sie spark.databricks.sql.streaming.jdbc.tasksPerConnection.
Die Senke wiederholt vorübergehende JDBC-Fehler automatisch, einschließlich Verbindungsfehlern, Deadlocks und Ratenbegrenzungen. Wenn der Sink alle Wiederholungsversuche ausgeschöpft hat, schlägt die Abfrage fehl.
Unterstützte Trigger und Ausgabemodi
Triggers
Diese Tabelle zeigt die Unterstützung für Structured Streaming-Triggertypen auf klassischer und serverloser Rechenleistung:
| Auslöser | Klassisches Rechnen | Serverlose Rechenkapazität (Notebooks und Jobs) |
|---|---|---|
RealTime |
Yes | No |
ProcessingTime |
Yes | No |
AvailableNow |
Yes | Yes |
Once |
Yes. Deprecated. Verwenden Sie AvailableNow. |
Yes. Deprecated. Verwenden Sie AvailableNow. |
Ausgabemodi
Diese Tabelle zeigt die Unterstützung für die Ausgabemodi für strukturiertes Streaming:
| Ausgabemodus | Unterstützt |
|---|---|
update |
Yes |
append |
Yes. Das Verhalten ist identisch mit update. Die Abfrage führt einen Upsert durch, wenn die Zieltabelle über einen Primärschlüssel verfügt, andernfalls führt die Abfrage eine Einfügung durch. Siehe Upsert-Verhalten. |
complete |
No |
Einschränkungen
- Für eine externe PostgreSQL-Datenbank, die über eine Unity-Catalog-Verbindung verbunden ist, muss die Zieltabelle bereits existieren. Der Sink erstellt fehlende Tabellen automatisch nur in Lakebase.
- Lakeflow-Pipelines werden nicht unterstützt.