Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Synchronisierte Tabellen ermöglichen es, analytiktaugliche Daten aus Unity Catalog über Lakebase Postgres bereitzustellen. Unity Catalog-Tabellen werden in Postgres synchronisiert, sodass Anwendungen Lakehouse-Daten direkt mit geringer Latenz abfragen können. Dieser Prozess ist allgemein als Reverse Extract, Transformieren und Laden (ETL) bekannt. Das Lakehouse ist für Analysen und Anreicherung optimiert, während Lakebase für operative Arbeitslasten konzipiert ist, die schnelle Abfragen im Lookup-Stil und vollständige ACID-Transaktionen erfordern. Synchronisierte Tabellen schließen die Lücke zwischen analytischer Speicherung und operativen Systemen, indem sie Ihre Daten für Echtzeitanwendungen bereit halten.
Beispielanwendungsfälle
Sie können synchronisierte Tabellen für Data-Serving-Anwendungsfälle verwenden, wie zum Beispiel:
- Personalisierungsmodule, die neue Benutzerprofile für Databricks-Apps bereitstellen
- Anwendungen, die Modellvorhersagen oder Featurewerte bereitstellen, die im Lakehouse berechnet wurden.
- Kundenorientierte Dashboards, die KPIs in Echtzeit bedienen
- Betrugserkennungsdienste, die Risikobewertungen für sofortige Maßnahmen bereitstellen
- Supporttools, die angereicherte Kundendatensätze aus Lakehouse-Daten bedienen
Unterstützte Quellen
Synchronisierte Tabellen unterstützen die folgenden Unity Catalog-Quelltypen:
- Verwaltete und externe Delta-Tabellen
- Verwaltete und externe Iceberg-Tabellen
- Ansichten und materialisierte Ansichten
So funktioniert es
Mit synchronisierten Tabellen von Databricks wird eine verwaltete Kopie Ihrer Unity-Katalogdaten in Lakebase erstellt. Wenn Sie eine synchronisierte Tabelle erstellen, erhalten Sie Folgendes:
- Eine synchronisierte Tabelle im Unity-Katalog, die auf die Synchronisierungspipeline verweist
- Eine Postgres-Tabelle in Lakebase (schreibgeschützt, von Ihren Anwendungen abfragbar)
Sie können beispielsweise Goldtabellen, technische Features oder ML-Ausgaben aus analytics.gold.user_profiles in eine neue synchronisierte Tabelle analytics.gold.user_profiles_synced synchronisieren. In Postgres wird der Schemaname des Unity-Katalogs zum Namen des Postgres-Schemas, sodass dies als gold.user_profiles_synced erscheint:
SELECT * FROM gold.user_profiles_synced WHERE user_id = 12345;
Anwendungen verbinden sich mit Standard-Postgres-Treibern und fragen die synchronisierten Daten zusammen mit ihrem eigenen Anwendungszustand ab, wobei sie Einfügungen, Aktualisierungen und Löschungen auf ihren eigenen Tabellen in derselben Datenbank bearbeiten.
Synchronisierungspipelinen verwenden verwaltete Lakeflow-Pipelines, um sowohl die synchronisierte Tabelle Unity-Katalog als auch die Postgres-Tabelle mit Änderungen aus der Quelltabelle kontinuierlich zu aktualisieren. Jede Synchronisierung kann bis zu 16 Verbindungen mit Ihrer Lakebase-Datenbank verwenden. Die Verbindungsgrenzen hängen von der Rechengröße ab. Siehe Computespezifikationen.
Warnung
Obwohl es möglich ist, eine synchronisierte Tabelle direkt in Postgres zu ändern, empfiehlt Azure Databricks streng, nur Leseabfragen auszuführen, um die Datenintegrität mit der Quelle zu schützen. Unterstützte Vorgänge für synchronisierte Tabellen finden Sie unter Vorgänge, die für synchronisierte Tabellen in Postgres zulässig sind.
Beschleunigte Synchronisation mit LTAP Direct Writes
Von Bedeutung
LTAP Direct Writes befindet sich in der Beta-Phase. Synchronisierte Tabellen sind in der Regel verfügbar.
LTAP Direct Writes ist eine optionale synchronisierte Tabelleneinstellung, die große Ladevorgänge beschleunigt. Es ist Teil der LTAP-Architektur. Standardmäßig ist diese Funktion deaktiviert, und Sie können sie für jede synchronisierte Tabelle einzeln aktivieren, indem Sie unter Synchronisationseinstellungen im Dialogfeld Synchronisierte Tabelle erstellenLTAP Direct Writes auswählen. Wenn aktiviert, schreibt es Daten direkt in die Speicherschicht, die deinen Lakebase-Branch unterstützt, anstatt den Massen-Schreib über den Live-Compute-Endpunkt zu leiten, sodass die Ladevorgänge schneller abgeschlossen sind und keine Abfrageladung zum Endpunkt hinzugefügt wird, während sie laufen.
Was LTAP Direct Writes beschleunigt, hängt vom Synchronisationsmodus ab:
- Alle Modi: Die Anfangsladung. Jede synchronisierte Tabelle beginnt mit dem Laden einer vollständigen Quellkopie, und diese erste Ladung verwendet LTAP Direct Writes.
- Snapshot: Jede weitere Synchronisation, weil der Snapshot-Modus jedes Mal eine vollständige Aktualisierung ausführt.
- Triggergesteuert und Kontinuierlich: Nur beim ersten Laden. Spätere Updates werden schrittweise über Change Data Feed durchgeführt, nicht als Massenladungen.
Hinweis
LTAP Direct Writes wird bei Lakebase-Projekten mit Postgres 16, 17 oder 18 unterstützt. Du wählst LTAP Direct Writes, wenn du eine synchronisierte Tabelle erstellst, daher kannst du sie nicht zu einer bestehenden synchronisierten Tabelle hinzufügen. Um LTAP Direct Writes mit einer vorhandenen synchronisierten Tabelle zu verwenden, löschen Sie die synchronisierte Tabelle und erstellen Sie eine neue.
Wenn Sie das Kontrollkästchen LTAP Direct Writes nicht sehen, muss ein Workspace-Admin die LTAP Direct Writes-Vorschau auf der Vorschauseite aktivieren.
Synchronisierungsmodi
Wählen Sie den richtigen Synchronisierungsmodus basierend auf Ihren Anwendungsanforderungen aus:
| Modus | Beschreibung | Wann verwenden | Leistung |
|---|---|---|---|
| Momentaufnahme | Einmalige Kopie aller Daten | Die Quelle verändert >10 % der Zeilen pro Zyklus | 10x effizienter, wenn 10% der Quelldaten geändert >werden |
| Ausgelöst | Geplante Updates, die bei Bedarf oder in Intervallen ausgeführt werden | Quellzeilen ändern sich in einem bekannten Rhythmus. Einfügungen, Aktualisierungen und Löschungen werden bei jedem Refresh weitergegeben. | Gute Kosten-/Verzögerungsbilanz. Teuer, wenn Intervalle von 5 Minuten ausgeführt werden< |
| Stetig | Echtzeitstreaming mit Sekunden Latenz | Änderungen müssen in Lakebase in nahezu Echtzeit angezeigt werden | Niedrigste Verzögerung, höchste Kosten. Mindestintervalle von 15 Sekunden |
Im Dialog Synchronisierte Tabelle erstellen sind Momentaufnahme und Ausgelöst beide On-Demand-Synchronisationsmodi, verfügbar unter Erweiterte Einstellungen, während Kontinuierlich ein separater Modus ist.
Die Quellanforderung hängt vom Synchronisationsmodus ab:
- Snapshot kopiert alle Daten bei jeder Synchronisation, sodass die Quelle nur noch Unterstützung benötigt.
SELECT * -
Triggered und Continuous wenden Änderungen auf Zeilenebene schrittweise an, daher muss die Quelle einen Änderungsdatenfeed bereitstellen. Aktivieren Sie den Change Data Feed zur Schreibzeit an der Quelle oder verwenden Sie den automatischen Change Data Feed. Wenn eine ausgelöste oder kontinuierliche Quelle keinen Change Data Feed hat, zeigt die Benutzeroberfläche eine Warnung mit dem genauen Befehl
ALTER TABLEan, der ausgeführt werden soll.
Der automatische Änderungsdatenfeed berechnet Änderungen auf Zeilenebene zur Lesezeit, anstatt einen Schreibzeit-Änderungsdatenfeed auf der Quelle zu benötigen. Dadurch können mehr Quelltypen, einschließlich verwalteter Apache Iceberg v3-Tabellen, im Triggered- oder Continuous-Modus synchronisiert werden. Für die Quelltypen, die der automatische Änderungsdatenfeed unterstützt, siehe die Dokumentation des automatischen Datenwechsels.
Erstellen einer synchronisierten Tabelle
Voraussetzungen
Sie benötigen:
- Ein Databricks-Arbeitsbereich mit aktivierter Lakebase.
- Ein Lakebase-Projekt (siehe Erstellen eines Projekts).
- Eine Unity-Katalog-Tabelle zum Synchronisieren.
- Berechtigungen zum Erstellen synchronisierter Tabellen. Sie benötigen USE_SCHEMA und CREATE_TABLE für jedes schema, das Sie verwenden. Um diese Berechtigungen zu gewähren, lesen Sie Verwalten von Berechtigungen in Unity Catalog.
Für getriggerte oder kontinuierliche Modi muss die Quelle einen Wechseldatenfeed bereitstellen. Entweder aktivieren Sie den Legacy-Änderungsdatenfeed in einer berechtigten Delta-Lake-Quelltabelle oder verwenden Sie automatischen Änderungsdatenfeed für Quellen wie verwaltete Apache Iceberg v3-Tabellen.
Um den Änderungsdaten-Feed zur Schreibzeit für eine Delta-Quelltabelle zu aktivieren, führen Sie Folgendes aus:
ALTER TABLE your_catalog.your_schema.your_table
SET TBLPROPERTIES (delta.enableChangeDataFeed = true)
Bevor Sie eine synchronisierte Tabelle erstellen, überprüfen Sie Folgendes:
- Quelle: Unterstützte Quelltypen sind unter Unterstützte Quellen aufgeführt.
- Namen und Grenzen: Namensregeln, Verbindungsnutzung und Grenzwerte pro Quelle sind in der Kapazitätsplanung aufgeführt.
- Spaltentypen: Typabbildungen, nicht unterstützte Typen und Zeichen, die Synchronisationsfehler verursachen, werden unter Datentypen und Kompatibilität behandelt.
- Creator-Identität: Die Identität, die die synchronisierte Tabelle erstellt, erhält Zugriff darauf, und du kannst diesen Zugriff später nicht mehr neu zuweisen. Siehe Zugriff für den Benutzer, der eine synchronisierte Tabelle erstellt.
Benutzeroberfläche
Gehen Sie in Lakehouse in der Seitenleiste des Arbeitsbereichs zu Katalog, und wählen Sie die Unity Catalog-Tabelle aus, die Sie synchronisieren möchten.
Klicken Sie in der Tabellendetailseite auf ">Synchronisierte Tabelle erstellen".
Konfigurieren Sie im Dialogfeld Synchronisierte Tabelle erstellen die folgenden Abschnitte, und klicken Sie dann auf Erstellen:
Destination
- Name: Wählen Sie den Katalog und das Schema für die synchronisierte Tabelle aus und geben Sie dann einen Tabellennamen ein. Dadurch wird sowohl eine synchronisierte Unity-Katalogtabelle als auch eine Postgres-Tabelle erstellt, die Sie abfragen können. Die Katalog- und Schemalisten enthalten nur Unity Catalog-Schemas, wenn Sie USE_SCHEMA und CREATE_TABLE-Berechtigungen haben. Wenn kein von Ihnen erwartetes Schema angezeigt wird, bestätigen Sie Ihre Berechtigungen mit Ihrem Katalogadministrator.
- Lakebase-Postgres-Datenbank: Legen Sie Datenbanktyp auf Automatische Skalierung fest, und wählen Sie dann Ihr Projekt, Ihre Verzweigung und die Postgres-Datenbank aus.
Synchronisierungseinstellungen
- Synchronisierungsmodus: Wählen Sie On-Demand oder Kontinuierlich aus. Erweitern Sie für On-Demand die Erweiterten Einstellungen, und wählen Sie Momentaufnahme oder Ausgelöst aus. Weitere Informationen finden Sie unter Synchronisierungsmodi.
- LTAP Direct Writes: (Optional) Aktivieren Sie dieses Kontrollkästchen, um den ersten Ladevorgang zu beschleunigen. Diese Option wird bei Lakebase-Projekten unterstützt, die Postgres 16, 17 oder 18 ausführen. Wenn Sie dieses Kontrollkästchen nicht sehen, muss ein Workspace-Administrator die LTAP Direct Writes-Vorschau auf der Vorschauseite aktivieren. Siehe Beschleunigte Synchronisation mit LTAP Direct Writes.
Pipelineeinstellungen
- Pipeline: Wählen Sie Neu erstellen, um eine Pipeline für diese synchronisierte Tabelle zu erstellen, oder Vorhandene verwenden, um eine vorhandene wiederzuverwenden.
- Richtlinie zur serverlosen Nutzung: (Optional) Wählen Sie eine Richtlinie zur serverlosen Nutzung für die Synchronisierungspipeline aus.
Schema
Primärschlüssel: Verifizieren Sie den Primärschlüssel (meist automatisch erkannt). Eindeutig bleibt aktiviert, wenn jeder Primärschlüsselwert in der Quelle eindeutig ist. Wenn sich die Primärschlüsselwerte wiederholen können, löschen Sie Eindeutig, und legen Sie einen Zeitreihenschlüssel fest. Du kannst den Primärschlüssel oder den Zeitreihenschlüssel nicht ändern, nachdem du die synchronisierte Tabelle erstellt hast.
Von Bedeutung
Spalten im Primärschlüssel dürfen in der synchronisierten Tabelle nicht null sein. Zeilen mit Nullen in Primärschlüsselspalten werden von der Synchronisierung ausgeschlossen.
Zeitreihenschlüssel: (Optional) Wenn sich Primärschlüsselwerte im Quellcode wiederholen können, wählen Sie eine Spalte aus, um die Deduplizierung zu konfigurieren. Die synchronisierte Tabelle enthält dann nur die Zeile mit dem neuesten Zeitreihenschlüsselwert für jeden Primärschlüssel. Informationen zum Fehlermodus ohne Zeitserienschlüssel finden Sie unter "Doppelte Schlüssel".
-
Spaltentypen anpassen: (Optional) Überschreiben, wie Quellspalten auf Postgres-Typen abgebildet werden. Wenn du Spalten auf
vectoroderhalfvecabbildest, installiere zuerst eine Vektorerweiterung in der Zieldatenbank. Siehe Benutzerdefinierte Typenzuordnungen.
Wenn Sie Ausgelöst oder Kontinuierlich ausgewählt und den Change Data Feed noch nicht aktiviert haben, erhalten Sie eine Warnmeldung mit dem genauen Befehl, den Sie ausführen müssen.
Überwachen Sie die synchronisierte Tabelle im Katalog. Auf der Registerkarte " Übersicht " werden der Synchronisierungsstatus, die Konfiguration, der Pipelinestatus und der Zeitstempel der letzten Synchronisierung angezeigt. Verwenden Sie "Jetzt synchronisieren " für die manuelle Aktualisierung.
CLI
databricks postgres create-synced-table my-catalog.sales.orders \
--json '{
"spec": {
"source_table_full_name": "main.sales.orders",
"branch": "projects/my-project/branches/production",
"primary_key_columns": ["order_id"],
"scheduling_policy": "SNAPSHOT",
"postgres_database": "mydb",
"create_database_objects_if_missing": true
}
}'
Das SYNCED_TABLE_ID Positionsargument verwendet das Format catalog.schema.table. In Postgres wird die Tabelle {table} im Schema {schema} erstellt, in der Datenbank, die Sie mit postgres_database festgelegt haben (hier, mydb). Der Befehl wartet standardmäßig auf den Abschluss des Vorgangs. Alle verfügbaren Optionen finden Sie unter databricks postgres create-synced-table.
Um die Standard-Spaltentyp-Zuordnungen zu überschreiben, fügen Sie spec zu type_overrides hinzu. Siehe Benutzerdefinierte Typenzuordnungen.
Python SDK
from databricks.sdk import WorkspaceClient
from databricks.sdk.service.postgres import (
SyncedTable,
SyncedTableSyncedTableSpec,
SyncedTableSyncedTableSpecSyncedTableSchedulingPolicy,
)
w = WorkspaceClient()
synced_table = w.postgres.create_synced_table(
synced_table=SyncedTable(spec=SyncedTableSyncedTableSpec(
source_table_full_name="main.sales.orders",
branch="projects/my-project/branches/production",
primary_key_columns=["order_id"],
scheduling_policy=SyncedTableSyncedTableSpecSyncedTableSchedulingPolicy.SNAPSHOT,
postgres_database="mydb",
create_database_objects_if_missing=True,
)),
synced_table_id="my-catalog.sales.orders",
).wait()
print(f"Synced table created: {synced_table.name}")
Das synced_table_id nutzt das Format catalog.schema.table und wird zum synchronisierten Tabellennamen des Unity Catalog. In Postgres wird die Tabelle {table} im Schema {schema} erstellt, in der Datenbank, die Sie mit postgres_database festgelegt haben (hier, mydb).
Java SDK
import com.databricks.sdk.WorkspaceClient;
import com.databricks.sdk.service.postgres.*;
import java.util.List;
WorkspaceClient w = new WorkspaceClient();
SyncedTable syncedTable = w.postgres().createSyncedTable(
new CreateSyncedTableRequest()
.setSyncedTableId("my-catalog.sales.orders")
.setSyncedTable(new SyncedTable()
.setSpec(new SyncedTableSyncedTableSpec()
.setSourceTableFullName("main.sales.orders")
.setBranch("projects/my-project/branches/production")
.setPrimaryKeyColumns(List.of("order_id"))
.setSchedulingPolicy(SyncedTableSyncedTableSpecSyncedTableSchedulingPolicy.SNAPSHOT)
.setPostgresDatabase("mydb")
.setCreateDatabaseObjectsIfMissing(true))))
.waitForCompletion();
System.out.println("Synced table created: " + syncedTable.getName());
cURL
curl -X POST "https://your-workspace.cloud.databricks.com/api/2.0/postgres/synced_tables?synced_table_id=my-catalog.sales.orders" \
-H "Authorization: Bearer ${DATABRICKS_TOKEN}" \
-H "Content-Type: application/json" \
-d '{
"spec": {
"source_table_full_name": "main.sales.orders",
"branch": "projects/my-project/branches/production",
"primary_key_columns": ["order_id"],
"scheduling_policy": "SNAPSHOT",
"postgres_database": "mydb",
"create_database_objects_if_missing": true
}
}'
Dies gibt einen lang laufenden Vorgang zurück. Abrufen des zurückgegebenen Felds name bis done: true. Siehe Lang andauernde Vorgänge. Informationen zum Einrichten der Authentifizierung finden Sie unter "Authentifizierung".
Planen oder Auslösen von nachfolgenden Synchronisierungen
Das erste Laden erfolgt automatisch, wenn Sie eine synchronisierte Tabelle erstellen. Danach hängt es vom Synchronisationsmodus ab, wie Synchronisierungen ausgeführt werden:
- Der Modus Kontinuierlich streamt Änderungen, sobald sie auftreten. Du musst keine Synchronisationen auslösen.
- Die Modi Snapshot und Triggered werden nur bei Auslösung synchronisiert. Um eine Synchronisation manuell auszuführen, öffnen Sie die synchronisierte Tabelle in Katalog, und klicken Sie auf der Registerkarte Übersicht auf Jetzt synchronisieren. Um Synchronisationen automatisch auszuführen, fügen Sie die Pipeline der synchronisierten Tabelle in Lakeflow Jobs als Aufgabe vom Typ Synchronisierungspipeline der Datenbanktabelle einem Job hinzu und konfigurieren Sie den Job dann mit einem der folgenden Trigger:
- Auslösen bei Aktualisierungen der Quelltabelle: Am besten für den Modus „Triggered“.
- Nach Zeitplan auslösen: Am besten für den ModusSnapshot.
Trigger für Quelltabellenaktualisierungen
Löst den Einzelvorgang aus, wenn die Unity-Katalogtabelle aktualisiert wird. Im Modus Getriggert werden nur neue Änderungen inkrementell übernommen, sodass die Daten in Quasi-Echtzeit aktualisiert werden können, ohne die Always-on-Kosten des kontinuierlichen Modus.
- Klicken Sie in Ihrem Arbeitsbereich auf
Aufträge & Pipelines in der Randleiste.
- Klicken Sie auf " Auftrag erstellen ", oder öffnen Sie einen vorhandenen Auftrag.
- Klicken Sie auf der Registerkarte "Aufgaben " auf +Einen anderen Vorgangstyp hinzufügen.
- Wählen Sie unter "Aufnahme" und "Transformation" die Pipeline "Datenbanktabellensynchronisierung" aus.
- Wählen Sie im Feld "Pipeline " die Pipeline aus, die Ihrer synchronisierten Tabelle zugeordnet ist.
- Klicken Sie unter "Zeitpläne und Trigger" auf "Trigger hinzufügen".
- Wählen Sie "Tabelle aktualisieren" als Triggertyp aus.
- Wählen Sie unter "Tabellen" die zu überwachende Quelltabelle des Unity-Katalogs aus.
- Klicke auf Speichern.
Auslösen nach Zeitplan
Führt die Synchronisierung in einem festen Rhythmus aus. Gut geeignet für den Snapshot-Modus , bei dem eine nächtliche oder wöchentliche vollständige Aktualisierung in der Regel das effizienteste Muster ist.
- Klicken Sie in Ihrem Arbeitsbereich auf
Aufträge & Pipelines in der Randleiste.
- Klicken Sie auf " Auftrag erstellen ", oder öffnen Sie einen vorhandenen Auftrag.
- Klicken Sie auf der Registerkarte "Aufgaben " auf +Einen anderen Vorgangstyp hinzufügen.
- Wählen Sie unter "Aufnahme" und "Transformation" die Pipeline "Datenbanktabellensynchronisierung" aus.
- Wählen Sie im Feld "Pipeline " die Pipeline aus, die Ihrer synchronisierten Tabelle zugeordnet ist.
- Klicken Sie unter "Zeitpläne und Trigger" auf "Trigger hinzufügen".
- Wählen Sie "Geplant" als Triggertyp aus.
- Legen Sie Ihren Cron-Zeitplan und die Zeitzone fest, und klicken Sie dann auf "Speichern".
Überprüfen des Synchronisierungsstatus
So überprüfen Sie den aktuellen Zustand und die uhrzeit der letzten Synchronisierung einer synchronisierten Tabelle:
Hinweis
Während einer Synchronisation führt die Pipeline ihre gesamte Datenverarbeitung durch, während sie das INITIALIZING Ereignis meldet. Eine große Synchronisation kann für den gesamten Durchlauf INITIALIZING melden. Das ist zu erwarten und bedeutet nicht, dass die Pipeline feststeckt.
Benutzeroberfläche
Navigieren Sie im Katalog zu Ihrer synchronisierten Tabelle, und wählen Sie die Registerkarte "Übersicht " aus. Er zeigt den aktuellen Synchronisierungsstatus, den Pipelinestatus und den zeitstempel der letzten Synchronisierung an.
Python SDK
from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
table = w.postgres.get_synced_table("synced_tables/my-catalog.sales.orders")
print(f"State: {table.status.detailed_state}")
print(f"Last sync: {table.status.last_sync_time}")
print(f"Message: {table.status.message}")
Java SDK
import com.databricks.sdk.WorkspaceClient;
import com.databricks.sdk.service.postgres.SyncedTable;
WorkspaceClient w = new WorkspaceClient();
SyncedTable table = w.postgres().getSyncedTable("synced_tables/my-catalog.sales.orders");
System.out.println("State: " + table.getStatus().getDetailedState());
System.out.println("Last sync: " + table.getStatus().getLastSyncTime());
System.out.println("Message: " + table.getStatus().getMessage());
cURL
curl "https://your-workspace.cloud.databricks.com/api/2.0/postgres/synced_tables/my-catalog.sales.orders" \
-H "Authorization: Bearer ${DATABRICKS_TOKEN}"
Synchronisierte Tabellenherkunft anzeigen
Wenn Sie eine synchronisierte Tabelle erstellen, speichert Unity Catalog die Datenherkunft von der Quelltabelle zur synchronisierten Tabelle, wobei die Synchronisationspipeline die zugehörige Entität ist. Verwenden Sie Lineage, um nachzuverfolgen, woher die Daten in einer synchronisierten Tabelle stammen oder um herauszufinden, welche synchronisierten Tabellen von einer Quelltabelle abhängen, bevor Sie sie ändern.
Die synchronisierte Tabellenherkunft hat folgende Einschränkungen:
- Lineage gilt nur auf Tabellenebene. Die Lineage auf Spaltenebene wird nicht erfasst.
- Die Herkunft endet an der synchronisierten Unity-Catalog-Tabelle. Die Postgres-Tabelle in Lakebase erscheint nicht im Lineage-Diagramm, und Abfragen, die Anwendungen gegen die Postgres-Tabelle ausführen, werden nicht erfasst.
- Die Datenherkunft wird erfasst, wenn die synchronisierte Tabelle erstellt wird. Synchronisierte Tabellen, die vor der Unterstützung für Datenherkunft erstellt wurden, zeigen keine Datenherkunft an. Um die Lineage für eine ältere synchronisierte Tabelle aufzuzeichnen, lösche sie und erstelle sie erneut. Das erneute Erstellen einer synchronisierten Tabelle führt eine vollständige Anfangssynchronisierung aus.
- Die Datenherkunft wird durch den Tabellennamen abgeglichen. Wenn du eine synchronisierte Tabelle mit demselben Namen neu erstellst, kann Lineage auch die Synchronisationspipeline der gelöschten synchronisierten Tabelle anzeigen.
- Wenn eine synchronisierte Tabelle auch in einem Datenbankkatalog erscheint (siehe Katalogintegration), wird die Herkunft nur in der synchronisierten Tabelle im Katalog angezeigt, in dem Sie sie erstellt haben.
Benutzeroberfläche
Klicken Sie in Ihrem Arbeitsbereich auf
Katalog.
Suche oder durchsuche deine synchronisierte Tabelle oder deren Quelltabelle.
Wählen Sie die Registerkarte „Lineage“. Die Quelltabelle erscheint als Upstream-Tabelle. Die Sync-Pipeline erscheint in beiden Richtungen als Synced-Table-Pipeline-Eintrag: stromaufwärts, weil sie in die synchronisierte Tabelle schreibt, und stromabwärts, weil Sync-Läufe aus der synchronisierten Tabelle lesen. Pipeline-Einträge sind die Assets, die mit der Datenherkunft verbunden sind, nicht zusätzliche Tabellen.
Um einen interaktiven Graphen anzuzeigen, klicken Sie auf Lineage-Diagramm anzeigen. Das Diagramm zeigt die Quelltabelle, die durch die Synchronisationspipeline mit der synchronisierten Tabelle verbunden ist. Der Consumers-Knoten gruppiert Azure Databricks-Assets, die die synchronisierte Tabelle lesen, wie Notizbücher, Jobs und die Synchronisationspipeline. Anwendungen, die die Postgres-Tabelle abfragen, erscheinen nicht.
Systemtabellen
Die system.access.table_lineage Systemtabelle abfragen. Lineage-Datensätze für synchronisierte Tabellen haben ein target_type von TABLE und ein entity_type von PIPELINE, und entity_id ist die ID der Synchronisationspipeline. Lineage erscheint sofort im Katalog-Explorer, aber neue Datensätze können einige Zeit brauchen, um in der Systemtabelle zu erscheinen.
Um die Quelle einer synchronisierten Tabelle zu finden:
SELECT DISTINCT source_table_full_name, entity_id AS pipeline_id
FROM system.access.table_lineage
WHERE target_table_full_name = 'analytics.gold.user_profiles_synced';
Um alle synchronisierten Tabellen zu finden, die von einer Quelltabelle abhängen, zum Beispiel bevor Sie das Schema der Quelltabelle ändern:
SELECT DISTINCT l.target_table_full_name, l.entity_id AS pipeline_id
FROM system.access.table_lineage l
JOIN system.information_schema.tables t
ON l.target_table_full_name = concat_ws('.', t.table_catalog, t.table_schema, t.table_name)
WHERE l.source_table_full_name = 'analytics.gold.user_profiles'
AND l.entity_type = 'PIPELINE'
AND t.data_source_format = 'POSTGRESQL_FORMAT';
Synchronisierte Tabellen haben ein data_source_format mit POSTGRESQL_FORMAT, sodass der Join die Ergebnisse auf synchronisierte Tabellen beschränkt. Jede Synchronisation zeichnet außerdem Lesevorgänge der Quelltabelle durch die Synchronisationspipeline mit einem leeren target_table_full_name auf. Der Join schließt diese Datensätze aus. Die Systemtabelle kann auch wiederholte Datensätze für dieselbe Lineage enthalten, sodass beide Abfragen DISTINCT verwenden.
Details zu Herkunftsanforderungen, Berechtigungen und Aufbewahrung finden Sie unter Datenherkunft im Unity-Katalog. Für das vollständige Systemtabellenschema siehe Referenz Lineage-Systemtabellen.
Datentypen und Kompatibilität
Unity Catalog-Datentypen werden beim Erstellen synchronisierter Tabellen den Postgres-Typen zugeordnet. Komplexe Typen (ARRAY, MAP, STRUCT) und VARIANT werden in Postgres als JSONB gespeichert.
| Quellspaltentyp | Postgres-Spaltentyp |
|---|---|
| BIGINT | BIGINT |
| BINÄR | BYTEA |
| BOOLEAN | BOOLEAN |
| DATE | DATE |
| DECIMAL(p,s) | NUMERISCH |
| DOUBLE | DOPPELTE GENAUIGKEIT |
| FLOAT | Echt |
| INT | INTEGER |
| INTERVAL | INTERVAL |
| SMALLINT | SMALLINT |
| STRING | TEXT |
| TIMESTAMP | ZEITSTEMPEL MIT ZEITZONE |
| TIMESTAMP_NTZ | TIMESTAMP OHNE ZEITZONE |
| TINYINT | SMALLINT |
| Array-Elementtyp<> | JSONB |
| MAP<Schlüsseltyp, Werttyp> | JSONB |
| STRUCT<fieldName:fieldType[, ...]> | JSONB |
| VARIANT | JSONB |
Hinweis
Typen GEOGRAPHY, GEOMETRY und OBJECT werden nicht unterstützt.
Benutzerdefinierte Typabbildungen
Wenn du eine synchronisierte Tabelle erstellst, kannst du die Standard-Delta-zu-Postgres-Typzuordnung für bestimmte Spalten mit type_overridesüberschreiben.
Hinweis
Die vector- und halfvec-Typen erfordern eine Vektorerweiterung in der Zieldatenbank. Das Erstellen der synchronisierten Tabelle installiert keine Erweiterungen, also installiere eine eine, bevor du die synchronisierte Tabelle erstellst. Verwenden Sie lakebase_vector, das ANN-Vektorsuche über Lakebase Search hinzufügt und pgvector als Abhängigkeit installiert:
CREATE EXTENSION IF NOT EXISTS lakebase_vector CASCADE;
Um die vector und halfvec ohne Lakebase Search zu verwenden, installiere pgvector eigenständig mit CREATE EXTENSION IF NOT EXISTS vector;. Der Typ varchar benötigt keine Verlängerung.
| Quellspaltentyp | Postgres-Typ | Größe | Definition (pg_type) |
Exemplarischer Anwendungsfall |
|---|---|---|---|---|
ARRAY<FLOAT>, ARRAY<DOUBLE> |
vector(n) |
Einbettungsdimension | PG_SPECIFIC_TYPE_VECTOR |
Speichere Einbettungen als eine vector statt JSONB, bereit für die Ähnlichkeitssuche mit lakebase_vector |
ARRAY<FLOAT>, ARRAY<DOUBLE> |
halfvec(n) |
Einbettungsdimension | PG_SPECIFIC_TYPE_HALFVEC |
Einbettungen mit halber Genauigkeit benötigen etwa die Hälfte des Storage von vector |
STRING |
varchar(n) |
Maximale Länge | PG_SPECIFIC_TYPE_VARCHAR |
Ordnen Sie diese einem längenbegrenzten varchar anstelle des Standardwerts TEXT zu |
Hinweis
size ist für jeden Typ in dieser Tabelle erforderlich. Gültige Bereiche sind:
-
vectorundhalfvec: 1 bis 16.000, die Anzahl der Einbettungsdimensionen. -
varchar: 1 bis 10.485.760, die maximale Zeichenlänge.
Benutzerdefinierte Typzuordnungen sind konfigurierbar, wenn du eine synchronisierte Tabelle erstellst. In der Benutzeroberfläche verwenden Sie Spaltentypen anpassen unter Schema im Dialogfeld Synchronisierte Tabelle erstellen . In den API-, CLI- und Databricks-SDKs verwenden Sie type_overrides.
Für eine Quelltabelle main.docs.chunks(id BIGINT, title STRING, embedding ARRAY<FLOAT>) wird in Postgres die folgende Zuordnung von title auf varchar(256) und von embedding auf vector(1024) vorgenommen:
databricks postgres create-synced-table main.docs.chunks_pg \
--json '{
"spec": {
"source_table_full_name": "main.docs.chunks",
"branch": "projects/my-project/branches/production",
"primary_key_columns": ["id"],
"scheduling_policy": "SNAPSHOT",
"postgres_database": "mydb",
"create_database_objects_if_missing": true,
"type_overrides": [
{ "column_name": "title", "pg_type": "PG_SPECIFIC_TYPE_VARCHAR", "size": 256 },
{ "column_name": "embedding", "pg_type": "PG_SPECIFIC_TYPE_VECTOR", "size": 1024 }
]
}
}'
Ohne die Überschreibung wäre title gleich TEXT und embedding gleich JSONB.
Behandeln ungültiger Zeichen
Bestimmte Zeichen wie Nullbytes (0x00) sind in Unity Catalog STRING-, ARRAY-, MAP- oder STRUCT-Spalten zulässig, werden jedoch in Postgres TEXT- oder JSONB-Spalten nicht unterstützt. Dies kann zu Synchronisierungsfehlern wie folgenden führen:
ERROR: invalid byte sequence for encoding "UTF8": 0x00
ERROR: unsupported Unicode escape sequence DETAIL: \u0000 cannot be converted to text
- Der erste Fehler tritt auf, wenn ein NULL-Byte in einer Top-Level-Zeichenfolgenspalte angezeigt wird, die direkt Postgres
TEXTzugeordnet ist. - Der zweite Fehler tritt auf, wenn in einer Zeichenfolge, die in einen komplexen Typ (
STRUCT,ARRAYoderMAP) eingebettet ist, ein Null-Byte vorkommt, der alsJSONBserialisiert wird. Während der Serialisierung werden alle Zeichenfolgen in PostgresTEXTumgewandelt, wo\u0000nicht zulässig ist.
Lösungen :
Löschen sie Zeichenfolgenfelder: Entfernen Sie nicht unterstützte Zeichen vor der Synchronisierung. Für Nullbytes in STRING-Spalten:
SELECT REPLACE(column_name, CAST(CHAR(0) AS STRING), '') AS cleaned_column FROM your_tableIn BINÄR konvertieren: Für STRING-Spalten, bei denen die Beibehaltung von unformatierten Bytes erforderlich ist, konvertieren Sie in DEN BINÄR-Typ.
Kapazitätsplanung
Berücksichtigen Sie bei der Planung der Implementierung synchronisierter Tabellen die folgenden Ressourcenanforderungen:
- Verbindungsauslastung: Jede synchronisierte Tabelle verwendet bis zu 16 Verbindungen zu Ihrer Lakebase-Datenbank, die zum Verbindungslimit des Projekts zählen.
- Größenquote: Die Gesamtzahl der logischen Daten in allen synchronisierten Tabellen zählt zum Speicherquotum der Datenbank der Zweigstelle. Wenden Sie sich an den Databricks-Support, wenn Sie ein größeres Kontingent benötigen. Einzelne Tabellen verfügen nicht über ein Kontingent, aber Databricks empfiehlt, für Tabellen, die Aktualisierungen erfordern, nicht mehr als 1 TB zu überschreiten.
- Full-Refresh-Größe: Beim Auslösen einer vollständigen Aktualisierung wird die alte Version in Postgres erst gelöscht, wenn die neue Synchronisierung abgeschlossen ist. Beide Versionen werden während der Aktualisierung vorübergehend auf das Kontingent der logischen Datenbankgröße angerechnet.
- Tabellen pro Quelle: Eine einzelne Quelltabelle kann bis zu 20 synchronisierte Tabellen aufweisen.
-
Benennungsanforderungen: Datenbank-, Schema- und Tabellennamen dürfen nur alphanumerische Zeichen und Unterstriche (
[A-Za-z0-9_]+) enthalten. - Quellbezeichnerleitfaden: Vermeiden Sie die Verwendung von Großbuchstaben oder Sonderzeichen in Spalten- oder Tabellennamen in der Unity-Quelltabelle. Wenn Sie sie beibehalten, müssen Sie diese Bezeichner zitieren, wenn Sie sie in Postgres referenzieren.
- Schemaentwicklung: Nur additive Schemaänderungen (z. B. das Hinzufügen von Spalten) werden für triggered- und Continuous-Modi unterstützt.
- Änderung der Tabellendefinition: Das Aktualisieren der Definition einer synchronisierten Tabelle wird über keine Schnittstelle (UI, SDKs, CLI, REST API, Terraform oder DABs) unterstützt. Um den Primärschlüssel oder Zeitreihenschlüssel zu ändern oder eine nicht-additive Schemaänderung vorzunehmen, löschen Sie die synchronisierte Tabelle und erstellen Sie eine neue.
- Doppelte Schlüssel: Wenn zwei Zeilen denselben Primärschlüssel in der Quelltabelle aufweisen, schlägt die Synchronisierungspipeline fehl, es sei denn, Sie konfigurieren die Deduplizierung mithilfe eines Zeitserienschlüssels.
- API-Idempotenz: APIs für synchronisierte Tabellen sind idempotent. Versuchen Sie es daher bei vorübergehenden Fehlern erneut, um eine rechtzeitige Ausführung sicherzustellen.
- Update-Rate: Für Lakebase unterstützt die Synchronisationspipeline kontinuierliche und getriggerte Schreibvorgänge mit etwa 150 Zeilen pro Sekunde pro Capacity Unit (CU) und Snapshot-Schreiben mit bis zu 2.000 Zeilen pro Sekunde und CU.
Vorgänge, die für synchronisierte Tabellen in Postgres zulässig sind
Azure Databricks empfiehlt, nur die folgenden Vorgänge in Postgres für synchronisierte Tabellen auszuführen, um versehentliche Überschreibungen oder Dateninkonsistenzen zu verhindern:
- Schreibgeschützte Abfragen
- Erstellung von Indizes (siehe Indizes zu einer synchronisierten Tabelle hinzufügen)
- Ablegen der Tabelle (zum Freigeben von Speicherplatz nach dem Entfernen der synchronisierten Tabelle aus dem Unity-Katalog)
Während es möglich ist, synchronisierte Tabellen in Postgres auf andere Weise zu ändern, stört es die Synchronisierungspipeline.
Fügen Sie Indizes zu einer synchronisierten Tabelle hinzu
Eine synchronisierte Tabelle wird mit einem Primärschlüsselindex erstellt. Um weitere Indizes hinzuzufügen, erstelle sie in Postgres, nachdem die Tabelle existiert. Zum Beispiel erstellen Sie zur Unterstützung von Containment-Abfragen auf einer JSONB-Spalte, wie etwa einer Spalte, die aus einer VARIANT-Quellspalte synchronisiert wurde, einen GIN-Index:
CREATE INDEX orders_payload_gin ON sales.orders USING GIN (payload);
Indizes, die du in einer synchronisierten Tabelle erstellst, bleiben über Synchronisationen hinweg erhalten. Jeder vollständige Ladevorgang, einschließlich jeder Snapshot-Synchronisation und jeder vollständigen Aktualisierung, baut deine Indizes neu auf, sodass jeder zusätzliche Index diese Synchronisationen mehr Zeit kostet. Im Ausgelösten- und Fortlaufenden-Modus verlangsamt jeder Index zudem inkrementelle Updates.
Um Indizes zu erstellen, müssen Sie Eigentümer oder Ersteller der synchronisierten Tabelle, der databricks_superuser oder ein Benutzer sein, der als Verwalter der synchronisierten Tabelle hinzugefügt wurde. Siehe Synchronisierte Tabellenoperationen verwalten.
Behalte Folgendes im Hinterkopf, wenn du Indizes erstellst:
- Synchronisierte Tabellen sind partitionierte Tabellen. Postgres unterstützt
CREATE INDEX CONCURRENTLYbei einer partitionierten Tabelle nicht, also nutze stattdessenCREATE INDEX.CREATE INDEXblockiert Schreibvorgänge in die Tabelle, einschließlich Schreibvorgängen aus der Sync-Pipeline, bis der Build abgeschlossen ist. Wenn der Build länger als 20 Minuten dauert, während eine Synchronisation wartet, schlägt die Synchronisation fehl und wird nicht automatisch erneut versucht. Abfragen können die Tabelle weiterhin lesen, es sei denn, ein vollständiger Ladevorgang wartet darauf, aktualisierte Daten zu übernehmen. Bei großen Tabellen erstellen Sie Indexe, wenn keine Synchronisation läuft. - Führe Long Index-Builds von einem Postgres-Client aus. Einen Index auf einer großen Tabelle zu erstellen, kann lange dauern. Führe den Build von einem Client wie psql aus, statt vom SQL-Editor.
Hinweis
Wenn die synchronisierte Tabelle LTAP Direct Writes verwendet, unterstützen nur B-Baum-Indizes spätere vollständige Ladevorgänge mit LTAP Direct Writes. Andere Indextypen, wie GIN, lassen diese Ladevorgänge den Standard-Synchronisationspfad verwenden. Der anfängliche Ladevorgang ist nicht betroffen.
Besitz und Berechtigungen
Eine synchronisierte Tabelle gehört der internen databricks_writer_<dbid> Rolle, nicht dem Benutzer, der sie erstellt hat, da die Synchronisierungspipeline sie verwaltet (siehe Postgres-Rollen). Befehle, die nur dem Besitzer vorbehalten sind, wie z. B. das Konfigurieren der Sicherheit auf Zeilenebene, können nicht direkt auf einer synchronisierten Tabelle ausgeführt werden.
Hinweis
Dies ist eine Ausnahme von der allgemeinen Postgres-Regel, bei der Objekte, die Sie selbst erstellen, ihrer Azure Databricks Identität gehören, wenn seine Anmeldung als Rolle in Postgres existiert. Die Pipeline erstellt synchronisierte Tabellen in Ihrem Auftrag.
Zugriff für den Benutzer, der eine synchronisierte Tabelle erstellt
Wenn Sie eine synchronisierte Tabelle erstellen, wird Ihrer Azure-Databricks-Identität automatisch die Berechtigung erteilt, sie zu verwenden. Es ist keine databricks_superuser Aktion erforderlich. Ihre Identität erhält die folgenden Berechtigungen für die synchronisierte Tabelle:
| Object | Berechtigungen | Purpose |
|---|---|---|
| Synchronisierte Tabelle |
SELECT, DELETETRUNCATE |
Lesen oder Löschen der Tabelle |
| Schema |
USAGE, CREATE |
Verwenden des Schemas und Erstellen von Objekten wie Indizes |
Ihnen wird INSERT oder UPDATE nicht gewährt. Die Pipeline besitzt die Daten der Tabelle, sodass direkte Schreibvorgänge bei der nächsten Aktualisierung überschrieben werden.
DELETE und TRUNCATE leeren nur die Tabelle. Die nächste Aktualisierung füllt die Tabelle aus der Quelle erneut auf.
Dieser Zugriff wird von Ihren Unity-Katalogberechtigungen für die synchronisierte Tabelle abgeleitet und im Unity-Katalog verwaltet. Um dies zu ändern, aktualisieren Sie die Unity-Katalogberechtigungen des Benutzers. Sie können kein REVOKE direkt aus einer Azure Databricks-Identität in Postgres ausführen.
Hinweis
Dieser Zugriff ist mit der Identität verknüpft, die die synchronisierte Tabelle erstellt hat. Das Ändern der Run as-Identität der Pipeline weist sie nicht neu zu. Um eine andere eigene Identität zu verwenden, erstellen Sie die synchronisierte Tabelle unter dieser Identität erneut.
Verwalten des synchronisierten Tabellenzugriffs
Nachdem eine synchronisierte Tabelle erstellt wurde, kann databricks_superuser eine synchronisierte Tabelle aus Postgres lesen. Der databricks_superuser besitzt pg_read_all_data, wodurch diese Rolle von allen Tabellen lesen kann. Außerdem verfügt sie über die pg_write_all_data Berechtigung, die es dieser Rolle erlaubt, in alle Tabellen zu schreiben. Dies bedeutet, dass ein databricks_superuser auch in eine synchronisierte Tabelle in Postgres schreiben kann. Lakebase unterstützt dieses Schreibverhalten, falls Sie dringende Änderungen an Ihrer Zieltabelle vornehmen müssen. Azure Databricks empfiehlt jedoch, stattdessen Korrekturen in der Quelltabelle vorzunehmen.
Dies
databricks_superuserkann auch anderen Benutzern berechtigungen gewähren:GRANT USAGE ON SCHEMA synced_table_schema TO user;GRANT SELECT ON synced_table_name TO user;databricks_superuserkann diese Berechtigungen widerrufen:REVOKE USAGE ON SCHEMA synced_table_schema FROM user;REVOKE {SELECT | INSERT | UPDATE | DELETE} ON synced_table_name FROM user;
Verwalten von synchronisierten Tabellenvorgängen
Die databricks_superuser Kann verwalten, welche Benutzer berechtigt sind, bestimmte Vorgänge für eine synchronisierte Tabelle auszuführen. Die unterstützten Vorgänge für synchronisierte Tabellen sind:
CREATE INDEXALTER INDEXDROP INDEXDROP TABLE
Alle anderen DDL-Vorgänge werden für synchronisierte Tabellen verweigert.
Um diese Berechtigungen zusätzlichen Benutzern zu gewähren, muss databricks_superuser zuerst eine Erweiterung für databricks_auth erstellen.
CREATE EXTENSION IF NOT EXISTS databricks_auth;
Anschließend kann ein databricks_superuser Benutzer zum Verwalten einer synchronisierten Tabelle hinzugefügt werden:
SELECT databricks_synced_table_add_manager('"synced_table_schema"."synced_table"'::regclass, '[user]');
Der databricks_superuser kann einen Benutzer von der Verwaltung einer synchronisierten Tabelle entfernen.
SELECT databricks_synced_table_remove_manager('[table]', '[user]');
databricks_superuser kann alle Vorgesetzten anzeigen:
SELECT * FROM databricks_synced_table_managers;
Löschen einer synchronisierten Tabelle
Durch das Löschen einer synchronisierten Tabelle aus dem Unity-Katalog wird auch die entsprechende Postgres-Tabelle gelöscht.
Benutzeroberfläche
Suchen Sie im Katalog ihre synchronisierte Tabelle, klicken Sie auf das Menü, und wählen Sie "Löschen" aus.
Python SDK
from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
w.postgres.delete_synced_table("synced_tables/my-catalog.sales.orders").wait()
Java SDK
import com.databricks.sdk.WorkspaceClient;
WorkspaceClient w = new WorkspaceClient();
w.postgres().deleteSyncedTable("synced_tables/my-catalog.sales.orders").waitForCompletion();
cURL
curl -X DELETE "https://your-workspace.cloud.databricks.com/api/2.0/postgres/synced_tables/my-catalog.sales.orders" \
-H "Authorization: Bearer ${DATABRICKS_TOKEN}"
Katalogintegration
Eine synchronisierte Tabelle kann in mehr als einem Katalog im Unity Catalog erscheinen. Diese Katalogduplikation ist zu erwarten, wenn Sie eine synchronisierte Tabelle in einem Standardkatalog erstellen und deren Ziel-Postgres-Datenbank ebenfalls als Datenbankkatalog registriert wird. In diesem Fall erscheint die synchronisierte Tabelle unter beiden Katalogen.
Synchronisieren mit Systemen außerhalb von Azure Databricks
Informationen zu Möglichkeiten, Daten in Nicht-Databricks-Systeme zu synchronisieren, finden Sie unter Partner Connect ETL-Lösungen umkehren wie Census oder Hightouch.
Weitere Ressourcen
- Erfahren Sie, wie Sie sich mit Ihrer Datenbank verbinden können
- Lakebase-Datenbank in Unity Catalog registrieren
- Erfahren Sie mehr über Unity Catalog