Sinks in Lakeflow-Pipelines

Standardmäßig schreiben Pipelineflows Ergebnisse in Delta-Tabellen, die von Unity Catalog verwaltet werden, in der Regel Streamingtabellen oder materialisierte Ansichten. Sinks sind ein alternatives Ausgabeziel, mit dem Sie transformierte Daten an Ziele außerhalb des von Databricks verwalteten Speichers schreiben können, z. B. an Event-Streaming-Dienste oder benutzerdefinierte Datenspeicher.

Du definierst einen Sink mit einer der Sink-APIs und referenzierst ihn dann als das target in deiner append_flow- oder update_flow-Definition.

Wann sinks verwendet werden sollten

Databricks empfiehlt die Verwendung von Senken bei Bedarf:

  • Erstellen Sie Betriebsanwendungsfälle mit geringer Latenz, z. B. Betrugserkennung, Echtzeitanalysen oder Kundenempfehlungen, in denen Daten an einen Nachrichtenbus und nicht in den Cloudspeicher fließen müssen. Für Arbeitslasten, die eine Latenz im Millisekundenbereich erfordern, siehe Verwenden des Echtzeitmodus in Lakeflow-Pipelines.
  • Schreiben Sie transformierte Daten in Tabellen, die von einer externen Delta-Instanz verwaltet werden, einschließlich von durch Unity Catalog verwalteten und externen Tabellen.
  • Führen Sie Reverse ETL mit externen Systemen durch, z. B. indem Sie verarbeitete Daten zurück in Apache-Kafka-Topics schreiben, damit sie außerhalb von Azure Databricks genutzt werden können.
  • In ein Format schreiben, das von Azure Databricks nicht nativ unterstützt wird, unter Verwendung von Python-benutzerdefinierten Datenquellen.

Senkentypen

Pipelines unterstützen die folgenden Arten von Senken:

Spületyp Description
Delta-Tabellensenken Schreiben in von Unity Catalog verwaltete oder externe Delta-Tabellen. Geben Sie entweder einen Dateipfad oder einen vollqualifizierten Tabellennamen an.
Apache Kafka-Senken Schreiben in Apache Kafka-Themen mithilfe des Kafka-Connectors, der in der Pipelinelaufzeit enthalten ist.
Azure Event Hubs-Senken In Azure Event Hubs über die Kafka-Schnittstelle schreiben. Verwendet die gleichen Optionen wie Kafka-Senken.
benutzerdefinierte Python-Senken Schreiben Sie in jeden Datenspeicher mithilfe einer benutzerdefinierten Python-Datenquelle, die mit spark.dataSource.register registriert ist.
ForEachBatch-Senken Wenden Sie benutzerdefinierte Python Logik auf jeden Mikrobatch von Streamingdaten an. Verwenden Sie diese, wenn Sie in mehrere Ziele schreiben, Upserts ausführen oder Ziele verwenden, die Streaming-Schreibvorgänge nicht nativ unterstützen.
ForEach-Senken Wende benutzerdefinierte Python-Logik auf jede Zeile von Streaming-Daten an. Verwenden Sie, wenn Sie jeden Datensatz an ein Ziel schreiben müssen, das keinen eingebauten Sink hat, wie z. B. eine externe API oder einen Key-Value-Store.

Senken-APIs

Pipelines verfügen über drei APIs zur Erstellung von Sinks:

Sie verweisen auf alle drei Senkentypen das target eines append_flow oder update_flow.

Einschränkungen

  • Sinks sind nur in Python verfügbar. SQL wird nicht unterstützt.
  • Nur Streamingabfragen werden unterstützt. Batchabfragen werden nicht unterstützt.
  • Nur append_flow und update_flow können in Senken schreiben. create_auto_cdc_flow und andere Flussarten werden nicht unterstützt.
    • Update-Flows unterstützen keine Tabellensenken in Delta Lake.
  • Pipelineerwartungen werden für Senken nicht unterstützt.
  • Durch ausführen einer vollständigen Aktualisierung werden zuvor geschriebene Daten in Senken nicht bereinigt.

Weitere Ressourcen