Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Standardmäßig schreibt Ihre Pipeline beim Erstellen eines Flows die resultierende Abfrage in eine Delta-Tabelle, typischerweise eine materialisierte Ansicht oder eine Streamingtabelle. Pipelines bieten auch Funktionen, mit denen Sie in eine Vielzahl von Senken schreiben können, oder sogar programmgesteuert Daten in jedes Ziel (oder Ziele) transformieren und streamen können, in das Sie mit Python schreiben können.
In den folgenden Themen werden die Sinkfunktionalität in Pipelines beschrieben.
| Thema | Description |
|---|---|
| Lakeflow Spark Deklarative Pipelines senken | Verwenden Sie die sink API mit Flüssen, um Datensätze zu schreiben, die von einer Pipeline in eine unterstützte externe Datensenke transformiert wurden. Zu den externen Datensenken gehören verwaltete und externe Tabellen des Unity-Katalogs sowie Ereignisstreamingdienste wie Apache Kafka oder Azure Event Hubs. |
| Python-benutzerdefinierte Sinks | Verwenden Sie die sink API mit einer benutzerdefinierten Python-Datenquelle, um in einen beliebigen Datenspeicher zu schreiben. |
| ForEachBatch-Sinks | Verwenden Sie die foreachBatch API, um in einen beliebigen Datenspeicher zu schreiben und andere Tranformationen für die Daten auszuführen oder in mehrere Senken innerhalb eines einzelnen Flusses zu schreiben. |