Compartir a través de


Sumideros en las canalizaciones declarativas de Spark de Lakeflow

De forma predeterminada, al crear un flujo, la canalización escribe la consulta resultante en una tabla Delta, normalmente una vista materializada o una tabla de streaming. Las canalizaciones también proporcionan funcionalidad para permitirle escribir en una amplia gama de receptores, o incluso transformar y transmitir datos mediante programación a cualquier destino (o destinos) en el que pueda escribir con Python.

En los temas siguientes se describe la funcionalidad del destino en los pipelines.

Tema Description
Receptores de canalizaciones declarativas de Spark de Lakeflow Use la sink API con flujos para escribir registros transformados por una canalización en un receptor de datos externo compatible. Los receptores de datos externos incluyen tablas externas y administradas de Unity Catalog, y servicios de streaming de eventos como Apache Kafka o Azure Event Hubs.
Receptores personalizados de Python Use la sink API con un origen de datos personalizado de Python para escribir en un almacén de datos arbitrario.
ForEachBatch sinks Utilice la API foreachBatch para escribir en un almacén de datos arbitrario y realizar otras transformaciones en los datos o bien escribir en varios receptores dentro de un único flujo.

Información adicional