Coletores em Pipelines Declarativos do Spark do Lakeflow

Por padrão, quando você cria um fluxo, o pipeline grava a consulta resultante em uma tabela Delta, normalmente uma exibição materializada ou uma tabela de streaming. Os pipelines também fornecem funcionalidades que permitem escrever para uma ampla variedade de destinos, ou até mesmo transformar e transmitir dados de forma programática para qualquer alvo (ou alvos) que possam ser acessados por meio do Python.

Os tópicos a seguir descrevem a funcionalidade do coletor em pipelines.

Tópico	Description
Sumidouros do Lakeflow Spark Declarative Pipelines	Use a API sink com fluxos de dados para gravar registros transformados por um pipeline em um destino de dados externo compatível. Os destinos de dados externos incluem tabelas gerenciadas e externas do Unity Catalog e serviços de streaming de eventos, como Apache Kafka ou Hubs de Eventos do Azure.
Sinks personalizados do Python	Use a API sink com uma fonte de dados personalizada em Python para escrever em um armazenamento de dados arbitrário.
Destinos ForEachBatch	Use a foreachBatch API para gravar em um armazenamento de dados arbitrário e realizar outras transformações nos dados ou enviar para vários destinos dentro de um único fluxo.

Mais informações

• Pipelines Declarativos Lakeflow Spark
• Fluxos