Sumidouros em Oleodutos Declarativos Lakeflow Spark

Por padrão, quando cria um fluxo, o seu pipeline escreve a consulta resultante numa tabela Delta, normalmente uma tabela de visão materializada ou uma tabela de streaming. Os pipelines também oferecem funcionalidades que permitem escrever para uma grande variedade de destinos, ou até transformar e transmitir dados programaticamente para qualquer alvo (ou alvos) para o qual possas escrever usando Python.

Os tópicos seguintes descrevem a funcionalidade do sumidouro em pipelines.

Tópico	Description
Afundamentos Declarativos de Oleodutos Lakeflow Spark	Utilize a API de sink com fluxos para escrever registos transformados por um pipeline para um destino de dados externo suportado. Os coletores de dados externos incluem tabelas gerenciadas e externas do Unity Catalog e serviços de streaming de eventos, como Apache Kafka ou Hubs de Eventos do Azure.
Sumidouras personalizadas em Python	Use uma API sink com uma fonte de dados personalizada em Python para escrever num armazenamento de dados arbitrário.
ForEachBatch afunda-se	Utilize a API foreachBatch para escrever num armazenamento de dados qualquer e realizar outras transformações de dados ou escrever em múltiplos destinos dentro de um único fluxo.

Mais informações

• Oleodutos declarativos Lakeflow Spark
• Fluxos