Condividi tramite


Sink nelle pipeline dichiarative di Lakeflow Spark

Per impostazione predefinita, quando si crea un flusso, la pipeline scrive la query risultante in una tabella Delta, in genere una vista materializzata o una tabella di streaming. Le pipeline offrono anche funzionalità che consentono di scrivere in un'ampia gamma di sink o persino di trasformare e trasmettere i dati a livello di codice a qualsiasi destinazione (o destinazioni) in cui è possibile scrivere con Python.

Gli argomenti seguenti descrivono le funzionalità sink delle pipeline.

Argomento Description
Sink delle pipeline dichiarative di Lakeflow Spark Usare l'API sink con i flussi per scrivere record trasformati da una pipeline in un sink di dati esterno supportato. I sink di dati esterni includono tabelle gestite ed esterne di Unity Catalog e servizi di streaming di eventi, ad esempio Apache Kafka o Hub eventi di Azure.
Sink personalizzati in Python Utilizza l'API con un'origine dati personalizzata sink in Python, per scrivere in un archivio dati arbitrario.
Sink ForEachBatch Usare l'API foreachBatch per scrivere in un archivio dati arbitrario ed eseguire altre trascrizioni sui dati o scrivere in più sink all'interno di un singolo flusso.

Maggiori informazioni