Partager via


Éviers dans les pipelines déclaratifs Spark Lakeflow

Par défaut, lorsque vous créez un flux, votre pipeline écrit la requête résultante dans une table Delta, généralement une vue matérialisée ou une table de diffusion en continu. Les pipelines fournissent également des fonctionnalités pour vous permettre d’écrire dans un large éventail de récepteurs, ou même de transformer et de diffuser des données de manière programmatique vers n’importe quelle cible (ou cibles) vers lesquelles vous pouvez écrire avec Python.

Les rubriques suivantes décrivent les fonctionnalités de récepteur dans les pipelines.

Sujet Descriptif
Récepteurs de pipelines déclaratifs Spark Lakeflow Utilisez l’API sink avec des flux pour écrire des enregistrements transformés par un pipeline vers un récepteur de données externe pris en charge. Les récepteurs de données externes incluent les tables managées et externes du catalogue Unity, ainsi que les services de diffusion en continu d’événements tels qu’Apache Kafka ou Azure Event Hubs.
Points de sortie personnalisés Python Utilisez l’API sink avec une source de données personnalisée Python pour écrire dans un magasin de données arbitraire.
Récepteurs ForEachBatch Utilisez l’API foreachBatch pour écrire dans un magasin de données arbitraire et effectuer d’autres transformations sur les données ou écrire dans plusieurs récepteurs au sein d’un seul flux.

Plus d’informations