Partager via

Pipelines déclaratifs Lakeflow

Lakeflow Declarative Pipelines est une infrastructure permettant de créer des pipelines de données par lots et de streaming dans SQL et Python. Les cas d’usage courants pour les pipelines déclaratifs Lakeflow incluent l’ingestion de données à partir de sources telles que le stockage cloud (comme Amazon S3, Azure ADLS Gen2 et Google Cloud Storage) et les bus de messages (comme Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub et Apache Pulsar), ainsi que des transformations par lots et en continu.

Remarque

Les pipelines déclaratifs Lakeflow nécessitent le plan Premium. Contactez l'équipe de votre compte Databricks pour plus d'informations.

Cette section fournit des informations détaillées sur l’utilisation des pipelines déclaratifs Lakeflow. Les rubriques suivantes vous aideront à commencer.

Sujet Descriptif
Concepts des pipelines déclaratifs Lakeflow Découvrez les concepts de haut niveau des pipelines déclaratifs Lakeflow, notamment les pipelines, les flux, les tables de streaming et les vues matérialisées.
Tutoriels Suivez des didacticiels pour vous offrir une expérience pratique avec l’utilisation de pipelines déclaratifs Lakeflow.
Développement de pipelines Découvrez comment développer et tester des pipelines qui créent des flux pour l’ingestion et la transformation de données.
Configurer des pipelines Découvrez comment planifier et configurer des pipelines.
Superviser les pipelines Découvrez comment surveiller vos pipelines et résoudre les problèmes de requêtes de pipeline.
Développeurs Découvrez comment utiliser Python et SQL lors du développement de pipelines déclaratifs Lakeflow.
Les pipelines déclaratifs Lakeflow dans Databricks SQL Découvrez comment utiliser les tables de streaming et les vues matérialisées des pipelines déclaratifs Lakeflow dans Databricks SQL.

Plus d’informations