Compartir a través de

Canalizaciones declarativas de Lakeflow

Lakeflow Declarative Pipelines es un marco para crear canalizaciones de datos por lotes y streaming en SQL y Python. Entre los casos de uso comunes de las canalizaciones declarativas de Lakeflow se incluyen la ingesta de datos de orígenes como el almacenamiento en la nube (como Amazon S3, Azure ADLS Gen2 y Google Cloud Storage) y los buses de mensajes (como Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub y Apache Pulsar) y las transformaciones incrementales por lotes y streaming.

Nota:

Las canalizaciones declarativas de Lakeflow requieren el plan Premium. Póngase en contacto con el equipo de la cuenta de Databricks para obtener más información.

En esta sección se proporciona información detallada sobre el uso de canalizaciones declarativas de Lakeflow. Los temas siguientes le ayudarán a empezar.

Tema Descripción
Conceptos de canalizaciones declarativas de Lakeflow Obtenga información sobre los conceptos de alto nivel de las canalizaciones declarativas de Lakeflow, incluidas las canalizaciones, los flujos, las tablas de flujo continuo y las vistas materializadas.
Tutoriales Siga los tutoriales para ofrecerle una experiencia práctica con el uso de canalizaciones declarativas de Lakeflow.
Desarrollo de canalizaciones Aprenda a desarrollar y probar canalizaciones que crean flujos para ingerir y transformar datos.
Configuración de canalizaciones Aprenda a programar y configurar canalizaciones.
Supervisión de canalizaciones Obtenga información sobre cómo supervisar las consultas de canalizaciones y solucionar problemas de canalización.
Desarrolladores Aprenda a usar Python y SQL al desarrollar canalizaciones declarativas de Lakeflow.
Pipelines declarativas de Lakeflow en Databricks SQL Obtenga información sobre el uso de tablas de streaming de canalizaciones declarativas de Lakeflow y vistas materializadas en Databricks SQL.

Más información