Canalizaciones declarativas de Spark de Lakeflow

Lakeflow Spark Declarative Pipelines (SDP) es un marco para crear canalizaciones de datos por lotes y streaming en SQL y Python. Lakeflow SDP amplía y es interoperable con las canalizaciones declarativas de Apache Spark, mientras se ejecuta en el entorno de ejecución de Databricks optimizado para el rendimiento. Entre los casos de uso comunes de las canalizaciones se incluyen la ingesta de datos de orígenes como el almacenamiento en la nube (como Amazon S3, Azure ADLS Gen2 y Google Cloud Storage) y los buses de mensajes (como Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub y Apache Pulsar), y las transformaciones incrementales por lotes y streaming.

Nota:

Las canalizaciones declarativas de Spark de Lakeflow requieren el plan Premium. Póngase en contacto con el equipo de la cuenta de Databricks para obtener más información.

En esta sección se proporciona información detallada sobre el uso de canalizaciones. Los temas siguientes le ayudarán a empezar.

Tema	Description
Conceptos de canalizaciones declarativas de Spark de Lakeflow	Obtenga información sobre los conceptos generales de SDP, incluidas canalizaciones, flujos, tablas de streaming y vistas materializadas.
Tutoriales	Siga los tutoriales para proporcionarle experiencia práctica con el uso de canalizaciones.
Desarrollo de canalizaciones	Aprenda a desarrollar y probar canalizaciones que crean flujos para ingerir y transformar datos.
Configurar tuberías	Aprenda a programar y configurar canalizaciones.
Supervisión de canalizaciones	Aprenda a monitorizar sus canalizaciones y solucionar consultas de canalización.
Desarrolladores	Aprenda a usar Python y SQL al desarrollar canalizaciones.
Canalizaciones en Databricks SQL	Obtenga información sobre el uso de tablas de streaming y vistas materializadas en Databricks SQL.

Información adicional

• Limitaciones de canalización
• Referencia para desarrolladores de canalizaciones