Referencia para desarrolladores de canalizaciones

Esta sección contiene referencia e instrucciones para desarrolladores de canalizaciones.

La carga de datos y las transformaciones se implementan en canalizaciones mediante consultas que definen tablas de streaming y vistas materializadas. Para implementar estas consultas, Las canalizaciones declarativas de Spark de Lakeflow admiten interfaces SQL y Python. Dado que estas interfaces proporcionan una funcionalidad equivalente para la mayoría de los casos de uso de procesamiento de datos, los desarrolladores de canalizaciones pueden elegir la interfaz con la que se sienten más cómodos.

Desarrollo de Python

Cree canalizaciones mediante código de Python.

Tema	Description
Desarrollo de código de canalización con Python	Información general sobre el desarrollo de canalizaciones en Python.
Referencia del lenguaje Python para las Canalizaciones Declarativas de Spark de Lakeflow	Documentación de referencia de Python para el pipelines módulo.
Administración de dependencias de Python para canalizaciones	Instrucciones para administrar bibliotecas de Python en canalizaciones.
Importación de módulos de Python desde carpetas de Git o archivos de área de trabajo	Instrucciones para usar módulos de Python que ha almacenado en Azure Databricks.

Desarrollo de SQL

Cree canalizaciones mediante código SQL.

Tema	Description
Desarrollo de código de canalizaciones declarativas de Spark de Lakeflow con SQL	Información general sobre el desarrollo de canalizaciones en SQL.
Referencia del lenguaje SQL de pipeline	Documentación de referencia sobre la sintaxis de SQL para las canalizaciones declarativas de Lakeflow Spark.
Uso de canalizaciones en Databricks SQL	Usar Databricks SQL para trabajar con flujos de trabajo.

Otros temas de desarrollo

En los temas siguientes se describen otras formas de desarrollar piplines.

Tema	Description
Conversión de una canalización en un proyecto de Conjunto de recursos de Databricks	Convierta una canalización existente en una agrupación, lo que le permite administrar la configuración de procesamiento de datos en un archivo YAML controlado por código fuente para facilitar el mantenimiento y las implementaciones automatizadas en entornos de destino.
Creación de canalizaciones con dlt-meta	Use la biblioteca de código dlt-meta abierto para automatizar la creación de canalizaciones con un marco controlado por metadatos.
Desarrollo de código de canalización en el entorno de desarrollo local	Información general sobre las opciones para desarrollar canalizaciones localmente.