Desarrollo de código de canalización en el entorno de desarrollo local

Puede crear código fuente de canalización de Python en el entorno de desarrollo integrado (IDE) preferido.

No se pueden validar ni ejecutar actualizaciones en el código de canalización escrito en un IDE. Debe volver a implementar archivos de código fuente en un área de trabajo de Azure Databricks y configurarlos como parte de una canalización.

En este artículo se ofrece una visión general sobre el soporte para el desarrollo local de IDE. Para un desarrollo y pruebas más interactivos, Databricks recomienda usar el Editor de canalizaciones de Lakeflow. Vea Cómo desarrollar y depurar canalizaciones de ETL con el Editor de canalizaciones de Lakeflow.

Configuración de un IDE local para el desarrollo de canalizaciones

Databricks proporciona un módulo de Python para el desarrollo local distribuido a través de PyPI. Para obtener instrucciones de instalación y uso, consulte Código auxiliar de Python para DLT.

Este módulo tiene las interfaces y referencias de docstring para la interfaz de canalización de Python, proporcionando comprobación de sintaxis, autocompletar y comprobación de tipos de datos a medida que escribe código en su IDE.

Este módulo incluye interfaces, pero no implementaciones funcionales. No puede usar esta biblioteca para crear o ejecutar canalizaciones localmente.

Puede usar Conjuntos de recursos de Databricks para empaquetar e implementar el código fuente y las configuraciones en un área de trabajo de destino y desencadenar la ejecución de una actualización en una canalización configurada de esta manera. Consulte Conversión de una canalización en un proyecto de Conjunto de recursos de Databricks.

La extensión de Databricks para Visual Studio Code tiene funcionalidad adicional para trabajar con canalizaciones mediante conjuntos de recursos de Databricks. Vea Explorador de recursos de las agrupaciones.

Sincronice código de canalización desde el IDE a un área de trabajo

En la tabla siguiente se resumen las opciones para sincronizar el código fuente de la canalización entre el IDE local y un área de trabajo de Azure Databricks:

Herramienta o patrón	Detalles
Conjuntos de recursos de Databricks	Use Conjuntos de recursos de Databricks para implementar recursos de canalización que van en complejidad desde un único archivo de código fuente hasta configuraciones para varias canalizaciones, trabajos y archivos de código fuente. Consulte Conversión de una canalización en un proyecto de Conjunto de recursos de Databricks.
Extensión de Databricks para Visual Studio Code	Azure Databricks proporciona una integración con Visual Studio Code que incluye una sincronización sencilla entre el IDE local y los archivos del área de trabajo. Esta extensión también proporciona herramientas para usar Conjuntos de recursos de Databricks para implementar recursos de canalizaciones. Consulte ¿Qué es la extensión de Databricks para Visual Studio Code?.
Archivos del área de trabajo	Puede usar los archivos del área de trabajo de Databricks para cargar el código fuente de la canalización en el área de trabajo de Databricks y, a continuación, importar ese código en una canalización. Consulte ¿Qué son los archivos del área de trabajo?
Carpetas Git	Las carpetas de Git le permiten sincronizar el código entre el entorno local y el área de trabajo de Azure Databricks mediante un repositorio de Git como intermediario. Consulte Carpetas de Git de Azure Databricks.