Desarrollo y depuración de canalizaciones con un cuaderno (heredado)

Importante

Esta característica está en versión preliminar pública.

En este artículo se describe cómo usar un notebook en las canalizaciones declarativas de Lakeflow Spark para desarrollar y depurar canalizaciones de ETL.

Nota:

En esta página se describe la experiencia de edición de cuadernos heredada. La experiencia predeterminada recomendada es el Editor de canalizaciones de Lakeflow. Puede usar el Editor de canalizaciones de Lakeflow para editar cuadernos, o archivos de código Python o SQL para una canalización. Para más información, consulte Desarrollo y depuración de canalizaciones de ETL con el Editor de canalizaciones de Lakeflow.

Para configurar la experiencia del cuaderno descrita en esta página, debe desactivar el Editor de canalizaciones de Lakeflow. Consulte Habilitación del Editor de canalizaciones de Lakeflow y supervisión actualizada.

Introducción a los notebooks en las canalizaciones declarativas de Lakeflow Spark

Al trabajar en un cuaderno de Python o SQL configurado como código fuente para una canalización existente, puede conectar el cuaderno directamente a la canalización. Cuando el cuaderno está conectado a la canalización, están disponibles las siguientes características:

• Inicie y valide la canalización desde el cuaderno.
• Vea el gráfico de flujo de datos y el registro de eventos de la canalización para obtener la actualización más reciente en el cuaderno.
• Vea los diagnósticos de canalización en el editor de cuadernos.
• Vea el estado del clúster de la canalización en el cuaderno.
• Acceda a la interfaz de usuario de las Canalizaciones Declarativas de Lakeflow Spark desde el cuaderno.

Prerrequisitos

• Debe tener ya una canalización con un cuaderno de Python o SQL configurado como código fuente.
• Debe ser el propietario de la canalización o tener el privilegio CAN_MANAGE.

Limitaciones

• Las características que se tratan en este artículo solo están disponibles en cuadernos de Azure Databricks. No se admiten los archivos del área de trabajo.
• El terminal web no está disponible cuando se adjunta a una canalización. Como resultado, no es visible como una pestaña en el panel inferior.

Conexión de un cuaderno a una canalización

Dentro del cuaderno, haga clic en el menú desplegable utilizado para seleccionar el cómputo. El menú desplegable muestra todas las canalizaciones declarativas de Spark de Lakeflow con este cuaderno como código fuente. Para conectar el cuaderno a una canalización, selecciónelo en la lista.

Visualización del estado del clúster de la canalización

Para comprender fácilmente el estado del clúster de la tubería, su estado se muestra en el menú desplegable de procesamiento con un color verde para indicar que el clúster está en ejecución.

Validación del código de canalización

Puede validar la canalización para comprobar si hay errores de sintaxis en el código fuente sin procesar ningún dato.

Para validar una canalización, realice una de las siguientes acciones:

• En la esquina superior derecha del cuaderno, haga clic en Validar.
• Presione Shift+Enter en cualquier celda del cuaderno.
• En el menú desplegable de la celda, haga clic en Validate Pipeline.

Nota:

Si intenta validar la canalización mientras ya se está ejecutando una actualización existente, se muestra un cuadro de diálogo en el que se pregunta si desea finalizar la actualización existente. Si hace clic en Sí, se detiene la actualización existente y se inicia automáticamente una actualización de validación .

Iniciar una actualización de canalización

Para iniciar una actualización de la canalización, haga clic en el botón Iniciar de la esquina superior derecha del cuaderno. Consulte Ejecutar una actualización de canalización.

Visualización del estado de una actualización

El panel superior del cuaderno muestra si una actualización de canalización es:

• Iniciando
• Validando
• Parar

Visualización de errores y diagnósticos

Después de iniciar una actualización o validación de canalización, los errores se muestran alineados con un subrayado rojo. Mantenga el puntero sobre un error para ver más información.

Ver eventos de canalización

Cuando está adjunto a una canalización, hay una pestaña del registro de eventos de Lakeflow Spark Declarative Pipelines en la parte inferior del cuaderno.

Visualizar el gráfico de flujo de datos de la canalización

Para ver el gráfico de flujo de datos de una canalización, use la pestaña en el gráfico de las Canalizaciones Declarativas de Spark de Lakeflow en la parte inferior del cuaderno. Al seleccionar un nodo en el gráfico se muestra su esquema en el panel derecho.

Cómo acceder a la interfaz de usuario de las canalizaciones declarativas de Spark de Lakeflow desde el cuaderno

Para ir fácilmente a la UI de Lakeflow Spark Declarative Pipelines, use el menú en la esquina superior derecha del bloc de notas.

Acceso a los registros de controladores y a la interfaz de usuario de Spark desde el cuaderno

Los registros de controladores y la interfaz de usuario de Spark asociados a la canalización que se está desarrollando se pueden acceder fácilmente desde el menú Ver del cuaderno.