Compartir vía

Supervisión de canalizaciones en la interfaz de usuario

En esta sección se describe el uso de características integradas de supervisión y observabilidad para las canalizaciones declarativas de Spark de Lakeflow en la interfaz de usuario de Azure Databricks. Estas características admiten tareas como las siguientes:

Agregar notificaciones por correo electrónico para eventos de canalización

Puede configurar una o varias direcciones de correo electrónico para recibir notificaciones cuando se produzca lo siguiente:

  • Una actualización de canalización se completa correctamente.
  • Se produce un error en una actualización de canalización, ya sea un error con o sin reintentos. Seleccione esta opción para recibir una notificación de todos los errores de la canalización.
  • Se produce un error en una actualización de canalización con un error que no se puede volver a intentar (irrecuperable). Seleccione esta opción para recibir una notificación solo cuando se produzca un error sin reintentos.
  • Se produce un error en un único flujo de datos.

Para configurar las notificaciones por correo electrónico, edite la configuración de una canalización. Consulte Notificaciones.

Nota:

Cree respuestas personalizadas a eventos, incluidas las notificaciones o el control personalizado, mediante ganchos de eventos de Python.

Visualización de canalizaciones en la interfaz de usuario

Busque la canalización en el icono Flujos de trabajo.Opción Trabajos y canalizaciones en la barra lateral del área de trabajo. Esto abre la página Trabajos y canalizaciones , donde puede ver información sobre cada trabajo y canalización a la que tiene acceso. Haga clic en el nombre de una canalización para abrir la página de supervisión de la canalización. Para editar el trabajo o la canalización, haga clic en el icono de menú Kebab. y elija Editar.

Nota:

Los trabajos y los diferentes tipos de canalizaciones tienen distintos editores. La opción Editar abrirá el editor correcto para el objeto que seleccione.

Uso de la lista de trabajos y canalizaciones

Para ver la lista de canalizaciones a las que tiene acceso, haga clic en el icono Flujos de trabajo.Trabajos y canalizaciones en la barra lateral. En la pestaña Trabajos y canalizaciones se muestra información sobre todos los trabajos y canalizaciones disponibles, como el creador, el desencadenador (si existe) y el resultado de las últimas cinco ejecuciones.

Al hacer clic en el nombre de una canalización o trabajo, se le lleva a la página de supervisión de esa canalización o trabajo. Para editar la canalización o el trabajo, haga clic en el icono de menú Kebab y seleccione Editar.

Para cambiar las columnas mostradas en la lista, haga clic en el icono Configuración de columna y seleccione o anule la selección de columnas. Por ejemplo, para agregar Pipeline Type como columna, seleccione esa columna para visualizarla.

Puede filtrar los trabajos en la lista Trabajos y canalizaciones , tal como se muestra en la captura de pantalla siguiente.

Vista de lista de canalizaciones con llamadas destacadas.

  1. Búsqueda de texto: se admite la búsqueda de palabras clave para los campos Nombre e Identificador . Para buscar una etiqueta creada con una clave y un valor, puede buscar por la clave, el valor o la clave y el valor. Por ejemplo, para una etiqueta con la clave department y el valor finance, puede buscar department o finance para encontrar trabajos coincidentes. Para buscar por la clave y el valor, escriba la clave y el valor separados por dos puntos (por ejemplo, department:finance).
  2. Tipo: filtre por Trabajos, Canalizaciones o Todo. Si selecciona Canalizaciones , también puede filtrar por tipo de canalización, que incluye canalizaciones ETL e Ingesta.
  3. Propietario: muestre solo los trabajos que posee.
  4. Favoritos: muestre los trabajos marcados como favoritos.
  5. Etiquetas: use etiquetas. Para buscar por etiqueta, puede usar el menú desplegable etiquetas para filtrar hasta cinco etiquetas al mismo tiempo o usar directamente la búsqueda de palabras clave.
  6. Ejecutar como: filtre por hasta dos valores run as.

Para iniciar un trabajo o una canalización, haga clic en el botón de reproducir Icono de reproducción. Para detener un trabajo o una canalización, haga clic en el botón de detener Icono de detención. Para acceder a otras acciones, haga clic en el icono de menú de kebab.. Por ejemplo, puede editar o eliminar el trabajo o la canalización, o acceder a la configuración de una canalización desde ese menú.

Detalles de la canalización disponibles en la página de supervisión

Nota:

Hay múltiples previsualizaciones que pueden afectar lo que observas al supervisar las canalizaciones en la interfaz de usuario.

Al hacer clic en el nombre de una tubería en la página Trabajos y tuberías se muestra la página de monitoreo de esa tubería. Desde aquí puede iniciar una ejecución de canalización y ver los detalles de ejecución anteriores.

El gráfico de canalización (también denominado DAG) aparece en cuanto se ha iniciado correctamente una actualización de una canalización. Las flechas representan las dependencias entre los conjuntos de datos en tu canalización. De forma predeterminada, la página de supervisión de canalización muestra la actualización más reciente de la tabla, pero puede seleccionar actualizaciones anteriores en un menú desplegable.

Los detalles incluyen el ID de la canalización, el código fuente, el coste del cálculo, la edición del producto y el canal configurado para la canalización.

Para ver una vista tabular de conjuntos de datos, haga clic en la pestaña Lista . La vista Lista permite ver todos los conjuntos de datos de la canalización representados como una fila de una tabla y resulta útil cuando el gráfico de canalización es demasiado grande para visualizar en la vista Gráfico . Puede controlar los conjuntos de datos que se muestran en la tabla mediante varios filtros, como el nombre, el tipo y el estado del conjunto de datos. Para volver a la visualización de DAG, haga clic en Grafo.

El usuario Ejecutar como es el propietario de la canalización y las actualizaciones de canalización se ejecutan con los permisos de este usuario. Para cambiar el usuario run as, haga clic en Permisos y cambie el propietario de la canalización.

¿Qué cambios hay en el Editor de canalizaciones de Lakeflow?

Si ha optado por la versión preliminar del Editor de canalizaciones de Lakeflow y la nueva interfaz de usuario de supervisión de canalizaciones, cierta información se encuentra en diferentes lugares de la interfaz de usuario. Para obtener información sobre el Editor de canalizaciones de Lakeflow y participar en ambas versiones preliminares, consulte Habilitación del Editor de canalizaciones de Lakeflow y supervisión actualizada.

Importante

Esta característica está en versión preliminar pública.

Aparecen los siguientes cambios en la supervisión con la página de supervisión de canalización cuando se optó por ambas versiones preliminares:

  • Los detalles de la canalización y las pestañas Detalles de actualización en el panel derecho se han combinado con los detalles de la canalización en la parte superior, seguidos de los detalles de actualización.

  • Al hacer clic en una tabla del gráfico no se muestran los detalles de la tabla en el panel derecho. El panel derecho continúa mostrando la canalización y los detalles de actualización. En su lugar, el panel inferior muestra la información de la tabla.

  • Las reglas para ejecutar una canalización en modo de desarrollo se actualizan ligeramente. Para obtener información sobre el modo de desarrollo, vea Modo de desarrollo.

    • La ejecución de una canalización a través de una programación o un desencadenador sigue la configuración de canalización para si se va a usar el modo de desarrollo. Puede cambiar el valor predeterminado de una canalización en Configuración de canalización.
    • La ejecución de una canalización a través de la interfaz de usuario de supervisión usará el modo definido en la configuración de la canalización. Puede elegir si usar el modo de desarrollo mediante la opción Ejecutar con diferentes opciones de configuración en la lista desplegable.
    • La ejecución de una canalización desde el editor de canalizaciones tendrá como valor predeterminado el modo de desarrollo. Puede optar por no usar el modo de desarrollo mediante la opción Ejecutar con diferentes opciones de configuración en la lista desplegable.

  • Ya no hay un vínculo al código fuente en los detalles de la canalización. En su lugar, elija Editar canalización en la parte superior. Para ir al código de una tabla específica, mantenga el puntero sobre la tabla en el DAG y haga clic en el icono Código de archivo.Vaya al botón código .

  • El registro de eventos ya no se muestra de forma predeterminada en todas las actualizaciones de la página de supervisión de canalización. Cuando se produce un error durante el procesamiento, los errores se muestran en el panel inferior y se muestra un botón Ver registros para ver el registro de eventos de esa ejecución. El registro de eventos también está disponible seleccionando el icono Modo lector.Vea el registro de eventos desde los detalles de ejecución en el panel derecho.

    Para acceder al registro de eventos al ejecutar una actualización en el nuevo Editor de canalizaciones de Lakeflow, vaya al panel Problemas y conclusiones en la parte inferior del editor, haga clic en Ver registros o en el botón Abrir en registros junto a cualquier error. Para más información, consulte Editor de canalizaciones de Lakeflow y Configuración de canalización para el registro de eventos.

  • La información del esquema de tabla está disponible seleccionando la tabla en la pestaña Tablas del panel inferior y, a continuación, seleccionando Columnas.

  • El historial de consultas está disponible seleccionando Rendimiento en el panel inferior.

  • Los comentarios de la tabla no están disponibles en la página de detalles de la canalización. Para ver los comentarios de la tabla, vea la tabla desde el Explorador de catálogos. Para ir directamente a la tabla en el Explorador de catálogos, mantenga el mouse sobre la tabla del DAG y, a continuación, haga clic en el icono de menú Kebab y, a continuación, en el icono Datos.Ver en el catálogo. También puede acceder a la información del Explorador de catálogos desde la lista de tablas del panel inferior haciendo clic en el icono Datos.

¿Qué cambios hay en la versión preliminar de la lista de ejecuciones unificadas?

Si tiene habilitada la vista previa Lista Unificada de Ejecuciones, puede ver las actualizaciones de ejecución de las canalizaciones en la página Trabajos y Canalizaciones.

Importante

La lista de ejecuciones unificadas está en versión preliminar pública.

Para habilitar la lista de ejecuciones unificadas, un administrador del área de trabajo debe participar en la versión preliminar. Para obtener más información sobre cómo participar en una versión preliminar, consulte Administración de versiones preliminares de nivel de cuenta.

Para acceder a la lista de ejecuciones unificadas, seleccione el icono de Lista de comprobación. Desde la barra lateral del área de trabajo o haga clic en el icono de Flujos de trabajo.Trabajo y Canalización, a continuación, elija la pestaña Ejecuciones.

La pestaña muestra una lista de ejecuciones recientes en los últimos 60 días. En los siguientes casos, primero se muestra un gráfico que indica el éxito y el fallo de las ejecuciones en las últimas 48 horas.

  • Se filtra solo por trabajos o canalizaciones.
  • Si eres administrador, filtra solo para que se muestren las ejecuciones Run as: Me.
  • Las ejecuciones pueden tardar hasta una hora en mostrarse en el gráfico.

Puede filtrar la lista y el grafo por:

  • Nombre del trabajo o flujo de trabajo.
  • Todos, trabajos o canalizaciones.
  • Tipo de canalización (ETL, Ingesta, MV/ST o Sincronización de tablas de base de datos).
  • El elemento Run as user (Ejecutar como usuario).
  • Hora de inicio de ejecución (en las últimas 48 horas).
  • Estado De ejecución.
  • El código de error de las ejecuciones con errores.

Además de lo anterior, puede ver las siguientes columnas en la lista:

  • Hora de finalización
  • Identificador de ejecución
  • Indica si la ejecución se inició manualmente o por una programación.
  • Duración de la ejecución.
  • Ejecute parámetros.

Para cambiar las columnas mostradas en la lista de ejecuciones, haga clic en el icono Columnas y seleccione o desmarque columnas.

Al hacer clic en la hora de inicio, la hora de finalización o el nombre de una ejecución de canalización, se le lleva a la página de supervisión de la canalización.

Cuando una canalización se está ejecutando activamente, puede detener la ejecución haciendo clic en el botón Detener. En cualquier momento, puede hacer clic en el icono del menú Kebab en la fila de la ejecución y elegir Editar flujo de trabajo para entrar a editarlo en el editor.

¿Cómo puede ver los detalles del conjunto de datos?

Al hacer clic en un conjunto de datos en el gráfico de canalización o en la lista de conjuntos de datos se muestran detalles sobre el conjunto de datos. Los detalles incluyen el esquema del conjunto de datos, las métricas de calidad de datos y un vínculo al código fuente que define el conjunto de datos.

Ver el historial de actualizaciones

Para ver el historial y el estado de las actualizaciones de canalización, haga clic en el menú desplegable Historial de actualizaciones de la barra superior.

Seleccione la actualización en el menú desplegable para ver el gráfico, los detalles y los eventos de una actualización. Para volver a la actualización más reciente, haga clic en Mostrar la actualización más reciente.

Ver métricas de streaming

Importante

La observabilidad de streaming para las canalizaciones está en versión preliminar pública.

Puede visualizar las métricas de transmisión de los orígenes de datos compatibles con Spark Structured Streaming, como Apache Kafka, Amazon Kinesis, Auto Loader y tablas Delta, para cada flujo de transmisión en su canalización. Las métricas se muestran como gráficos en el panel derecho de la interfaz de usuario del pipeline e incluyen segundos acumulados, bytes acumulados, registros acumulados y archivos acumulados. Los gráficos muestran el valor máximo agregado por minutos y una información sobre herramientas muestra los valores máximos cuando se pasa el ratón por encima del gráfico. Los datos se limitan a las últimas 48 horas desde la hora actual.

Las tablas en tu canalización que tienen métricas de streaming disponibles muestran el icono de gráfico LDP cuando se visualiza el DAG de la canalización en la vista de gráfico de la interfaz de usuario. Para ver las métricas de streaming, haga clic en el icono de gráfico LDP para mostrar el gráfico de métricas de streaming en la pestaña Flujos del panel derecho. También puede aplicar un filtro para ver solo tablas con métricas de streaming; para ello, haga clic en Lista y, después, en Tiene métricas de streaming.

Cada origen de streaming solo admite métricas específicas. Las métricas no admitidas por un origen de streaming no están disponibles para ver en la interfaz de usuario. En la tabla siguiente se muestran las métricas disponibles para los orígenes de streaming admitidos:

source bytes de trabajos pendientes registros de trabajos pendientes segundos de trabajos pendientes archivos pendientes
Kafka ✓ ✓
Kinesis ✓ ✓
Delta ✓ ✓
Cargador automático ✓ ✓
Google Pub/Sub ✓ ✓
  • Last updated on