Comparteix a través de

Métricas y registros de diagnóstico para el Administrador de orquestación de flujo de trabajo

  • Article

Nota:

El Administrador de orquestación de flujo de trabajo cuenta con la tecnología de Apache Airflow.

Este artículo te guía a través de los pasos para lo siguiente:

  • Habilitar las métricas y los registros de diagnóstico del Administrador de orquestación de flujo de trabajo en Azure Data Factory.
  • Ver registros y métricas.
  • Ejecute una consulta .
  • Supervisar las métricas y establecer el sistema de alertas en un error de grafo acíclico dirigido (DAG).

Requisitos previos

Necesita una suscripción de Azure. Si no tiene una suscripción a Azure, cree una cuenta gratuita de Azure antes de empezar.

Habilitación de métricas y registros de diagnóstico para el Administrador de orquestación de flujo de trabajo

  1. Abre el recurso de Data Factory y selecciona Configuración de diagnóstico en el panel situado más a la izquierda. Después, seleccione Agregar configuración de diagnóstico.

    Captura de pantalla que muestra dónde se encuentra la pestaña Registros de diagnóstico en Data Factory.

  2. Rellena el nombre de la Configuración de diagnóstico. Selecciona las siguientes categorías para los registros de Airflow:

    • Registros de ejecución de tareas de Airflow
    • Registros de trabajo de Airflow
    • Registros de procesamiento de DAG de Airflow
    • Registros del programador de Airflow
    • Registros web de Airflow
    • Si selecciona AllMetrics, varias métricas de Data Factory están disponibles para que las supervise o genere alertas. Estas incluyen las métricas de la actividad de Data Factory y el entorno de ejecución de integración del Administrador de orquestación de flujo de trabajo, como AirflowIntegrationRuntimeCpuUsage y AirflowIntegrationRuntimeMemory.

    Captura de pantalla que muestra qué registros seleccionar para el entorno de Airflow.

  3. En Detalles del destino, active la casilla Enviar al área de trabajo de Log Analytics.

    Captura de pantalla que muestra la selección del área de trabajo de Log Analytics como destino para los registros de diagnóstico.

  4. Seleccione Guardar.

Ver registros

  1. Después de agregar la configuración de diagnóstico, puedes encontrarla en la sección Configuración de diagnóstico. Para acceder a los registros y verlos, selecciona el área de trabajo de Log Analytics que has configurado.

    Captura de pantalla en la que se muestra la URL del área de trabajo de Log Analytics.

  2. Selecciona Ver registros en la sección Maximización de la experiencia de Log Analytics.

    Captura de pantalla que muestra la selección de Ver registros.

  3. Se te dirige al área de trabajo de Log Analytics, donde puedes ver que las tablas seleccionadas se importaron automáticamente en el área de trabajo.

    Captura de pantalla que muestra el área de trabajo de Log Analytics

Otros vínculos útiles para el esquema:

Escriba una consulta.

  1. Comencemos con la consulta más sencilla, que devuelve todos los registros en ADFAirflowTaskLogs. Puedes hacer doble clic en el nombre de la tabla para agregarlo a una ventana de consulta. También puedes escribir el nombre de la tabla directamente en la ventana.

    Captura de pantalla que muestra una consulta de Kusto para recuperar todos los registros.

  2. Para restringir los resultados de búsqueda, como filtrarlos en función de un identificador de tarea específico, puede usar la consulta siguiente:

    ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"

Del mismo modo, puedes crear consultas personalizadas según tus necesidades mediante cualquier tabla disponible en LogManagement.

Para más información, vea:

Supervisión de métricas

Data Factory ofrece métricas completas para entornos de ejecución de integración de Airflow, lo que te permite supervisar eficazmente el rendimiento del entorno de ejecución de integración de Airflow y establecer mecanismos de alerta según sea necesario.

  1. Abre tu recurso de Data Factory.

  2. En el panel situado más a la izquierda, en la sección Supervisión, selecciona Métricas.

    Captura de pantalla que muestra dónde se encuentra la pestaña Métricas en Data Factory.

  3. Selecciona la opción Ámbito>Espacio de nombres de métrica>Métrica que quieras supervisar.

    Captura de pantalla que muestra las métricas que quieres seleccionar.

  4. Revisa el gráfico de varias líneas que visualiza el porcentaje de CPU de Integration Runtime y el tamaño de contenedor de DAG de Integration Runtime.

    Captura de pantalla que muestra un gráfico multilínea con múltiples métricas.

  5. Puedes configurar una regla de alerta que se desencadene cuando las métricas cumplan condiciones específicas. Para más información, consulta Información general sobre las alertas de Azure Monitor.

  6. Selecciona Guardar en el panel después de que el gráfico haya terminado o desaparezca.

    Captura de pantalla que muestra la opción Guardar en el panel.

Métricas de Airflow

Para ver las métricas disponibles para el Administrador de orquestación de flujo de trabajo, vea las métricas de Airflow que aparecen en la tabla Métricas admitidas.