Métricas y registros de diagnóstico para el Administrador de orquestación de flujo de trabajo

Artículo
10/03/2024

Nota:

El Administrador de orquestación de flujo de trabajo cuenta con la tecnología de Apache Airflow.

Este artículo te guía a través de los pasos para lo siguiente:

Habilitar las métricas y los registros de diagnóstico del Administrador de orquestación de flujo de trabajo en Azure Data Factory.
Ver registros y métricas.
Ejecute una consulta .
Supervisar las métricas y establecer el sistema de alertas en un error de grafo acíclico dirigido (DAG).

Requisitos previos

Necesita una suscripción de Azure. Si no tiene una suscripción a Azure, cree una cuenta gratuita de Azure antes de empezar.

Habilitación de métricas y registros de diagnóstico para el Administrador de orquestación de flujo de trabajo

Abre el recurso de Data Factory y selecciona Configuración de diagnóstico en el panel situado más a la izquierda. Después, seleccione Agregar configuración de diagnóstico.
Rellena el nombre de la Configuración de diagnóstico. Selecciona las siguientes categorías para los registros de Airflow:
- Registros de ejecución de tareas de Airflow
- Registros de trabajo de Airflow
- Registros de procesamiento de DAG de Airflow
- Registros del programador de Airflow
- Registros web de Airflow
- Si selecciona AllMetrics, varias métricas de Data Factory están disponibles para que las supervise o genere alertas. Estas incluyen las métricas de la actividad de Data Factory y el entorno de ejecución de integración del Administrador de orquestación de flujo de trabajo, como AirflowIntegrationRuntimeCpuUsage y AirflowIntegrationRuntimeMemory.
En Detalles del destino, active la casilla Enviar al área de trabajo de Log Analytics.
Seleccione Guardar.

Ver registros

Después de agregar la configuración de diagnóstico, puedes encontrarla en la sección Configuración de diagnóstico. Para acceder a los registros y verlos, selecciona el área de trabajo de Log Analytics que has configurado.
Selecciona Ver registros en la sección Maximización de la experiencia de Log Analytics.
Se te dirige al área de trabajo de Log Analytics, donde puedes ver que las tablas seleccionadas se importaron automáticamente en el área de trabajo.

Otros vínculos útiles para el esquema:

Escriba una consulta.

Comencemos con la consulta más sencilla, que devuelve todos los registros en ADFAirflowTaskLogs. Puedes hacer doble clic en el nombre de la tabla para agregarlo a una ventana de consulta. También puedes escribir el nombre de la tabla directamente en la ventana.
Para restringir los resultados de búsqueda, como filtrarlos en función de un identificador de tarea específico, puede usar la consulta siguiente:
```
ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"
```

Del mismo modo, puedes crear consultas personalizadas según tus necesidades mediante cualquier tabla disponible en LogManagement.

Para más información, vea:

Supervisión de métricas

Data Factory ofrece métricas completas para entornos de ejecución de integración de Airflow, lo que te permite supervisar eficazmente el rendimiento del entorno de ejecución de integración de Airflow y establecer mecanismos de alerta según sea necesario.

Abre tu recurso de Data Factory.
En el panel situado más a la izquierda, en la sección Supervisión, selecciona Métricas.
Selecciona la opción Ámbito>Espacio de nombres de métrica>Métrica que quieras supervisar.
Revisa el gráfico de varias líneas que visualiza el porcentaje de CPU de Integration Runtime y el tamaño de contenedor de DAG de Integration Runtime.
Puedes configurar una regla de alerta que se desencadene cuando las métricas cumplan condiciones específicas. Para más información, consulta Información general sobre las alertas de Azure Monitor.
Selecciona Guardar en el panel después de que el gráfico haya terminado o desaparezca.

Métricas de Airflow

Para ver las métricas disponibles para el Administrador de orquestación de flujo de trabajo, vea las métricas de Airflow que aparecen en la tabla Métricas admitidas.

Compartir vía