Logs e métricas de diagnóstico para o Workflow Orchestration Manager

Artigo
06/18/2024

Nota

O Workflow Orchestration Manager é alimentado pelo Apache Airflow.

Este artigo orienta você pelas etapas para:

Habilite logs de diagnóstico e métricas para o Workflow Orchestration Manager no Azure Data Factory.
Visualize logs e métricas.
Execute uma consulta.
Monitore métricas e defina o sistema de alerta em falha de gráfico acíclico direcionado (DAG).

Pré-requisitos

Precisa de uma subscrição do Azure. Se não tiver uma subscrição do Azure, crie uma conta do Azure gratuita antes de começar.

Habilite logs e métricas de diagnóstico para o Workflow Orchestration Manager

Abra o recurso Data Factory e selecione Configurações de diagnóstico no painel mais à esquerda. Em seguida, selecione Adicionar configuração de diagnóstico.
Preencha o nome das configurações de diagnóstico. Selecione as seguintes categorias para os registros de fluxo de ar:
- Logs de execução de tarefas de fluxo de ar
- Registros do trabalhador do fluxo de ar
- Logs de processamento do DAG de fluxo de ar
- Registros do agendador de fluxo de ar
- Registos Web do fluxo de ar
- Se você selecionar AllMetrics, várias métricas do Data Factory serão disponibilizadas para você monitorar ou gerar alertas. Essas métricas incluem as métricas para a atividade do Data Factory e o tempo de execução de integração do Workflow Orchestration Manager, como AirflowIntegrationRuntimeCpuUsage e AirflowIntegrationRuntimeMemory.
Em Detalhes do destino, marque a caixa de seleção Enviar para o espaço de trabalho do Log Analytics.
Selecione Guardar.

Ver registos

Depois de adicionar as configurações de diagnóstico, você pode encontrá-las listadas na seção Configuração de diagnóstico . Para acessar e exibir logs, selecione o espaço de trabalho do Log Analytics que você configurou.
Na seção Maximizar sua experiência com o Log Analytics, selecione Exibir logs.
Você é direcionado para o espaço de trabalho do Log Analytics, onde pode ver que as tabelas selecionadas foram importadas para o espaço de trabalho automaticamente.

Outros links úteis para o esquema:

Escrever uma consulta

Vamos começar com a consulta mais simples que retorna todos os registros no ADFAirflowTaskLogs. Você pode clicar duas vezes no nome da tabela para adicioná-la a uma janela de consulta. Você também pode inserir o nome da tabela diretamente na janela.
Para restringir os resultados da pesquisa, como filtrá-los com base em uma ID de tarefa específica, você pode usar a seguinte consulta:
```
ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"
```

Da mesma forma, você pode criar consultas personalizadas de acordo com suas necessidades usando quaisquer tabelas disponíveis no LogManagement.

Para obter mais informações, consulte:

Monitorizar métricas

O Data Factory oferece métricas abrangentes para tempos de execução de integração do Airflow, permitindo que você monitore efetivamente o desempenho do seu tempo de execução de integração do Airflow e estabeleça mecanismos de alerta, conforme necessário.

Abra o recurso Data Factory.
No painel mais à esquerda, na seção Monitoramento , selecione Métricas.
Selecione a métrica de namespace da métrica de escopo>> que você deseja monitorar.
Analise o gráfico de várias linhas que visualiza a porcentagem da CPU do tempo de execução de integração e o tamanho do Dag Bag do tempo de execução de integração.
Você pode configurar uma regra de alerta que é acionada quando suas métricas atendem a condições específicas. Para obter mais informações, consulte Visão geral dos alertas do Azure Monitor.
Selecione Salvar no painel depois que o gráfico for concluído ou o gráfico desaparecerá.