Diagnostikloggar och mått för Arbetsflödesorkestreringshanteraren

Artikel
06/18/2024

Kommentar

Workflow Orchestration Manager drivs av Apache Airflow.

Den här artikeln vägleder dig genom stegen för att:

Aktivera diagnostikloggar och mått för Workflow Orchestration Manager i Azure Data Factory.
Visa loggar och mått.
Kör en fråga.
Övervaka mått och ange aviseringssystemet i ett riktat acykliskt diagramfel (DAG).

Förutsättningar

Du behöver en Azure-prenumerationen. Om du inte har en Azure-prenumeration kan du skapa ett kostnadsfritt Azure-konto innan du börjar.

Aktivera diagnostikloggar och mått för Workflow Orchestration Manager

Öppna datafabriksresursen och välj Diagnostikinställningar i det vänstra fönstret. Välj sedan Lägg till diagnostikinställning.
Fyll i namnet på Diagnostikinställningar . Välj följande kategorier för Airflow-loggarna:
- Körningsloggar för airflow-aktiviteter
- Arbetsloggar för luftflöde
- Airflow DAG-bearbetningsloggar
- Airflow Scheduler-loggar
- Webbloggar för luftflöde
- Om du väljer AllMetrics görs olika Data Factory-mått tillgängliga så att du kan övervaka eller aktivera aviseringar. Dessa mått omfattar mått för Data Factory-aktivitet och Integration Runtime för Workflow Orchestration Manager, till exempel AirflowIntegrationRuntimeCpuUsage och AirflowIntegrationRuntimeMemory.
Under Målinformation markerar du kryssrutan Skicka till Log Analytics-arbetsyta .
Välj Spara.

Visa loggar

När du har lagt till diagnostikinställningar hittar du dem i avsnittet Diagnostikinställning . Om du vill komma åt och visa loggar väljer du den Log Analytics-arbetsyta som du har konfigurerat.
Under avsnittet Maximera din Log Analytics-upplevelse väljer du Visa loggar.
Du dirigeras till din Log Analytics-arbetsyta där du kan se att de tabeller som du valde importerades till arbetsytan automatiskt.

Andra användbara länkar för schemat:

Skriva en fråga

Vi börjar med den enklaste frågan som returnerar alla poster i ADFAirflowTaskLogs. Du kan dubbelklicka på tabellnamnet för att lägga till det i ett frågefönster. Du kan också ange tabellnamnet direkt i fönstret.
Om du vill begränsa sökresultaten, till exempel filtrera dem baserat på ett specifikt aktivitets-ID, kan du använda följande fråga:
```
ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"
```

På samma sätt kan du skapa anpassade frågor efter dina behov med hjälp av alla tabeller som är tillgängliga i LogManagement.

Mer information finns i:

Övervaka mått

Data Factory erbjuder omfattande mått för Airflow-integreringskörningar, så att du effektivt kan övervaka prestanda för din Airflow-integreringskörning och upprätta aviseringsmekanismer efter behov.

Öppna datafabriksresursen.
I den vänstra rutan går du till avsnittet Övervakning och väljer Mått.
Välj måttets namnområdesmått> för omfattning>som du vill övervaka.
Granska det flerradsdiagram som visualiserar cpu-procentandelen för Integration Runtime och Integration Runtime Dag Bag Size.
Du kan konfigurera en aviseringsregel som utlöses när dina mått uppfyller specifika villkor. Mer information finns i Översikt över Azure Monitor-aviseringar.
Välj Spara på instrumentpanelen när diagrammet är klart, annars försvinner diagrammet.