Diagnoseprotokolle und Metriken für Workflow Orchestration Manager

Artikel
10/03/2024

Hinweis

Workflow Orchestration Manager wird von Apache Airflow unterstützt.

In diesem Artikel werden die entsprechenden Schritte beschrieben:

Aktivieren Sie Diagnoseprotokolle und Metriken für Workflow Orchestration Manager in Azure Data Factory.
Anzeigen von Protokollen und Metriken.
Führen Sie eine -Abfrage aus.
Überwachen Sie Metriken und legen Sie das Warnungssystem als Fehler in einem gerichteten azyklischen Graph (DAG) fest.

Voraussetzungen

Sie benötigen ein Azure-Abonnement. Wenn Sie über kein Azure-Abonnement verfügen, können Sie ein kostenloses Azure-Konto erstellen, bevor Sie beginnen.

Aktivieren von Diagnoseprotokollen und Metriken für Workflow Orchestration Manager

Öffnen Sie Ihre Data Factory-Ressource, und wählen Sie Diagnoseeinstellungen im äußerst linken Bereich aus. Wählen Sie dann Diagnoseeinstellung hinzufügen aus.
Füllen Sie den Namen der Diagnoseeinstellungen aus. Wählen Sie die folgenden Kategorien für die Airflow-Protokolle aus:
- Airflow-Aufgabenausführungsprotokolle
- Airflow-Workerprotokolle
- Airflow-DAG-Verarbeitungsprotokolle
- Airflow-Schedulerprotokolle
- Airflow-Webprotokolle
- Bei Auswahl von AllMetrics werden verschiedene Data Factory-Metriken zur Verfügung gestellt, die Sie überwachen oder für die Sie Warnungen auslösen können. Zu diesen Metriken gehören die Metriken für die Data Factory-Aktivität und die Workflow Orchestration Manager-Integration Runtime, wie AirflowIntegrationRuntimeCpuUsage und AirflowIntegrationRuntimeMemory.
Aktivieren Sie unter Zieldetails das Kontrollkästchen An Log Analytics-Arbeitsbereich senden.
Wählen Sie Speichern.

Anzeigen von Protokollen

Nachdem Sie Diagnoseeinstellungen hinzugefügt haben, finden Sie sie im Abschnitt Diagnoseeinstellung. Um auf Protokolle zuzugreifen und sie anzuzeigen, wählen Sie den von Ihnen konfigurierten Log Analytics-Arbeitsbereich aus.
Wählen Sie im Abschnitt Maximieren der Log Analytics-Benutzeroberfläche Protokolle anzeigen aus.
Sie werden zu Ihrem Log Analytics-Arbeitsbereich weitergeleitet, in dem Sie sehen können, dass die ausgewählten Tabellen automatisch in den Arbeitsbereich importiert wurden.

Weitere nützliche Links für das Schema:

Schreiben Sie eine Abfrage.

Beginnen wir mit der einfachsten Abfrage, die alle Datensätze aus ADFAirflowTaskLogs zurückgibt. Sie können auf den Tabellennamen doppelklicken, um ihn einem Abfragefenster hinzuzufügen. Sie können den Tabellennamen auch direkt in das Fenster eingeben.
Um Ihre Suchergebnisse einzugrenzen, z. B. sie anhand einer bestimmten Aufgaben-ID zu filtern, können Sie folgende Abfrage verwenden:
```
ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"
```

Ebenso können Sie benutzerdefinierte Abfragen entsprechend Ihren Anforderungen erstellen, indem Sie alle Tabellen verwenden, die in LogManagement verfügbar sind.

Weitere Informationen finden Sie unter:

Überwachen von Metriken

Data Factory bietet umfassende Metriken für Airflow Integration Runtimes, mit denen Sie die Leistung Ihrer Airflow Integration Runtime effektiv überwachen und bei Bedarf Warnmechanismen einrichten können.

Öffnen Sie Ihre Data Factory-Ressource.
Wählen Sie im Bereich ganz links unter dem Abschnitt Überwachung Metriken aus.
Wählen Sie Bereich>Metrischen Namespace>Metrik aus, die Sie überwachen möchten.
Überprüfen Sie das mehrteilige Diagramm, das die Integration Runtime CPU Percentage und Integration Runtime Dag Bag Size visualisiert.
Sie können eine Warnungsregel einrichten, die ausgelöst wird, wenn Ihre Metriken bestimmte Bedingungen erfüllen. Weitere Informationen finden Sie unter Übersicht über Azure Monitor-Warnungen.
Wählen Sie Im Dashboard speichern aus, nachdem das Diagramm abgeschlossen ist oder das Diagramm nicht mehr angezeigt wird.

Airflow-Metriken

Um die Metriken anzuzeigen, die für Workflow Orchestration Manager verfügbar sind, zeigen Sie die Airflow-Metriken an, die in der Tabelle Unterstützten Metriken aufgeführt sind.

Teilen über