Megosztás a következőn keresztül:

Diagnosztikai naplók és metrikák a Workflow Orchestration Managerhez

  • Cikk

Feljegyzés

A Workflow Orchestration Managert az Apache Airflow működteti.

Ez a cikk végigvezeti a következő lépéseken:

  • Diagnosztikai naplók és metrikák engedélyezése a Workflow Orchestration Managerhez az Azure Data Factoryben.
  • Naplók és metrikák megtekintése.
  • Lekérdezés futtatása.
  • Figyelje a metrikákat, és állítsa be a riasztási rendszert irányított aciklikus gráf (DAG) hiba esetén.

Előfeltételek

Azure-előfizetésre van szüksége. Ha nem rendelkezik Azure-előfizetéssel, mindössze néhány perc alatt létrehozhat egy ingyenes Azure-fiókot a virtuális gép létrehozásának megkezdése előtt.

Diagnosztikai naplók és metrikák engedélyezése a Workflow Orchestration Managerhez

  1. Nyissa meg a Data Factory-erőforrást, és válassza a diagnosztikai beállításokat a bal szélső panelen. Ezután válassza a Diagnosztikai beállítás hozzáadása lehetőséget.

    Képernyőkép arról, hogy hol található a Diagnosztikai naplók lap a Data Factoryben.

  2. Adja meg a diagnosztikai beállítások nevét. Válassza ki a következő kategóriákat az Airflow-naplókhoz:

    • Airflow-tevékenység végrehajtási naplói
    • Airflow feldolgozói naplók
    • Airflow DAG feldolgozási naplók
    • Airflow scheduler naplók
    • Airflow webes naplók
    • Ha az AllMetrics lehetőséget választja, különböző Data Factory-metrikák érhetők el a riasztások figyeléséhez vagy beállításához. Ezek a metrikák tartalmazzák a Data Factory-tevékenység mérőszámait és a Workflow Orchestration Manager integrációs modult, például AirflowIntegrationRuntimeCpuUsage és AirflowIntegrationRuntimeMemory.

    Képernyőkép az Airflow-környezethez kiválasztandó naplókról.

  3. A Céladatok csoportban jelölje be a Küldés a Log Analytics-munkaterületre jelölőnégyzetet.

    Képernyőkép a Log Analytics-munkaterület diagnosztikai naplók célként való kiválasztásáról.

  4. Válassza a Mentés lehetőséget.

Naplók megtekintése

  1. Miután hozzáadta a diagnosztikai beállításokat, megtalálja őket a Diagnosztikai beállítás szakaszban. A naplók eléréséhez és megtekintéséhez válassza ki a konfigurált Log Analytics-munkaterületet.

    Képernyőkép a Log Analytics-munkaterület URL-címének kiválasztásáról.

  2. A Log Analytics-élmény maximalizálása szakaszban válassza a Naplók megtekintése lehetőséget.

    Képernyőkép a Naplók megtekintése lehetőség kiválasztásáról.

  3. A rendszer átirányítja a Log Analytics-munkaterületre, ahol láthatja, hogy a kijelölt táblák automatikusan importálva lettek a munkaterületre.

    Képernyőkép a Log Analytics-munkaterületről.

A séma további hasznos hivatkozásai:

Lekérdezés írása

  1. Kezdjük a legegyszerűbb lekérdezéssel, amely az összes rekordot visszaadja.ADFAirflowTaskLogs A tábla nevére duplán kattintva felveheti a lekérdezési ablakba. A tábla nevét közvetlenül az ablakban is megadhatja.

    Képernyőkép egy Kusto-lekérdezésről az összes napló lekéréséhez.

  2. A keresési eredmények szűkítéséhez( például egy adott tevékenységazonosító alapján történő szűréshez) a következő lekérdezést használhatja:

    ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"

Ehhez hasonlóan egyéni lekérdezéseket is létrehozhat az igényeinek megfelelően a rendelkezésre LogManagementálló táblák használatával.

További információk:

Megfigyelési mérőszámok

A Data Factory átfogó metrikákat kínál az Airflow-integrációs futtatókörnyezetekhez, így hatékonyan figyelheti az Airflow-integrációs futtatókörnyezet teljesítményét, és szükség szerint riasztási mechanizmusokat hozhat létre.

  1. Nyissa meg a Data Factory-erőforrást.

  2. A bal szélső panel Figyelés szakaszában válassza a Metrikák lehetőséget.

    Képernyőkép arról, hogy hol található a Metrikák lap a Data Factoryben.

  3. Válassza ki a figyelni kívánt hatókörmetrika-névtérmetrikát>>.

    Képernyőkép a kiválasztandó metrikákról.

  4. Tekintse át a többsoros diagramot, amely az integrációs modul cpu-százalékos arányát és az integrációs modul dagzsákméretét jeleníti meg.

    A metrikák többsoros diagramját ábrázoló képernyőkép.

  5. Beállíthat egy riasztási szabályt, amely akkor aktiválódik, ha a metrikák megfelelnek bizonyos feltételeknek. További információ: Az Azure Monitor-riasztások áttekintése.

  6. Válassza a Mentés az irányítópultra lehetőséget a diagram befejezése után, különben eltűnik a diagram.

    Képernyőkép az irányítópultra mentésről.

Légáramlási metrikák

A Workflow Orchestration Managerhez elérhető metrikák megtekintéséhez tekintse meg a Támogatott metrikák táblában felsorolt Airflow-metrikákat.