Share via

Diagnostische logboeken en metrische gegevens voor Workflow Orchestration Manager

  • Artikel

Notitie

Workflow Orchestration Manager wordt mogelijk gemaakt door Apache Airflow.

In dit artikel worden de volgende stappen beschreven:

  • Schakel diagnostische logboeken en metrische gegevens in voor Workflow Orchestration Manager in Azure Data Factory.
  • Logboeken en metrische gegevens weergeven.
  • Voer een query uit.
  • Monitor metrics and set the alert system in directed acyclic graph (DAG) failure.

Vereisten

U hebt een Azure-abonnement nodig. Als u nog geen abonnement op Azure hebt, maakt u een gratis Azure-account voordat u begint.

Diagnostische logboeken en metrische gegevens inschakelen voor Workflow Orchestration Manager

  1. Open uw Data Factory-resource en selecteer diagnostische instellingen in het meest linkse deelvenster. Selecteer vervolgens Diagnostische instelling toevoegen.

    Schermopname van waar het tabblad Diagnostische logboeken zich bevindt in Data Factory.

  2. Vul de naam van de diagnostische instellingen in. Selecteer de volgende categorieën voor de Airflow-logboeken:

    • Uitvoeringslogboeken voor Airflow-taken
    • Airflow-werklogboeken
    • Logboeken voor DAG-verwerking van airflows
    • Airflow scheduler-logboeken
    • Weblogboeken van Airflow
    • Als u AllMetrics selecteert, worden er verschillende metrische gegevens van Data Factory beschikbaar gesteld om waarschuwingen te bewaken of te genereren. Deze metrische gegevens omvatten de metrische gegevens voor Data Factory-activiteit en de Integration Runtime van Workflow Orchestration Manager, zoals AirflowIntegrationRuntimeCpuUsage en AirflowIntegrationRuntimeMemory.

    Schermopname van de logboeken die moeten worden geselecteerd voor de Airflow-omgeving.

  3. Schakel onder Doeldetails het selectievakje Verzenden naar Log Analytics-werkruimte in.

    Schermopname van het selecteren van Log Analytics-werkruimte als de bestemming voor diagnostische logboeken.

  4. Selecteer Opslaan.

Logboeken weergeven

  1. Nadat u diagnostische instellingen hebt toegevoegd, kunt u deze vinden in de sectie Diagnostische instelling . Als u logboeken wilt openen en weergeven, selecteert u de Log Analytics-werkruimte die u hebt geconfigureerd.

    Schermopname van het selecteren van de URL van de Log Analytics-werkruimte.

  2. Selecteer Logboeken weergeven in de sectie Uw Log Analytics-ervaring maximaliseren.

    Schermopname van het selecteren van weergavelogboeken.

  3. U wordt omgeleid naar uw Log Analytics-werkruimte, waar u kunt zien dat de tabellen die u hebt geselecteerd, automatisch in de werkruimte zijn geïmporteerd.

    Schermopname van de Log Analytics-werkruimte.

Andere nuttige koppelingen voor het schema:

Een query schrijven

  1. Laten we beginnen met de eenvoudigste query die alle records in ADFAirflowTaskLogsretourneert. U kunt dubbelklikken op de tabelnaam om deze toe te voegen aan een queryvenster. U kunt de tabelnaam ook rechtstreeks in het venster invoeren.

    Schermopname van een Kusto-query om alle logboeken op te halen.

  2. Als u de zoekresultaten wilt beperken, zoals het filteren ervan op basis van een specifieke taak-id, kunt u de volgende query gebruiken:

    ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"

Op dezelfde manier kunt u aangepaste query's maken op basis van uw behoeften door alle tabellen te gebruiken die beschikbaar zijn in LogManagement.

Zie voor meer informatie:

Metrische gegevens bewaken

Data Factory biedt uitgebreide metrische gegevens voor Airflow-integratieruntimes, zodat u de prestaties van uw Airflow Integration Runtime effectief kunt bewaken en waar nodig waarschuwingsmechanismen kunt opzetten.

  1. Open uw Data Factory-resource.

  2. Selecteer in het meest linkse deelvenster onder de sectie Bewaking de optie Metrische gegevens.

    Schermopname van waar het tabblad Metrische gegevens zich bevindt in Data Factory.

  3. Selecteer de >metrische naamruimte>voor bereik die u wilt bewaken.

    Schermopname van de metrische gegevens die u wilt selecteren.

  4. Bekijk het diagram met meerdere regels waarmee het CPU-percentage van Integration Runtime en de grootte van de Dag Bag van Integration Runtime worden gevisualiseerd.

    Schermopname van een grafiek met meerdere regels met metrische gegevens.

  5. U kunt een waarschuwingsregel instellen die wordt geactiveerd wanneer uw metrische gegevens voldoen aan specifieke voorwaarden. Zie Overzicht van Azure Monitor-waarschuwingen voor meer informatie.

  6. Selecteer Opslaan in dashboard nadat de grafiek is voltooid of als de grafiek verdwijnt.

    Schermopname van Opslaan in dashboard.

Metrische gegevens van airflow

De volgende tabel bevat de metrische gegevens die beschikbaar zijn voor Workflow Orchestration Manager. De tabelkoppen zijn:

  • Metrische waarde: de weergavenaam van metrische gegevens zoals deze wordt weergegeven in Azure Portal.
  • Naam in REST API: de naam van de metrische waarde, zoals wordt genoemd in de REST API.
  • Beschrijving: Een beschrijving van de metrische waarde.
  • Eenheid: maateenheid.
  • Aggregatie: het standaardaggregatietype. Geldige waarden zijn Gemiddelde, Minimum, Maximum, Totaal en Aantal.
  • Dimensies: Dimensies die beschikbaar zijn voor de metrische waarde.
  • Tijdsintervallen: intervallen waarmee de metrische gegevens worden gesampleerd. PT1M geeft bijvoorbeeld aan dat de metrische gegevens elke minuut worden genomen, PT30M om de 30 minuten, PT1H elk uur, enzovoort.
  • DS-export: of de metrische waarde kan worden geëxporteerd naar Azure Monitor-logboeken via diagnostische instellingen.
Metric Naam in REST API Beschrijving Eenheid Statistische functie Afmetingen Tijdskorrels DS-export
Time-outfout voor Taaktime-out voor Airflow Integration Runtime AirflowIntegrationRuntimeCeleryTaskTimeoutError Aantal fouten dat optreedt bij het publiceren van AirflowTaskTimeout een taak naar Celery Broker. Tellen Totaal IntegrationRuntimeName PT1M Nee
Airflow Integration Runtime Collect DB Dags AirflowIntegrationRuntimeCollectDBDags Milliseconden die zijn genomen voor het ophalen van alle geserialiseerde DAG's uit de database. Milliseconden Gemiddeld IntegrationRuntimeName PT1M Nee
Cpu-percentage airflow Integration Runtime AirflowIntegrationRuntimeCpuPercentage CPU-gebruikspercentage van de Airflow Integration Runtime. Procent Gemiddeld IntegrationRuntimeName, ContainerName PT1M Nee
Geheugengebruik van Airflow Integration Runtime AirflowIntegrationRuntimeCpuUsage Millicores die door Airflow Integration Runtime worden gebruikt, wat aangeeft welke CPU-resources in duizendste van een CPU-kern worden gebruikt. Millicores Gemiddeld IntegrationRuntimeName, ContainerName PT1M Ja
Grootte airflow Integration Runtime Dag Bag AirflowIntegrationRuntimeDagBagSize Aantal DAG's dat is gevonden toen de planner een scan uitvoerde op basis van de configuratie. Tellen Totaal IntegrationRuntimeName PT1M Nee
Callback-uitzonderingen voor Airflow Integration Runtime Dag Callback AirflowIntegrationRuntimeDagCallbackExceptions Aantal uitzonderingen dat wordt gegenereerd door DAG-callbacks. Wanneer er uitzonderingen optreden, betekent dit dat DAG-callback niet werkt. Tellen Totaal IntegrationRuntimeName PT1M Nee
Fout bij vernieuwen van DAG-bestandsvernieuwing in Airflow Integration Runtime AirflowIntegrationRuntimeDAGFileRefreshError Aantal fouten bij het laden van DAG-bestanden. Tellen Totaal IntegrationRuntimeName PT1M Nee
Fouten bij het importeren van de Airflow Integration Runtime DAG-verwerking AirflowIntegrationRuntimeDAGProcessingImportErrors Aantal fouten bij het parseren van DAG-bestanden. Tellen Totaal IntegrationRuntimeName PT1M Nee
Laatste duur van DAG-verwerking van Airflow Integration Runtime AirflowIntegrationRuntimeDAGProcessingLastDuration Seconden die nodig zijn om het specifieke DAG-bestand te laden. Milliseconden Gemiddeld IntegrationRuntimeName, DagFile PT1M Nee
DAG-verwerking van Airflow Integration Runtime afgelopen seconden geleden AirflowIntegrationRuntimeDAGProcessingLastRunSecondsAgo Seconden sinds <dag_file> voor het laatst is verwerkt. Seconden Gemiddeld IntegrationRuntimeName, DagFile PT1M Nee
Airflow Integration Runtime DAG ProcessingManager Stalls AirflowIntegrationRuntimeDAGProcessingManagerStalls Aantal vastgelopen DagFileProcessorManager. Tellen Totaal IntegrationRuntimeName PT1M Nee
DAG-verwerkingsprocessen voor Airflow Integration Runtime AirflowIntegrationRuntimeDAGProcessingProcesses Relatief aantal actieve DAG-parseringsprocessen. (Deze delta is bijvoorbeeld negatief wanneer, sinds de laatste metriek is verzonden, processen zijn voltooid.) Tellen Totaal IntegrationRuntimeName PT1M Nee
Time-outs voor DAG-verwerkingsprocessor van Airflow Integration Runtime AirflowIntegrationRuntimeDAGProcessingProcessorTimeouts Aantal bestandsprocessors dat is gedood omdat ze te lang duurde. Seconden Gemiddeld IntegrationRuntimeName PT1M Nee
Dagverwerking van Airflow Integration Runtime totale parseringstijd AirflowIntegrationRuntimeDAGProcessingTotalParseTime Seconden die nodig zijn om DAG-bestanden te scannen en te importeren dag_processing.file_path_queue_size . Seconden Gemiddeld IntegrationRuntimeName PT1M Nee
Controle van afhankelijkheid van Airflow Integration Runtime DAG-uitvoering AirflowIntegrationRuntimeDAGRunDependencyCheck Milliseconden die nodig zijn om DAG-afhankelijkheden te controleren. Milliseconden Gemiddeld IntegrationRuntimeName, DagId PT1M Nee
Duur van DAG-uitvoering van Airflow Integration Runtime mislukt AirflowIntegrationRuntimeDAGRunDurationFailed Seconden die nodig zijn om de DagRun status Mislukt te bereiken. Milliseconden Gemiddeld IntegrationRuntimeName, DagId PT1M Nee
Geslaagde duur van DAG-uitvoering van Airflow Integration Runtime AirflowIntegrationRuntimeDAGRunDurationSuccess Seconden die nodig zijn om de DagRun status geslaagd te bereiken. Milliseconden Gemiddeld IntegrationRuntimeName, DagId PT1M Nee
Vertraging in de planning van de eerste taakplanning door Airflow Integration Runtime AirflowIntegrationRuntimeDAGRunFirstTaskSchedulingDelay Seconden verstreken tussen de eerste taak start_date en de DagRun verwachte begindatum. Milliseconden Gemiddeld IntegrationRuntimeName, DagId PT1M Nee
Vertraging van daguitvoeringsschema voor Airflow Integration Runtime AirflowIntegrationRuntimeDAGRunScheduleDelay Seconden vertraging tussen de geplande DagRun begindatum en de werkelijke DagRun begindatum. Milliseconden Gemiddeld IntegrationRuntimeName, DagId PT1M Nee
Open slots voor Airflow Integration Runtime AirflowIntegrationRuntimeExecutorOpenSlots Aantal geopende sleuven op de uitvoerders. Tellen Totaal IntegrationRuntimeName PT1M Nee
Taken die in de wachtrij zijn geplaatst voor De Uitvoering van Airflow Integration Runtime AirflowIntegrationRuntimeExecutorQueuedTasks Aantal taken in de wachtrij op de uitvoerders. Tellen Totaal IntegrationRuntimeName PT1M Nee
Uitvoeringstaken voor Airflow Integration Runtime AirflowIntegrationRuntimeExecutorRunningTasks Aantal actieve taken op de uitvoerder. Tellen Totaal IntegrationRuntimeName PT1M Nee
Einde airflow Integration Runtime-taak AirflowIntegrationRuntimeJobEnd Aantal beëindigde <job_name> taak, bijvoorbeeld SchedulerJob en LocalTaskJob. Tellen Totaal IntegrationRuntimeName, Job PT1M Nee
Heartbeatfout voor Airflow Integration Runtime AirflowIntegrationRuntimeJobHeartbeatFailure Aantal mislukte heartbeats voor een <job_name> taak, bijvoorbeeld SchedulerJob en LocalTaskJob. Tellen Totaal IntegrationRuntimeName, Job PT1M Nee
Start van Airflow Integration Runtime-taak AirflowIntegrationRuntimeJobStart Aantal gestarte <job_name> taken, bijvoorbeeld SchedulerJob en LocalTaskJob. Tellen Totaal IntegrationRuntimeName, Job PT1M Nee
Geheugenpercentage airflow Integration Runtime AirflowIntegrationRuntimeMemoryPercentage Geheugenpercentage dat wordt gebruikt door Airflow Integration Runtime-omgevingen. Procent Gemiddeld IntegrationRuntimeName, ContainerName PT1M Ja
Aantal Airflow Integration Runtime-knooppunten AirflowIntegrationRuntimeNodeCount Tellen Gemiddeld IntegrationRuntimeName, ComputeNodeSize PT1M Ja
Operatorfouten van Airflow Integration Runtime AirflowIntegrationRuntimeOperatorFailures Totaal aantal operatorfouten. Tellen Totaal IntegrationRuntimeName, Operator PT1M Nee
Successen van Airflow Integration Runtime-operator AirflowIntegrationRuntimeOperatorSuccesses Totaal aantal geslaagde operatoren. Tellen Totaal IntegrationRuntimeName, Operator PT1M Nee
Open sleuven voor Airflow Integration Runtime-pool AirflowIntegrationRuntimePoolOpenSlots Aantal geopende sleuven in de pool. Tellen Totaal IntegrationRuntimeName, Pool PT1M Nee
In wachtrij geplaatste sleuven voor Airflow Integration Runtime-pool AirflowIntegrationRuntimePoolQueuedSlots Aantal in de wachtrij geplaatste sites in de pool. Tellen Totaal IntegrationRuntimeName, Pool PT1M Nee
Actieve sleuven voor Airflow Integration Integration Runtime-pool AirflowIntegrationRuntimePoolRunningSlots Aantal actieve sleuven in de pool. Tellen Totaal IntegrationRuntimeName, Pool PT1M Nee
Airflow Integration Runtime-pool starving-taken AirflowIntegrationRuntimePoolStarvingTasks Aantal verhongerde taken in de groep. Tellen Totaal IntegrationRuntimeName, Pool PT1M Nee
Kritieke sectie Over airflow Integration Runtime Scheduler bezet AirflowIntegrationRuntimeSchedulerCriticalSectionBusy Het aantal keren dat een scheduler-proces heeft geprobeerd een vergrendeling op de kritieke sectie te krijgen (die nodig is om taken naar de uitvoerder te verzenden) en het proces is vergrendeld door een ander proces. Tellen Totaal IntegrationRuntimeName PT1M Nee
Kritieke sectieduur van Airflow Integration Runtime Scheduler AirflowIntegrationRuntimeSchedulerCriticalSectionDuration Milliseconden die zijn besteed aan de kritieke sectie van een scheduler-lus. Slechts één scheduler kan deze lus tegelijk invoeren. Milliseconden Gemiddeld IntegrationRuntimeName PT1M Nee
Airflow Integration Runtime Scheduler mislukte SLA-e-mailpogingen AirflowIntegrationRuntimeSchedulerFailedSLAEmailAttempts Aantal mislukte SLA-pogingen om e-mailmeldingen te missen. Tellen Totaal IntegrationRuntimeName PT1M Nee
Airflow Integration Runtime Scheduler Heartbeats AirflowIntegrationRuntimeSchedulerHeartbeat Scheduler-heartbeats. Tellen Totaal IntegrationRuntimeName PT1M Nee
Zwevende taken van Airflow Integration Runtime Scheduler geïmplementeerd AirflowIntegrationRuntimeSchedulerOrphanedTasksAdopted Het aantal zwevende taken dat door de Scheduler is aangenomen. Tellen Totaal IntegrationRuntimeName PT1M Nee
Zwevende taken van Airflow Integration Runtime Scheduler gewist AirflowIntegrationRuntimeSchedulerOrphanedTasksCleared Het aantal zwevende taken dat door de Scheduler is gewist. Tellen Totaal IntegrationRuntimeName PT1M Nee
Uitvoerbare taken van Airflow Integration Runtime Scheduler AirflowIntegrationRuntimeSchedulerTasksExecutable Aantal taken dat gereed is voor uitvoering (ingesteld op in wachtrij) met betrekking tot poollimieten, DAG-gelijktijdigheid, uitvoeringsstatus en prioriteit. Tellen Totaal IntegrationRuntimeName PT1M Nee
Airflow Integration Runtime Scheduler-taken die extern zijn gedood AirflowIntegrationRuntimeSchedulerTasksKilledExternally Het aantal taken dat extern is gedood. Tellen Totaal IntegrationRuntimeName PT1M Nee
Airflow Integration Runtime Scheduler-taken die worden uitgevoerd AirflowIntegrationRuntimeSchedulerTasksRunning Tellen Totaal IntegrationRuntimeName PT1M Nee
Airflow Integration Runtime Scheduler Tasks Starving AirflowIntegrationRuntimeSchedulerTasksStarving Aantal taken dat niet kan worden gepland vanwege een open site in de pool. Tellen Totaal IntegrationRuntimeName PT1M Nee
Met Airflow Integration Runtime gestarte taakexemplaren AirflowIntegrationRuntimeStartedTaskInstances Tellen Totaal IntegrationRuntimeName, , DagIdTaskId PT1M Nee
Airflow Integration Runtime-taakexemplaren gemaakt met operator AirflowIntegrationRuntimeTaskInstanceCreatedUsingOperator Aantal taakexemplaren dat is gemaakt voor een specifieke operator. Tellen Totaal IntegrationRuntimeName, Operator PT1M Nee
Duur van taakexemplaren van Airflow Integration Runtime AirflowIntegrationRuntimeTaskInstanceDuration Milliseconden Gemiddeld IntegrationRuntimeName, , DagIdTaskID PT1M Nee
Fouten in taakexemplaren van Airflow Integration Runtime AirflowIntegrationRuntimeTaskInstanceFailures Algemene fouten in taakexemplaren. Tellen Totaal IntegrationRuntimeName PT1M Nee
Airflow Integration Runtime Task Instance voltooid AirflowIntegrationRuntimeTaskInstanceFinished Algemene taakexemplaren zijn voltooid. Tellen Totaal IntegrationRuntimeName, , , DagIdTaskIdState PT1M Nee
Taakexemplaren van Airflow Integration Runtime zijn eerder geslaagd AirflowIntegrationRuntimeTaskInstancePreviouslySucceeded Aantal eerder geslaagde taakexemplaren. Tellen Totaal IntegrationRuntimeName PT1M Nee
Successen van airflow Integration Runtime-taakexemplaren AirflowIntegrationRuntimeTaskInstanceSuccesses Het algehele geslaagde taakexemplaren. Tellen Totaal IntegrationRuntimeName PT1M Nee
Airflow Integration Runtime-taak verwijderd uit DAG AirflowIntegrationRuntimeTaskRemovedFromDAG Aantal taken dat is verwijderd voor een specifieke DAG. (Dat wil gezegd, de taak bestaat niet meer in DAG.) Tellen Totaal IntegrationRuntimeName, DagId PT1M Nee
Airflow Integration Runtime-taak hersteld naar DAG AirflowIntegrationRuntimeTaskRestoredToDAG Aantal taken dat is hersteld voor een specifieke DAG. (Dat wil gezegd, een taakexemplaren die eerder de status VERWIJDERD in de database hebben, wordt toegevoegd aan een DAG-bestand.) Tellen Totaal IntegrationRuntimeName, DagId PT1M Nee
Airflow Integration Runtime activeert geblokkeerde hoofdthread AirflowIntegrationRuntimeTriggersBlockedMainThread Aantal triggers dat de hoofdthread heeft geblokkeerd (waarschijnlijk omdat ze niet volledig asynchroon waren). Tellen Totaal IntegrationRuntimeName PT1M Nee
Triggers voor Airflow Integration Runtime zijn mislukt AirflowIntegrationRuntimeTriggersFailed Aantal triggers dat is opgetreden voordat ze een gebeurtenis konden activeren. Tellen Totaal IntegrationRuntimeName PT1M Nee
Airflow Integration Runtime-triggers die worden uitgevoerd AirflowIntegrationRuntimeTriggersRunning Het aantal triggers dat momenteel wordt uitgevoerd voor een triggerer (beschreven door hostnaam). Tellen Totaal IntegrationRuntimeName PT1M Nee
Airflow Integration Runtime-triggers zijn geslaagd AirflowIntegrationRuntimeTriggersSucceeded Aantal triggers dat ten minste één gebeurtenis heeft geactiveerd. Tellen Totaal IntegrationRuntimeName PT1M Nee
Zombie-taken van Airflow Integration Runtime gedood AirflowIntegrationRuntimeZombiesKilled Zombie-taken zijn gedood. Tellen Totaal IntegrationRuntimeName PT1M Nee

Zie Ondersteunde metrische gegevens voor Microsoft.DataFactory/factory's voor meer informatie.