Partager via

Journaux de diagnostic et métriques du gestionnaire du flux de travail

  • Article

Remarque

Le gestionnaire du flux de travail est propulsé par Apache Airflow.

Cet article vous détaille les étapes pour :

  • Activer les journaux de diagnostic et les métriques pour le gestionnaire du flux de travail dans Azure Data Factory.
  • Visualiser les journaux et les métriques.
  • Exécutez une requête .
  • Analyser les métriques et définir le système d’alerte en cas de défaillance du graphique orienté acyclique (Directed Acyclic Graph/DAG).

Prérequis

Vous avez besoin d’un abonnement Azure. Si vous n’avez pas d’abonnement Azure, créez un compte Azure gratuit avant de commencer.

Activer les journaux de diagnostic et les métriques pour le gestionnaire du flux de travail

  1. Ouvrez votre ressource Data Factory et sélectionnez Paramètres de diagnostic (Diagnostic settings) dans le volet le plus à gauche. Sélectionnez ensuite Ajouter un paramètre de diagnostic.

    Capture d'écran qui montre où se trouve l'onglet Journaux de diagnostic dans Data Factory.

  2. Renseignez le nom des Paramètres de diagnostic. Sélectionnez les catégories suivantes pour les journaux Airflow :

    • Journaux d’exécution des tâches Airflow
    • Journaux worker Airflow
    • Journaux de traitement DAG Airflow
    • Journaux du planificateur Airflow
    • Journaux web Airflow
    • Si vous sélectionnez AllMetrics, plusieurs métriques Data Factory sont mises à votre disposition pour surveiller vos charges de travail ou déclencher des alertes. Ces métriques incluent des métriques pour l’activité Data Factory et pour le runtime d’intégration du gestionnaire du flux de travail, comme AirflowIntegrationRuntimeCpuUsage et AirflowIntegrationRuntimeMemory.

    Capture d'écran qui montre les journaux à sélectionner pour l'environnement Airflow.

  3. Sous Détails de la destination, cochez la case Envoyer à l’espace de travail Log Analytics.

    Capture d'écran qui montre la sélection de l'espace de travail Log Analytics comme destination pour les journaux de diagnostic.

  4. Sélectionnez Enregistrer.

Afficher les journaux d’activité

  1. Après avoir ajouté les paramètres de diagnostic, vous pourrez en trouver la liste dans la section Paramètres de diagnostic. Pour accéder aux journaux et les afficher, sélectionnez l’espace de travail Log Analytics que vous avez configuré.

    Capture d’écran qui montre la sélection de l’URL de l’espace de travail Log Analytics.

  2. Dans la section Optimisez votre expérience Log Analytics (Maximize your Log Analytics experience), cliquez sur Afficher les journaux (View logs).

    Capture d’écran qui montrant la sélection de l’affichage des journaux.

  3. Vous êtes dirigé vers votre espace de travail Log Analytics où vous pouvez voir que les tables que vous avez sélectionnées ont été importées automatiquement dans l’espace de travail.

    Capture d’écran montrant l’Espace de travail Log Analytics.

Autres liens utiles pour le schéma :

Écrivez votre requête.

  1. Commençons par la requête la plus simple, qui retourne tous les enregistrements dans ADFAirflowTaskLogs. Vous pouvez double-cliquer sur le nom de la table pour l’ajouter à une fenêtre de requête. Vous pouvez également entrer le nom de la table directement dans la fenêtre.

    Capture d'écran qui montre une requête Kusto pour récupérer tous les journaux.

  2. Pour affiner vos résultats de recherche, par exemple en les filtrant en fonction d’un ID de tâche spécifique, vous pouvez utiliser la requête suivante :

    ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"

De même, vous pouvez créer des requêtes personnalisées en fonction de vos besoins en utilisant toute table disponible dans LogManagement.

Pour plus d’informations, consultez l’article suivant :

Mesures de surveillance

Data Factory propose des métriques complètes pour les runtimes d'intégration Airflow, ce qui vous permet d’analyser efficacement le niveau de performance de votre runtime d'intégration Airflow, puis de définir des mécanismes d’alerte en fonction de vos besoins.

  1. Ouvrez votre ressource Data Factory.

  2. Dans le volet le plus à gauche, sous la section Analyse (Monitoring), sélectionnez Métriques (Metrics).

    Capture d'écran qui montre où se trouve l'onglet Métriques dans Data Factory.

  3. Sélectionnez la Étendue>Espace de noms de métrique>Métrique que vous souhaitez analyser.

    Capture d'écran qui montre les métriques à sélectionner.

  4. Étudiez le graphique multiligne qui visualise le Pourcentage UC du runtime d'intégration (Integration Runtime CPU Percentage) et la taille du conteneur DAG du runtime d’intégration (Integration Runtime Dag Bag Size).

    Capture d'écran qui montre un graphique multiligne de métriques.

  5. Vous pouvez configurer une règle d’alerte qui se déclenche lorsque vos métriques répondent à des conditions spécifiques. Pour plus d’informations, consultez Présentation des alertes Azure Monitor.

  6. Sélectionnez Enregistrer dans le tableau de bord (Save to dashboard) une fois votre graphique terminé, sinon celui-ci disparaît.

    Capture d'écran qui montre Enregistrer dans le tableau de bord.

Métriques Airflow

Pour voir les mesures disponibles pour le gestionnaire du flux de travail, affichez les mesures Airflow répertoriées dans les Mesures prises en charge.