Surveiller visuellement Azure Data Factory

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Conseil

Essayez Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !

Une fois que vous avez créé et publié un pipeline dans Azure Data Factory, vous pouvez l’associer à un déclencheur ou lancer manuellement une exécution ad hoc. Vous pouvez surveiller l’ensemble de vos exécutions de pipeline en mode natif dans l’expérience utilisateur d’Azure Data Factory. Pour ouvrir l’expérience de surveillance, sélectionnez la vignette Surveiller et gérer dans le panneau de fabrique de données du Portail Azure. Si vous êtes déjà dans l’expérience utilisateur ADF, cliquez sur l’icône Surveiller dans la barre latérale gauche.

Par défaut, toutes les exécutions de fabrique de données sont affichées dans le fuseau horaire local du navigateur. Si vous changez le fuseau horaire, tous les champs d’heure et de date sont alignés sur le fuseau horaire sélectionné.

Surveiller des exécutions de pipelines

L’affichage de la surveillance par défaut est la liste des exécutions de pipeline déclenchées dans la période sélectionnée. Vous pouvez modifier l’intervalle de temps et filtrer par état, nom de pipeline ou annotation. Pointez sur l’exécution du pipeline spécifique pour recevoir des actions spécifiques de l’exécution, telles que réexécuter, et le rapport consommation.

La grille d’exécution du pipeline contient les colonnes suivantes :

Nom de la colonne	Description
Nom du pipeline	Nom du pipeline
Démarrage de l’exécution	Date et heure de début de l’exécution de pipeline (MM/JJ/AAAA, HH:MM:SS AM/PM)
Fin de l’exécution	Date et heure de fin de l’exécution de pipeline (MM/JJ/AAAA, HH:MM:SS AM/PM)
Duration	Durée d’exécution (HH:MM:SS)
Déclenché par	Nom du déclencheur qui a démarré le pipeline
Statut	Échec, Réussite, En cours, Annulée ou En file d'attente
Annotations	Balises filtrables associées à un pipeline
Paramètres	Paramètres d’exécution de pipeline (paires nom/valeur)
Error	En cas d’échec du pipeline, l’erreur d’exécution
Exécuter	Original, Réexécuter ou Réexécuter (exécution la plus récente)
ID d’exécution	ID de l’exécution de pipeline

Vous devez cliquer manuellement sur le bouton Actualiser pour actualiser la liste des exécutions de pipelines et d’activités. L’actualisation automatique n’est pas prise en charge actuellement.

Pour afficher les résultats d’un débogage, sélectionnez l’onglet Débogage.

Surveiller des exécutions d’activités

Pour obtenir une vue détaillée des activités individuelles d’un pipeline spécifique, cliquez sur le nom de celui-ci.

La liste montre les exécutions d’activités correspondant à chaque exécution de pipeline. Pointez sur l’activité spécifique pour obtenir des informations spécifiques de son exécution, telles que l’entrée JSON, la sortie JSON et des expériences de surveillance détaillées spécifiques de l’activité.

Nom de la colonne	Description
Nom de l’activité	Nom de l’activité dans le pipeline
Type d’activité	Type de l’activité, par exemple Copy, ExecuteDataFlow ou AzureMLExecutePipeline
Actions	Icônes qui vous permettent de voir des informations d’entrée JSON, des informations de sortie JSON ou des expériences de surveillance détaillées sur les activités
Démarrage de l’exécution	Date et heure de début de l’exécution de l’activité (MM/JJ/AAAA, HH:MM:SS AM/PM)
Duration	Durée d’exécution (HH:MM:SS)
Statut	Échec, Réussite, En cours ou Annulée
Runtime d’intégration	Runtime d’intégration sur lequel l’activité a été exécutée
Propriétés de l’utilisateur	Propriétés définies par l’utilisateur de l’activité
Error	En cas d’échec de l’activité, l’erreur d’exécution
ID d’exécution	ID de l’exécution d’activité

En cas d’échec d’une activité, vous pouvez voir le message d’erreur détaillé en cliquant sur l’icône dans la colonne d’erreur.

Promouvoir les propriétés de l’utilisateur à superviser

Promouvez n’importe quelle propriété de l’activité de pipeline en tant que propriété d’utilisateur pour la surveiller. Ainsi, vous pouvez promouvoir les propriétés Source et Destination de l’activité de copie dans votre pipeline en tant que propriétés d’utilisateur.

Notes

Vous pouvez promouvoir jusqu’à cinq propriétés de l’activité de pipeline en tant que propriétés d’utilisateur.

Une fois les propriétés d’utilisateur créées, vous pouvez les superviser dans les listes de supervision.

Si la source de l’activité de copie est un nom de table, vous pouvez superviser le nom de table source en tant que colonne dans la liste des exécutions d’activités.

Réexécuter des pipelines et activités

Le comportement de réexécution des activités de conteneur est le suivant :

• Wait : l’activité se comporte comme avant.
• Set Variable : l’activité se comporte comme avant.
• Filter : l’activité se comporte comme avant.
• L’activité Until évalue l’expression et exécute une boucle jusqu’à ce que la condition soit satisfaite. Les activités internes peuvent toujours être ignorées en fonction des règles de réexécution.
• L’activité Foreach exécute toujours une boucle sur les éléments qu’elle reçoit. Les activités internes peuvent toujours être ignorées en fonction des règles de réexécution.
• If and switch : les conditions sont toujours évaluées. Toutes les activités internes seront évaluées. Les activités internes peuvent toujours être ignorées en fonction des règles de réexécution, mais les activités telles que Exécuter le pipeline réexécutent.
• Execute pipeline activity : le pipeline enfant est déclenché, mais toutes les activités du pipeline enfant peuvent quand même être ignorées en fonction des règles de réexécution.

Pour réexécuter un pipeline depuis le début, pointez dessus, puis sélectionnez Réexécuter. Si vous sélectionnez plusieurs pipelines, vous pouvez utiliser le bouton Réexécuter pour les exécuter tous.

Si vous souhaitez réexécuter un pipeline à partir d’un point spécifique, vous pouvez le faire à partir de l’affichage des exécutions d’activité. Sélectionnez l’activité à partir de laquelle vous souhaitez, puis choisissez Réexécuter à partir d’une activité.

Vous pouvez également réexécuter un pipeline et modifier les paramètres. Sélectionnez le bouton Nouveaux paramètres pour modifier les paramètres.

Remarque

La réexécution d’un pipeline avec de nouveaux paramètres est considérée comme une nouvelle exécution de pipeline. Elle ne s’affiche donc pas sous les regroupements de réexécution pour une exécution de pipeline.

Réexécuter à partir d’une activité ayant échoué

Si une activité échoue, expire ou est annulée, vous pouvez réexécuter le pipeline à partir de cette activité ayant échoué en sélectionnant Réexécuter à partir d’une activité ayant échoué.

Voir l’historique des réexécutions

Vous pouvez voir l’historique des réexécutions de toutes les exécutions du pipeline en mode Liste.

Vous pouvez également voir l’historique des réexécutions d’une exécution de pipeline spécifique.

Surveiller la consommation

Vous pouvez voir les ressources qu’une exécution de pipeline utilise en cliquant sur l’icône de consommation en regard de l’exécution.

Un clic sur l’icône ouvre un rapport consommation des ressources utilisées pour l’exécution de ce pipeline.

Vous pouvez connecter ces valeurs à la Calculatrice de prix Azure pour estimer le coût d’exécution du pipeline. Pour plus d’informations sur la tarification d’Azure Data Factory, consultez Compréhension de la tarification.

Notes

Ces valeurs retournées par la calculatrice de prix constituent une estimation. Celle-ci ne reflète pas le montant exact qu’Azure Data Factory vous facturera

Vues Gantt

Un diagramme de Gantt est un affichage qui vous permet de voir l’historique des exécutions sur un intervalle de temps. En basculant vers un affichage de Gantt, vous pouvez voir toutes les exécutions de pipeline regroupées par nom, affichées sous forme de barres proportionnelles au temps d’exécution. Vous pouvez également regrouper par annotations/balises que vous avez créées sur votre pipeline. L’affichage de Gantt est également disponible au niveau de l’exécution de l’activité.

La longueur de la barre indique la durée du pipeline. Vous pouvez également sélectionner la barre pour voir plus de détails.

Alertes

Vous pouvez déclencher des alertes sur les métriques prises en charge dans Data Factory. Pour commencer, sélectionnez Superviser>Alertes et métriques dans la page de supervision de Data Factory.

Pour voir une présentation de sept minutes et la démonstration de cette fonctionnalité, regardez la vidéo suivante :

Créez des alertes

1. Sélectionnez Nouvelle règle d’alerte pour créer une alerte.

   

2. Spécifiez le nom de la règle et sélectionnez la gravité de l’alerte.

   

3. Sélectionnez les critères d’alerte.

   

   

   

   Vous pouvez créer des alertes sur différentes métriques, notamment celles relatives au nombre/à la taille des entités ADF, aux exécutions d’activité/de pipeline/de déclencheur, à l’utilisation de l’UC/à la mémoire/au nombre de nœuds/à la file d’attente du runtime d’intégration (IR), ainsi qu’aux exécutions de packages SSIS et aux opérations de démarrage/d’arrêt de l’IR SSIS.

4. Configurez la logique d’alerte. Vous pouvez créer une alerte pour la métrique sélectionnée pour tous les pipelines et activités correspondantes. Vous pouvez également sélectionner un type d’activité, un nom d’activité, un nom de pipeline ou un type d’échec particulier.

   

5. Configurez les notifications vocales, push, par e-mail et par SMS pour l’alerte. Choisissez ou créez un groupe d’actions pour les notifications d’alerte.

   

   

6. Créez la règle d’alerte

   

Contenu connexe

Pour en savoir plus sur la supervision et la gestion des pipelines, consultez l’article Surveiller et gérer les pipelines par programmation.