Surveiller le remplissage des cartes de données dans Microsoft Purview

Article
08/23/2023

Dans Microsoft Purview, vous pouvez analyser différents types de sources de données et afficher les status d’analyse au fil du temps. Vous pouvez également connecter d’autres services à Microsoft Purview et afficher les tendances des ressources/relations ingérées. Cet article explique comment surveiller et obtenir une vue d’ensemble de la population de cartes de données.

Surveiller les exécutions d’analyse

Ouvrez le portail de gouvernance Microsoft Purview en :
- Accédez directement à https://web.purview.azure.com votre compte Microsoft Purview et sélectionnez-les.
- Ouverture du Portail Azure, recherchez et sélectionnez le compte Microsoft Purview. Sélectionnez le bouton Portail de gouvernance Microsoft Purview .
Ouvrez votre compte Microsoft Purview et sélectionnez Data Map ->Monitoring. Pour accéder à cette page, vous devez disposer du rôle d’administrateur de source de données sur n’importe quelle collection. Et vous verrez les exécutions d’analyse qui appartiennent aux collections sur lesquelles vous disposez du privilège d’administrateur de source de données.
Les indicateurs de performance clés de haut niveau indiquent le nombre total d’exécutions d’analyse au cours d’une période donnée. La période est définie par défaut sur les 30 derniers jours. Vous pouvez également choisir de sélectionner les sept derniers jours. En fonction du filtre de temps sélectionné, vous pouvez voir la distribution des exécutions d’analyse réussies, ayant échoué, annulées et en cours par semaine ou par jour dans le graphique.
En bas du graphique, vous trouverez un lien Afficher plus pour explorer plus en détail. Le lien ouvre la page Analyser status. Ici, vous pouvez voir un nom d’analyse et le nombre de fois où elle a réussi, échoué ou a été annulée au cours de la période. Vous pouvez également filtrer la liste par types de sources.
Vous pouvez explorer une analyse spécifique plus en détail en sélectionnant le nom de l’analyse. Il vous connecte à la page d’historique d’analyse, où vous trouverez la liste des ID d’exécution avec plus de détails sur l’exécution.
Vous pouvez cliquer sur l’ID d’exécution pour case activée plus sur les détails de l’exécution d’analyse.

Limitations connues :

Actuellement, cette expérience de surveillance n’inclut pas les informations suivantes. Vous pouvez case activée les détails de l’exécution d’analyse correspondante.

La status et la durée incluent uniquement la phase d’analyse (découverte à partir de la source), mais pas la phase d’ingestion. Vous pouvez voir une différence par rapport au panneau détails de l’exécution de l’analyse.
Les exécutions d’analyse d’extraction de traçabilité pour Azure SQL base de données ne sont pas couvertes.
Pour les analyses de l’espace de travail Azure Synapse Analytics, de l’abonnement/groupe de ressources Azure et du compte AWS, il capture uniquement les status/nombre d’exécutions d’analyse parentes, mais pas les exécutions d’analyse enfant par ressource.

Détails de l’exécution de l’analyse

Vous pouvez accéder à l’historique d’analyse des exécutions pour une analyse donnée à partir de différents emplacements :

Accédez à Data Map ->Monitoring comme décrit dans la section Surveiller les exécutions d’analyse .
Accédez à Data Map ->Sources -> sélectionnez la source de données souhaitée -> consultez Analyses, Analyses récentes ou Analyses récentes ayant échoué.
Accédez à Data Map ->Collections -> sélectionnez la collection souhaitée ->Scans -> sélectionnez le nom d’analyse que vous souhaitez afficher plus.

La conservation de l’historique des exécutions d’analyse est de 90 jours.

Vous pouvez cliquer sur l’ID d’exécution pour case activée plus sur les détails de l’exécution d’analyse :

ID d’exécution : GUID utilisé pour identifier l’exécution d’analyse donnée.
Type d’exécution : analyse complète ou incrémentielle.

La section Analyse résume les métriques de la phase de découverte que Purview connecte à la source, extrait les métadonnées/traçabilité et classifie les données.

Analyse status :

Statut	Description
Terminé	La phase d’analyse réussit.
Échec	La phase d’analyse échoue. Vous pouvez case activée les détails de l’erreur en cliquant sur le lien « Plus d’informations » en regard de celui-ci.
Annulé	L’exécution de l’analyse est annulée par l’utilisateur.
En cours	L’analyse est en cours d’exécution.
En file d’attente	L’exécution de l’analyse attend la ressource du runtime d’intégration disponible. Si vous utilisez le runtime d’intégration auto-hébergé, notez que chaque nœud peut exécuter un certain nombre d’analyses simultanées en même temps en fonction des spécifications de votre ordinateur (processeur et mémoire). D’autres analyses sont dans les status en file d’attente.
Étranglé	L’exécution de l’analyse est limitée. Cela signifie que ce compte Microsoft Purview a actuellement plus d’exécutions d’analyse en cours que le nombre maximal autorisé de simultanés. En savoir plus sur la limite ici. Cette exécution d’analyse particulière est en attente et sera exécutée une fois vos autres analyses en cours terminées.

L’exécution de l’analyse n’est pas facturée pendant la status « Limitée » ou « Mise en file d’attente ».

Type d’analyse : analyse manuelle ou planifiée.
Ressources découvertes : nombre de ressources énumérées à partir de la source. Pour les analyses complètes et incrémentielles, il inclut toutes les ressources dans l’étendue configurée, qu’il s’agisse de ressources existantes ou de ressources nouvellement créées/mises à jour depuis la dernière exécution de l’analyse. Bien que pour l’analyse incrémentielle, les métadonnées détaillées sont extraites uniquement pour les ressources nouvellement créées ou mises à jour en outre.
Ressources classifiées : nombre de ressources échantillonnées pour classifier les données, que les ressources aient une classification correspondante ou non. Il s’agit d’un sous-ensemble des ressources découvertes en fonction du mécanisme d’échantillonnage. Pour l’analyse incrémentielle, seules les ressources nouvellement créées ou mises à jour peuvent être sélectionnées pour la classification.
Durée : durée de la phase d’analyse et heure de début/fin.

La section Ingestion des données résume les métriques pour la phase d’ingestion dans laquelle Purview remplit le mappage de données avec les métadonnées et la relation identifiées.

Status d’ingestion :

Statut	Description
Terminé	Toutes les ressources et relations sont correctement ingérées dans le mappage de données.
Terminé avec des exceptions (précédent « Partiellement terminé »)	Une partie des ressources et relations est ingérée dans le mappage de données, tandis que certaines échouent.
Échec	La phase d’ingestion échoue.
Annulé	L’exécution de l’analyse étant annulée par l’utilisateur, l’ingestion est annulée.
En cours	L’ingestion est en cours d’exécution.
En file d’attente	L’ingestion attend la ressource de service disponible ou attend l’analyse pour découvrir les métadonnées.

Ressources ingérées : nombre de ressources ingérées dans le mappage de données. Pour l’analyse incrémentielle, elle inclut uniquement les ressources nouvellement créées ou mises à jour, auquel cas peut être inférieure au nombre de « ressources découvertes ». Lors de l’analyse d’une source basée sur un fichier, il s’agit du nombre de ressources brutes avant l’agrégation du jeu de ressources.
Relations ingérées : nombre de relations ingérées dans le mappage de données. Il inclut la traçabilité et d’autres relations telles que les relations de clé étrangère.
Durée : durée d’ingestion et heure de début/fin.

Afficher le journal des exceptions (préversion)

Lorsque certaines ressources ou certaines relations ne parviennent pas à ingérer dans le mappage de données pendant l’analyse, par exemple, l’ingestion status se termine comme terminée avec des exceptions, vous pouvez voir un bouton « Télécharger le journal » dans le panneau détails de l’exécution de l’analyse. Il fournit des fichiers journaux d’exception qui capturent les détails des échecs.

Le tableau suivant présente le schéma d’un fichier journal.

Colonne	Description
TimeStamp	Horodatage UTC lorsque l’opération d’ingestion se produit.
ErrorCode	Code d’erreur de l’exception.
OperationItem	Identificateur de la ressource/relation ayant échoué, généralement en utilisant le nom complet.
Message	Plus d’informations sur la ressource/la relation qui n’a pas pu être ingérée pour quelle raison. En cas d’échec d’ingestion pour le jeu de ressources, il peut s’appliquer à plusieurs ressources correspondant au même modèle de nommage, et le message inclut le nombre affecté.

Actuellement, le journal des exceptions n’inclut pas les échecs survenus pendant la phase d’analyse (découverte des métadonnées). Il sera ajouté ultérieurement.

Surveiller les liens

Vous pouvez connecter d’autres services à Microsoft Purview pour établir un « lien », qui rendra les métadonnées et la traçabilité des ressources de ce service disponibles pour Microsoft Purview. Actuellement, le lien est pris en charge pour Azure Data Factory et Azure Synapse Analytics.

Pour surveiller les ressources et la relation ingérées sur les liens :

Accédez à votre compte Microsoft Purview -> ouvrez le portail de gouvernance Microsoft Purview ->Data Map ->Monitoring ->Links. Vous devez disposer du rôle d’administrateur de source de données sur n’importe quel regroupement pour accéder à l’onglet Analyse. Et vous verrez les résultats qui appartiennent aux collections sur lesquelles vous disposez du privilège d’administrateur de source de données. L’autorisation sur la collection racine est nécessaire pour surveiller les liens Azure Data Factory et Azure Synapse Analytics.
Vous pouvez voir les indicateurs de performance clés de haut niveau, y compris le nombre total de sources, le nombre de ressources ingérées et la relation (traçabilité), suivis de graphiques de tendance au fil du temps. Vous pouvez appliquer des filtres supplémentaires sur les éléments suivants pour affiner les résultats :
- Type de source
- Nom de la source
- Plage de dates : la valeur par défaut est 30 jours. Vous pouvez également choisir les sept derniers jours ou une plage de dates personnalisée. La rétention est de 45 jours.
Les métriques sont signalées jusqu’à la date et heure affichée dans le coin supérieur droit. Et l’agrégation se produit toutes les heures.
En bas du graphique, vous trouverez un lien Afficher plus pour explorer plus en détail. Dans la page Lien status, vous pouvez voir une liste de noms de sources, ainsi que le type de source, les ressources ingérées, la relation ingérée et la date et l’heure de la dernière exécution. Les filtres de la page précédente sont reportés et vous pouvez filtrer la liste par type de source, nom de source et plage de dates.
Vous pouvez explorer chaque source pour afficher les détails du niveau suivant en cliquant sur le nom de la source. Par exemple, pour Azure Data Factory, il montre comment chaque activité de <pipeline_name>/<activity_name>pipeline signale les ressources et la relation à Microsoft Purview, avec le nom au format .

Limitations connues

Pour Azure Data Factory et Azure Synapse Analytics, cette surveillance de lien capture actuellement les ressources et la relation générées à partir de l’activité de copie, mais pas les activités de flux de données et SSIS.
L’agrégation et le filtre de date sont en heure UTC.

Les analyses ne s’exécutent plus

Si votre analyse Microsoft Purview a été utilisée pour s’exécuter correctement, mais échoue maintenant, case activée les éléments suivants :

Vérifiez d’abord le message d’erreur pour afficher les détails de l’échec.
Les informations d’identification de votre ressource ont-elles été modifiées ou ont-elles fait l’objet d’une rotation ? Si c’est le cas, vous devez effectuer une mise à jour pour que votre analyse utilise les informations d’identification correctes.
Une Azure Policy empêche-t-elle les mises à jour des comptes de stockage ? Si tel est le cas, suivez le guide des balises d’exception Microsoft Purview pour créer une exception pour les comptes Microsoft Purview.
Utilisez-vous un runtime d’intégration auto-hébergé ? Vérifiez qu’il est à jour avec le logiciel le plus récent et qu’il est connecté à votre réseau.

Partager via