Surveillance de l’espace de travail pour le travail de copie dans Microsoft Fabric

La surveillance de l’espace de travail vous offre une visibilité au niveau du journal pour tous les éléments d’un espace de travail, y compris les travaux de copie. Il stocke les journaux d’exécution dans un eventhouse de surveillance afin de pouvoir les interroger et les analyser à l’aide de KQL (langage de requête Kusto). Le travail de copie produit la table de surveillance CopyJobActivityRunDetailsLogs , qui enregistre un enregistrement pour chaque table source à destination ou mappage d’objets dans une exécution de travail de copie.

Activer la surveillance de l’espace de travail

  1. Dans votre espace de travail Fabric, sélectionnez Paramètres de l’espace de travail, puis sélectionnez l’onglet Surveillance .

    Capture d’écran des paramètres de l’espace de travail montrant l’option permettant de basculer sur l’analyse de l’espace de travail.

  2. Activez le journal de l’espace de travail. Cela crée un *eventhouse* dans votre espace de travail pour stocker les logs. Fabric crée également une base de données KQL en lecture seule à l’intérieur de l’eventhouse pour la surveillance des données.

    Capture d’écran des éléments générés à partir de l’analyse de l’espace de travail.

  3. Accédez à la base de données KQL. Vous pouvez le trouver dans le lien de base de données de surveillance dans les paramètres de surveillance ou dans votre espace de travail.

Réviser CopyJobActivityRunDetailsLogs

La table CopyJobActivityRunDetailsLogs capture les détails de l’exécution de chaque travail de copie au niveau de l’activité individuelle. Un travail de copie peut contenir plusieurs mappages de table ou d’objets, et chaque mappage génère son propre exécution d’activité. Par exemple, si un travail de copie déplace les données de trois tables sources vers trois tables de destination, la table contient trois enregistrements d’exécution d’activité par exécution de travail , un pour chaque paire source-destination. Utilisez ce tableau pour surveiller l’état d’exécution global, le débit, les métriques de déplacement des données et diagnostiquer les problèmes pour chaque déplacement de données source à destination.

Schéma de CopyJobActivityRunDetailsLogs

Le tableau suivant décrit le schéma de CopyJobActivityRunDetailsLogs:

Nom de la colonne Type de colonne Description
Horodatage datetime Horodatage (UTC) à la génération de l'entrée du journal.
ID d'article ficelle ID unique de l’élément de travail de copie.
ItemKind ficelle Type d’élément qui journalise l’opération.
IitemName ficelle Nom de l'élément de copie de tâche.
CopyJobRunId ficelle Identificateur unique de l’exécution du travail de copie parent.
WorkspaceId ficelle Identificateur unique de l’espace de travail Fabric qui contient l’élément.
Nom de l'espace de travail ficelle Nom de l’espace de travail qui contient l’élément.
IdentifiantCapacité ficelle Identificateur unique de la capacité qui héberge l’élément.
CapacityName ficelle Nom de la capacité qui héberge l’élément.
Région ficelle Région Azure où l’opération a été exécutée.
Identité ficelle Identité associée à l’opération.
CustomerTenantId ficelle ID de locataire du client.
WorkspaceMonitoringTableName ficelle Nom de la table où appartiennent les enregistrements.
Durée en ms long Durée en millisecondes prises par l’exécution de l’activité.
Statut ficelle État de l’exécution de l’activité.
RunId ficelle Identificateur unique du déroulement de l’activité.
Heure planifiée datetime Heure de début planifiée pour l’exécution de l’activité.
StartTime datetime Heure de début réelle de l’exécution de l’activité.
EndTime datetime Heure de fin réelle de l’exécution de l’activité.
SourceConnectionType ficelle Type de connexion de la source de données.
Type de source ficelle Type de la source de données.
SourceName ficelle Nom de la source de données.
DestinationConnectionType ficelle Type de connexion de la destination de données.
DestinationType ficelle Type de destination de données.
DestinationName ficelle Nom de la destination des données.
RowsRead long Nombre de lignes lues à partir de la source.
RowsWritten long Nombre de lignes écrites vers la destination.
FilesRead long Nombre de fichiers lus à partir de la source.
FichiersÉcrits long Nombre de fichiers écrits dans la destination.
DataReadKB long Quantité de données lues en kilo-octets.
DataWrittenKB long Quantité de données écrites en kilo-octets.
DébitOctetsParSec long Débit de données en octets par seconde.
ErrorCode ficelle Code d’erreur si l’exécution de l’activité a échoué.
TypeDeDéfaillance ficelle Type d’échec si l’exécution de l’activité a échoué.

Exemples de requêtes KQL pour CopyJobActivityRunDetailsLogs

Résumer l’activité des tâches de copie par statut

CopyJobActivityRunDetailsLogs
| summarize count() by Status

Identifier les exécutions d’activité de tâche de copie ayant échoué

CopyJobActivityRunDetailsLogs
| where Status == "Failed"
| order by Timestamp desc
| project Timestamp, ItemName, WorkspaceName, StartTime, EndTime, Status, SourceName, DestinationName, ErrorCode, FailureType

Analyser le débit du travail de copie

CopyJobActivityRunDetailsLogs
| where Status == "Succeeded"
| project Timestamp, ItemName, DurationMs, DataReadKB, DataWrittenKB, ThroughputBytesPerSec, RowsRead, RowsWritten
| order by Timestamp desc

Afficher les détails de l’activité pour l’exécution spécifique d'une tâche de copie

CopyJobActivityRunDetailsLogs
| where CopyJobRunId == "<your-copy-job-run-id>"
| project Timestamp, SourceName, DestinationName, Status, DurationMs, RowsRead, RowsWritten, ErrorCode
| order by Timestamp asc

Rechercher les activités ayant échoué et leurs codes d’erreur

CopyJobActivityRunDetailsLogs
| where Status == "Failed"
| project Timestamp, ItemName, SourceName, DestinationName, ErrorCode, FailureType
| order by Timestamp desc

Analyser le déplacement des données par activité

CopyJobActivityRunDetailsLogs
| where Status == "Succeeded"
| project Timestamp, SourceName, DestinationName, RowsRead, RowsWritten, DataReadKB, DataWrittenKB, ThroughputBytesPerSec
| order by DataReadKB desc