Partager via

Surveiller l’activité du compte avec des tables système

Cet article explique le concept des tables système dans Azure Databricks et met l’accent sur les ressources que vous pouvez utiliser pour tirer le meilleur parti des données de vos tables système.

Que sont les tables système ?

Les tables système sont un entrepôt analytique hébergé par Azure Databricks des données opérationnelles de votre compte qui se trouve dans le catalogue system. Les tables système peuvent être utilisées pour l’observabilité historique de votre compte.

Remarque

Pour obtenir de la documentation sur system.information_schema, consultez Schéma d’informations.

Spécifications

  • Pour accéder aux tables système, votre espace de travail doit être activé pour le catalogue Unity. Pour plus d’informations, consultez Tables système Access.
  • Les tables système ne sont pas disponibles dans les régions suivantes :
    • Régions Azure Chine
    • Régions Azure Government
    • Ouest de l’Inde
    • Suisse Ouest

Quelles tables système sont disponibles ?

Actuellement, Azure Databricks héberge les tables système suivantes :

Table de charge de travail Descriptif Emplacement Prend en charge la diffusion en continu Période de conservation gratuite Inclut les données globales ou régionales
Journaux d’audit (préversion publique) Inclut des enregistrements pour tous les événements d’audit provenant des espaces de travail de votre région. Pour obtenir la liste des événements d’audit disponibles, consultez Référence du journal de diagnostic. system.access.audit Oui 365 jours Régionales pour les événements au niveau de l’espace de travail. Globales pour les événements au niveau du compte.
Traçabilité de table Inclut un enregistrement pour chaque événement de lecture ou d'écriture sur une table ou un chemin d'accès dans Unity Catalog. system.access.table_lineage Oui 365 jours Régional
Traçabilité des colonnes Inclut un enregistrement pour chaque événement de lecture ou d’écriture sur une colonne de Unity Catalog (mais n’inclut pas d’événements qui n’ont pas de source). system.access.column_lineage Oui 365 jours Régional
Utilisation facturable Inclut des enregistrements pour toutes les utilisations facturables sur votre compte. system.billing.usage Oui 365 jours Mondial
Tarification Journal historique de la tarification de la référence SKU. Un enregistrement est ajouté chaque fois que le prix d’une référence SKU change. system.billing.list_prices Non Indéfinie Mondial
clusters Table de dimension à variation lente qui contient l’historique complet des configurations d’ordinateur au fil du temps pour tous les clusters. system.compute.clusters Oui 365 jours Régional
Chronologie des nœuds Capture les métriques d’utilisation de vos ressources de calcul à usage unique et de travail. system.compute.node_timeline Oui 90 jours Régional
Types de nœuds Capture les types de nœud actuellement disponibles avec leurs informations matérielles de base. system.compute.node_types Non Indéfinie Régional
Entrepôts SQL (préversion publique) Contient l’historique complet des configurations au fil du temps pour n’importe quel entrepôt SQL. system.compute.warehouses Oui 365 jours Régional
Événements SQL Warehouse (préversion publique) Capture les événements liés aux entrepôts SQL. Par exemple, le démarrage, l’arrêt, l’exécution, le scale-up et le scale-down. system.compute.warehouse_events Oui 365 jours Régional
Travaux (préversion publique) Effectue le suivi de tous les travaux créés dans le compte. system.lakeflow.jobs Oui 365 jours Régional
Tâches de travail (préversion publique) Effectue le suivi de toutes les tâches de travail qui s’exécutent dans le compte. system.lakeflow.job_tasks Oui 365 jours Régional
Chronologie de l’exécution des travaux (version préliminaire publique) Effectue le suivi des heures de début et de fin des exécutions de travaux. system.lakeflow.
job_run_timeline		 Oui 365 jours Régional
Chronologie des tâches de travail (préversion publique) Effectue le suivi des heures de début et de fin et des ressources de calcul utilisées pour les exécutions de tâches de travail. system.lakeflow.
job_task_run_timeline		 Oui 365 jours Régional
Pipelines (préversion publique) Effectue le suivi de tous les pipelines créés dans le compte. system.lakeflow.pipelines Oui 365 jours Régional
Événements d’entonnoir de la Place de marché (préversion publique) Inclut les données d’impression du consommateur et de synthèse pour vos annonces. system.marketplace.listing_
funnel_events		 Oui 365 jours Régional
Accès aux annonces de la place de marché (préversion publique) Inclut les informations du consommateur pour les événements terminés request data ou get data sur vos référencements. system.marketplace.listing_
access_events		 Oui 365 jours Régional
Optimisation prédictives (préversion publique) Suit l’historique des opérations de la fonction d’optimisation prédictive. system.storage.predictive_
optimization_operations_history		 Non 180 jours Régional
Événements d’assistant Databricks (préversion publique) Effectue le suivi des messages utilisateur envoyés à l’Assistant Databricks. system.access.assistant_events Non 365 jours Régional
Historique des requêtes (préversion publique) Effectue la capture des enregistrements de toutes les requêtes exécutées sur des entrepôts SQL et du calcul informatique sans serveur pour les notebooks et les travaux. system.query.history Non 180 jours Régional
Événements de salle blanche (préversion publique) Capture les événements liés aux salles blanches. system.access.clean_room_events Oui 365 jours Régional
Utilisation des points de terminaison de mise en service de modèles (préversion publique) Capturent le nombre de jetons pour chaque requête vers un point de terminaison de mise en service de modèle et ses réponses. Pour capturer l’utilisation du point de terminaison dans cette table, vous devez activer le suivi de l’utilisation sur votre point de terminaison de service. system.serving.endpoint_usage. Oui 90 jours Régional
Données des points de terminaison de mise en service de modèles (préversion publique) Table de dimension à variation lente qui stocke les métadonnées pour chaque modèle de base servi dans un point de terminaison de mise en service de modèles. system.serving.served_entities Oui 365 jours Régional
Événements d’accès réseau (aperçu public) Table qui enregistre un événement pour chaque fois que l’accès à Internet est refusé à partir de votre compte. system.access.outbound_network Oui 365 jours Régional
Événements de matérialisation des données de partage delta Capture les événements de matérialisation des données créés à partir d'une vue, d'une vue matérialisée et de tables de flux partagées. system.sharing.materialization_history Oui 365 jours Régionales pour les événements au niveau de l’espace de travail.
Espaces de travail (préversion publique) La table workspaces_latest est une table de dimensions à variation lente des métadonnées pour tous les espaces de travail du compte. system.access.workspaces_latest Non Indéfinie Mondial

Les tables d’utilisation facturable et de tarification sont gratuites. Les tables en préversion publique sont également gratuites pendant la préversion, mais peuvent entraîner des frais à l’avenir.

Remarque

Vous pouvez voir d’autres tables système dans votre compte en plus de celles répertoriées ci-dessus. Ces tables sont actuellement en préversion privée et sont vides par défaut. Si vous souhaitez utiliser l’une de ces tables, contactez l’équipe de votre compte Databricks.

Relations entre les tables système

Le diagramme de relation d’entité suivant décrit la façon dont les tables système actuellement disponibles se rapportent les unes aux autres. Ce diagramme met en évidence les clés primaires et étrangères de chaque table.

Diagramme de relation d’entité des tables système Databricks

Accéder aux tables système

Étant donné que les tables système sont régies par unity Catalog, vous devez disposer d’au moins un espace de travail Unity Catalog activé dans votre compte pour accéder aux tables système de votre compte. Les tables système incluent des données de tous les espaces de travail de votre compte, mais elles ne sont accessibles qu’à partir d’un espace de travail compatible avec le catalogue Unity.

Le metastore doit se trouver sur Unity Catalog Privilege Model Version 1.0 pour accéder aux tables système. Consultez Mise à niveau vers l’héritage des privilèges.

Remarque

Le marketplace schéma doit être activé manuellement. D’autres schémas sont activés par défaut.

Octroyer un accès aux tables système

L’accès aux tables système est régi par Unity Catalog. Aucun utilisateur n’a accès à ces schémas système par défaut. Pour accorder l'accès, un utilisateur qui est à la fois un administrateur de metastore et un administrateur de compte doit accorder les permissions USE et SELECT sur les schémas système. Consultez Gérer les privilèges dans Unity Catalog.

Les tables système sont en lecture seule et ne peuvent pas être modifiées.

Remarque

Si votre compte a été créé après le 9 novembre 2023, vous n’avez peut-être pas le rôle d’administrateur de metastore par défaut. Pour plus d’informations, consultez Prise en main du catalogue Unity.

Les tables système contiennent-elles des données de tous les espaces de travail de votre compte ?

Les tables système contiennent des données opérationnelles pour tous les espaces de travail de votre compte déployés dans la même région cloud. Certaines tables incluent des données globales. Pour plus d’informations, consultez la liste des tables disponibles.

Bien que les tables système ne soient accessibles qu’à l’aide d’un espace de travail de catalogue Unity, elles incluent des données opérationnelles provenant d’espaces de travail de catalogue non Unity dans votre compte.

Où sont stockées les données de tables système ?

Les données de la table système de votre compte sont stockées dans un compte de stockage hébergé par Azure Databricks situé dans la même région que votre metastore. Les données sont partagées avec vous en toute sécurité à l’aide de Delta Sharing.

Chaque table a une période de rétention de données gratuite. Pour plus d’informations sur l’extension de la période de rétention, contactez votre équipe de compte Azure Databricks.

Où se trouvent les tables système dans l’explorateur de catalogues ?

Les tables système de votre compte se trouvent dans un catalogue appelé system, qui est inclus dans chaque metastore Unity Catalog. Dans le system catalogue, vous verrez des schémas tels que access et billing qui contiennent les tables système.

Considérations relatives à la diffusion en continu de tables système

Azure Databricks utilise Delta Sharing pour partager des données de table système avec des clients. Tenez compte des considérations suivantes lors de la diffusion en continu avec Delta Sharing :

  • Si vous utilisez la diffusion en continu avec des tables système, définissez l’option skipChangeCommitssur true. Cela garantit que le travail de diffusion en continu n'est pas interrompu par les suppressions dans les tables système. Consultez Ignorer les mises à jour et les suppressions.
  • Trigger.AvailableNow n’est pas pris en charge avec la diffusion en continu Delta Sharing. Il sera converti en Trigger.Once.

Si vous utilisez un déclencheur dans votre tâche de streaming et que vous constatez qu’il ne rattrape pas la dernière version de la table système, Databricks recommande d’augmenter la fréquence d'exécution planifiée de la tâche.

Lire les modifications incrémentielles des tables système de diffusion en continu

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Problèmes connus

  • De nouvelles colonnes peuvent être ajoutées à des tables système existantes à tout moment. Les requêtes qui s’appuient sur un schéma fixe peuvent s’interrompre si de nouvelles colonnes sont introduites. Les colonnes existantes ne changent pas ou ne seront pas supprimées. Si vous écrivez des données de table système dans une autre table cible, envisagez d’activer l’évolution du schéma.
  • Aucune prise en charge de la surveillance en temps réel. Les données sont mises à jour tout au long de la journée. Si vous ne voyez pas d'enregistrement pour un événement récent, revenez plus tard.
  • Le schéma de table système prend en charge la __internal_logging journalisation des charges utiles à l’aide de tables d’inférence compatibles avec AI Gateway pour les modèles externes et les charges de travail à débit provisionné. Ce schéma est visible pour les administrateurs de compte, mais il ne peut pas être activé et ne doit pas être utilisé pour les flux de travail clients.
  • Pour activer les tables système, vous devrez peut-être accorder l'accès réseau au point de terminaison de stockage Blob des tables système. Pour afficher la liste du point de terminaison de stockage des tables système de chaque région, consultez les adresses IP du point de terminaison de stockage.
  • Les schémas système system.operational_data et system.lineage sont déconseillés et contiendront des tables vides.