Remarque
L’accès à cette page requiert une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page requiert une autorisation. Vous pouvez essayer de modifier des répertoires.
Cet article fournit un aperçu de la table du système d'utilisation facturable, comprenant le schéma et des exemples de requêtes. Avec les tables système, les données d’utilisation facturables de votre compte sont centralisées et routées vers toutes les régions. Vous pouvez donc afficher l’utilisation globale de votre compte à partir de la région dans laquelle se trouve votre espace de travail.
Pour plus d’informations sur l’utilisation de ce tableau pour surveiller les coûts et les exemples de requêtes, consultez Surveiller les coûts à l’aide de tables système.
Chemin d’accès de la table : cette table système se trouve à l’emplacement system.billing.usage.
Schéma du tableau d'utilisation facturable
La table système des utilisations facturables utilise le schéma suivant :
| Nom de colonne | Type de données | Description | Example |
|---|---|---|---|
record_id |
string | ID unique pour cet enregistrement d’utilisation | 11e22ba4-87b9-4cc2-9770-d10b894b7118 |
account_id |
string | ID du compte pour lequel ce rapport a été généré | 23e22ba4-87b9-4cc2-9770-d10b894b7118 |
workspace_id |
string | ID de l’espace de travail associé à cette utilisation | 1234567890123456 |
sku_name |
string | Nom du SKU | STANDARD_ALL_PURPOSE_COMPUTE |
cloud |
string | Cloud associé à cette utilisation. Les valeurs possibles sont AWS, AZURE et GCP. |
AWS, AZURE ou GCP |
usage_start_time |
timestamp | L’heure de début pertinente pour cet enregistrement d’utilisation. Les informations de fuseau horaire sont enregistrées à la fin de la valeur, où +00:00 représente le fuseau horaire UTC. |
2023-01-09 10:00:00.000+00:00 |
usage_end_time |
timestamp | L’heure de fin pertinente pour cet enregistrement d’utilisation. Les informations de fuseau horaire sont enregistrées à la fin de la valeur, où +00:00 représente le fuseau horaire UTC. |
2023-01-09 11:00:00.000+00:00 |
usage_date |
date | Date de l'enregistrement d'utilisation, ce champ peut être utilisé pour une agrégation plus rapide par date | 2023-01-01 |
custom_tags |
map | Balises personnalisées associées à l’enregistrement d’utilisation | { “env”: “production” } |
usage_unit |
string | Unité dans laquelle cette utilisation est mesurée | DBU |
usage_quantity |
decimal | Nombre d’unités consommées pour cet enregistrement | 259.2958 |
usage_metadata |
struct | Métadonnées fournies par le système sur l'utilisation, y compris les ID des ressources de calcul et des tâches (le cas échéant). Consultez les métadonnées d’utilisation. | Afficher les métadonnées d’utilisation |
identity_metadata |
struct | Métadonnées fournies par le système sur les identités impliquées dans l’utilisation. Voir Métadonnées d’identité. | Voir les métadonnées d’identité |
record_type |
string | Indique si l’enregistrement est original, une rétraction ou une réitération. La valeur est ORIGINAL sauf si l’enregistrement est lié à une correction. Voir Type d’enregistrement. |
ORIGINAL |
ingestion_date |
date | Date à laquelle l’enregistrement a été ingéré dans la usage table |
2024-01-01 |
billing_origin_product |
string | Produit à l’origine de l’utilisation. Certains produits peuvent être facturés comme références SKU différentes. Pour connaître les valeurs possibles, consultez Product. | JOBS |
product_features |
struct | Détails sur les fonctionnalités de produit spécifiques utilisées. Consultez les fonctionnalités du produit. | Voir les fonctionnalités du produit |
usage_type |
string | Type d’utilisation attribué au produit ou à la charge de travail à des fins de facturation. Les valeurs possibles sont COMPUTE_TIME, STORAGE_SPACENETWORK_BYTENETWORK_HOURAPI_OPERATIONTOKENGPU_TIME, ou .ANSWER |
STORAGE_SPACE |
Référence de métadonnées d’utilisation
Les valeurs incluses usage_metadata sont toutes les chaînes qui vous indiquent les objets et ressources de l’espace de travail impliqués dans l’enregistrement d’utilisation.
Seul un sous-ensemble de ces valeurs est rempli dans un enregistrement d’utilisation donné, en fonction du type de calcul et des fonctionnalités utilisés. La troisième colonne du tableau indique quels types d’utilisation remplissent chaque valeur.
| Value | Description | Renseigné pour (sinon null) |
|---|---|---|
cluster_id |
ID du cluster associé à l’enregistrement d’utilisation | Utilisation de calcul sans serveur, notamment les notebooks, les travaux, les pipelines Lakeflow et le service de modèle hérité |
job_id |
ID de la tâche associée au registre d’utilisation | Les travaux serverless et les travaux exécutés sur l’infrastructure de calcul dédiée aux travaux (ne s’appliquent pas aux travaux exécutés sur un calcul à usage général) |
warehouse_id |
ID de l’entrepôt SQL associé à l’enregistrement d’utilisation | Les charges de travail s’exécutent sur un entrepôt SQL |
instance_pool_id |
ID du pool d’instances associé à l’enregistrement d’utilisation | Utilisation de calcul sans serveur à partir de pools, notamment les notebooks, les travaux, les pipelines Lakeflow et le service de modèle hérité |
node_type |
Type d’instance de calcul. Ce champ ne fait pas la distinction entre les nœuds de pilote et de travail. Voir Type de nœud. | Utilisation de calcul sans serveur, notamment les notebooks, les travaux, les pipelines Lakeflow et tous les entrepôts SQL |
job_run_id |
ID de l’exécution de travail associée à l’enregistrement d’utilisation | Les travaux serverless et les travaux exécutés sur l’infrastructure de calcul dédiée aux travaux (ne s’appliquent pas aux travaux exécutés sur un calcul à usage général) |
notebook_id |
ID du notebook associé à l’utilisation | Notebooks sans serveur |
dlt_pipeline_id |
ID du pipeline associé à l’enregistrement d’utilisation | Pipelines lakeflow et fonctionnalités qui utilisent des pipelines Lakeflow, tels que des vues matérialisées, des tables en ligne, l’indexation de recherche IA et Lakeflow Connect |
endpoint_name |
Nom du modèle servant le point de terminaison ou le point de terminaison de recherche IA associé à l’enregistrement d’utilisation | Service de modèle et recherche d’IA |
endpoint_id |
ID du point de terminaison de service du modèle ou du point de terminaison de recherche IA associé à l’enregistrement d’utilisation | Service de modèle et recherche d’IA |
dlt_update_id |
ID de la mise à jour du pipeline associée à l’enregistrement d’utilisation | Pipelines lakeflow et fonctionnalités qui utilisent des pipelines Lakeflow, tels que des vues matérialisées, des tables en ligne, l’indexation de recherche IA et Lakeflow Connect |
dlt_maintenance_id |
ID des tâches de maintenance de pipeline associées à l’enregistrement d’utilisation | Pipelines lakeflow et fonctionnalités qui utilisent des pipelines Lakeflow, tels que des vues matérialisées, des tables en ligne, l’indexation de recherche IA et Lakeflow Connect |
metastore_id |
Cette valeur n’est pas remplie dans Azure Databricks | Toujours null |
run_name |
Nom unique accessible par l’utilisateur de l’exécution de fine-tuning du modèle de base associé à l’enregistrement d’utilisation | Réglage précis du modèle de base |
job_name |
Nom donné par l’utilisateur de la tâche associée à l’enregistrement d'utilisation | Les travaux s’exécutent sur le calcul serverless |
notebook_path |
Chemin de stockage de l’espace de travail du notebook associé à l’utilisation | Les notebooks s'exécutent sur un système informatique sans serveur |
central_clean_room_id |
ID de la salle propre centrale associée à l’enregistrement d’utilisation | Salles blanches |
source_region |
Région où provient le trafic facturé. Retourne uniquement une valeur pour l’utilisation liée à la mise en réseau. | Mise en réseau |
destination_region |
Région où le trafic facturé a été reçu. Retourne uniquement une valeur pour l’utilisation liée à la mise en réseau. | Mise en réseau |
recipient_id |
ID du destinataire OpenSharing associé à l’enregistrement d’utilisation | Mise en réseau : sortie de données vers les destinataires OpenSharing via OpenSharing SecureConnect |
associated_product |
Produit qui a déclenché l’utilisation. Par exemple, une charge réseau peut être déclenchée par une connexion DATABASE. Ce champ n’est rempli que lorsque l’utilisation est entièrement attribuable à un produit source en amont. | Networking |
networking_client |
Client qui a engagé l’utilisation de la mise en réseau. Peut être SERVERLESS_WORKLOAD ou EXTERNAL_CLIENT |
Networking |
app_id |
ID de l’application associée à l’enregistrement d’utilisation | Databricks Apps |
app_name |
Nom donné par l’utilisateur de l’application associée à l’enregistrement d’utilisation | Databricks Apps |
private_endpoint_name |
Nom du point de terminaison privé applicable déployé avec le calcul serverless | Mise en réseau sans serveur |
budget_policy_id |
Deprecated. Utilisez usage_policy_id à la place. ID de la stratégie d’utilisation serverless attachée à la charge de travail. |
Utilisation du calcul serverless, y compris les notebooks, les travaux, les pipelines Lakeflow et les points de terminaison de service de modèle |
storage_api_type |
Type d’opération effectuée sur le stockage par défaut. Les valeurs possibles sont TIER_1 (PUT, COPY, POST, LIST) et TIER_2 (autres opérations) |
Stockage par défaut |
ai_runtime_workload_id |
ID de la charge de travail GPU sans serveur liée à l'enregistrement d'utilisation | Charges de travail AI Runtime |
uc_table_catalog |
Nom du catalogue Unity associé à l’enregistrement d’utilisation | Vues matérialisées |
uc_table_schema |
Nom du schéma du catalogue Unity associé à l’enregistrement d’utilisation | Vues matérialisées |
uc_table_name |
Nom de la table du catalogue Unity associée à l’enregistrement d’utilisation | Vues matérialisées |
database_instance_id |
ID de l’instance de base de données associée à l’enregistrement d’utilisation | Instances de base de données Lakebase |
sharing_materialization_id |
Identifiant de la matérialisation de partage associée aux données d'utilisation | Afficher le partage, les vues matérialisées et les tables de diffusion en continu à l’aide d’OpenSharing |
usage_policy_id |
Identifiant de la stratégie d’utilisation sans serveur associée à l’enregistrement d’utilisation | Politiques d’utilisation serverless |
agent_bricks_id |
Identifiant de la charge de travail Agent Bricks associée à l’enregistrement d’utilisation | Charges de travail Assistant ConnaissancesAgent de superviseur |
base_environment_id |
ID de l’environnement de base associé à l’utilisation | Utilisation de la création ou de l’actualisation de l’environnement de base serverless d’un espace de travail. Quand billing_origin_product est BASE_ENVIRONMENTS, il est rempli. |
schema_id |
ID du schéma associé à l’enregistrement d’utilisation | Détection des anomalies |
table_id |
ID de la table associée à l’enregistrement d’utilisation | Profilage des données |
catalog_id |
ID du catalogue Unity Catalog associé à l'utilisation du stockage par défaut | Stockage par défaut |
Type de nœud
Quand le pilote et les workers d’une ressource de calcul classique utilisent le même type d’instance, leur utilisation est combinée en un seul enregistrement. Lorsque les nœuds de pilote et de travail du calcul utilisent différents types d’instances, leur utilisation apparaît sous la forme d’enregistrements distincts : un pour le type d’instance du pilote et un pour le worker.
Pour attribuer l’utilisation à un rôle de nœud spécifique, vous pouvez référencer plusieurs références usage_metadata.cluster_id dans la table d’utilisation avec des données des tables système de calcul. La system.compute.clusters table enregistre chaque cluster driver_node_type et worker_node_typela system.compute.node_timeline table inclut une driver colonne booléenne qui identifie le rôle de chaque nœud.
Référence de métadonnées d’identité
La identity_metadata colonne fournit plus d’informations sur les identités impliquées dans l’utilisation.
- Le champ
run_asenregistre qui a exécuté la charge de travail. Consultez le tableau suivant pour savoir comment cette valeur est remplie pour chaque type de charge de travail. - Le
owned_bychamp s’applique uniquement à l’utilisation de SQL Warehouse et enregistre l’utilisateur ou le principal de service propriétaire de l’entrepôt SQL responsable de l’utilisation.
- Le
created_bychamp s’applique à Databricks Apps, à l’Assistant Connaissances et à l’Agent de superviseur. Le champ enregistre l’e-mail de l’utilisateur qui a créé l’application ou l’agent.
identités run_as
L’identité enregistrée dans identity_metadata.run_as dépend du produit associé à l’utilisation. Référencez le tableau suivant pour le comportement identity_metadata.run_as :
| Type de charge de travail | Identité de run_as |
|---|---|
| Calcul des travaux | L’utilisateur ou le principal de service défini dans le paramètre run_as. Par défaut, les tâches s’exécutent sous l’identité du propriétaire de la tâche, mais les administrateurs peuvent la modifier pour un autre utilisateur ou une principale de service. |
| Calcul serverless pour les travaux | L’utilisateur ou le principal de service défini dans le paramètre run_as. Par défaut, les tâches s’exécutent sous l’identité du propriétaire de la tâche, mais les administrateurs peuvent la modifier pour un autre utilisateur ou une principale de service. |
| Calcul serverless pour les notebooks | Utilisateur qui a exécuté les commandes du notebook (en particulier, l’utilisateur qui a créé la session de notebook). Pour les notebooks partagés, cela inclut l’utilisation par d’autres utilisateurs partageant la même session de notebook. |
| Calcul à usage général | Identité qui a créé la ressource de calcul. Ce n’est pas nécessairement le propriétaire du calcul. Pour attribuer l’utilisation au propriétaire, joignez-vous à system.compute.clusters.owned_by l’utilisation usage_metadata.cluster_id. |
| Pipelines Lakeflow | Utilisateur ou principal de service dont les autorisations sont utilisées pour exécuter le pipeline. Cela peut être modifié en transférant la propriété du pipeline. |
| Réglage précis du modèle de base | L’utilisateur ou le principal de service à l’origine de l’exécution de fine-tuning de l’apprentissage. |
| Optimisation prédictive | Le principal service qui appartient à Databricks et qui exécute les opérations d’optimisation prédictive. |
| Surveillance de la qualité des données | Utilisateur qui a créé le profil. |
Référence du type d’enregistrement
Le tableau billing.usage prend en charge les corrections. Les corrections se produisent quand un champ de l’enregistrement d’utilisation est incorrect et doit être corrigé.
Lorsqu’une correction se produit, Azure Databricks ajoute deux nouveaux enregistrements à la table. Un enregistrement de rétraction annule l’enregistrement incorrect d’origine, puis un enregistrement de reformulation inclut les informations corrigées. Les enregistrements de correction sont identifiés à l’aide du champ record_type :
-
RETRACTION: utilisé pour négation de l’utilisation incorrecte d’origine. Tous les champs sont identiques à l’enregistrementORIGINAL, à l’exception deusage_quantity, valeur négative qui annule la quantité d’utilisation d’origine. Par exemple, si la quantité d’utilisation de l’enregistrement d’origine était259.4356, l’enregistrement de retrait aurait une quantité d’utilisation de-259.4356. -
RESTATEMENT: enregistrement qui inclut les champs corrects et la quantité d’utilisation.
Par exemple, la requête suivante retourne la quantité d’utilisation horaire correcte liée à un job_id, même si des corrections ont été apportées. En agrégeant la quantité d’utilisation, l’enregistrement de retrait annule l’enregistrement d’origine et seules les valeurs du restatément sont retournées.
SELECT
usage_metadata.job_id, usage_start_time, usage_end_time,
SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0
Note
Pour les corrections où l’enregistrement d'utilisation d'origine n'aurait pas dû être enregistré, une correction ne peut ajouter qu'un enregistrement de rétractation et aucun enregistrement de réitération.
Référence du produit à l'origine de la facturation
Certains produits Databricks sont facturés sous la même référence SKU partagée. Par exemple, la surveillance de la qualité des données, l’optimisation prédictive et les flux de travail sans serveur sont tous facturés sous la même référence produit SKU de travaux sans serveur.
Pour vous aider à différencier l’utilisation, les colonnes billing_origin_product et product_features fournissent plus d’informations sur le produit et les fonctionnalités spécifiques associés à l’utilisation.
La colonne billing_origin_product affiche le produit Databricks associé à l’enregistrement d’utilisation. Les valeurs incluent :
| Value | Description |
|---|---|
JOBS |
Coûts associés aux workloads Lakeflow Jobs |
DLT |
Coûts associés aux charges de travail des pipelines Lakeflow |
SQL |
Coûts associés à Databricks SQL, y compris les charges de travail exécutées sur des entrepôts SQL et des vues matérialisées |
ALL_PURPOSE |
Coûts associés au calcul à usage universel classique |
MODEL_SERVING |
Coûts associés au service de modèle |
INTERACTIVE |
Coûts associés aux charges de travail interactives sans serveur |
DEFAULT_STORAGE |
Coûts associés au stockage par défaut |
VECTOR_SEARCH |
Coûts associés à la recherche IA |
LAKEHOUSE_MONITORING |
Coûts associés à la surveillance de la qualité des données |
PREDICTIVE_OPTIMIZATION |
Coûts associés à l’optimisation prédictive |
ONLINE_TABLES |
Coûts associés aux tables en ligne (Legacy) |
FOUNDATION_MODEL_TRAINING |
Coûts associés à l’optimisation fine du modèle Foundation |
AGENT_EVALUATION |
Coûts associés à l’évaluation de l’agent |
FINE_GRAINED_ACCESS_CONTROL |
Utilisation sans serveur du contrôle d’accès détaillé sur le calcul dédié |
EXTERNAL_COMPATIBILITY |
Utilisation serverless à partir d’ABAC multi-moteur |
BASE_ENVIRONMENTS |
Utilisation associée à la création ou à l’actualisation de l’environnement de base serverless d’un espace de travail |
DATA_CLASSIFICATION |
Coûts associés aux opérations de classification des données |
DATA_QUALITY_MONITORING |
Coûts associés à la surveillance de la qualité des données, y compris la détection des anomalies et le profilage des données |
DATA_SHARING |
Coûts associés à OpenSharing |
AI_GATEWAY |
Coûts associés à l’utilisation de la passerelle IA |
AI_RUNTIME |
Coûts associés aux charges de travail GPU sans serveur |
NETWORKING |
Coûts associés à la connexion de calcul serverless à vos ressources par le biais de points de terminaison privés et de sortie aux clients pour les produits gourmands en performances. Pour l’utilisation du point de terminaison privé serverless, workspace_id est null, usage_unit est hour, et networking.connectivity_type est PRIVATE_IP. |
APPS |
Coûts associés à la création et à l’exécution des applications Databricks |
DATABASE |
Coûts associés aux instances de base de données provisionnée Lakebase |
LAKEBASE |
Coûts associés à Lakebase Postgres |
AI_FUNCTIONS |
Coûts associés à l’utilisation d’AI Functions . Ce produit enregistre l’utilisation de AI_PARSE_DOCUMENT, AI_EXTRACT, AI_CLASSIFY. |
AGENT_BRICKS |
Coûts associés aux charges de travail de l’Agent de superviseurassistant de connaissances |
CLEAN_ROOM |
Coûts associés aux flux de travail des salles propres |
LAKEFLOW_CONNECT |
Coûts associés aux connecteurs managés Lakeflow Connect |
GENIE |
Coûts associés à l’utilisation de l’IA/BI Génie de paiement à l’utilisation |
FEATURE_STORE |
Coûts associés au Magasin de fonctionnalités |
SUPERVISOR_AGENT |
Coûts associés aux charges de travail de l’agent de supervision |
LAKEHOUSE_REAL_TIME |
Coûts associés à Lakehouse En temps réel |
Référence des fonctionnalités du produit
La colonne product_features est un objet contenant des informations sur les fonctionnalités de produit spécifiques utilisées et inclut les paires clé/valeur suivantes :
| Terrain | Description |
|---|---|
jobs_tier |
Les valeurs incluent LIGHT, CLASSICou null |
sql_tier |
Les valeurs incluent CLASSIC, PROou null |
dlt_tier |
Les valeurs incluent CORE, , PROADVANCEDounull |
is_serverless |
Les valeurs incluent true ou false, ou null (la valeur est true ou false lorsque vous pouvez choisir entre le calcul serverless et le calcul classique, sinon elle est null) |
is_photon |
Les valeurs incluent true ou false, ou null |
serving_type |
Les valeurs incluent MODEL, , GPU_MODELFOUNDATION_MODEL, FEATUREounull |
offering_type |
Les valeurs incluent BATCH_INFERENCE ou null |
performance_target |
Indique le mode de performance de la tâche ou du pipeline serverless. Les valeurs incluent PERFORMANCE_OPTIMIZED, STANDARDou null. Les charges de travail sans serveur ont une null valeur. |
ai_runtime.compute_type |
Indique le type de calcul pour les charges de travail GPU serverless ou null |
model_serving.offering_type |
Indique le type d’offre pour le service de modèle ou null |
ai_gateway.feature_type |
Indique le type de fonctionnalité pour les charges de travail AI Gateway ou null |
serverless_gpu.workload_type |
Indique le type de charge de travail pour AI Runtime (GPU serverless) ou null |
ai_functions.ai_function |
Indique le type de fonction IA ou null |
networking.connectivity_type |
Les valeurs incluent PUBLIC_IP et PRIVATE_IP |
agent_bricks.problem_type |
Indique le type de problème pour les charges de travail de l’Assistant de Connaissances. Les valeurs incluent AGENT_BRICKS_KNOWLEDGE_ASSISTANT ou null. |
agent_bricks.workload_type |
Indique le type de charge de travail pour l’Assistant Connaissances . Les valeurs incluent AGENT_BRICKS_REAL_TIME_INFERENCE ou null |