Naslaginformatie over factureerbare gebruikssysteemtabellen

Artikel
10/18/2024

Dit artikel bevat een overzicht van de factureerbare gebruikssysteemtabel, inclusief het schema en voorbeeldquery's. Met systeemtabellen worden de factureerbare gebruiksgegevens van uw account gecentraliseerd en doorgestuurd naar alle regio's, zodat u het globale gebruik van uw account kunt bekijken vanuit de regio waarin uw werkruimte zich bevindt.

Zie Taakkosten bewaken met systeemtabellen voor informatie over het gebruik van deze tabel om de taakkosten te bewaken.

Zie De kosten van serverloze berekeningen bewaken voor strategieën voor het analyseren van serverloos gebruik.

Tabelpad: Deze systeemtabel bevindt zich op system.billing.usage.

Factureerbare gebruikstabelschema

De tabel factureerbare gebruikssysteem maakt gebruik van het volgende schema:

Kolomnaam	Gegevenstype	Beschrijving	Voorbeeld
`record_id`	tekenreeks	Unieke id voor deze record	`11e22ba4-87b9-4cc2` `-9770-d10b894b7118`
`account_id`	tekenreeks	Id van het account waarvoor dit rapport is gegenereerd	`23e22ba4-87b9-4cc2` `-9770-d10b894b7118`
`workspace_id`	tekenreeks	Id van de werkruimte die aan dit gebruik is gekoppeld	`1234567890123456`
`sku_name`	tekenreeks	Naam van de SKU	`STANDARD_ALL_PURPOSE_COMPUTE`
`cloud`	tekenreeks	Cloud is dit gebruik relevant voor. Mogelijke waarden zijn `AWS`, `AZURE`en `GCP`.	`AWS`, `AZURE` of `GCP`
`usage_start_time`	timestamp	De begintijd die relevant is voor deze gebruiksrecord. Tijdzonegegevens worden vastgelegd aan het einde van de waarde met `+00:00` de UTC-tijdzone.	`2023-01-09 10:00:00.000+00:00`
`usage_end_time`	timestamp	De eindtijd die relevant is voor deze gebruiksrecord. Tijdzonegegevens worden vastgelegd aan het einde van de waarde met `+00:00` de UTC-tijdzone.	`2023-01-09 11:00:00.000+00:00`
`usage_date`	datum	Datum van de gebruiksrecord, dit veld kan worden gebruikt voor snellere aggregatie op datum	`2023-01-01`
`custom_tags`	map	Tags die zijn toegepast op dit gebruik. Bevat rekenresourcetags, taaktags, aangepaste tags voor werkruimten en budgetbeleidstags.	`{ “env”: “production” }`
`usage_unit`	tekenreeks	Eenheid waarin dit gebruik wordt gemeten. Mogelijke waarden zijn DBU's.	`DBU`
`usage_quantity`	decimal	Het aantal verbruikte eenheden voor deze record.	`259.2958`
`usage_metadata`	Struct	Door het systeem verstrekte metagegevens over het gebruik, inclusief id's voor rekenresources en taken (indien van toepassing). Zie Gebruiksmetagegevens analyseren.	`{cluster_id: null;` `instance_pool_id: null;` `notebook_id: null;` `job_id: null;` `node_type: null}`
`identity_metadata`	Struct	Door het systeem verstrekte metagegevens over de identiteiten die betrokken zijn bij het gebruik. Zie Identiteitsmetagegevens analyseren.	`{run_as: example@email.com}`
`record_type`	tekenreeks	Of de record oorspronkelijk, een intrekking of een aanpassing is. De waarde is `ORIGINAL` tenzij de record is gerelateerd aan een correctie. Zie Correctierecords analyseren.	`ORIGINAL`
`ingestion_date`	datum	De datum waarop de record is opgenomen in de `usage` tabel.	`2024-01-01`
`billing_origin_product`	tekenreeks	Het product dat afkomstig is van het gebruik. Sommige producten kunnen worden gefactureerd als verschillende SKU's. Zie Informatie weergeven over het product dat is gekoppeld aan het gebruik voor mogelijke waarden.	`JOBS`
`product_features`	Struct	Details over de specifieke productfuncties die worden gebruikt.	Zie Productfuncties voor mogelijke waarden.
`usage_type`	tekenreeks	Het type gebruik dat is toegewezen aan het product of de workload voor factureringsdoeleinden. Mogelijke waarden zijn`COMPUTE_TIME`, `STORAGE_SPACE`, , `API_CALLSNETWORK_BYTES`, of `TOKENGPU_TIME`.	`STORAGE_SPACE`

Gebruiksmetagegevens analyseren

De waarden in usage_metadata het rapport geven u informatie over de resources die betrokken zijn bij de gebruiksrecord.

Weergegeven als	Gegevenstype	Beschrijving
`cluster_id`	tekenreeks	Id van het cluster dat is gekoppeld aan de gebruiksrecord
`warehouse_id`	tekenreeks	Id van het SQL-warehouse dat is gekoppeld aan de gebruiksrecord
`instance_pool_id`	tekenreeks	Id van de exemplaargroep die is gekoppeld aan de gebruiksrecord
`node_type`	tekenreeks	Het exemplaartype van de rekenresource
`job_id`	tekenreeks	Id van de taak die is gekoppeld aan de gebruiksrecord. Retourneert alleen een waarde voor het rekengebruik van serverloze berekeningen of taken, anders wordt geretourneerd `null`.
`job_run_id`	tekenreeks	Id van de taakuitvoering die is gekoppeld aan de gebruiksrecord. Retourneert alleen een waarde voor het rekengebruik van serverloze berekeningen of taken, anders wordt geretourneerd `null`.
`job_name`	tekenreeks	Door de gebruiker opgegeven naam van de taak die is gekoppeld aan de gebruiksrecord. Retourneert alleen een waarde voor taken die worden uitgevoerd op serverloze berekeningen, anders wordt geretourneerd `null`.
`notebook_id`	tekenreeks	Id van het notitieblok dat is gekoppeld aan het gebruik. Retourneert alleen een waarde voor serverloze berekeningen voor notebookgebruik, anders retourneert `null`.
`notebook_path`	tekenreeks	Werkruimteopslagpad van het notebook dat is gekoppeld aan het gebruik. Retourneert alleen een waarde voor serverloze berekeningen voor notebookgebruik, anders retourneert `null`.
`dlt_pipeline_id`	tekenreeks	Id van de Delta Live Tables-pijplijn die is gekoppeld aan de gebruiksrecord
`dlt_update_id`	tekenreeks	Id van de pijplijnupdate van Delta Live Tables die is gekoppeld aan de gebruiksrecord
`dlt_maintenance_id`	tekenreeks	Id van de pijplijnonderhoudstaken van Delta Live Tables die zijn gekoppeld aan de gebruiksrecord
`run_name`	tekenreeks	Unieke gebruikers-id van de Mozaïek AI-modeltrainingsuitvoering die is gekoppeld aan de gebruiksrecord
`endpoint_name`	tekenreeks	De naam van het model dat het eindpunt of het eindpunt voor vectorzoekopdrachten dat is gekoppeld aan de gebruiksrecord
`endpoint_id`	tekenreeks	Id van het model dat eindpunt of vectorzoekeindpunt bedient dat is gekoppeld aan de gebruiksrecord
`central_clean_room_id`	tekenreeks	Id van de centrale clean room die is gekoppeld aan de gebruiksrecord

Identiteitsmetagegevens analyseren

Met de identity_metadata kolom kunt u bepalen wie verantwoordelijk is voor een serverloze factureringsrecord. De kolom bevat een run_as waarde die het gebruik aan een identiteit toegeeft. De identiteit die is vastgelegd, identity_metadata.run_as is afhankelijk van het product dat aan het gebruik is gekoppeld.

Raadpleeg de volgende tabel voor het identity_metadata.run_as gedrag:

Workloadtype	Identiteit van `run_as`
Taken berekenen	De gebruiker of service-principal die in de `run_as` instelling is gedefinieerd. Taken worden standaard uitgevoerd als de identiteit van de eigenaar van de taak, maar beheerders kunnen dit wijzigen in een andere gebruiker of service-principal.
Serverloze rekenkracht voor taken	De gebruiker of service-principal die in de `run_as` instelling is gedefinieerd. Taken worden standaard uitgevoerd als de identiteit van de eigenaar van de taak, maar beheerders kunnen dit wijzigen in een andere gebruiker of service-principal.
Serverloze rekenkracht voor notebooks	De gebruiker die de notebookopdrachten heeft uitgevoerd (met name de gebruiker die de notebooksessie heeft gemaakt). Voor gedeelde notitieblokken omvat dit gebruik door andere gebruikers die dezelfde notebooksessie delen.
Delta Live Tables-pijplijnen	De gebruiker wiens machtigingen worden gebruikt om de Delta Live Tables-pijplijn uit te voeren. Dit kan worden gewijzigd door het eigendom van de pijplijn over te dragen.
Mozaïek AI-modeltraining	De gebruiker of service-principal die de trainingsuitvoering heeft geïnitieerd.

Correctierecords analyseren

De billing.usage tabel ondersteunt correcties. Correcties treden op wanneer een veld van de gebruiksrecord onjuist is en moet worden opgelost.

Wanneer er een correctie plaatsvindt, voegt Azure Databricks twee nieuwe records toe aan de tabel. Een intrekkingsrecord onderhandelt de oorspronkelijke onjuiste record en vervolgens bevat een aanpassingsrecord de gecorrigeerde informatie. Correctierecords worden geïdentificeerd met behulp van het record_type veld:

RETRACTION: Wordt gebruikt om het oorspronkelijke onjuiste gebruik te vernieten. Alle velden zijn identiek aan de ORIGINAL record, behalve usage_quantityeen negatieve waarde die de oorspronkelijke gebruikshoeveelheid annuleert. Als de gebruikshoeveelheid van de oorspronkelijke record bijvoorbeeld was 259.4356, zou de intrekkingsrecord een gebruikshoeveelheid van -259.4356hebben.
RESTATEMENT: De record met de juiste velden en gebruikshoeveelheid.

De volgende query retourneert bijvoorbeeld de juiste hoeveelheid per uur met betrekking tot een job_id, zelfs als er correcties zijn aangebracht. Door de gebruikshoeveelheid te aggregeren, wordt de oorspronkelijke record door de intrekkingsrecord ontkend en worden alleen de waarden van de restatement geretourneerd.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

Notitie

Voor correcties waarbij de oorspronkelijke gebruiksrecord niet mag zijn geschreven, kan een correctie alleen een intrekkingsrecord en geen aanpassingsrecord toevoegen.

Informatie weergeven over het product dat is gekoppeld aan het gebruik

Sommige Databricks-producten worden gefactureerd onder dezelfde gedeelde SKU. Om u te helpen het gebruik te onderscheiden, bieden de billing_origin_product en product_features kolommen meer inzicht in het specifieke product en de specifieke functies die aan het gebruik zijn gekoppeld.

In billing_origin_product de kolom ziet u het Databricks-product dat is gekoppeld aan de gebruiksrecord. De waarden zijn onder andere:

JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
MANAGED_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES
FOUNDATION_MODEL_TRAINING

De product_features kolom is een object met informatie over de specifieke productfuncties die worden gebruikt en bevat de volgende sleutel-/waardeparen:

jobs_tier: waarden omvatten LIGHT, CLASSICof null
sql_tier: waarden omvatten CLASSIC, PROof null
dlt_tier: waarden zijn onder andere CORE, PRO, ADVANCEDof null
is_serverless: waarden bevatten true of , of falsenull
is_photon: waarden bevatten true of , of falsenull
serving_type: waarden zijn onder andere MODEL, GPU_MODEL, FOUNDATION_MODEL, of FEATUREnull

Voorbeeldquery's

U kunt de volgende voorbeeldquery's gebruiken om algemene vragen over factureerbare gebruik te beantwoorden:

Wat is de dagelijkse trend in DBU-verbruik?
Hoeveel DBU's van elk product zijn er gedurende deze maand gebruikt?
Welke taken hebben de meeste DBU's verbruikt?
Hoeveel gebruik kan worden toegeschreven aan bronnen met een bepaalde tag?
Toon de SKU's waar het gebruik groeit
Wat is de verbruikstrend van All Purpose Compute (Photon)?
Wat is het DBU-verbruik van een gerealiseerde weergave of streamingtabel?
Wat is het DBU-verbruik van een serverloze DLT-pijplijn?

Wat is de dagelijkse trend in DBU-verbruik?

SELECT
  usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
  system.billing.usage
WHERE
  sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
  usage_date
ORDER BY
  usage_date ASC

Hoeveel DBU's van elk product zijn er gedurende deze maand gebruikt?

SELECT
    billing_origin_product,
    usage_date,
    sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date

Welke taken hebben de meeste DBU's verbruikt?

SELECT
  usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id IS NOT NULL
GROUP BY
  `Job ID`
ORDER BY
  `DBUs` DESC

Hoeveel gebruik kan worden toegeschreven aan resources met een specifieke tag?

U kunt de kosten op verschillende manieren opsplitsen. In dit voorbeeld ziet u hoe u de kosten kunt opsplitsen op basis van een aangepaste tag. Zorg ervoor dat u de sleutel en waarde van de aangepaste tag in de query vervangt.

SELECT
  sku_name, usage_unit, SUM(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

Toon me de producten waar het gebruik groeit

SELECT
  after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
  (SELECT
     billing_origin_product, sum(usage_quantity) as before_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date BETWEEN "2023-04-01" and "2023-04-30"
   GROUP BY
     billing_origin_product
  ) as before
JOIN
  (SELECT
     billing_origin_product, sum(usage_quantity) as after_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date
   BETWEEN
     "2023-05-01" and "2023-05-30"
   GROUP BY
     billing_origin_product
  ) as after
WHERE
  before.billing_origin_product = after.billing_origin_product
SORT BY
  growth_rate DESC

Wat is de gebruikstrend van All Purpose Compute (Photon)?

SELECT
  sku_name,
  usage_date,
  sum(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  year(usage_date) = year(CURRENT_DATE)
AND
  sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
  usage_date > "2023-04-15"
GROUP BY
  sku_name, usage_date

Wat is het DBU-verbruik van een gerealiseerde weergave of streamingtabel?

Als u het DBU-gebruik en de SKU voor een specifieke gerealiseerde weergave of streamingtabel wilt ophalen, dient u een query in bij de factureerbare gebruikssysteemtabel voor records waar usage_metadata.dlt_pipeline_id deze is ingesteld op de id van de pijplijn die is gekoppeld aan de gerealiseerde weergave of streamingtabel. U vindt de pijplijn-id op het tabblad Details in Catalog Explorer wanneer u de gerealiseerde weergave of streamingtabel bekijkt. Als u het verbruik optioneel wilt beperken op datum, geeft u een begindatum, einddatum of een datumbereik op. Met de volgende query wordt het DBU-gebruik voor de pijplijn opgehaald met id 00732f83-cd59-4c76-ac0d-57958532ab5b en een begindatum van het gebruik van 2023-05-30:

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time > "2023-05-30"
GROUP BY
  ALL

Wat is het DBU-verbruik van een serverloze DLT-pijplijn?

Als u het DBU-gebruik en de SKU voor een serverloze DLT-pijplijn wilt ophalen, dient u een query in bij de factureerbare gebruikssysteemtabel voor records die usage_metadata.dlt_pipeline_id is ingesteld op de id van de pijplijn. U vindt de pijplijn-id op het tabblad Pijplijndetails wanneer u een pijplijn bekijkt in de gebruikersinterface van Delta Live Tables. Als u het verbruik optioneel wilt beperken op datum, geeft u een begindatum, einddatum of een datumbereik op. Met de volgende query wordt het DBU-gebruik opgehaald uit december 2023 voor de pijplijn met id 00732f83-cd59-4c76-ac0d-57958532ab5b.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time >= "2023-12-01"
AND
  usage_end_time < "2024-01-01"
GROUP BY
  ALL

Delen via