Monitorování nákladů pomocí systémových tabulek

Tento článek vysvětluje, jak můžete tabulku použít system.billing.usage samostatně nebo připojit k jiným systémovým tabulkám k získání obrázku o využití Azure Databricks vašeho účtu. K dispozici jsou také následující články specifické pro funkce:

• Monitorování nákladů na výpočetní prostředky bez serveru
• Monitorování nákladů na úlohy a výkonu
• Sledování nákladů na obsluhu modelu

Jak přečíst tabulku využití

Uživatelé s oprávněním pro přístup k datům systémových tabulek můžou zobrazit a dotazovat fakturační protokoly svého účtu, které jsou umístěné na adrese system.billing.usage. Každý záznam fakturace obsahuje sloupce, které přiřazují částku využití konkrétním prostředkům, identitám a produktům.

• Sloupec usage_metadata obsahuje strukturu s informacemi o prostředcích nebo objektech, které jsou součástí použití.
• Sloupec identity_metadata obsahuje informace o uživateli nebo principálu služby, který se podílel na využití.
• Sloupec custom_tags obsahuje značky použité pro výpočetní prostředek související s využitím. To také zahrnuje značky přidané zásadami rozpočtu bez serveru, abyste mohli přiřazovat bezserverové využití.
• Sloupce billing_origin_product a product_features poskytují informace o přesném použitém produktu a funkcích.

Pro úplný přehled tabulky využití viz Referenční tabulka systému fakturovatelného využití.

Zprovoznění fakturačních dat

Databricks doporučuje používat řídicí panely AI/BI k vytváření řídicích panelů pro monitorování nákladů pomocí fakturačních dat systémových tabulek. Můžete vytvořit nový řídicí panel nebo správci účtu můžou importovat předem vytvořený přizpůsobitelný řídicí panel monitorování nákladů. Viz řídicí panely využití.

Do dotazů můžete také přidat upozornění, která vám pomůžou udržet si přehled o datech o využití. Viz Vytvořit upozornění.

Ukázkové dotazy

Následující dotazy poskytují příklady použití system.billing.usage tabulkových dat k získání přehledu o využití vašeho účtu.

• Kolik jednotek DBU každého produktu bylo během tohoto měsíce použito?
• Které úlohy spotřebovaly nejvíce jednotek DBU?
• Kolik využití lze přiřadit prostředkům s konkrétní značkou?
• Ukažte mi produkty, u kterých roste využití
• Jaký je trend využití výpočetních prostředků pro všechny účely (Photon)?
• Jaká je spotřeba DBU materializovaného zobrazení nebo tabulky streamování?
• Jaká je spotřeba DBU bezserverového kanálu?
• Jaký je denní trend spotřeby DBU?
• Přiřazení nákladů vlastníkovi výpočetního prostředku
• Vylepšení použití názvem úlohy
• Spojte cenové tabulky s tabulkami využití
• Odhad nákladů na doplňky pro využití v předchozím kalendářním měsíci

Kolik jednotek DBU každého produktu bylo během tohoto měsíce použito?

SELECT
    billing_origin_product,
    usage_date,
    sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date

Které úlohy spotřebovaly nejvíce jednotek DBU?

SELECT
  usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id IS NOT NULL
GROUP BY
  `Job ID`
ORDER BY
  `Usage` DESC

Kolik využití lze přiřadit prostředkům s konkrétní značkou?

Náklady můžete rozdělit různými způsoby. Tento příklad ukazuje, jak rozdělit náklady podle vlastního štítku. Nahraďte klíč a hodnotu vlastní značky v dotazu.

SELECT
  sku_name, usage_unit, SUM(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  custom_tags [:key] = :value
GROUP BY 1, 2

Ukázat mi produkty, ve kterých roste využití

SELECT
  after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
  (SELECT
     billing_origin_product, sum(usage_quantity) as before_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date BETWEEN "2025-04-01" and "2025-04-30"
   GROUP BY
     billing_origin_product
  ) as before
JOIN
  (SELECT
     billing_origin_product, sum(usage_quantity) as after_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date
   BETWEEN
     "2025-05-01" and "2025-05-30"
   GROUP BY
     billing_origin_product
  ) as after
WHERE
  before.billing_origin_product = after.billing_origin_product
SORT BY
  growth_rate DESC

Jaký je trend využití výpočetních prostředků pro všechny účely (Photon)?

SELECT
  sku_name,
  usage_date,
  sum(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  year(usage_date) = year(CURRENT_DATE)
AND
  sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
  usage_date > "2025-04-15"
GROUP BY
  sku_name, usage_date

Jaká je spotřeba DBU materializovaného zobrazení nebo tabulky streamování?

Pokud chcete získat využití a SKU DBU pro konkrétní materializované zobrazení nebo streamovací tabulku, odešlete dotaz do tabulky fakturovatelného využití systému (system.billing.usage). Zadejte časové razítko jako parametr pro dotazování výsledků po zadaném datu.

Následující dotaz načte využití DBU pro materializované zobrazení s plně kvalifikovaným názvem (<catalog>.<schema>.<table>) z users.cost_tracking.mv1:

WITH pipeline_id (
  SELECT
    usage_metadata.dlt_pipeline_id as pipeline_id
  FROM
    system.billing.usage
  WHERE
    usage_metadata.uc_table_catalog = 'users'
    AND usage_metadata.uc_table_schema = 'cost_tracking'
    AND usage_metadata.uc_table_name = 'mv1'
  LIMIT 1
)
SELECT
  u.sku_name,
  u.usage_date,
  SUM(u.usage_quantity) AS `DBUs`
FROM
  system.billing.usage u JOIN pipeline_id p
WHERE
  u.usage_metadata.dlt_pipeline_id = p.pipeline_id
  AND u.usage_start_time > :usage_start_time
GROUP BY
  ALL

Jaká je spotřeba DBU bezserverového kanálu?

Pokud chcete získat využití a skladovou položku DBU pro bezserverový kanál, odešlete dotaz do tabulky fakturovatelného systému využití záznamů, kde usage_metadata.dlt_pipeline_id je nastaveno ID kanálu. ID kanálu najdete na kartě Podrobnosti kanálu při prohlížení kanálu v uživatelském rozhraní deklarativních kanálů Sparku Lakeflow. Pokud chcete spotřebu omezit podle data, zadejte počáteční datum, koncové datum nebo rozsah dat. Následující dotaz načte využití DBU z prosince 2024 pro potrubí s ID 00732f83-cd59-4c76-ac0d-57958532ab5b.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = :dlt_pipeline_id
  AND usage_start_time >= :usage_start_time
  AND usage_end_time < :usage_end_time
GROUP BY
  ALL

Jaký je denní trend spotřeby DBU?

SELECT
  usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
  system.billing.usage
WHERE
  sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
  usage_date
ORDER BY
  usage_date ASC

Přiřazení nákladů vlastníkovi výpočetního prostředku

Pokud chcete snížit náklady na výpočetní prostředky, můžete tabulku spojit usage s compute.clusters tabulkou a zjistit, kteří vlastníci výpočetních prostředků ve vašem účtu používají nejvíce jednotek DBU.

SELECT
  u.record_id record_id,
  c.cluster_id cluster_id,
  max_by(c.owned_by, c.change_time) owned_by,
  max(c.change_time) change_time,
  any_value(u.usage_start_time) usage_start_time,
  any_value(u.usage_quantity) usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2025-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and c.change_time <= u.usage_start_time
GROUP BY 1, 2
ORDER BY cluster_id, usage_start_time desc;

Obohaťte využití názvem úlohy

with jobs as (
  SELECT
    *,
    ROW_NUMBER() OVER (PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs QUALIFY rn=1
)
SELECT
  usage.*,
  coalesce(usage_metadata.job_name, jobs.name) as job_name
FROM system.billing.usage
  LEFT JOIN jobs ON usage.workspace_id=jobs.workspace_id AND usage.usage_metadata.job_id=jobs.job_id
WHERE
  billing_origin_product="JOBS"

Spojte cenové a využívací tabulky

Tabulka list_prices obsahuje ceníkové ceny v průběhu času pro každou dostupnou SKU. Můžete se připojit k tabulce usage a zobrazit náklady na určitý způsob užití.

Následující dotaz například vrátí celkové náklady přiřazené konkrétní značce během měsíce.

SELECT
 SUM(usage.usage_quantity * list_prices.pricing.effective_list.default)
 as `Total Dollar Cost`
FROM system.billing.usage
JOIN system.billing.list_prices ON list_prices.sku_name = usage.sku_name
WHERE usage.custom_tags [:key] = :value
AND usage.usage_end_time >= list_prices.price_start_time
AND (list_prices.price_end_time IS NULL OR usage.usage_end_time < list_prices.price_end_time)
AND usage.usage_date BETWEEN "2025-05-01" AND "2025-05-31"

Odhad nákladů na doplňky pro využití v předchozím kalendářním měsíci

Tento dotaz použije jednoduché procento pro všechna využití v období. Upozorněte, že se to může mírně lišit od skutečného zpeněžení kvůli způsobu, jakým se distribuují oprávnění u některých doplňků. Nahraďte sazbu příplatku sazbou vašeho účtu.

SELECT SUM(usage.usage_quantity * list_prices.pricing.effective_list.default) * :add_on_rate as `Total Add-On Dollar Cost`
FROM system.billing.usage
JOIN system.billing.list_prices ON list_prices.sku_name = usage.sku_name
  WHERE usage.usage_end_time >= list_prices.price_start_time
  AND (list_prices.price_end_time IS NULL OR usage.usage_end_time < list_prices.price_end_time)
  AND usage.usage_date BETWEEN "2025-02-01" AND "2025-02-29"