Monitorování nákladů na obsluhu modelu

Tento článek obsahuje příklady použití systémových tabulek k monitorování nákladů na koncové body obsluhy modelu Mosaic AI ve vašem účtu Azure Databricks.

Požadavky

• Pokud chcete získat přístup k systémovým tabulkám, musí být váš pracovní prostor povolený pro katalog Unity. Další informace naleznete v tématu Povolení systémových tabulek.

SKU tabulky využití fakturačního systému

Náklady na poskytování modelů v Azure Databricks můžete sledovat pomocí systémové tabulky fakturovatelného použití. Po povolení tabulky systému využití fakturace se tabulka automaticky naplní nejnovějším využitím vašeho účtu Databricks. Náklady se zobrazí v system.billing.usage tabulce s jedním z následujících sloupců sku_name :

sku_name	Popis
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region>	Tato SKU zahrnuje všechny jednotky DBU připsané při spuštění koncového bodu po škálování na nulu.
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region>	Všechny ostatní náklady na obsluhu modelů jsou seskupeny v rámci této skladové položky. Kde tier odpovídá vaší úrovni platformy Azure Databricks a region odpovídá cloudové oblasti vašeho nasazení Azure Databricks.

Dotazování a vizualizace využití

Dotazem na system.billing.usage tabulku můžete agregovat všechny jednotky DBU (Jednotky Databricks) přidružené k obsluhě modelu AI s využitím systému Mosaic AI. Následuje příklad dotazu, který agreguje model obsluhující jednotky DBU za den za posledních 30 dnů pomocí SQL:

SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Využití úloh odvození služby Batch

Dotazem na system.billing.usage tabulku můžete izolovat jednotky DBU (Databricks Units), které byly použity pro úlohy dávkového odvozování.

SELECT *
FROM system.billing.usage u
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "MODEL_SERVING"
  AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE"

Pro zobrazení seznamu všech koncových bodů modelu s dávkovými úlohami odvozování použijte následující postup:

SELECT DISTINCT(usage_metadata.endpoint_name)
FROM system.billing.usage
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "MODEL_SERVING"
  AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Pro další příklady se podívejte na Zobrazení nákladů na úlohy dávkového odvozování.

Řídicí panel pozorovatelnosti nákladů

Abyste mohli začít monitorovat model obsluhující náklady, stáhněte si ukázkový řídicí panel pro přiřazení nákladů z GitHubu. Podívejte se na řídicí panel pro přiřazení nákladů na poskytování modelu.

Po stažení souboru JSON naimportujte řídicí panel do svého pracovního prostoru. Pokyny k importu řídicích panelů najdete v tématu Import souboru řídicího panelu.

Jak používat tento řídicí panel

Tento řídicí panel využívá AI/BI a potřebujete přístup k systémovým tabulkám. Poskytuje přehled o nákladech a využití servisních koncových bodů na úrovni pracovního prostoru.

Následující kroky vám pomůžou začít:

1. Zadejte ID pracovního prostoru.
2. Vyberte počáteční a koncové datum.
3. Vyfiltrujte řídicí panel výběrem konkrétního názvu koncového bodu v rozevíracím seznamu (pokud vás zajímá konkrétní koncový bod).
4. Samostatně zadejte klíč štítku, pokud pro svůj koncový bod používáte nějaké vlastní štítky.

Poznámka:

Služba Model Serving vynucuje výchozí limity ve workspace, aby se zajistilo, že nedojde k nadměrným výdajům. Viz Omezení a oblasti služby Model Serving.

Grafy, které můžete použít

Následující grafy jsou součástí tohoto řídicího panelu. Jedná se o výchozí bod, který vám umožní vytvořit vlastní přizpůsobenou verzi modelu obsluhující řídicí panel pro přiřazení nákladů.

• Největší spotřeba koncových bodů za posledních 7 dnů
• Denní celkové využití $DBU
• Náklady na obsluhu modelu podle typu koncového bodu
  • Platba za token
  • CPU/GPU
  • Základní model
• Denní spotřeba na typ obsluhy modelu
• Prvních 10 nejnákladnějších koncových bodů
• Top 10 nejdražších koncových bodů pro platbyPer-Token
• Doladění LLM Výdaje za posledních 7 dnů
• Vyladění výdajů na e-mail v LLM

Použití značek k monitorování nákladů

Na začátku můžou být agregované náklady dostatečné pro pozorování celkových nákladů na obsluhu modelu. S rostoucím počtem koncových bodů ale můžete chtít rozdělit náklady na základě případu použití, obchodní jednotky nebo jiných vlastních identifikátorů. Nasazení modelů podporuje vytváření vlastních značek, které je možné použít na koncových bodech nasazení modelů.

Všechny vlastní značky použité na model obsluhující koncové body se rozšíří do system.billing.usage tabulky pod custom_tags sloupcem a dají se použít k agregaci a vizualizaci nákladů. Databricks doporučuje přidat do každého koncového bodu popisné značky pro přesné sledování nákladů.

Vzorové dotazy

Hlavní koncové body podle nákladů:

SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Náklady se značkami ("business_unit": "datové vědy") v průběhu času:

SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Další materiály

Příklady monitorování nákladů na úlohy ve vašem účtu najdete v tématu Monitorování nákladů na úlohy & výkonu pomocí systémových tabulek.