Sledování využití modelu

Tato stránka popisuje, jak monitorovat využití služeb Unity AI Gateway pomocí systémové tabulky sledování využití.

Tabulka sledování využití automaticky zaznamenává podrobnosti požadavků a odpovědí pro modelovou službu, protokolování základních metrik, jako je využití tokenu a latence. Data v této tabulce můžete použít k monitorování uživatelů, sledování nákladů a získání přehledu o výkonu a spotřebě modelových služeb.

Sledování využití také zaznamenává ai_query požadavky na modelové služby poskytované společností Databricks.

Správci účtů a pracovních prostorů můžou zobrazit konsolidovaný přehled využití AI na stránce AI v centru zásad správného řízení.

Requirements

Pricing

Sledování využití je fakturovaná funkce Unity AI Gateway. Azure Databricks účtuje za využití, které loguje do tabulkysystem.ai_gateway.usage. Podívejte se na ceny Unity AI Gateway.

Proveďte dotaz na tabulku využití

Unity AI Gateway protokoluje data o využití do system.ai_gateway.usage systémové tabulky. Tabulku můžete zobrazit v uživatelském rozhraní nebo ji dotazovat z Databricks SQL nebo poznámkového bloku.

Note

Pro zobrazení nebo dotazování tabulky system.ai_gateway.usage jsou ve výchozím nastavení vyžadovány jak role správce účtů, tak metastore. Administrátoři mohou spravovat přístup k systémovým tabulkám a ovládat oprávnění uživatelů, skupin a principů služeb.

Pokud chcete zobrazit tabulku v uživatelském rozhraní, kliknutím na odkaz na tabulku sledování využití na stránce služby modelu otevřete tabulku v Průzkumníku katalogu.

Dotazování tabulky z Databricks SQL nebo poznámkového bloku:

SELECT * FROM system.ai_gateway.usage;

Tip

Genie Code (režim agenta) to může udělat za vás. Vyzkoušejte tento příklad výzvy:

Query the system.ai_gateway.usage table to analyze AI Gateway usage showing request count and total tokens, grouped by endpoint name for the last 7 days.

Integrovaný panel využití

Note

Některé pracovní prostory ještě nezobrazují rozevírací seznam Řízení . V těchto pracovních prostorech použijte samostatná tlačítka Vytvořit řídicí panel, Zobrazit řídicí panel a Aktualizovat na stránce Brány Unity AI.

Vytvořte vestavěný dashboard využití

Správci účtů můžou vytvořit integrovaný řídicí panel využití brány Unity AI pro monitorování využití, sledování nákladů a získání přehledu o výkonu a spotřebě modelových služeb. Na stránce Unity AI Gateway klikněte v pravém horním rohu na Govern a poté klikněte na Create Usage Dashboard. Sklad, ve kterém se spouští dotazy řídicího panelu, se vybere automaticky.

Note

Vytváření řídicího panelu je omezeno na správce účtu, protože vyžaduje SELECT oprávnění k system.ai_gateway.usage tabulce. Data řídicího panelu podléhají usage zásadám uchovávání informací v tabulce. Viz Které systémové tabulky jsou k dispozici?.

Pokud je k dispozici novější verze integrovaného panelu využití, mohou správci účtu kliknout na Aktualizovat v řádku verze panelu v rozbalovací nabídce Řízení na stránce Unity AI Gateway.

Ke správě řídicího panelu můžete použít následující možnosti konfigurace řídicího panelu:

  • Obor: Vyberte, jestli chcete nastavit rozsah řídicího panelu na účet nebo pracovní prostor.
  • Oprávnění: Zvolte, jestli se dotazy spouštějí pomocí oprávnění vlastníka řídicího panelu nebo oprávnění každého prohlížeče. Podívejte se na Co jsou sdílená oprávnění k datům?.
  • Automatické aktualizace: Když tuto možnost povolíte, řídicí panel se automaticky aktualizuje vždy, když bude dostupná novější verze a správce účtu navštíví stránku Brány Unity AI.

Možnosti aktualizace řídicího panelu ai-gateway

Když se řídicí panel aktualizuje na verzi 0.3 nebo novější, automaticky se vytvoří plán pro aktualizaci řídicího panelu každých 6 hodin. V případě potřeby je možné tento plán zakázat na řídicím panelu Lakeview. Viz Vytvoření plánu.

Zobrazit řídicí panel využití

Chcete-li zobrazit řídicí panel, klikněte na Govern v pravém horním rohu stránky Unity AI Gateway a potom klikněte na Panel využití. Řídicí panel se otevře na nové kartě. Integrovaný řídicí panel má komplexní přehled o využití, výkonu a nákladech služby modelu Unity AI Gateway. Zahrnuje několik stránek, které sledují požadavky, spotřebu tokenů, metriky latence, míry chyb, rozpisy nákladů, externí provoz serveru MCP a aktivitu agenta kódování.

Řídicí panel využití ai-gateway

Řídicí panel ve výchozím nastavení poskytuje analýzy napříč pracovními prostory. Všechny stránky řídicího panelu je možné filtrovat podle rozsahu dat a ID pracovního prostoru.

  • Karta Přehled: Zobrazuje metriky využití vysoké úrovně, včetně denního objemu požadavků, trendů využití tokenů v průběhu času, nejčastějších uživatelů podle spotřeby tokenů a celkového počtu jedinečných uživatelů. Na této kartě získáte rychlý snímek celkové aktivity brány Unity AI a identifikujte nejaktivnější uživatele a modely.
  • Karta Výkon: Sleduje klíčové metriky výkonu, včetně percentilů latence (P50, P90, P95, P99), čas na první bajt, chybovost a distribuce stavových kódů HTTP. Na této kartě můžete monitorovat stav služby modelu a identifikovat kritické body výkonu nebo problémy se spolehlivostí.
  • Karta Využití: Zobrazuje podrobné rozpisy spotřeby podle služby modelu, pracovního prostoru a žadatele. Tato karta zobrazuje vzorce využití tokenů, distribuce požadavků a poměry přístupů do mezipaměti.
  • Karta Sledování nákladů: Zobrazuje rozpis nákladů podle služby modelu, cílového modelu, uživatele, tagů služeb a tagů požadavků. Tato karta obsahuje také odhadované náklady na externí modely. Viz Analyzovat náklady Unity AI Gateway.
  • Karta Externí server MCP: Zobrazuje objem požadavků, chybovost, uživatele a připojení a trendy denního využití externího provozu serveru MCP.
  • Záložka Programovací agenti: Sleduje aktivitu od integrovaných programovacích agentů, včetně Kurzor, Claude Code, Gemini CLI a Codex CLI. Tato karta zobrazuje metriky, jako jsou aktivní dny, programovací relace, potvrzení a řádky přidaného nebo odebraného kódu pro monitorování využití vývojářských nástrojů. Další podrobnosti najdete na řídicím panelu agenta kódování .

Schéma tabulky využití

Tabulka system.ai_gateway.usage má následující schéma:

Název sloupce Typ Description Example
account_id STRING ID účtu. 11d77e21-5e05-4196-af72-423257f74974
workspace_id STRING Identifikátor pracovního prostoru. 1653573648247579
request_id STRING Jedinečný identifikátor požadavku. b4a47a30-0e18-4ae3-9a7f-29bcb07e0f00
invocation_id STRING Jedinečný identifikátor pro každé jednotlivé volání inference. Stejné request_id může sdílet více volání, například kontroly ochranných omezení nebo vícekolová volání agenta. Slouží invocation_id k odlišení. c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60
schema_version INTEGER Verze schématu záznamu využití. 1
endpoint_id STRING Jedinečné ID modelové služby Unity AI Gateway. 43addf89-d802-3ca2-bd54-fe4d2a60d58a
endpoint_name STRING Název modelové služby Unity AI Gateway. system.ai.gpt-5-2
endpoint_tags MAP Značky nakonfigurované ve službě modelu při vytváření nebo aktualizaci Vztahují se na všechny požadavky na modelovou službu a jsou užitečné pro kategorizaci služeb podle týmu, nákladového střediska nebo projektu. {"team": "engineering"}
endpoint_metadata STRUCT Metadata služby modelu, včetně creator, creation_time, last_updated_timedestinations, inference_table, a fallbacks. {"creator": "user.name@email.com", "creation_time": "2026-01-06T12:00:00.000Z", ...}
event_time ČASOVÁ ZNAČKA Časové razítko, kdy byl požadavek přijat. 2026-01-20T19:48:08.000+00:00
latency_ms LONG Celková latence v milisekundách. 300
time_to_first_byte_ms LONG Čas na první bajt v milisekundách. 300
destination_type STRING Typ cíle (například externí model nebo základní model). PAY_PER_TOKEN_FOUNDATION_MODEL
destination_name STRING Název cílového modelu nebo zprostředkovatele. system.ai.gpt-5-2
destination_id STRING Jedinečné ID cíle. 507e7456151b3cc89e05ff48161efb87
destination_model STRING Konkrétní model použitý pro požadavek. GPT-5.2
requester STRING ID uživatele nebo služebního objektu, který požadavek provedl. user.name@email.com
requester_type STRING Typ žadatele (uživatel, instanční objekt nebo skupina uživatelů). USER
ip_address STRING IP adresa žadatele. 1.2.3.4
url STRING Adresa URL požadavku. https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions
user_agent STRING Uživatelský agent žadatele. OpenAI/Python 2.13.0
api_type STRING Typ volání rozhraní API (například chat, dokončování nebo vkládání). mlflow/v1/chat/completions
request_tags MAP Značky poskytnuté uživatelem odeslané s jednotlivými požadavky pomocí hlavičky Databricks-Ai-Gateway-Request-Tags HTTP. Pomocí značek žádostí přiřazovat využití konkrétním projektům, týmům, prostředím nebo koncovým uživatelům. Viz Žádosti o značky pro sledování využití a žádosti o značky pro sledování využití. {"project": "chatbot", "team": "ml-platform"}
invocation_metadata STRUCT Systémem generovaná metadata o volání inference. Obsahuje sourceslužbu nebo cestu, která iniciovala volání. {"source": "EXTERNAL_CLIENT"}
input_tokens LONG Počet vstupních tokenů. 100
output_tokens LONG Počet výstupních tokenů 100
total_tokens LONG Celkový počet tokenů (vstup + výstup). 200
token_details STRUCT Podrobný rozpis tokenů včetně cache_read_input_tokens, cache_creation_input_tokensa output_reasoning_tokens. {"cache_read_input_tokens": 100, ...}
response_content_type STRING Typ obsahu odpovědi. application/json
status_code INT HTTP stavový kód odpovědi. 200
routing_information STRUCT Detaily směrování pro záložní pokusy. attempts Obsahuje pole s priority, action, destination, destination_id, status_code, error_code, latency_ms, start_time a end_time pro každý model zkoušený během požadavku. {"attempts": [{"priority": "1", ...}]}

Označit požadavky pro sledování využití

Tagy požadavků jsou vlastní dvojice klíč–hodnota, které volající připojuje k jednotlivým požadavkům. Pomocí značek žádostí můžete přiřazovat využití podle projektu, týmu, prostředí, koncového uživatele nebo jakékoli jiné dimenze, která je pro vaši organizaci relevantní. Značky žádostí se protokolují do system.ai_gateway.usage tabulky a dají se použít k filtrování, agregaci a analýze dat o využití.

Chcete-li označit jednotlivé požadavky, uveďte hlavičku HTTP Databricks-Ai-Gateway-Request-Tags s objektem JSON, který mapuje řetězcové klíče na řetězcové hodnoty. Tagy požadavků se zaznamenávají do sloupce request_tags v tabulce využití a v inferenčních tabulkách.

Příklady ukazující, jak nastavit značky požadavků pomocí rozhraní REST API, sady OpenAI SDK a sady Anthropic SDK, najdete v tématu Žádky o sledování využití.

Můžete například agregovat využití podle projektu pomocí značek požadavků:

SELECT
  request_tags['project'] AS project,
  COUNT(*) AS request_count,
  SUM(total_tokens) AS total_tokens
FROM system.ai_gateway.usage
WHERE request_tags['project'] IS NOT NULL
GROUP BY request_tags['project']
ORDER BY total_tokens DESC;

Limitations

  • Unity AI Gateway nesleduje použití tokenů u odpovědí větších než 1 MiB, které nejsou streamované ani typu embedding.

Další zdroje informací

  • Last updated on