Spåra användningen av modellen

Den här sidan beskriver hur du övervakar användningen av Unity AI Gateway-tjänster med hjälp av systemtabellen för användningsspårning.

Användningsspårningstabellen samlar automatiskt in information om begäranden och svar för en modelltjänst och loggar viktiga mått som tokenanvändning och svarstid. Du kan använda data i den här tabellen för att övervaka användare, spåra kostnader och få insikter om prestanda och förbrukning av modelltjänster.

Användningsspårning samlar ai_query också in begäranden till databricks-tillhandahållna modelltjänster.

Konto- och arbetsyteadministratörer kan visa en samlad översikt över AI-användning på AI-sidan i Styrningshubben.

Requirements

Pricing

Användningsspårning är en fakturerad funktion i Unity AI Gateway. Azure Databricks tar betalt för den användning som loggas till system.ai_gateway.usage tabellen. Se prissättningen för Unity AI Gateway.

Hämta från användningstabellen

Unity AI Gateway loggar användningsdata till systemtabellen system.ai_gateway.usage . Du kan visa tabellen i användargränssnittet eller fråga tabellen från Databricks SQL eller en notebook-fil.

Note

Både konto- och metastore-administratörsroller krävs som standard för att visa eller fråga tabellen system.ai_gateway.usage . Administratörer kan hantera åtkomst till systemtabeller för att kontrollera behörigheter för användare, grupper och tjänstehuvudpersoner.

Om du vill visa tabellen i användargränssnittet klickar du på länken för användningsspårningstabellen på modelltjänstsidan för att öppna tabellen i Catalog Explorer.

Så här frågar du tabellen från Databricks SQL eller en notebook-fil:

SELECT * FROM system.ai_gateway.usage;

Tip

Genie Code (agentläge) kan göra detta åt dig. Prova den här exempelprompten:

Query the system.ai_gateway.usage table to analyze AI Gateway usage showing request count and total tokens, grouped by endpoint name for the last 7 days.

Inbyggd instrumentpanel för användning

Note

Vissa arbetsytor visar ännu inte listrutan Styrning . På dessa arbetsytor använder du de fristående knapparna Skapa instrumentpanel, Visa instrumentpanel och Uppdatera på unity AI Gateway-sidan i stället.

Skapa en inbyggd användningsdashboard

Kontoadministratörer kan skapa en inbyggd Unity AI Gateway-användningsinstrumentpanel för att övervaka användning, spåra kostnader och få insikter om prestanda och förbrukning av modelltjänster. På sidan Unity AI Gateway klickar du på Styr längst upp till höger och klickar sedan på Skapa instrumentpanel för användning. Det datalager som används för instrumentpanelens frågor väljs automatiskt.

Note

Att skapa instrumentpaneler är begränsat till kontoadministratörer eftersom det kräver SELECT behörighet till tabellen system.ai_gateway.usage. Instrumentpanelens data omfattas av usage tabellens lagringspolicyer. Se Vilka systemtabeller är tillgängliga?.

När en nyare version av den inbyggda instrumentpanelen för användning är tillgänglig kan kontoadministratörer klicka på Uppdatera på instrumentpanelens versionsrad i listrutan Styrning på sidan Unity AI Gateway.

Du kan använda följande konfigurationsalternativ för instrumentpanelen för att hantera instrumentpanelen:

  • Omfattning: Välj om instrumentpanelen ska omfatta kontot eller arbetsytan.
  • Behörigheter: Välj om frågor ska köras med hjälp av instrumentpanelens ägares behörigheter eller varje visningsprograms behörigheter. Se Vad är delade databehörigheter?.
  • Automatiska uppdateringar: När du aktiverar det här alternativet uppdateras instrumentpanelen automatiskt när en nyare version blir tillgänglig och en kontoadministratör besöker sidan Unity AI Gateway.

alternativ för ai-gateway-uppdateringens översiktspanel

När instrumentpanelen uppdateras till version 0.3 eller senare skapas automatiskt ett schema för att uppdatera instrumentpanelen var 6:e timme. Om det behövs kan det här schemat inaktiveras på Lakeview-instrumentpanelen. Se Skapa ett schema.

Visa instrumentpanelen för användning

Om du vill visa instrumentpanelen klickar du på Styr längst upp till höger på sidan Unity AI Gateway och klickar sedan på Instrumentpanel för användning. Instrumentpanelen öppnas på en ny flik. Den inbyggda instrumentpanelen har omfattande insyn i användning, prestanda och kostnad för Unity AI Gateway-modelltjänst. Den innehåller flera sidor som spårar begäranden, tokenförbrukning, svarstidsmått, felfrekvenser, kostnadsuppdelningar, extern MCP-servertrafik och kodningsagentaktivitet.

översiktspanel för användning av ai-gateway

Instrumentpanelen tillhandahåller analys mellan arbetsytor som standard. Alla instrumentpanelssidor kan filtreras efter datumintervall och arbetsyte-ID.

  • Fliken Översikt: Visar användningsstatistik på hög nivå, inklusive daglig begärandevolym, trender för tokenanvändning över tid, toppanvändare efter tokenförbrukning och totalt antal unika användare. Använd den här fliken för att få en snabb ögonblicksbild av övergripande Unity AI Gateway-aktivitet och identifiera de mest aktiva användarna och modellerna.
  • Fliken Prestanda: Spårar viktiga prestandamått, inklusive percentiler för svarstid (P50, P90, P95, P99), tid till första byte, felfrekvenser och HTTP-statuskoddistributioner. Använd den här fliken om du vill övervaka modellens tjänsthälsa och identifiera prestandaflaskhalsar eller tillförlitlighetsproblem.
  • Fliken Användning: Visar detaljerade förbrukningsuppdelningar efter modelltjänst, arbetsyta och beställare. På den här fliken visas mönster för tokenanvändning, distributioner av begäranden och cacheträffar.
  • Fliken Kostnadsobservabilitet: Visar kostnadsuppdelningar efter modelltjänst, målmodell, användare, tjänsttaggar och begärandetaggar. Den här fliken innehåller även uppskattade kostnader för externa modeller. Se Analysera kostnaden för Unity AI Gateway.
  • Fliken Extern MCP-server: Visar begärandevolym, felfrekvens, användare och anslutningar samt dagliga användningstrender för extern MCP-servertrafik.
  • Fliken Kodningsagenter: Spårar aktivitet från integrerade kodningsagenter som Cursor, Claude Code, Gemini CLI och Codex CLI. Den här fliken visar mått som aktiva dagar, kodningssessioner, incheckningar och rader med kod som läggs till eller tas bort för att övervaka användningen av utvecklarverktyg. Mer information finns i instrumentpanelen för kodningsagenten .

Schema för användningstabell

Tabellen system.ai_gateway.usage har följande schema:

Kolumnnamn Type Description Example
account_id STRING Konto-ID 11d77e21-5e05-4196-af72-423257f74974
workspace_id STRING Arbetsyte-ID. 1653573648247579
request_id STRING En unik identifierare för begäran. b4a47a30-0e18-4ae3-9a7f-29bcb07e0f00
invocation_id STRING En unik identifierare för varje enskilt slutsatsdragningsanrop. Flera anrop kan dela samma request_id, till exempel guardrail-kontroller eller fleromgångsanrop till agenter. Använd invocation_id för att särskilja dem. c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60
schema_version INTEGER Användningspostens schemaversion. 1
endpoint_id STRING Det unika ID:t för Unity AI Gateway-modelltjänsten. 43addf89-d802-3ca2-bd54-fe4d2a60d58a
endpoint_name STRING Namnet på Unity AI Gateway-modelltjänsten. databricks-gpt-5-2
endpoint_tags MAP Taggar som konfigurerats för modelltjänsten när den skapas eller uppdateras. De gäller för alla begäranden till modelltjänsten och är användbara för att kategorisera tjänster efter team, kostnadsställe eller projekt. {"team": "engineering"}
endpoint_metadata STRUCT Modelltjänstmetadata, inklusive creator, creation_time, last_updated_timedestinations, inference_tableoch fallbacks. {"creator": "user.name@email.com", "creation_time": "2026-01-06T12:00:00.000Z", ...}
event_time TIMESTAMP Tidsstämpeln när begäran togs emot. 2026-01-20T19:48:08.000+00:00
latency_ms LONG Den totala svarstiden i millisekunder. 300
time_to_first_byte_ms LONG Tiden till första byte i millisekunder. 300
destination_type STRING Typ av mål (till exempel extern modell eller grundmodell). PAY_PER_TOKEN_FOUNDATION_MODEL
destination_name STRING Namnet på målmodellen eller providern. databricks-gpt-5-2
destination_id STRING Målets unika ID. 507e7456151b3cc89e05ff48161efb87
destination_model STRING Den specifika modell som används för begäran. GPT-5.2
requester STRING ID:t för användaren eller tjänstens huvudnamn som gjorde begäran. user.name@email.com
requester_type STRING Typen av begärande (användare, tjänstens huvudnamn eller användargrupp). USER
ip_address STRING Ip-adressen för beställaren. 1.2.3.4
url STRING URL:en för begäran. https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions
user_agent STRING Beställarens användaragent. OpenAI/Python 2.13.0
api_type STRING Typ av API-anrop (till exempel chatt, slutföranden eller inbäddningar). mlflow/v1/chat/completions
request_tags MAP Användarangivna taggar som skickas med individuella begäranden med HTTP-huvudet Databricks-Ai-Gateway-Request-Tags. Använd begärandetaggar för att tillskriva användning till specifika projekt, team, miljöer eller slutanvändare. Se Tagga begäranden för användningsspårning och Tagga begäranden för användningsspårning. {"project": "chatbot", "team": "ml-platform"}
invocation_metadata STRUCT Systemgenererade metadata om slutsatsdragningsanropet. Innehåller source, tjänsten eller sökvägen som initierade anropet. {"source": "EXTERNAL_CLIENT"}
input_tokens LONG Antalet indatatoken. 100
output_tokens LONG Antalet utdatatoken. 100
total_tokens LONG Det totala antalet token (indata + utdata). 200
token_details STRUCT Detaljerad tokenuppdelning, inklusive cache_read_input_tokens, cache_creation_input_tokensoch output_reasoning_tokens. {"cache_read_input_tokens": 100, ...}
response_content_type STRING Svarets innehållstyp. application/json
status_code INT HTTP-statuskoden för svaret. 200
routing_information STRUCT Routningsinformation för återställningsförsök . Innehåller en attempts matris med priority, action, destination, destination_id, status_code, error_code, latency_msstart_timeoch end_time för varje modell som provats under begäran. {"attempts": [{"priority": "1", ...}]}

Tagga begäranden för användningsspårning

Begärandetaggar är anpassade nyckel/värde-par som anroparen kopplar till enskilda begäranden. Använd begärandetaggar för att tillskriva användning efter projekt, team, miljö, slutanvändare eller någon annan dimension som är relevant för din organisation. Begärandetaggar loggas till system.ai_gateway.usage tabellen och kan användas för att filtrera, aggregera och analysera användningsdata.

Om du vill tagga enskilda begäranden inkluderar du Databricks-Ai-Gateway-Request-Tags HTTP-huvudet med ett JSON-objekt som mappar strängnycklar till strängvärden. Begärandetaggar loggas i kolumnen request_tags i användningstabellen och i inferenstabeller.

Exempel som visar hur du anger begärandetaggar med REST API, OpenAI SDK och Anthropic SDK finns i Tag-begäranden för användningsspårning.

Du kan till exempel aggregera användning per projekt med hjälp av begärandetaggar:

SELECT
  request_tags['project'] AS project,
  COUNT(*) AS request_count,
  SUM(total_tokens) AS total_tokens
FROM system.ai_gateway.usage
WHERE request_tags['project'] IS NOT NULL
GROUP BY request_tags['project']
ORDER BY total_tokens DESC;

Limitations

  • Unity AI Gateway spårar inte tokenanvändning för icke-strömmande, icke-inbäddningssvar som är större än 1 MiB.

Ytterligare resurser

  • Last updated on