Modelgebruik voor Unity AI Gateway-services

Important

Deze functie bevindt zich in de bètaversie. Accountbeheerders kunnen de toegang tot deze functie beheren via de pagina Previews van de accountconsole. Zie Azure Databricks previews beheren.

Op deze pagina wordt beschreven hoe u het gebruik voor Unity AI Gateway-services bewaakt met behulp van de systeemtabel voor het bijhouden van gebruik.

In de tabel voor het bijhouden van gebruik worden automatisch aanvraag- en antwoorddetails vastgelegd voor een modelservice, met essentiële metrische gegevens, zoals tokengebruik en latentie. U kunt de gegevens in deze tabel gebruiken om gebruikers te bewaken, kosten bij te houden en inzicht te krijgen in de prestaties en het verbruik van de modelservice.

Bij het bijhouden van gebruik worden ook aanvragen vastgelegd ai_query voor door Databricks geleverde modelservices.

Account- en werkruimtebeheerders kunnen een geconsolideerd overzicht bekijken van AI-gebruik op de AI-pagina in Governance Hub.

Requirements

  • De preview op accountniveau van Unity AI Gateway moet zijn ingeschakeld voor uw account. Een accountbeheerder schakelt deze preview in op de pagina Previews van de accountconsole voordat u gebruikstracking of het ingebouwde gebruiksdashboard kunt gebruiken. Zie Azure Databricks previews beheren.
  • Een Azure Databricks-werkruimte in een Unity AI Gateway-ondersteunde regio.
  • Unity Catalog ingeschakeld voor uw werkruimte. Zie Een werkruimte inschakelen voor Unity Catalog.

Query's uitvoeren op de gebruikstabel

Unity AI Gateway registreert gebruiksgegevens naar de system.ai_gateway.usage systeemtabel. U kunt de tabel in de gebruikersinterface bekijken of een query uitvoeren op de tabel vanuit Databricks SQL of een notebook.

Note

Alleen accountbeheerders zijn gemachtigd om de system.ai_gateway.usage tabel weer te geven of er query's op uit te voeren.

Als u de tabel in de gebruikersinterface wilt weergeven, klikt u op de koppeling naar de tabel voor het bijhouden van gebruik op de pagina van de modelservice om de tabel te openen in Catalog Explorer.

Een query uitvoeren op de tabel vanuit Databricks SQL of een notebook:

SELECT * FROM system.ai_gateway.usage;

Tip

Genie Code (agentmodus) kan dit voor u doen. Probeer dit voorbeeldprompt:

Query the system.ai_gateway.usage table to analyze AI Gateway usage showing request count and total tokens, grouped by endpoint name for the last 7 days.

Ingebouwd gebruiksdashboard

Note

Sommige werkruimtes tonen de vervolgkeuzelijst Govern nog niet. In deze werkruimten gebruikt u in plaats daarvan de zelfstandige knoppen Dashboard maken, Dashboard weergeven en Bijwerken op de pagina Unity AI Gateway.

Ingebouwd gebruiksdashboard maken

Accountbeheerders kunnen een ingebouwd dashboard voor Het gebruik van Unity AI Gateway maken om het gebruik te bewaken, kosten bij te houden en inzicht te krijgen in de prestaties en het verbruik van de modelservice. Klik op de pagina Unity AI Gateway op Beheren in de rechterbovenhoek en klik vervolgens op Gebruiksdashboard maken. Het magazijn waarop de dashboardquery's worden uitgevoerd, wordt automatisch geselecteerd.

Note

Het maken van een dashboard is beperkt tot accountbeheerders omdat hiervoor machtigingen voor de SELECT tabel zijn vereistsystem.ai_gateway.usage. De gegevens van het dashboard zijn onderhevig aan het bewaarbeleid van de usage tabel. Zie Welke systeemtabellen zijn beschikbaar?.

Wanneer er een nieuwere versie van het ingebouwde gebruiksdashboard beschikbaar is, kunnen accountbeheerders op Bijwerken klikken in de vervolgkeuzelijst Beheren op de pagina Unity AI Gateway.

U kunt de volgende dashboardconfiguratieopties gebruiken om het dashboard te beheren:

  • Reikwijdte: Selecteer of het dashboard betrekking heeft op de account of de werkruimte.
  • Machtigingen: Kies of query's worden uitgevoerd met behulp van de machtigingen van de eigenaar van het dashboard of de machtigingen van elke viewer. Zie Wat zijn gedeelde gegevensmachtigingen?
  • Automatische updates: wanneer u deze optie inschakelt, wordt het dashboard automatisch bijgewerkt wanneer er een nieuwere versie beschikbaar komt en een accountbeheerder de unity AI Gateway-pagina bezoekt.

Dashboardopties voor het bijwerken van ai-gateway

Wanneer het dashboard wordt bijgewerkt naar versie 0.3 of hoger, wordt er automatisch een schema gemaakt om het dashboard elke 6 uur te vernieuwen. Indien nodig kan dit schema worden uitgeschakeld in het Lakeview-dashboard. Zie Een planning maken.

Gebruiksdashboard weergeven

Als u het dashboard wilt weergeven, klikt u in de rechterbovenhoek van de Unity AI Gateway-pagina op Beheren en vervolgens op Gebruiksdashboard. Het dashboard wordt geopend op een nieuw tabblad. Het ingebouwde dashboard heeft uitgebreide zichtbaarheid in het gebruik, prestaties en kosten van het Unity AI Gateway-modelservicegebruik. Het omvat meerdere pagina's voor het bijhouden van aanvragen, tokenverbruik, latentiemetingen, foutpercentages, kostenoverzichten, verkeer van externe MCP-servers en de activiteit van codeeragents.

ai-gateway-gebruiksdashboard

Het dashboard biedt standaard analyse in meerdere werkruimten. Alle dashboardpagina's kunnen worden gefilterd op datumbereik en werkruimte-id.

  • Tabblad Overzicht: Toont metrische gegevens op hoog niveau over gebruik, waaronder dagelijks aanvraagvolume, tokengebruikstrends in de loop van de tijd, belangrijkste gebruikers per tokenverbruik en het totale aantal unieke gebruikers. Gebruik dit tabblad om een snelle momentopname te maken van de algehele Unity AI Gateway-activiteit en om de meest actieve gebruikers en modellen te identificeren.
  • Tabblad Prestaties: Houdt belangrijke prestatiegegevens bij, waaronder latentie percentielen (P50, P90, P95, P99), tijd tot eerste byte, foutpercentages en HTTP-statuscodedistributies. Gebruik dit tabblad om de servicestatus van het model te bewaken en prestatieknelpunten of betrouwbaarheidsproblemen te identificeren.
  • Tabblad Gebruik: toont gedetailleerde uitsplitsingen van verbruik per modelservice, werkruimte en aanvrager. Dit tabblad toont gebruikspatronen voor tokens, aanvraagdistributies en verhoudingen voor cachetreffers.
  • Tabblad Waarneembaarheid van kosten: toont kostenanalyses per modelservice, doelmodel, gebruiker, servicetags en aanvraagtags. Dit tabblad bevat ook geschatte kosten voor externe modellen. Zie De kosten van Unity AI Gateway bewaken.
  • Tabblad Externe MCP-server: toont aanvraagvolume, foutpercentages, gebruikers en verbindingen en dagelijkse gebruikstrends voor extern MCP-serververkeer.
  • Tabblad Coderingsagenten: houdt activiteiten bij van geïntegreerde coderingsagents, waaronder Cursor, Claude Code, Gemini CLI en Codex CLI. Dit tabblad bevat metrische gegevens, zoals actieve dagen, coderingssessies, doorvoeringen en regels code die zijn toegevoegd of verwijderd om het gebruik van ontwikkelhulpprogramma's te bewaken. Zie het dashboard van de coderingsagent voor meer informatie.

Schema van gebruikstabel

De system.ai_gateway.usage tabel heeft het volgende schema:

Kolomnaam Type Beschrijving Example
account_id STRING De account-id. 11d77e21-5e05-4196-af72-423257f74974
workspace_id STRING De werkruimte-ID. 1653573648247579
request_id STRING Een unieke id voor de aanvraag. b4a47a30-0e18-4ae3-9a7f-29bcb07e0f00
invocation_id STRING Een unieke id voor elke afzonderlijke deductieoproep. Meerdere aanroepen kunnen hetzelfde request_id delen, zoals guardrailcontroles of agentoproepen met meerdere beurten. Gebruik invocation_id dit om ze te onderscheiden. c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60
schema_version GEHEEL GETAL De schemaversie van het gebruikslog. 1
endpoint_id STRING De unieke id van de Unity AI Gateway-modelservice. 43addf89-d802-3ca2-bd54-fe4d2a60d58a
endpoint_name STRING De naam van de Unity AI Gateway-modelservice. databricks-gpt-5-2
endpoint_tags MAP Tags die bij het maken of bijwerken op de modelservice zijn ingesteld. Ze zijn van toepassing op alle aanvragen voor de modelservice en zijn handig voor het categoriseren van services per team, kostenplaats of project. {"team": "engineering"}
endpoint_metadata STRUCT Metagegevens van de modelservice, inclusief creator, creation_time, last_updated_time, destinations, inference_table en fallbacks. {"creator": "user.name@email.com", "creation_time": "2026-01-06T12:00:00.000Z", ...}
event_time TIMESTAMP De tijdstempel waarop de aanvraag is ontvangen. 2026-01-20T19:48:08.000+00:00
latency_ms LONG De totale latentie in milliseconden. 300
time_to_first_byte_ms LONG De tijd tot eerste byte in milliseconden. 300
destination_type STRING Het type bestemming (bijvoorbeeld extern model of basismodel). PAY_PER_TOKEN_FOUNDATION_MODEL
destination_name STRING De naam van het doelmodel of de doelprovider. databricks-gpt-5-2
destination_id STRING De unieke ID van de bestemming. 507e7456151b3cc89e05ff48161efb87
destination_model STRING Het specifieke model dat wordt gebruikt voor de aanvraag. GPT-5.2
requester STRING De id van de gebruiker of service-principal die de aanvraag heeft ingediend. user.name@email.com
requester_type STRING Het type aanvrager (gebruiker, service-principal of gebruikersgroep). USER
ip_address STRING Het IP-adres van de aanvrager. 1.2.3.4
url STRING De URL van de aanvraag. https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions
user_agent STRING De gebruikersagent van de aanvrager. OpenAI/Python 2.13.0
api_type STRING Het type API-aanroep (bijvoorbeeld chatten, voltooiingen of insluiten). mlflow/v1/chat/completions
request_tags MAP Door de gebruiker verstrekte tags die worden verzonden met afzonderlijke aanvragen met behulp van de Databricks-Ai-Gateway-Request-Tags HTTP-header. Gebruik aanvraagtags om gebruik toe te passen aan specifieke projecten, teams, omgevingen of eindgebruikers. Zie Tagaanvragen voor het bijhouden van gebruik en tagaanvragen voor het bijhouden van gebruik. {"project": "chatbot", "team": "ml-platform"}
invocation_metadata STRUCT Door het systeem gegenereerde metagegevens over de inference-aanroep. Bevat source, de service of het pad waarmee de aanroep is gestart. {"source": "EXTERNAL_CLIENT"}
input_tokens LONG Het aantal invoertokens. 100
output_tokens LONG Het aantal uitvoertokens. 100
total_tokens LONG Het totale aantal tokens (invoer en uitvoer). 200
token_details STRUCT Gedetailleerde uitsplitsing van tokens, waaronder cache_read_input_tokens, cache_creation_input_tokensen output_reasoning_tokens. {"cache_read_input_tokens": 100, ...}
response_content_type STRING Het inhoudstype van het antwoord. application/json
status_code INT De HTTP-statuscode van het antwoord. 200
routing_information STRUCT Routeringsdetails voor terugvalpogingen . Bevat een attempts matrix met priority, action, destination, destination_id, , status_code, error_code, latency_msen start_timeend_time voor elk model dat tijdens de aanvraag is geprobeerd. {"attempts": [{"priority": "1", ...}]}

Tagaanvragen voor het bijhouden van gebruik

Aanvraagtags zijn aangepaste sleutel-waardeparen die de aanroeper koppelt aan afzonderlijke aanvragen. Gebruik aanvraagtags om gebruik toe te passen op project, team, omgeving, eindgebruiker of een andere dimensie die relevant is voor uw organisatie. Aanvraagtags worden vastgelegd in de system.ai_gateway.usage tabel en kunnen worden gebruikt voor het filteren, aggregeren en analyseren van gebruiksgegevens.

Als u afzonderlijke verzoeken wilt taggen, neemt u de Databricks-Ai-Gateway-Request-Tags HTTP-header op in een JSON-object dat tekenreekssleutels toewijst aan tekenreekswaarden. Aanvraagtags worden geregistreerd in de kolom request_tags in de gebruikstabel en in inferentietabellen.

Zie Tag-aanvragen voor het bijhouden van gebruik voor voorbeelden van het instellen van aanvraagtags met REST API, OpenAI SDK en Anthropic SDK.

U kunt bijvoorbeeld het gebruik per project aggregeren met behulp van aanvraagtags:

SELECT
  request_tags['project'] AS project,
  COUNT(*) AS request_count,
  SUM(total_tokens) AS total_tokens
FROM system.ai_gateway.usage
WHERE request_tags['project'] IS NOT NULL
GROUP BY request_tags['project']
ORDER BY total_tokens DESC;

Limitations

  • Unity AI Gateway houdt het tokengebruik niet bij voor niet-streaming, niet-ingesloten antwoorden die groter zijn dan 1 MiB.

Aanvullende informatiebronnen

  • Last updated on