Unity AI Gateway observabiliteit

Unity AI Gateway observability stelt je in staat kosten, gebruik, prestaties en toegang voor elke AI-dienst vanuit één besturingsvlak te monitoren, ondersteund door Unity Catalog systeemtabellen. Naarmate teams codeeragenten, copiloten en custom agents in de hele organisatie adopteren, wordt het moeilijker om te zien wie toegang heeft tot welke modellen of tools, hoeveel ze kosten en of endpoints gezond zijn. Omdat elk verzoek via Unity AI Gateway loopt, kun je die vragen op één plek beantwoorden.

Note

Toegang tot deze systeemtabellen vereist standaard zowel account- als metastore-beheerdersrollen. Beheerders kunnen toegang tot systeemtabellen beheren of het AI Gateway-gebruiksdashboard publiceren om gebruiksanalyses te delen zonder tabeltoegang te verlenen.

Requirements

  • Een Azure Databricks-werkruimte in een Unity AI Gateway-ondersteunde regio.
  • Het ingebouwde Unity AI Gateway-gebruiksdashboard. Een accountbeheerder kan het aanmaken met AI Gateway > Govern > Create Usage Dashboard. Zie Ingebouwd gebruiksdashboard maken.

Kosten bewaken

Ga vanuit de workspace-interface naar AI Gateway > Govern > Usage Dashboard > Cost Analysis om de uitgaven per endpoint, door Azure Databricks geleverde foundation model of gebruiker in de tijd bij te houden. Het ingebouwde dashboard gebruikt gebruiks- en factureringstabellen:

Note

Uitgaven aan externe modellen worden berekend uit de gepubliceerde prijzen van elke aanbieder en zijn uitsluitend informatief. Zie Externe modellen.

Om uitgaven over aangepaste dimensies toe te wijzen, gebruik je tags op verzoek- of serviceniveau om kosten te groeperen per bedrijfsonderdeel, project of welke dimensie dan ook die voor je organisatie relevant is (zie Uitgaven voor foundation models bijhouden per gebruiker, team of project).

Zie Analyzer Unity AI Gateway kosten.

Monitorgebruik en prestaties

Het Unity AI Gateway gebruiksdashboard (AI Gateway > Govern > Usage Dashboard) volgt het aantal verzoeken, het verbruik van tokens en de latentie voor alle eindpunten die via de gateway worden bestuurd. Elke Model of MCP-dienst heeft ook een ingebouwd tabblad Metrics voor gezondheidsmonitoring zonder de Catalog Explorer UI te verlaten. Voor diepere analyse raadpleeg de system.ai_gateway.usage tabel om gebruiksstatistieken zoals tokenaantallen, latentie, requester- en request-tags te analyseren voor elk verzoek dat via de gateway wordt gerouteerd (zie het gebruikstabelschema).

Note

Unity AI Gateway-eindpunten loggen naar system.ai_gateway.usage, terwijl model serving endpoints (legacy) naar system.serving.endpoint_usage loggen.

Veelgebruikte toepassingen:

  • Monitor en optimaliseer al je AI-diensten vanaf één plek, over je AI-stack heen
  • Volg de adoptie van codeeragenten en de populariteit van het model tussen teams
  • Identificeer de meest actieve gebruikers, diensten en modellen om optimalisatiemogelijkheden te signaleren

Zie Gebruik van het spoormodel.

Verzoeken en antwoorden inspecteren

Schakel inferentietabellen in op een modelservice in om verzoek- en responspayloads in een Unity Catalog-tabel te loggen. Gebruik inferentietabellen om:

  • Problemen met mislukte of onverwachte reacties oplossen
  • Controleer of de beveiligingsmaatregelen werken, zoals het anonimiseren van PII
  • Blootstelling van gevoelige gegevens controleren

Zie Logverzoeken en antwoorden op inferentietabellen.

Audittoegang

Zoek in de system.access.audit tabel om te bewijzen wie welke AI-dienst heeft gebruikt en wanneer. Om een menselijke beller te onderscheiden van een agent die namens hen handelt, gebruik je de run_by en run_as velden in identity_metadata.

Veelgebruikte toepassingen:

  • Maak een toegangslogboek voor compliance- en regelgevingsrapportage
  • Onderscheid een menselijke beller van een agent die namens hen handelt
  • Houd een centraal auditspoor bij over de coderingsagenten die je teams gebruiken

Zie auditsysteemlogtabel referentie.

Afhankelijkheden bijhouden

Lineage volgt afhankelijkheden tussen foundationmodellen en Model Services, evenals hun downstream gebruikers. Gebruik Lineage om de impact van het afbouwen of wijzigen van een Model Service te scopen en de eigenaren hiervan op de hoogte te stellen.

Zie Gegevensafstamming in Unity Catalog.

Aanvullende bronnen

  • Last updated on