Beobachtbarkeit von Unity AI Gateway

Die Unity AI Gateway Observability ermöglicht es Ihnen, Kosten, Verbrauch, Leistung und Zugriff für jeden KI-Dienst von einer Steuerebene aus zu überwachen, unterstützt von Unity Catalog Systemtabellen. Da Teams Coding-Agenten, Copiloten und individuelle Agenten in der gesamten Organisation einführen, wird es immer schwieriger zu erkennen, wer auf welche Modelle oder Tools zugreifen kann, wie viel sie kosten und ob Endpunkte gesund sind. Da jede Anfrage über das Unity AI Gateway geleitet wird, können Sie diese Fragen an einem Ort beantworten.

Note

Der Zugriff auf diese Systemtabellen erfordert standardmäßig sowohl Konto- als auch Metastore-Administratorrollen. Administratoren können den Zugriff auf Systemtabellen verwalten oder das AI-Gateway-Nutzungsdashboard veröffentlichen, um Nutzungsanalysen zu teilen, ohne Tabellenzugriff zu gewähren.

Anforderungen

  • Ein Azure Databricks-Arbeitsbereich in einer von Unity AI Gateway unterstützten Region.
  • Das integrierte Unity AI Gateway Nutzungs-Dashboard. Ein Kontoadministrator kann es mit dem AI Gateway > Govern > Create Usage Dashboard erstellen. Siehe Das integrierte Nutzungs-Dashboard erstellen.

Überwachen der Kosten

Wechseln Sie in der Workspace-Benutzeroberfläche zu AI Gateway > Govern > Usage Dashboard > Cost Analysis, um die Dollar-Ausgaben nach Endpunkt, von Azure Databricks bereitgestelltem Basismodell oder Benutzer im Zeitverlauf nachzuverfolgen. Das integrierte Dashboard verwendet Nutzungs- und Abrechnungstabellen:

Note

Externe Modellausgaben werden aus den veröffentlichten Preisen jedes Anbieters berechnet und sind ausschließlich informativ. Siehe externe Modelle.

Um Ausgaben entlang benutzerdefinierter Dimensionen zuzuordnen, verwenden Sie Anfrage- oder Service-Tags, um Kosten nach Geschäftseinheit, Projekt oder jeder Dimension zu gruppieren, die Ihrer Organisation wichtig ist (siehe Ausgaben des Fundamentmodells nach Nutzer, Team oder Projekt verfolgen).

Siehe Kosten des Unity AI Gateway analysieren.

Monitornutzung und Leistung

Das Unity AI Gateway Nutzungs-Dashboard (AI Gateway > Govern > Usage Dashboard) verfolgt das Anforderungsvolumen, den Tokenverbrauch und die Latenz für alle vom Gateway gesteuerten Endgeräte. Jeder Modell- oder MCP-Dienst verfügt außerdem über einen integrierten Metrik-Tab zur Gesundheitsüberwachung, ohne die Katalogexplorer-Benutzeroberfläche zu verlassen. Für eine tiefere Analyse sollten Sie die system.ai_gateway.usage Tabelle abfragen, um Nutzungsmetriken wie Token-Zählen, Latenz, Anforderer und Anfrage-Tags für jede Anfrage zu analysieren, die durch das Gateway geleitet wird (siehe das Nutzungstabellen-Schema).

Note

Unity AI Gateway-Endpunkte werden in system.ai_gateway.usage protokolliert, während Model-Serving-Endpunkte (legacy) in system.serving.endpoint_usage protokolliert werden.

Häufige Verwendungsmöglichkeiten:

  • Überwachen und optimieren Sie alle Ihre KI-Dienste an einem Ort, über Ihren gesamten KI-Stack hinweg
  • Verfolgen Sie die Akzeptanz von Coding-Agenten und die Beliebtheit von Modellen in Teams
  • Identifizieren Sie die aktivsten Nutzer, Dienste und Modelle, um Optimierungsmöglichkeiten zu erkennen

Siehe Modellnutzung verfolgen.

Anfragen und Antworten inspizieren

Aktivieren Sie Inferenztabellen auf einem Modelldienst, um Anfrage- und Antwortpayloads in einer Unity-Catalog-Tabelle zu protokollieren. Verwenden Sie Inferenztabellen, um:

  • Fehlerbehebung fehlgeschlagene oder unerwartete Antworten
  • Überprüfen Sie, ob Leitplanken funktionieren, wie zum Beispiel PII-Schwärzung,
  • Offenlegung sensibler Daten prüfen

Siehe Loganfragen und Antworten auf Inferenztabellen.

Auditzugriff

Abfrage der Tabelle system.access.audit , um zu beweisen, wer wann welchen KI-Dienst genutzt hat. Um einen menschlichen Anrufer von einem in ihrem Auftrag handelnden Agenten zu unterscheiden, verwenden Sie die run_by- und run_as-Felder in identity_metadata.

Häufige Verwendungsmöglichkeiten:

  • Erstellen Sie einen Zugangspfad für Compliance und regulatorische Berichterstattung
  • Unterscheide einen menschlichen Anrufer von einem Agenten, der in seinem Namen handelt
  • Führen Sie ein zentrales Audit-Protokoll über alle Coding-Agenten hinweg, die Ihre Teams verwenden

Siehe Verweis auf die Systemtabelle des Audit-Logbuchs.

Nachverfolgen von Abhängigkeiten

Lineage verfolgt Abhängigkeiten zwischen Foundation-Modellen und Model Services sowie deren nachgelagerten Konsumenten. Nutzen Sie Lineage, um die Auswirkungen einer Veraltung oder Änderung eines Model Service abzuschätzen und die Eigentümer zu benachrichtigen.

Siehe Lineage im Unity-Katalog.

Weitere Ressourcen

  • Last updated on