Unity-Gateway-Observabilität

Unity Gateway Observability ermöglicht es Ihnen, Kosten, Verbrauch, Leistung und Zugriff für jeden KI-Dienst von einer Steuerebene aus zu überwachen, unterstützt von Systemtabellen des Unity-Katalogs. Da Teams Coding-Agenten, Copiloten und individuelle Agenten in der gesamten Organisation einführen, wird es immer schwieriger zu erkennen, wer auf welche Modelle oder Tools zugreifen kann, wie viel sie kosten und ob Endpunkte gesund sind. Da jede Anfrage über Unity Gateway läuft, können Sie diese Fragen an einem Ort beantworten.

Note

Der Zugriff auf diese Systemtabellen erfordert standardmäßig sowohl Konto- als auch Metastore-Administratorrollen. Administratoren können den Zugriff auf Systemtabellen verwalten oder das Unity Gateway Nutzungsdashboard veröffentlichen, um Nutzungsanalysen zu teilen, ohne Tabellenzugriff zu gewähren.

Anforderungen

Überwachen der Kosten

Gehen Sie in der Arbeitsbereichsoberfläche zum Unity Gateway > Govern > Usage Dashboard und öffnen Sie den Tab "Ausgaben", um die Ausgaben nach Endpunkt, dem von Azure Databricks bereitgestellten Foundation-Modell oder dem Benutzer im Zeitverlauf zu verfolgen. Das integrierte Dashboard verwendet Nutzungs- und Abrechnungstabellen:

Note

Externe Modellausgaben werden aus den veröffentlichten Preisen jedes Anbieters berechnet, angepasst durch einen auf dem Modellanbieterdienst konfigurierten Preismultiplikator und sind ausschließlich informativ. Siehe externe Modelle.

Um Ausgaben nach benutzerdefinierten Dimensionen zuzuordnen, verwenden Sie Anfragen- oder Service-Tags, um Kosten nach Geschäftseinheit, Projekt oder jeder Dimension zu gruppieren, die Ihrer Organisation wichtig ist. Siehe Ausgaben an Teams und Projekte zuordnen.

Siehe Nachverfolgen und Analysieren von KI-Ausgaben mit Unity Gateway.

Monitornutzung und Leistung

Das Unity Gateway Nutzungs-Dashboard (AI Gateway > Govern > Usage Dashboard) verfolgt das Anforderungsvolumen, den Tokenverbrauch und die Latenz für alle vom Gateway gesteuerten Endgeräte. Für eine tiefere Analyse sollten Sie die system.ai_gateway.usage Tabelle abfragen, um Nutzungsmetriken wie Token-Zählen, Latenz, Anforderer und Anfrage-Tags für jede Anfrage zu analysieren, die durch das Gateway geleitet wird (siehe das Nutzungstabellen-Schema).

Registerkarte "Kennzahlen"

Jedes Modell oder jeder MCP-Dienst hat einen Metrics-Reiter . Um ihn zu öffnen:

  1. Klicken Sie in der Randleiste auf AI-Gateway.
  2. Öffnen Sie das Modell oder den Dienst.
  3. Klicken Sie auf die Registerkarte "Metriken ".

Für von Databricks gehostete Pay-per-Token-Modelle zeigt Quota Limits die aktuellen Limits dieses Arbeitsbereichs für Eingabetoken pro Minute, Ausgabetoken pro Minute, Anfragen pro Sekunde und Anfragen pro Stunde an. Diese Beschränkungen gelten für den Arbeitsbereich und gelten für sämtliche Nutzungen dieses Modells. Jede Karte zeigt außerdem die maximale und p90-Nutzung für die auf der Seite ausgewählte Zeitspanne an.

Diese Workspace-Quoten sind getrennt von den Rate-Limits, die Sie bei einem Modelldienst konfigurieren. Für Standardlimits und deren Durchsetzung siehe Foundation Model APIs Limits and Quotas.

Die Diagramme unter Modell-Service-Metriken zeigen das Anforderungsvolumen, den Tokenverbrauch, Fehler und die Latenz für den Datenverkehr zu diesem Service.

Note

Unity-Gateway-Endpunkte protokollieren in system.ai_gateway.usage, während Model-Serving-Endpunkte (veraltet) in system.serving.endpoint_usage protokollieren.

Häufige Verwendungsmöglichkeiten:

  • Überwachen und optimieren Sie alle Ihre KI-Dienste an einem Ort, über Ihren gesamten KI-Stack hinweg
  • Verfolgen Sie die Akzeptanz von Coding-Agenten und die Beliebtheit von Modellen in Teams
  • Identifizieren Sie die aktivsten Nutzer, Dienste und Modelle, um Optimierungsmöglichkeiten zu erkennen

Siehe Modellnutzung nachverfolgen.

Anfragen und Antworten inspizieren

Aktivieren Sie Inferenztabellen auf einem Modelldienst, um Anfrage- und Antwortpayloads in einer Unity-Catalog-Tabelle zu protokollieren. Verwenden Sie Inferenztabellen, um:

  • Fehlerbehebung bei fehlgeschlagenen oder unerwarteten Antworten
  • Stellen Sie sicher, dass Schutzmaßnahmen wie die Schwärzung personenbezogener Daten (PII) funktionieren
  • Offenlegung sensibler Daten prüfen

Siehe Loganfragen und Antworten auf Inferenztabellen.

Auditzugriff

Abfrage der Tabelle system.access.audit , um zu beweisen, wer wann welchen KI-Dienst genutzt hat. Um einen menschlichen Anrufer von einem in ihrem Auftrag handelnden Agenten zu unterscheiden, verwenden Sie die run_by- und run_as-Felder in identity_metadata.

Unity Gateway protokolliert diese Audit-Ereignisse:

  • MCP-Anfragen: Jede Anfrage an ein MCP, wie etwa das Auflisten oder Aufrufen seiner Tools, wird als mcpCall unter dem mcpService Dienst protokolliert. Siehe Unity Gateway MCP-Events.
  • Verwendung von Skills: Das Laden von Skills, Dateiabrufe und Auflistungen werden unter dem aiGatewaySkills Dienst protokolliert. Siehe Unity Gateway Skills-Events.
  • Dienständerungen: Das Erstellen, Aktualisieren und Löschen von Modelldiensten und MCPs wird unter dem unityCatalog Service protokolliert. Siehe Unity Catalog-Ereignisse.

Häufige Verwendungsmöglichkeiten:

  • Erstellen Sie einen Zugangspfad für Compliance und regulatorische Berichterstattung
  • Unterscheide einen menschlichen Anrufer von einem Agenten, der in seinem Namen handelt
  • Führen Sie ein zentrales Audit-Protokoll über alle Coding-Agenten hinweg, die Ihre Teams verwenden

Siehe Verweis auf die Systemtabelle des Audit-Logbuchs.

Nachverfolgen von Abhängigkeiten

Lineage verfolgt Abhängigkeiten zwischen Foundation-Modellen und Model Services sowie deren nachgelagerten Consumern. Nutzen Sie Lineage, um die Auswirkungen der Abkündigung oder Änderung eines Model-Service zu bewerten und dessen Eigentümer zu benachrichtigen.

Siehe Lineage im Unity-Katalog.

Weitere Ressourcen