Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Unity Gateway Observability ermöglicht es Ihnen, Kosten, Verbrauch, Leistung und Zugriff für jeden KI-Dienst von einer Steuerebene aus zu überwachen, unterstützt von Systemtabellen des Unity-Katalogs. Da Teams Coding-Agenten, Copiloten und individuelle Agenten in der gesamten Organisation einführen, wird es immer schwieriger zu erkennen, wer auf welche Modelle oder Tools zugreifen kann, wie viel sie kosten und ob Endpunkte gesund sind. Da jede Anfrage über Unity Gateway läuft, können Sie diese Fragen an einem Ort beantworten.
Note
Der Zugriff auf diese Systemtabellen erfordert standardmäßig sowohl Konto- als auch Metastore-Administratorrollen. Administratoren können den Zugriff auf Systemtabellen verwalten oder das Unity Gateway Nutzungsdashboard veröffentlichen, um Nutzungsanalysen zu teilen, ohne Tabellenzugriff zu gewähren.
Anforderungen
- Ein Azure Databricks Workspace in einer von Unity Gateway unterstützten Region.
- Das integrierte Unity Gateway Nutzungs-Dashboard. Ein Kontoadministrator kann es mit dem AI Gateway > Govern > Create Usage Dashboard erstellen. Siehe Das integrierte Nutzungs-Dashboard erstellen.
Überwachen der Kosten
Gehen Sie in der Arbeitsbereichsoberfläche zum Unity Gateway > Govern > Usage Dashboard und öffnen Sie den Tab "Ausgaben", um die Ausgaben nach Endpunkt, dem von Azure Databricks bereitgestellten Foundation-Modell oder dem Benutzer im Zeitverlauf zu verfolgen. Das integrierte Dashboard verwendet Nutzungs- und Abrechnungstabellen:
-
system.ai_gateway.usageProtokolliert Nutzungskennzahlen wie Token-Zahlen und Anforderdetails für jede Anfrage, die über das Gateway geleitet wird, -
system.billing.usageundsystem.billing.list_pricesverfolgen den Verbrauch von Azure Databricks in Databricks-Einheiten (DBUs) bzw. zum Listenpreis, die Sie zusammenführen können, um die Ausgaben des Foundation-Modells zu schätzen. Siehe Track and analyze AI spend with Unity Gateway -
system.ai_gateway.external_model_spenderfasst geschätzte USD-Ausgaben, aggregiert stündlich, für Anfragen, die über Modellanbieterdienste an externe Modelle weitergeleitet werden.
Note
Externe Modellausgaben werden aus den veröffentlichten Preisen jedes Anbieters berechnet, angepasst durch einen auf dem Modellanbieterdienst konfigurierten Preismultiplikator und sind ausschließlich informativ. Siehe externe Modelle.
Um Ausgaben nach benutzerdefinierten Dimensionen zuzuordnen, verwenden Sie Anfragen- oder Service-Tags, um Kosten nach Geschäftseinheit, Projekt oder jeder Dimension zu gruppieren, die Ihrer Organisation wichtig ist. Siehe Ausgaben an Teams und Projekte zuordnen.
Siehe Nachverfolgen und Analysieren von KI-Ausgaben mit Unity Gateway.
Monitornutzung und Leistung
Das Unity Gateway Nutzungs-Dashboard (AI Gateway > Govern > Usage Dashboard) verfolgt das Anforderungsvolumen, den Tokenverbrauch und die Latenz für alle vom Gateway gesteuerten Endgeräte. Für eine tiefere Analyse sollten Sie die system.ai_gateway.usage Tabelle abfragen, um Nutzungsmetriken wie Token-Zählen, Latenz, Anforderer und Anfrage-Tags für jede Anfrage zu analysieren, die durch das Gateway geleitet wird (siehe das Nutzungstabellen-Schema).
Registerkarte "Kennzahlen"
Jedes Modell oder jeder MCP-Dienst hat einen Metrics-Reiter . Um ihn zu öffnen:
- Klicken Sie in der Randleiste auf AI-Gateway.
- Öffnen Sie das Modell oder den Dienst.
- Klicken Sie auf die Registerkarte "Metriken ".
Für von Databricks gehostete Pay-per-Token-Modelle zeigt Quota Limits die aktuellen Limits dieses Arbeitsbereichs für Eingabetoken pro Minute, Ausgabetoken pro Minute, Anfragen pro Sekunde und Anfragen pro Stunde an. Diese Beschränkungen gelten für den Arbeitsbereich und gelten für sämtliche Nutzungen dieses Modells. Jede Karte zeigt außerdem die maximale und p90-Nutzung für die auf der Seite ausgewählte Zeitspanne an.
Diese Workspace-Quoten sind getrennt von den Rate-Limits, die Sie bei einem Modelldienst konfigurieren. Für Standardlimits und deren Durchsetzung siehe Foundation Model APIs Limits and Quotas.
Die Diagramme unter Modell-Service-Metriken zeigen das Anforderungsvolumen, den Tokenverbrauch, Fehler und die Latenz für den Datenverkehr zu diesem Service.
Note
Unity-Gateway-Endpunkte protokollieren in system.ai_gateway.usage, während Model-Serving-Endpunkte (veraltet) in system.serving.endpoint_usage protokollieren.
Häufige Verwendungsmöglichkeiten:
- Überwachen und optimieren Sie alle Ihre KI-Dienste an einem Ort, über Ihren gesamten KI-Stack hinweg
- Verfolgen Sie die Akzeptanz von Coding-Agenten und die Beliebtheit von Modellen in Teams
- Identifizieren Sie die aktivsten Nutzer, Dienste und Modelle, um Optimierungsmöglichkeiten zu erkennen
Siehe Modellnutzung nachverfolgen.
Anfragen und Antworten inspizieren
Aktivieren Sie Inferenztabellen auf einem Modelldienst, um Anfrage- und Antwortpayloads in einer Unity-Catalog-Tabelle zu protokollieren. Verwenden Sie Inferenztabellen, um:
- Fehlerbehebung bei fehlgeschlagenen oder unerwarteten Antworten
- Stellen Sie sicher, dass Schutzmaßnahmen wie die Schwärzung personenbezogener Daten (PII) funktionieren
- Offenlegung sensibler Daten prüfen
Siehe Loganfragen und Antworten auf Inferenztabellen.
Auditzugriff
Abfrage der Tabelle system.access.audit , um zu beweisen, wer wann welchen KI-Dienst genutzt hat. Um einen menschlichen Anrufer von einem in ihrem Auftrag handelnden Agenten zu unterscheiden, verwenden Sie die run_by- und run_as-Felder in identity_metadata.
Unity Gateway protokolliert diese Audit-Ereignisse:
-
MCP-Anfragen: Jede Anfrage an ein MCP, wie etwa das Auflisten oder Aufrufen seiner Tools, wird als
mcpCallunter demmcpServiceDienst protokolliert. Siehe Unity Gateway MCP-Events. -
Verwendung von Skills: Das Laden von Skills, Dateiabrufe und Auflistungen werden unter dem
aiGatewaySkillsDienst protokolliert. Siehe Unity Gateway Skills-Events. -
Dienständerungen: Das Erstellen, Aktualisieren und Löschen von Modelldiensten und MCPs wird unter dem
unityCatalogService protokolliert. Siehe Unity Catalog-Ereignisse.
Häufige Verwendungsmöglichkeiten:
- Erstellen Sie einen Zugangspfad für Compliance und regulatorische Berichterstattung
- Unterscheide einen menschlichen Anrufer von einem Agenten, der in seinem Namen handelt
- Führen Sie ein zentrales Audit-Protokoll über alle Coding-Agenten hinweg, die Ihre Teams verwenden
Siehe Verweis auf die Systemtabelle des Audit-Logbuchs.
Nachverfolgen von Abhängigkeiten
Lineage verfolgt Abhängigkeiten zwischen Foundation-Modellen und Model Services sowie deren nachgelagerten Consumern. Nutzen Sie Lineage, um die Auswirkungen der Abkündigung oder Änderung eines Model-Service zu bewerten und dessen Eigentümer zu benachrichtigen.
Siehe Lineage im Unity-Katalog.
Weitere Ressourcen
- KI-Governance mit Unity Gateway
- Verwendung von Streckenmodellen
- Verfolgen und analysieren Sie KI-Ausgaben mit Unity Gateway
- Anfragen und Antworten in Inferenztabellen protokollieren
- Budgets und Ausgabenlimits für Unity Gateway festlegen
- Grenzen und Quoten der Foundation Model APIs
- Ratenbegrenzungen auf Modell- und MCP-Dienste anwenden