Überwachen der Kosten des Unity AI-Gateways

Important

Dieses Feature befindet sich in der Betaversion.

Beobachten und analysieren Sie die Kosten für den gesamten Unity AI-Gateway-Datenverkehr nach Modellservice, Zielmodell und anfragendem Principal.

Note

Die Kostenbeobachtung basiert auf den Azure Databricks-Abrechnungsdatensätzen. Informationen zur Analyse der Nutzung auf Anforderungsebene, z. B. Tokenanzahl, Latenz, Details von Anfragen und Anforderungstags, finden Sie unter Modellnutzung für Unity AI Gateway-Dienste.

Requirements

• Unity AI Gateway für Ihr Konto aktiviert.
• Ein Azure Databricks-Arbeitsbereich in einer von Unity AI Gateway unterstützten Region.
• Die für Ihr Konto aktivierte abrechnungsfähige Systemtabelle. Weitere Informationen finden Sie unter Aktivieren von Systemtabellen.

Namensnennung

Unity AI Gateway bietet Kostenzuordnungen über die abrechnungsfähige Systemtabelle (system.billing.usage).

Unity AI Gateway erweitert MODEL_SERVING Abrechnungsdatensätze mit system.billing.usage dienstspezifischen Metadaten, sodass Sie Azure Databricks Kosten den zugehörigen Diensten, Zielmodellen, Prinzipalen und Diensttags zuordnen können. Die vollständigen Schemadefinitionen und Felddefinitionen finden Sie in der Referenz zur Systemtabelle „Billing usage“.

Die Tabelle des abrechnungsfähigen Nutzungssystems enthält Kostenzuordnungen für Azure Databricks gehostete Modelle. Informationen zu externen Modellausgaben finden Sie unter "Externe Modelle".

Für Anfragen, die über einen Modelldienst von Unity AI Gateway verarbeitet werden, füllt Azure Databricks die folgenden Felder in MODEL_SERVING-Datensätzen in system.billing.usage aus:

Feld	Beschreibung
usage_metadata.ai_gateway.endpoint_name	Der Name des Unity AI Gateway-Modelldiensts, der die Anforderung erhalten hat. Dies ist der vollqualifizierte Name des Unity-Katalogs in der Form <catalog>.<schema>.<modelservice>.
usage_metadata.ai_gateway.endpoint_id	Die ID des Unity AI Gateway-Modelldiensts.
usage_metadata.ai_gateway.destination_model	Das Zielmodell, das die Anforderung verarbeitet hat, z. B GPT-5.2. .
usage_metadata.ai_gateway.destination_id	Die ID des Ziels, das die Anforderung verarbeitet hat.
identity_metadata.run_by	Der Benutzer oder Dienstprinzipal, der die Anforderung ausgestellt hat.
custom_tags	Servicetags, die für den Unity AI Gateway-Modelldienst konfiguriert sind, wie team oder cost_center.

Unity AI Gateway füllt diese Felder sowohl für Echtzeit- als auch Batch-Inference-Anforderungen auf, die über das Gateway weitergeleitet werden.

Externe Modelle

Für Anforderungen, die über Modellanbieterdienste im Unity-Katalog an externe Modelle weitergeleitet werden, berechnet Azure Databricks die geschätzten USD-Ausgaben für jede Anforderung aus der Tokennutzung und den veröffentlichten Preisen des externen Anbieters. Ausgaben werden stündlich aggregiert und in der system.ai_gateway.external_model_spend Systemtabelle aufgezeichnet. Verwenden Sie diese Tabelle, um Ausgaben für externe Modelle nach Dienst des Modellanbieters, Zielmodell und anfragendem Prinzipal zu analysieren.

Note

Ausgaben für externe Modelle werden mit den veröffentlichten Preisen des externen Anbieters berechnet und nur zu Informationszwecken bereitgestellt. Diese Zahlen spiegeln möglicherweise nicht Ihre endgültige Rechnung des Anbieters wider, und Azure Databricks haftet nicht für Diskrepanzen bei der Abrechnung von Drittanbietern.

Ausgabenschema für externe Modelle

Die system.ai_gateway.external_model_spend Tabelle weist das folgende Schema auf:

Spaltenname	Typ	Beschreibung
record_id	STRING	Ein eindeutiger Bezeichner für den aggregierten Ausgabendatensatz.
account_id	STRING	Die Konto-ID.
workspace_id	STRING	Die ID des Arbeitsbereichs, in dem der Modellanbieterdienst konfiguriert ist.
usage_date	DATE	Das Datum des Nutzungsdatensatzes, abgeleitet aus usage_start_time.
usage_start_time	TIMESTAMP	Der Beginn des stündlichen Aggregationsfensters in UTC.
usage_end_time	TIMESTAMP	Das Ende des stündlichen Aggregationsfensters, in UTC.
ingestion_date	DATE	Das Datum, an dem der Datensatz in die Tabelle aufgenommen wurde.
usage_metadata	STRUCT	Metadaten zur Verwendung des externen Modells, einschließlich provider, , model, endpoint_id, endpoint_name, destination_idund destination_name.
custom_tags	STRUCT	Vom Benutzer bereitgestellte Tags für Kostenzuordnung, einschließlich endpoint_tags und request_tags.
usage_unit	STRING	Die Maßeinheit für usage_quantity. Immer USD.
usage_quantity	DEZIMAL	Die geschätzten Kosten in usage_unit für das Aggregationsfenster.
pricing_metadata	STRUCT	Metadaten zu den angewendeten Preisen, einschließlich service_tier und long_context.
identity_metadata	STRUCT	Identität des Antragstellers, einschließlich run_by und run_as.

Beobachtbarkeit

Das integrierte Nutzungsdashboard enthält eine Kostenanalyseseite für die Überwachung von Kosten und die Analyse von Kostenaufschlüsselungen im Laufe der Zeit. Sie können Kosten in mehreren Dimensionen analysieren, einschließlich:

• Modelldienst
• Zielmodell
• Anfordernder Benutzer oder Dienstprinzipal

Zusätzlich zu den Azure Databricks-Kosten umfasst das Dashboard externe Modellausgaben aus der Tabelle system.ai_gateway.external_model_spend.

Um das Dashboard zu öffnen, klicken Sie oben rechts auf der Unity AI Gateway-Seite auf "Verwalten ", und klicken Sie dann auf "Nutzungsdashboard". Ausführliche Informationen zum Importieren und Aktualisieren des Dashboards finden Sie im integrierten Verwendungsdashboard.

Note

Kostenbeobachtung ist ab Dashboard-Version 0.4 und höher verfügbar. Kontoadministratoren müssen das Dashboard aktualisieren, um die neuesten Vorlagenänderungen zu erhalten. Siehe integriertes Verwendungsdashboard.

Analysieren von Kosten

Tip

Genie Code (Agent-Modus) kann dies für Sie tun. Probieren Sie diese Beispielaufforderung aus:

Query system.billing.usage to show AI Gateway DBU cost for the past 30 days, broken down by usage_metadata.ai_gateway.endpoint_name, destination model, and requesting user. Filter to MODEL_SERVING records. Show top 10 in each.

Von Databricks gehostete Modelle

Die folgenden Abfragen analysieren die Kosten für in Azure Databricks gehostete Modelle in system.billing.usage. Kosten können nach Modelldienst, Zielmodell und Prinzipal aufgeschlüsselt werden.

Nach Modelldienst

SELECT
  usage_metadata.ai_gateway.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
  AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
  AND usage_unit = 'DBU'
  AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY endpoint_name
ORDER BY dbus DESC;

Nach Zielmodell

SELECT
  usage_metadata.ai_gateway.destination_model AS destination_model,
  SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
  AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
  AND usage_unit = 'DBU'
  AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY dbus DESC;

Nach Benutzer oder Dienstprinzipal

SELECT
  identity_metadata.run_by AS run_by,
  SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
  AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
  AND identity_metadata.run_by IS NOT NULL
  AND usage_unit = 'DBU'
  AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY dbus DESC;

Externe Modelle

Die folgenden Abfragen analysieren externe Modellausgaben in system.ai_gateway.external_model_spend. Ausgaben können nach Modellanbieterdienst, Zielmodell und Anforderungstags aufgeschlüsselt werden.

Nach Dienst des Modellanbieters

SELECT
  usage_metadata.endpoint_name AS model_provider_service,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY model_provider_service
ORDER BY usd DESC;

Nach Zielmodell

SELECT
  usage_metadata.model AS destination_model,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY usd DESC;

Nach Benutzer oder Dienstprinzipal

SELECT
  identity_metadata.run_by AS run_by,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY usd DESC;

Nach Anforderungs-Tag

Informationen zum Anfügen von Anforderungstags an Ihre Abfragen finden Sie unter Tag-Anforderungen für die Verwendungsnachverfolgung.

SELECT
  custom_tags.request_tags['team'] AS team,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY team
ORDER BY usd DESC;

Limitations

• Die Kostenzuordnung für in Azure Databricks gehostete Modelle gilt für MODEL_SERVING Datensätze in system.billing.usage.
• Für Modelldienste mit mehreren Zielen, z. B. bei Datenverkehrsaufteilung oder Fallbacks, identifizieren ai_gateway.destination_model und ai_gateway.destination_id das Ziel, das die Anfrage letztendlich bearbeitet hat.
• Externe Modellausgaben werden nur für Modellanbieterdienste im Unity-Katalog unterstützt.