Unity AI Gateway für Agents und LLMs

Von Bedeutung

Diese Seite befasst sich mit dem neuen AI-Gateway (sichtbar im linken Navigationselement der Benutzeroberfläche), das sich derzeit in der Betaversion befindet. Kontoadministratoren können den Zugriff auf dieses Feature auf der Seite " Vorschauen " der Kontokonsole aktivieren. Siehe Manage Azure Databricks Previews.

Ausführliche Informationen zur vorherigen Version von Unity AI Gateway finden Sie unter Unity AI Gateway für die Bereitstellung von Endpunkten.

Hinweis

Unity AI Gateway wird auf AWS GovCloud oder Azure Government nicht unterstützt.

Was ist Unity AI Gateway?

Unity AI Gateway ist die Enterprise-Kontrollebene für die Verwaltung von LLM-Endpunkten, Agents und Codierungstools. Verwenden Sie sie, um die Verwendung zu analysieren, Berechtigungen zu konfigurieren und Kapazität über Anbieter hinweg zu verwalten.

Mit Unity AI Gateway können Sie:

  • Analysieren , wie LLMs, Agents und Codierungstools in Ihrer Organisation verwendet werden
  • Verwalten Zugriff auf Azure Databricks-gehostete und externe Modelle
  • Protokollieren Sie den LLM-Datenverkehr über alle Endpunkte im Unity-Katalog
  • Gesundheit von Endpunkten und Anbieterverfügbarkeit überwachen
  • Erzwingen von Geschwindigkeitsgrenzwerten und Schutzschienen
  • Attributkosten für bestimmte Endpunkte, Benutzer und Teams
  • Intelligentes Weiterleiten von Datenverkehr über Anbieter hinweg für Zuverlässigkeit und Lastenausgleich
  • Verteilung des Datenverkehrs über mehrere Modell-Backends zur Erhöhung der Skalierbarkeit
  • Wechseln von Anbietern und Modellen ohne Codeänderungen

Ai-Gateway –Übersicht

Unterstützte Funktionen

In der folgenden Tabelle sind die verfügbaren Unity AI Gateway-Features definiert:

Merkmal Description
Erlaubnisse Steuern Sie, wer Zugriff auf Ihre Endpunkte hat.
Nutzungsnachverfolgung Überwachen Sie die Nutzung und Kosten mithilfe von Systemtabellen.
Ableitungstabellen Überwachen und Prüfen von Anforderungen und Antworten in Unity Catalog Delta-Tabellen.
Operative Metriken Überwachen sie die Nutzung in Echtzeit.
Ratenbegrenzungen Erzwingen Sie Verbrauchsbeschränkungen auf Endpunkt-, Benutzer- oder Gruppenebene.
Leitplanken Wenden Sie Inhaltsfilterung, vertraulichen Datenschutz und benutzerdefinierte Richtlinien an.
Kostenzuordnung Verfolgen Sie die Kosten auf granularer Ebene nach Endpunkt, Benutzer und Team mithilfe von Endpunkt- und Anforderungstags.
Fallbacks Erhöhen Sie die Zuverlässigkeit durch Routing an mehrere Anbieter, wenn Fehler auftreten.
Aufteilung des Datenverkehrs Verteilen Sie Datenverkehr über mehrere Modell-Back-Ends, um eine bessere Skalierbarkeit und einen Lastenausgleich zu erzielen.
Benutzerdefinierte APIs Steuern Sie benutzerdefinierte und externe APIs mit den gleichen Zugriffssteuerungen, Geschwindigkeitsbeschränkungen und Protokollierung wie LLM-Endpunkte.

Hinweis

Unity AI Gateway-Features verursachen keine Gebühren während der Betaversion.

Verwenden des Unity AI-Gateways

Azure Databricks stellt Unity AI Gateway-Endpunkte für beliebte LLMs bereit. Sie können neue Endpunkte erstellen, um Agents, Codierungstools und andere Anwendungen zu steuern.

Informationen zu den ersten Schritten finden Sie unter Konfigurieren von Unity AI Gateway-Endpunkten. Informationen zu Abfrageendpunkten finden Sie unter Query Unity AI Gateway-Endpunkte. Informationen zum Integrieren von Codierungs-Agents wie Cursor, Gemini CLI, Codex CLI und Claude Code finden Sie unter Integration in Codierungs-Agents. Informationen dazu, wie Sie LLM-Anrufe von Agents, die Sie auf Databricks-Apps erstellen und bereitstellen, über Unity AI Gateway weiterleiten, finden Sie unter Schritt 4. Steuern Sie die LLM-Nutzung Ihrer Agents auf Databricks-Apps mit Unity AI Gateway.

Schnellstart für Abfragen

Das folgende Beispiel zeigt, wie Sie einen Unity AI Gateway-Endpunkt mithilfe von Python und dem OpenAI-Client abfragen:

from openai import OpenAI
import os

# To get a Databricks token, see https://docs.databricks.com/dev-tools/auth/pat
DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
    api_key=DATABRICKS_TOKEN,
    base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

chat_completion = client.chat.completions.create(
    messages=[
        {"role": "user", "content": "Hello!"},
        {"role": "assistant", "content": "Hello! How can I assist you today?"},
        {"role": "user", "content": "What is Databricks?"},
    ],
    model="databricks-gpt-5-2",
    max_tokens=256
)

print(chat_completion.choices[0].message.content)

Ersetzen Sie <workspace-url> durch Ihre Azure Databricks Arbeitsbereichs-URL.

Nächste Schritte

  • Last updated on