Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
GILT FÜR: KI-Gateway (Vorschau)
Important
AI Gateway befindet sich derzeit in der öffentlichen Vorschau. Während der öffentlichen Vorschau ist AI Gateway in den folgenden Regionen verfügbar:
- USA - Osten der US-Region 2
- Europa – Schweden Zentral
AI Gateway zentralisiert den Zugang zu KI-Modellen und -Werkzeugen. Anwendungen und Agenten nutzen Gateway-Endpunkte, während Plattformteams Backend-Verbindungen, Zugriff, Richtlinien und Observabilität verwalten.
Dieser Artikel erklärt das zentrale Konzept, auf dem er aufbaut.
Gateway- und Laufzeitendpunkte
Ein Gateway ist eine Azure-Ressource vom Typ Microsoft.ApiManagement/aigateways. Es enthält die Verbindungen und Steuerungen, die von Ihren Anwendungen verwendet werden.
Die Verwaltungsoberfläche konfiguriert das Gateway. Laufzeit-Endpunkte erhalten Anwendungsanfragen für Modellinferenz oder den Zugriff auf MCP-Tools. Dies sind unterschiedliche Zugriffspfade: Die Berechtigung zur Konfiguration eines Gateways gewährt nicht automatisch die Berechtigung, seine Modelle oder Tools aufzurufen.
Modellanbieter, registrierte Modelle und Aliase
Modellverbindungen trennen den Backend-Service vom Namen, den eine Anwendung verwendet.
| Element | Purpose |
|---|---|
| Modellanbieter | Speichert den Endpunkt und die Authentifizierungskonfiguration für Microsoft Foundry oder einen kompatiblen Custom-Model-Service. |
| Registriertes Modell | Identifiziert eine bestehende Backend-Bereitstellung oder ein Modell sowie die unterstützten Endpunkte. Bei der Registrierung wird kein neues Modell bereitgestellt. |
| Modellalias | Bietet einen stabilen, aufrufbaren Namen, den Anwendungen verwenden, während das Plattformteam die Backend-Modellzuordnung verwaltet. |
Zum Beispiel kann eine Anwendung ein Alias für ein Chat-Modell verwenden, ohne die Zugangsdaten des Anbieters zu speichern. Die Änderung des Backends erfordert weiterhin eine Kontrolle, ob der Ersatz die API und das Verhalten der Anwendung unterstützt.
Föderierte MCP-Server und -Tools
Ein föderierter MCP-Server kombiniert Werkzeuge von Backend-Diensten hinter einem MCP-Endpunkt. Ein Backend kann ein entfernter MCP-Server, eine von OpenAPI beschriebene API oder ein integrierter Connector sein.
Ein Werkzeug beschreibt eine Operation und ihre erwarteten Eingaben. Ein Agent entdeckt die verfügbaren Werkzeuge und ruft ausgewählte Operationen über das Gateway auf. Tool-Aufrufe können Backend-Daten ändern, sodass sich Tool-Verfügbarkeit und Zugriffskontrollen darauf auswirken, was Anrufer tun können.
Die Backend-Authentifizierung ist vom Anruferzugriff getrennt. Bei einer gemeinsamen Backend-Verbindung nutzen autorisierte Anrufer die Berechtigungen dieser Verbindung.
Zugriff und Identitäten
Drei Beziehungen bestimmen, wer das Gateway konfigurieren und dessen Backends nutzen kann:
| Relationship | Purpose |
|---|---|
| Administrator zu Gateway | Azure-Verwaltungsberechtigungen ermöglichen es einem Betreiber, das Gateway und seine Ressourcen zu konfigurieren. |
| Aufrufer zu Gateway | Der Microsoft Entra-Laufzeitzugriff oder ein Gatewaylaufzeit-API-Schlüssel autorisiert Anwendungen und Agents. Laufzeit-API-Schlüssel gewähren gateway-weiten Zugriff. |
| Gateway zum Backend | Eine verwaltete Identität oder Backend-Zugangsdaten autorisieren das Gateway beim Upstream-Dienst. Die Identität benötigt Zugang zu jenem Dienst. |
Das Konfigurieren einer Beziehung gewährt nicht die Berechtigungen der anderen. Halte die Gateway-Laufzeit-Zugangsdaten von den Provider- und Deployment-Zugangsdaten getrennt.
Governance, Vernetzung und Beobachtbarkeit
Richtlinien wenden freigegebene Kontrollen auf Modell- und Tool-Datenverkehr an, z. B. Verbrauchslimits und Toolschutz. Geschätzte Kontrollen für Modellausgaben helfen bei der Steuerung der Nutzung. Die Anbieterabrechnung bleibt die Quelle für die tatsächlichen Gebühren.
Netzwerk bestimmt, wie das Gateway Back-End-Dienste erreicht. Netzwerkanforderungen gehören zum Gateway-Design, insbesondere wenn Backends private Verbindungen nutzen.
Telemetrie bietet Einblick in das Nutzungs- und Anfrageverhalten. Konfigurieren Sie ein Telemetrieziel, bevor Sie sich auf gesammelte Daten zur Bewertung des Gateway-Verkehrs verlassen.
Die Produktdokumentation enthält die Konfigurationsanleitung für Modelle, MCP-Server, Zugriff, Richtlinien, Netzwerke und Observabilität.