Verwaltung von Modellen und Tools im AI Gateway Tier (Vorschau)

GILT FÜR: KI-Gateway-Ebene (Vorschau)

Important

Die AI Gateway-Stufe befindet sich derzeit in der öffentlichen Vorschau. Während der öffentlichen Vorschau ist die AI-Gateway-Stufe in den folgenden Regionen verfügbar:

  • USA - Osten der US-Region 2
  • Europa – Schweden Zentral

Verwenden Sie das AI Gateway Tier (Vorschau), um die Modelle und Werkzeuge zu verwalten, die Anwendungen und Agenten aufrufen. Importiere Modelle, um einen einzigen verwalteten Endpunkt für Modellanfragen bereitzustellen. Fügen Sie MCP-Server hinzu, um genehmigte Werkzeuge über einen verwalteten Model Context Protocol (MCP)-Endpunkt bereitzustellen. Anwendungen und Agenten authentifizieren sich mit Laufzeit-Zugriffsschlüsseln beim Gateway. Das Gateway verwendet die Backend-Authentifizierung, die du für jedes Modell, Anbieter oder Tool-Backend konfigurierst.

Voraussetzungen

  • Eine KI-Gateway-Tier-Instanz.
  • Berechtigung zur Verwaltung der AI-Gateway-Tier-Instanz.
  • Zugriff auf das Anbietermodell oder Backend, das du hinzufügen möchtest.
  • Für die Back-End-Authentifizierung mit verwalteter Identität die Berechtigung zum Zuweisen der erforderlichen Rolle für die Back-End-Ressource.

Modelle importieren

Verwenden Sie den Assistenten "Add Models", um das AI-Gateway-Tier mit Microsoft Foundry, Azure OpenAI, AWS Bedrock, Google Vertex, OpenAI, Anthropic oder benutzerdefinierten Endpunkten zu verbinden. Das Gateway bedient jedes Modell auf den Endpunkten, die sein Backend unterstützt, unter dem Präfix https://<gateway>.azure-api.net/default/models. Das nächste Pfadsegment ist das Provider-API-Format. Zum Beispiel werden OpenAI-kompatible Modelle bei .../default/models/openai/v1 (wie /chat/completions und /responses) bedient und Anthropic-Modelle bei .../default/models/anthropic/v1/messages. Die Verbindungsfelder, die der Zauberer benötigt, variieren je nach Anbieter.

Wählen Sie Import from Foundry aus, wenn Ihr Modell in einer Microsoft Foundry-Ressource ausgeführt wird, die Azure OpenAI- und Azure AI Services-Bereitstellungen umfasst – der Assistent erkennt die Bereitstellungen der Ressource automatisch. Wählen Sie ein benutzerdefiniertes Modell für AWS Bedrock, Google Vertex, OpenAI, Anthropic oder einen anderen unterstützten Endpunkt, bei dem Sie die Endpunkt- und Modellnamen selbst eingeben.

Verwenden Sie Managed Identity, wenn der Anbieter Microsoft Entra ID Backend-Authentifizierung unterstützt, wie zum Beispiel Microsoft Foundry. Gewähren Sie der Gateway-Identität vor dem Import die erforderliche Rolle auf der Backend-Ressource. Ansonsten geben Sie während des Imports den API-Schlüssel oder das Geheimnis des Anbieters an. Das Gateway speichert und schützt die Zugangsdaten.

Die Anrufer beziehen sich im model Feld auf das Modell anhand seines Modellnamens:

{
  "model": "gpt-5.6-sol",
  "messages": [
    {
      "role": "user",
      "content": "Summarize the incident report."
    }
  ]
}

Der model Wert ist der Modellname, der vom importierten Modell gegeben wird.

Note

Derzeit muss jeder Modellname im Gateway bei allen Anbietern einzigartig sein. Das Gateway routet jede Anfrage durch eine exakte Übereinstimmung mit dem Wert model .

Um Modelle hinzuzufügen, öffne die Seite Models und wähle Models hinzufügen. Wähle, wie du dich verbinden möchtest.

Import von Microsoft Foundry

  1. Wählen Sie Aus Foundry importieren aus.
  2. Wählen Sie unter Select Resource das Abonnement und die Foundry-Ressource. Der Assistent listet die Modelleinsätze in dieser Ressource auf.
  3. Bei Provider-Details geben Sie einen Anbieter und einen Anzeigenamen ein, fügen eine optionale Beschreibung hinzu und wählen die Authentifizierungsmethode – Managed Identity (empfohlen, wenn verfügbar) oder Schlüsselbasiert.
  4. Wählen Sie "Erstellen" aus. Das Gateway importiert die Bereitstellungen der Ressource als Modelle, die Aufrufer unter ihrem Namen anfordern.

Note

Um die verwaltete Identität zu nutzen, muss das Gateway bereits eine verwaltete Identität konfiguriert haben, und Sie müssen die Berechtigung haben, die Foundry-Benutzerrolle dieser Identität auf der Foundry-Ressource zuzuweisen. Wenn du über ausreichende Berechtigungen verfügst, weist dir der Import-Assistent die Rolle zu.

Hinzufügen eines benutzerdefinierten Modells

  1. Wählen Sie "Benutzerdefiniertes Modell hinzufügen" aus.
  2. Unter Anbieter geben Sie einen Anzeigenamen und einen Anbieter sowie eine optionale Beschreibung ein.
  3. Im Endpunkt geben Sie die Basis-Endpunkt-URL, den Authentifizierungsheader-Namen (zum Beispiel ), Authorizationund den API-Schlüssel ein.
  4. Auf Models geben Sie jeden Modellnamen ein und wählen Sie die unterstützten Endpunkte aus – OpenAI-Chat-Komplettierungen, OpenAI-Antworten, Anthropic-Nachrichten oder Sonstige. Wähle Modell hinzufügen für jedes Modell, das du definierst.
  5. Wählen Sie "Erstellen" aus.

Es gibt keinen separaten Validierungsschritt. Das Gateway richtet die Verbindung ein, wenn du den Anbieter erstellst. Nachdem du ein Modell hinzugefügt hast, kannst du dessen Authentifizierung oder Richtlinien aktualisieren oder es entfernen, wenn es nicht mehr benötigt wird.

Nachdem das Modell hinzugefügt wurde, senden Sie eine Testanfrage über den Gateway-Endpunkt:

curl "https://<gateway>.azure-api.net/default/models/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "api-key: <runtime-access-key>" \
  -d '{
    "model": "gpt-5.6-sol",
    "messages": [
      { "role": "user", "content": "Write a one-sentence status update." }
    ]
  }'

Wenn du noch keinen Runtime-Zugriffsschlüssel erstellt hast, erstelle einen auf der Schlüsselseite . Anwendungen benötigen keine direkten Anbieter-Zugangsdaten. Verwenden Sie Überwachungsansichten, um Anfragevolumen, Latenz, Tokennutzung und Fehler nach Modellnamen zu überprüfen.

Anthropic Messages API-Durchleitung

Verschiedene Anbieter stellen unterschiedliche API-Formate bereit, und das Gateway bedient jeden auf seinem eigenen Pfad unter /default/models. Anthropic-Modelle verwenden die Anthropic Messages API im Passthrough-Modus: Das Gateway bewahrt das native Anthropic Messages-Anfrage- und Antwortformat und leitet Anrufe an Anthropic bei /default/models/anthropic/v1/messagesweiter. Verwenden Sie es, wenn Anwendungen bereits das Anthropic SDK oder /v1/messagesverwenden.

Um ein Anthropic-Modell hinzuzufügen, verwenden Sie Modelle hinzufügen>Ein benutzerdefiniertes Modell hinzufügen:

  1. Unter Anbieter geben Sie einen Anzeigenamen und einen Anbieternamen für Anthropic ein.
  2. Auf Endpoint setzen Sie die Basis-Endpunkt-URL auf https://api.anthropic.com, setzen Sie den Namen des Authentifizierungskopfes auf x-api-key, und geben Sie den Anthropic-API-Schlüssel ein. Das Gateway speichert den Schlüssel und injiziert ihn bei Backend-Aufrufen.
  3. Bei Models geben Sie den Anthropic Model-Namen ein, den die Anrufer senden (wie ), claude-fable-5und wählen Sie den Endpunkt der Anthropic-Nachrichten aus.
  4. Wählen Sie "Erstellen" aus. Das Gateway stellt die Anthropic-Messages-Durchleitung unter /default/models/anthropic/v1/messages bereit.

Clients greifen auf den Gateway-Pfad zu. Das Gateway speichert die Zugangsdaten, fügt das Backend x-api-keyein und leitet den anthropic-version Header des Anrufers an Anthropic weiter.

curl -X POST "https://<gateway>.azure-api.net/default/models/anthropic/v1/messages" \
  -H "Content-Type: application/json" \
  -H "anthropic-version: 2023-06-01" \
  -H "api-key: <runtime-access-key>" \
  -d '{"model":"claude-fable-5","max_tokens":256,"messages":[{"role":"user","content":"Write a product description for a trail running backpack."}]}'

Das Python-SDK von Anthropic funktioniert, wenn du base_url auf den Gateway-Pfad verweist. Standardmäßig sendet das SDK die Zugangsdaten im x-api-key-Header. Übergeben Sie den Gateway-Runtime-Zugriffsschlüssel daher mithilfe von api-key im default_headers-Header. Der Wert api_key="unused" erfüllt nur das erforderliche Argument des SDK; das Gateway ignoriert ihn und injiziert den gespeicherten Backend-Anthropic-Schlüssel. Setzen Sie model auf den Namen des Anthropic-Modells.

from anthropic import Anthropic

client = Anthropic(api_key="unused", base_url="https://<gateway>.azure-api.net/default/models/anthropic", default_headers={"api-key": "<runtime-access-key>"})
message = client.messages.create(model="claude-fable-5", max_tokens=256, messages=[{"role":"user","content":"Hello"}])
print(message.content[0].text)

Validiere Timeouts und Response Handling vor der Produktion, insbesondere wenn Richtlinien Einrichtungen inspizieren.

MCP-Server hinzufügen

Die KI-Gateway-Stufe ermöglicht es Plattformteams, MCP-Server hinter einem verwalteten MCP-Endpunkt zu veröffentlichen. Der Konfigurationsworkflow lautet: einen MCP-Server erstellen, ein oder mehrere Backends anhängen und ausgewählte Backend-Funktionen als Werkzeuge bereitstellen. Ein einzelner MCP-Server kann drei Arten von Backends kombinieren: entfernte MCP-Server (per URL), Werkzeuge, die aus einer OpenAPI-Spezifikation generiert wurden, und integrierte Connectors für gängige SaaS-Anwendungen (mehr als 1.000 vorgefertigte Integrationen, ohne Server zum Hosten).

Nutzen Sie MCP-Server, wenn Agenten Geschäftssysteme, Entwicklertools, Wissensspeicher oder interne APIs aufrufen müssen. Agenten authentifizieren sich einmal am Gateway und benötigen keine separaten Zugangsdaten für jedes Backend. Für jedes Backend wählst du, wie das Gateway sich authentifiziert: None, API Key, OAuth 2.0 oder Managed Identity.

Ein einzelner MCP-Server föderiert ein oder mehrere Backends. Jedes Backend stellt Tools bereit, und das Gateway versieht die Tools jedes Backends mit dem Backend-Namen als Namespace, damit identisch benannte Tools aus verschiedenen Backends nicht in Konflikt geraten. Zum Beispiel wird ein create_issue-Tool aus einem Backend namens github Agenten im github-Namensraum bereitgestellt und unterscheidet sich von einem create_issue-Tool auf einem anderen Backend.

Backend-Typ Verwenden Sie, wenn Input Gateway-Ergebnis
MCP-Server Du betreibst bereits einen entfernten MCP-Endpunkt MCP-Endpunkt-URL (SSE oder streambares HTTP) Die Tools des entfernten Servers, föderiert über den verwalteten Endpunkt
OpenAPI-Spezifikation Du hast eine REST-API, die Agenten als Werkzeuge aufrufen sollten OpenAPI-Dokument (Upload, URL oder Inline-Einfügen) MCP-Werkzeuge, die aus den von dir ausgewählten Operationen generiert werden
Integrierter Connector Du brauchst eine gängige SaaS-App, ohne einen Server zu hosten Steckverbinderauswahl und Verbindungsaufbau Die Aktionen des Connectors, die als MCP-Tools bereitgestellt werden

Jede Quelle trägt Werkzeuge unterschiedlich bei:

  • MCP-Server – bindet die Werkzeuge eines entfernten MCP-Endpunkts ein, den du bereits betreibst.
  • OpenAPI-Spezifikation – wandelt die von dir ausgewählten API-Operationen in Werkzeuge um; Die Zusammenfassung oder Beschreibung der Operation wird zur Werkzeugbeschreibung.
  • Eingebauter Connector – verwendet eine verwaltete Verbindung zu einer SaaS-App wie Office 365, SharePoint, GitHub oder Salesforce. OAuth-Connectoren fordern die Einwilligung auf, wenn Sie die Verbindung einrichten.

Note

Während der öffentlichen Vorschau können unterstützte Transporte, Hosting-Optionen und Grenzen je nach Region variieren. Überprüfen Sie die Vorschau-Registrierungsdetails für Ihr Abo, bevor Sie den Produktionsverkehr verschieben.

Um einen MCP-Server zu erstellen:

  1. Im AI Gateway Tier-Portal wählen Sie MCP-Server aus.
  2. Wähle MCP-Server hinzufügen.
  3. Bei Source wählen Sie einen Backend-Typ als Start: MCP-Server, OpenAPI-Spezifikation oder integrierter Connector. Du kannst danach noch mehr Backends hinzufügen.
  4. Gib dem Backend einen einzigartigen Namen. Das Gateway versieht die Tool-Namen dieses Backends im kombinierten MCP-Server mit dem Namen als Präfix.
  5. Konfigurieren Sie das Backend und wählen Sie, wie das Gateway sich darauf authentifiziert: None, API Key, OAuth 2.0 oder Managed Identity. Für API-Schlüssel geben Sie den Namen und den Wert des Headers ein; Werte werden im Ruhezustand verschlüsselt.
  6. Um mehr Services hinter demselben Endpunkt zu föderieren, fügen Sie ein weiteres Backend hinzu und wiederholen Sie das.
  7. Wähle Bestätigen und dann Erstellen.

Es gibt keinen separaten Verbindungstestschritt. Das Gateway richtet jedes Backend ein und überprüft es, wenn du den Server erstellst.

Das Gateway erstellt einen MCP-Endpunkt, der alle ausgewählten Backends föderiert. Clients rufen den steuerten Endpunkt auf und authentifizieren sich mit einem Laufzeit-Zugriffsschlüssel.

Note

OAuth 2.0 Backend-Authentifizierung (Vorschau-Einschränkung). Für ein Backend, das OAuth 2.0 verwendet, führt man eine interaktive Anmeldung durch, um das Gateway zu diesem Backend zu autorisieren. Das Gateway übermittelt dem Portal keinen verifizierten Autorisierungsstatus. Bestätigen Sie daher nach Aufforderung im Portal das Ergebnis, nachdem das Anmeldefenster den Abschluss bestätigt hat. Der für das Backend angezeigte Status wird vom Backend selbst gemeldet – überprüfen Sie, ob die Tools des Backends auf dem MCP-Server erscheinen, und stellen Sie die Verbindung erneut her, um sich wieder anzumelden, falls dies nicht der Fall ist.

Agenten rufen den MCP-Server an:

https://<gateway>.azure-api.net/default/toolservers/<server-name>/mcp

Senden Sie den Laufzeit-Zugangsschlüssel in den Header api-key . Zeigen Sie jedes MCP-kompatible Client- oder Agenten-Framework auf diese URL. Listen Sie zum Beispiel die verfügbaren Werkzeuge mit einer JSON-RPC tools/list Anfrage auf:

curl "https://<gateway>.azure-api.net/default/toolservers/<server-name>/mcp" \
  -H "Content-Type: application/json" \
  -H "api-key: <runtime-access-key>" \
  -d '{ "jsonrpc": "2.0", "id": 1, "method": "tools/list" }'

Wenn ein System eine REST-API, aber keinen MCP-Server hat, importiere seine OpenAPI-Beschreibung. Wählen Sie Operationen aus, die als Werkzeuge bereitgestellt werden, bearbeiten Sie Werkzeugnamen und Beschreibungen, konfigurieren Sie eine unterstützte Backend-Authentifizierungsmethode und erstellen Sie das MCP-Asset. Das Gateway-Tool ordnet Aufrufe REST-Operationen zu.

Nutzen Sie das Gateway für MCP-Server, um Folgendes zu zentralisieren:

  • Discovery – Bereitstellung eines Katalogs genehmigter MCP-Server für Entwickler und Agenten.
  • Authentifizierung – Clients authentifizieren sich beim Gateway. Das Gateway speichert Backend-Zugangsdaten, sodass die Client-Konfiguration keine Upstream-Geheimnisse enthält.
  • Tool Exposure – wähle aus, welche Backend-Operationen jeder Server als Tools veröffentlicht. In der Vorschau kann jeder Laufzeitzugriffsschlüssel alle veröffentlichten Assets im Gateway aufrufen.
  • Observability – das Gateway sendet OpenTelemetry (OTLP) Token-Nutzungsmetriken für Modellverkehr, die Sie an Application Insights oder ein anderes OTLP-Ziel senden können. Die Überwachung des MCP-Tooldatenverkehrs (Anfragevolumen, Latenz und Fehler) ist im Portal verfügbar, wenn Sie Application Insights verwenden; der OpenTelemetry-Export (OTLP) für den MCP-Tooldatenverkehr ist jedoch noch nicht verfügbar.
  • Governance – wende dieselben Richtlinien auf MCP-Verkehr an, die du auch für Modelle wie Ratenlimits und Inhaltssicherheit nutzt.

Nachdem du den Server erstellt hast, konfiguriere den Laufzeitzugriff, bevor du ihn teilst. Fügen Sie Richtlinien wie Inhaltssicherheit, IP-Filter sowie Token- und Anfrageratenlimits hinzu, die auf das Gateway oder auf bestimmte veröffentlichte Vermögenswerte beschränkt sind.

Verwandte Inhalte

  • Last updated on