Freigeben über

Importieren einer openAI-kompatiblen Sprachmodell-API

GILT FÜR: Alle API Management-Ebenen

Sie können OpenAI-kompatible Sprachmodellendpunkte als APIs in Ihre API-Verwaltungsinstanz importieren. Sie könnten beispielsweise ein LLM verwalten, das Sie selbst hosten oder das bei einem anderen Inferenzanbieter als den Azure AI-Diensten gehostet wird. Verwenden Sie KI-Gatewayrichtlinien und andere Funktionen in der API-Verwaltung, um die Integration zu vereinfachen, die Observierbarkeit zu verbessern und die Kontrolle über die Modellendpunkte zu verbessern.

Weitere Informationen zum Verwalten von KI-APIs in der API-Verwaltung:

API-Typen des Sprachmodells

Die API-Verwaltung unterstützt zwei Arten von Sprachmodell-APIs für dieses Szenario. Wählen Sie die Option aus, die für ihre Modellbereitstellung geeignet ist. Die Option bestimmt, wie Clients die API aufrufen und wie die API-Verwaltungsinstanz Anforderungen an den KI-Dienst weiterleitet.

  • OpenAI-kompatible – Sprachmodellendpunkte, die mit der OpenAI-API kompatibel sind. Beispiele sind bestimmte Modelle, die von Inference-Anbietern wie Hugging Face Text Generation Inference (TGI) verfügbar gemacht werden.

    Die API-Verwaltung konfiguriert einen Mit openAI kompatiblen Endpunkt für Chatabschlusse.

  • Passthrough – Andere Sprachmodellendpunkte, die nicht mit der OpenAI-API kompatibel sind. Beispiele sind Modelle, die in Amazon Bedrock oder anderen Anbietern bereitgestellt werden.

    Die API-Verwaltung konfiguriert Wildcardvorgänge für allgemeine HTTP-Verben. Clients können Pfade an die Wildcardvorgänge anfügen, und DIE API-Verwaltung übergibt Anforderungen an das Back-End.

Voraussetzungen

Importieren der Sprachmodell-API mithilfe des Portals

So importieren Sie eine Sprachmodell-API in die API-Verwaltung:

  1. Navigieren Sie im Azure-Portal zu Ihrer API Management-Instanz.

  2. Wählen Sie im linken Menü unter APIs die Option APIs>+ API hinzufügen aus.

  3. Wählen Sie unter "Neue API definieren" die Sprachmodell-API aus.

    Screenshot der Erstellung einer openAI-kompatiblen API im Portal.

  4. Auf der Registerkarte "API konfigurieren ":

    1. Geben Sie einen Anzeigenamen und optional eine Beschreibung für die API ein.
    2. Geben Sie die URL zum LLM-API-Endpunkt ein.
    3. Wählen Sie optional ein oder mehrere Produkte aus, die der API zugeordnet werden sollen.
    4. Fügen Sie im Pfad einen Pfad an, den Ihre API-Verwaltungsinstanz für den Zugriff auf die LLM-API-Endpunkte verwendet.
    5. Wählen Sie im Typ entweder openAI-API erstellen oder eine Passthrough-API erstellen. Weitere Informationen finden Sie unter Sprachmodell-API-Typen .
    6. Geben Sie im Access-Schlüssel den Autorisierungsheadernamen und den API-Schlüssel ein, der für den Zugriff auf die LLM-API verwendet wird, falls erforderlich.
    7. Wählen Sie Weiteraus.

    Screenshot der Konfiguration der Sprachmodell-API im Portal.

  5. Geben Sie optional auf der Registerkarte " Tokennutzung verwalten " Einstellungen ein, oder akzeptieren Sie Standardeinstellungen, die die folgenden Richtlinien definieren, um die API zu überwachen und zu verwalten:

  6. Geben Sie auf der Registerkarte " Semantisches Zwischenspeichern anwenden " optional Einstellungen ein, oder akzeptieren Sie Standardeinstellungen, die die Richtlinien definieren, um die Leistung zu optimieren und die Latenz für die API zu verringern:

  7. Geben Sie in der KI-Inhaltssicherheit optional Einstellungen ein oder akzeptieren Sie Standardeinstellungen, um den Azure AI Content Safety-Dienst so zu konfigurieren, dass Eingabeaufforderungen mit unsicherem Inhalt blockiert werden:

  8. Wählen Sie Überprüfen aus.

  9. Wählen Sie nach der Überprüfung Ihrer Einstellungen Erstellen aus.

Testen der LLM-API

Um sicherzustellen, dass Ihre LLM-API erwartungsgemäß funktioniert, testen Sie sie in der API-Verwaltungstestkonsole.

  1. Wählen Sie die API aus, die Sie im vorherigen Schritt erstellt haben.

  2. Wählen Sie die Registerkarte Testen aus.

  3. Wählen Sie einen Vorgang aus, der mit der Modellbereitstellung kompatibel ist. Auf der Seite werden Felder für Parameter und Header angezeigt.

  4. Geben Sie bei Bedarf Parameter und Header ein. Je nach Vorgang müssen Sie möglicherweise einen Anforderungstext konfigurieren oder aktualisieren.

    Hinweis

    In der Testkonsole füllt API Management automatisch einen Ocp-Apim-Subscription-Key-Header auf und konfiguriert den Abonnementschlüssel des integrierten All-Access-Abonnements. Dieser Schlüssel ermöglicht den Zugriff auf jede API in der API Management-Instanz. Optional können Sie den Ocp-Apim-Subscription-Key-Header anzeigen, indem Sie das Augensymbol neben der HTTP-Anforderung auswählen.

  5. Wählen Sie "Senden" aus.

    Wenn der Test erfolgreich ist, antwortet das Back-End mit einem erfolgreichen HTTP-Antwortcode und einigen Daten. Angefügt an die Antwort sind Tokennutzungsdaten, die Ihnen beim Überwachen und Verwalten des Sprachmodelltokenverbrauchs helfen.

Verwandte Inhalte