Auf Englisch lesen

Freigeben über


Skalieren von Azure OpenAI für .NET-Chat unter Verwendung von RAG mit Azure-Container-Apps

Erfahren Sie, wie Sie Ihrer Anwendung Lastenausgleich hinzufügen, um die Chat-App über die Azure OpenAI-Diensttoken- und Modellkontingentgrenzen hinaus zu erweitern. Dieser Ansatz verwendet Azure-Container-Apps, um drei Azure OpenAI-Endpunkte und einen primären Container zu erstellen, um eingehenden Datenverkehr an einen der drei Endpunkte zu leiten.

In diesem Artikel müssen Sie zwei separate Beispiele bereitstellen:

  • Chat-App

    • Wenn Sie die Chat-App noch nicht bereitgestellt haben, warten Sie, bis das Beispiel zum Lastenausgleich bereitgestellt wurde.

    • Wenn Sie die Chat-App bereits einmal bereitgestellt haben, ändern Sie die Umgebungsvariable so, dass ein benutzerdefinierter Endpunkt für das Lastenausgleichsmodul unterstützt und erneut bereitgestellt wird.

    • Die Chat-App ist in diesen Sprachen verfügbar:

  • Lastenausgleichs-App

Hinweis

In diesem Artikel wird mindestens eine KI-App-Vorlage als Grundlage für die Beispiele und Anleitungen im Artikel verwendet. KI-App-Vorlagen bieten Ihnen gut gepflegte Referenzimplementierungen, die einfach bereitzustellen sind. Sie tragen dazu bei, einen qualitativ hochwertigen Ausgangspunkt für Ihre KI-Apps zu gewährleisten.

Architektur für den Lastenausgleich von Azure OpenAI mit Azure-Container-Apps

Da die Azure OpenAI-Ressource bestimmte Token- und Modellkontingentbeschränkungen aufweist, ist eine Chat-App, die eine einzelne Azure OpenAI-Ressource verwendet, anfällig für Unterhaltungsfehler aufgrund dieser Grenzwerte.

Diagramm, in dem die Chat-App-Architektur mit hervorgehobener Azure OpenAI-Ressource angezeigt wird.

Um die Chat-App zu nutzen, ohne an diese Grenzen zu stoßen, verwenden Sie eine Lösung mit Lastausgleich mit Container Apps. Diese Lösung stellt nahtlos einen einzigen Endpunkt von Container Apps zu Ihrem Chat-App-Server zur Verfügung.

Diagramm, das die Chat-App-Architektur mit Azure-Container-Apps vor drei Azure OpenAI-Ressourcen zeigt.

Die Container-App befindet sich vor einer Reihe von Azure OpenAI-Ressourcen. Die Container-App löst zwei Szenarien: normale und gedrosselte Szenarien. Während einer normales Szenario wo Token- und Modellkontingente verfügbar sind, gibt die Azure OpenAI-Ressource eine 200 über die Container-App und den App-Server zurück.

Diagramm, das ein normales Szenario zeigt. Das normale Szenario zeigt drei Azure OpenAI-Endpunktgruppen mit der ersten Gruppe von zwei Endpunkten, die erfolgreichen Datenverkehr erhalten.

Wenn sich eine Ressource in einem Drosselungsszenario kann die Container-App aufgrund von Quotenbeschränkungen sofort eine andere Azure OpenAI-Ressource erneut versuchen, um die ursprüngliche Chat-App-Anfrage zu erfüllen.

Diagramm, das ein Drosselungsszenario mit einem 429-Fehlerantwortcode und einem Antwortheader zeigt, der angibt, wie viele Sekunden der Client warten muss, um den Vorgang erneut auszuführen.

Voraussetzungen

  • Azure-Abonnement. Eins kostenlos erstellen.

  • Der Zugriff auf Azure OpenAI wurde im gewünschten Azure-Abonnement gewährt.

    Der Zugriff auf diesen Dienst wird derzeit nur auf Antrag gewährt. Sie sollten den Zugriff auf Azure OpenAI beantragen.

  • Dev-Container sind für beide Beispiele verfügbar, wobei alle Abhängigkeiten erforderlich sind, um diesen Artikel abzuschließen. Sie können die Dev-Container in GitHub-Codespaces (in einem Browser) oder lokal mit Visual Studio Code ausführen.

  • Es ist nur ein GitHub-Konto erforderlich, um CodeSpaces zu verwenden

Öffnen Sie die Beispiel-App des Container-Apps-Load-Balancers

GitHub Codespaces führt einen von GitHub verwalteten Entwicklungscontainer mit Visual Studio Code für Web als Benutzeroberfläche aus. Verwenden Sie für die einfachste Entwicklungsumgebung GitHub Codespaces, damit Sie die richtigen Entwicklertools und Abhängigkeiten vorinstalliert haben, um diesen Artikel abzuschließen.

In GitHub Codespaces öffnen.

Wichtig

Alle GitHub-Konten können GitHub Codespaces für bis zu 60 Stunden kostenlos jeden Monat mit zwei Kerninstanzen verwenden. Weitere Informationen finden Sie im Artikel zu monatlich enthaltener Speicherkapazität und Kernstunden in GitHub Codespaces.

Bereitstellen des Azure-Container-Apps-Load-Balancers

  1. Melden Sie sich bei der Azure Developer CLI an, um sich für die Schritte der Bereitstellung zu authentifizieren:

    azd auth login --use-device-code
    
  2. Legen Sie eine Umgebungsvariable fest, um die Azure CLI-Authentifizierung für den Schritt nach der Bereitstellung zu verwenden:

    azd config set auth.useAzCliAuth "true"
    
  3. Bereitstellen der Lastenausgleichs-App:

    azd up
    

    Wählen Sie ein Abonnement und eine Region für die Bereitstellung aus. Sie müssen nicht dasselbe Abonnement und dieselbe Region wie die Chat-App sein.

  4. Warten Sie, bis die Bereitstellung abgeschlossen ist, bevor Sie fortfahren.

Abrufen des Bereitstellungsendpunkts

  1. Verwenden Sie den folgenden Befehl, um den bereitgestellten Endpunkt für die Container-App anzuzeigen:

    azd env get-values
    
  2. Kopieren Sie den CONTAINER_APP_URL-Wert. Sie verwenden es im nächsten Abschnitt.

Verteilen Sie die Chat-Anwendung mit dem Lastausgleichsendpunkt neu

Diese Beispiele werden auf dem Chat-App-Beispiel vervollständigt.

  1. Öffnen Sie den Dev-Container des Chat-App-Beispiels, indem Sie eine der folgenden Optionen verwenden.

    Sprache GitHub Codespaces Visual Studio Code
    .NET In GitHub Codespaces öffnen In Dev-Containern öffnen
    JavaScript In GitHub Codespaces öffnen In Dev-Containern öffnen
    Python In GitHub Codespaces öffnen In Dev-Containern öffnen
  2. Melden Sie sich bei der Azure Developer CLI (AZD) an:

    azd auth login
    

    Schließen Sie die Anmeldeanweisungen ab.

  3. Erstellen einer AZD Umgebung mit einem Namen wie chat-app:

    azd env new <name>
    
  4. Fügen Sie die folgende Umgebungsvariable hinzu, die das Back-End der Chat-App angibt, eine benutzerdefinierte URL für die Azure OpenAI-Anforderungen zu verwenden:

    azd env set OPENAI_HOST azure_custom
    
  5. Fügen Sie die folgende Umgebungsvariable hinzu. Ersetzen Sie <CONTAINER_APP_URL> für die URL aus dem vorherigen Abschnitt. Diese Aktion teilt dem Back-End der Chat-App mit, was der Wert der benutzerdefinierten URL für die Azure OpenAI-Anforderung ist.

    azd env set AZURE_OPENAI_CUSTOM_URL <CONTAINER_APP_URL>
    
  6. Bereitstellen der Chat-App:

    azd up
    

Sie können jetzt die Chat-App mit dem Vertrauen verwenden, dass sie für viele Benutzer entwickelt wurde, ohne dass das Kontingent überschritten wird.

Datenstromprotokolle zum Anzeigen der Ergebnisse des Lastenausgleichs

  1. Durchsuchen Sie im Azure-Portal Ihre Ressourcengruppe.

  2. Wählen Sie in der Liste der Ressourcen in der Gruppe die Azure-Container-Apps-Ressource aus.

  3. Wählen Sie Überwachung>Protokolldatenstrom aus, um das Protokoll anzuzeigen.

  4. Verwenden Sie die Chat-App, um Datenverkehr im Protokoll zu generieren.

  5. Suchen Sie nach den Protokollen, die auf die Azure OpenAI-Ressourcen verweisen. Jede der drei Ressourcen weist ihre numerische Identität im Protokollkommentar auf, der mit Proxying to https://openai3beginnt, wobei 3 die dritte Azure OpenAI-Ressource angibt.

    Screenshot mit Streamingprotokollen für Azure-Container-Apps mit zwei hervorgehobenen Protokollzeilen, um die Protokollkommentare zu veranschaulichen.

Wenn der Load Balancer den Status erhält, dass die Anforderung das Kontingent überschreitet, wird der Load Balancer automatisch zu einer anderen Ressource umgeschaltet.

Konfigurieren Sie die TPM-Quote

Standardmäßig wird jede Azure OpenAI-Instanz im Load Balancer mit einer Kapazität von 30.000 Token pro Minute (TPM) bereitgestellt. Sie können die Chat-App mit dem Vertrauen nutzen, dass sie so gebaut ist, dass sie für viele Benutzer skaliert werden kann, ohne das Kontingent zu überschreiten. Ändern Sie diesen Wert in folgenden Fällen:

  • Sie erhalten Verteilungskapazitätsfehler: Verringern Sie den Wert.
  • Sie benötigen eine höhere Kapazität: Erhöhen Sie den Wert.
  1. Verwenden Sie den folgenden Befehl, um den Wert zu ändern:

    azd env set OPENAI_CAPACITY 50
    
  2. Stellen Sie den Load Balancer erneut bereit:

    azd up
    

Bereinigen von Ressourcen

Wenn Sie mit der Chat-App und dem Load Balancer fertig sind, räumen Sie die Ressourcen auf. Die in diesem Artikel erstellten Azure-Ressourcen werden Ihrem Azure-Abonnement in Rechnung gestellt. Wenn Sie nicht erwarten, dass diese Ressourcen in Zukunft benötigt werden, löschen Sie sie, um weitere Gebühren zu vermeiden.

Ressourcen der Chat-App bereinigen

Rückgabe Sie zum Artikel über die Chat-App zurück, um die Ressourcen zu bereinigen:

Bereinigen Sie die hochgeladenen Lastenausgleichsressourcen

Führen Sie den folgenden Azure Developer CLI-Befehl aus, um die Azure-Ressourcen zu löschen und den Quellcode zu entfernen:

azd down --purge --force

Die Schalter bieten:

  • purge: Gelöschte Ressourcen werden sofort gelöscht, sodass Sie die Azure OpenAI-Diensttoken pro Minute wiederverwenden können.
  • force: Der Löschvorgang erfolgt im Hintergrund, ohne dass die Einwilligung durch den Benutzer erforderlich ist.

Bereinigen von GitHub Codespaces und Visual Studio Code

Durch das Löschen der GitHub Codespaces-Umgebung wird sichergestellt, dass Sie die anzahl der kostenlosen Berechtigungen pro Kernstunden maximieren können, die Sie für Ihr Konto erhalten.

Wichtig

Weitere Informationen zu den Berechtigungen Ihres GitHub-Kontos finden Sie im Artikel zu monatlich enthaltener Speicherkapazität und Kernstunden in GitHub Codespaces.

  1. Melden Sie sich beim GitHub Codespaces-Dashboardan.

  2. Suchen Sie Ihre derzeit laufenden Codespaces, die aus dem azure-beispiele/openai-aca-lb GitHub-Repository.

    Screenshot mit allen laufenden Codespaces, einschließlich Status und Vorlagen.

  3. Öffnen Sie das Kontextmenü für den Codebereich, und wählen Sie dann Löschenaus.

    Screenshot, der das Kontextmenü für einen einzelnen Codespace mit hervorgehobener Option

Hier erhalten Sie Hilfe

Wenn Sie Probleme beim Bereitstellen des Azure API Management-Lastenausgleichs haben, fügen Sie Ihr Problem der Issues-Webseite des Repositorys hinzu.

Beispielcode

Beispiele, die in diesem Artikel verwendet werden, umfassen:

Nächster Schritt