Simulieren der Azure OpenAI-API

Wenn Sie Mit Azure OpenAI verbundene Apps erstellen, interagiert häufig nur ein Teil der App mit der Azure OpenAI-API. Wenn Sie an den Teilen der App arbeiten, für die keine echten Antworten aus der Azure OpenAI-API erforderlich sind, können Sie die Antworten mithilfe von Dev Proxy simulieren. Mit simulierten Antworten können Sie unnötige Kosten vermeiden. OpenAIMockResponsePlugin verwendet ein lokales Sprachmodell, das auf Ihrem Computer ausgeführt wird, um Antworten von der Azure OpenAI-API zu simulieren.

Bevor Sie beginnen

Um Azure OpenAI-API-Antworten mit Dev Proxy zu simulieren, muss ein unterstützter Sprachmodellclient auf dem Computer installiert sein.

Standardmäßig verwendet Dev Proxy das Sprachmodell llama3.2 unter Ollama. Wenn Sie einen anderen Client oder ein anderes Modell verwenden möchten, aktualisieren Sie die Einstellungen für das Sprachmodell in der Dev Proxy-Konfigurationsdatei.

Konfigurieren von Dev Proxy zum Simulieren von Azure OpenAI-API-Antworten

Tipp

Die in diesem Lernprogramm beschriebenen Schritte sind in einer sofort einsatzbereiten Dev-Proxy-Voreinstellung verfügbar. Um die Voreinstellung zu verwenden, führen Sie devproxy config get simulate-azure-openai in der Befehlszeile aus und folgen Sie den Anweisungen.

Um Antworten der Azure OpenAI-API mit Dev Proxy zu simulieren, müssen Sie das OpenAIMockResponsePlugin im devproxyrc.json-Datei einschalten.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ]
}

Konfigurieren Sie als Nächstes Dev Proxy, um Anforderungen an die Azure OpenAI-API abzufangen. Verwenden Sie aus Gründen der Einfachheit Platzhalter, um Anforderungen an alle Bereitstellungen abzufangen.

{
  // [...] trimmed for brevity
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ]
}

Konfigurieren Sie schließlich Dev Proxy für die Verwendung eines lokalen Sprachmodells.

{
  // [...] trimmed for brevity
  "languageModel": {
    "enabled": true
  }
}

Die vollständige Konfigurationsdatei sieht wie folgt aus.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ],
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ],
  "languageModel": {
    "enabled": true
  }
}

Simulieren von Azure OpenAI-API-Antworten

Starten Sie Ollama mit dem Sprachmodell llama3.2 in der Standardkonfiguration. Führen Sie in der Befehlszeile den Befehl aus ollama run llama3.2.

Starten Sie als Nächstes Dev Proxy. Wenn Sie die Voreinstellung verwenden, führen Sie devproxy -c "~appFolder/config/simulate-azure-openai/simulate-azure-openai.json aus. Wenn Sie eine benutzerdefinierte Konfigurationsdatei mit dem Namen devproxyrc.json verwenden, die im aktuellen Arbeitsverzeichnis gespeichert ist, führen Sie devproxy aus. Dev Proxy überprüft, ob unter Ollama auf das Sprachmodell zugegriffen werden kann, und bestätigt, dass Azure OpenAI-API-Antworten simuliert werden können.

 info    OpenAIMockResponsePlugin: Checking language model availability...
 info    Listening on 127.0.0.1:8000...

Hotkeys: issue (w)eb request, (r)ecord, (s)top recording, (c)lear screen
Press CTRL+C to stop Dev Proxy

Führen Sie Ihre Anwendung aus, und stellen Sie Anforderungen an die Azure OpenAI-API. Dev Proxy fängt die Anforderungen ab und simuliert Antworten mithilfe des lokalen Sprachmodells.

Nächster Schritt

Erfahren Sie mehr über das OpenAIMockResponsePlugin.

OpenAIMockResponsePlugin

Beispiele

Siehe auch die zugehörigen Dev Proxy-Beispiele:

• Simulieren der Azure OpenAI-API