Az Azure OpenAI API szimulálása

Az Azure OpenAI-hoz csatlakoztatott alkalmazások létrehozásakor gyakran csak az alkalmazás egy része kommunikál az Azure OpenAI API-val. Ha az alkalmazás azon részein dolgozik, amelyek nem igényelnek valódi válaszokat az Azure OpenAI API-ból, a dev proxyval szimulálhatja a válaszokat. A szimulált válaszok használatával elkerülheti a szükségtelen költségeket. A OpenAIMockResponsePlugin gépen futó helyi nyelvi modellt használja a Azure OpenAI API válaszainak szimulálásához.

Mielőtt elkezdené

Az Azure OpenAI API-válaszok fejlesztői proxyval való szimulálásához telepítenie kell egy támogatott nyelvimodell-ügyfelet a gépre.

Alapértelmezés szerint a Dev Proxy az Ollamán futó llama3.2 nyelvi modellt használja. Ha másik ügyfelet vagy modellt szeretne használni, frissítse a nyelvi modell beállításait a fejlesztői proxy konfigurációs fájljában.

Dev Proxy konfigurálása az Azure OpenAI API-válaszok szimulálásához

Tipp.

Az oktatóanyagban ismertetett lépések használatra kész fejlesztői proxykészletben érhetők el. Az előre beállított beállítás használatához futtassa devproxy config get simulate-azure-openaia parancssorban, és kövesse az utasításokat.

Az Azure OpenAI API-válaszok Dev Proxyval történő szimulálásához engedélyeznie kell a OpenAIMockResponsePlugin funkciót a devproxyrc.json fájlban.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ]
}

Ezután konfigurálja a Dev Proxyt az Azure OpenAI API-ra irányuló kérések elfogására. Az egyszerűség kedvéért használjon helyettesítő karaktereket az összes üzembe helyezésre irányuló kérések elfogásához.

{
  // [...] trimmed for brevity
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ]
}

Végül konfigurálja a Dev Proxyt helyi nyelvi modell használatára.

{
  // [...] trimmed for brevity
  "languageModel": {
    "enabled": true
  }
}

A teljes konfigurációs fájl így néz ki.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ],
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ],
  "languageModel": {
    "enabled": true
  }
}

Azure OpenAI API-válaszok szimulálása

Az alapértelmezett konfigurációt feltételezve indítsa el az Ollamát a llama3.2 nyelvi modellel. A parancssorban futtassa a parancsot ollama run llama3.2.

Ezután indítsa el a Dev Proxy-t. Ha az előre beállított beállítást használja, futtassa a parancsot devproxy -c "~appFolder/config/simulate-azure-openai/simulate-azure-openai.json. Ha az aktuális munkakönyvtárban tárolt egyéni konfigurációs fájlt devproxyrc.jsonhasznál, futtassa a fájlt devproxy. A fejlesztői proxy ellenőrzi, hogy hozzáfér-e az Ollama nyelvi modelljéhez, és megerősíti, hogy készen áll-e az Azure OpenAI API-válaszok szimulálására.

 info    OpenAIMockResponsePlugin: Checking language model availability...
 info    Listening on 127.0.0.1:8000...

Hotkeys: issue (w)eb request, (r)ecord, (s)top recording, (c)lear screen
Press CTRL+C to stop Dev Proxy

Futtassa az alkalmazást, és küldjön kéréseket az Azure OpenAI API-nak. A Dev Proxy elfogja a kéréseket, és a helyi nyelvi modell használatával szimulálja a válaszokat.

Következő lépés

További információ az OpenAIMockResponsePluginről.

OpenAIMockResponsePlugin

Példák

Lásd még a kapcsolódó Dev Proxy-mintákat:

• Az Azure OpenAI API szimulálása