OpenAI API szimulálása

Az OpenAI-hoz csatlakoztatott alkalmazások létrehozásakor gyakran csak az alkalmazás egy része használja az OpenAI API-t. Ha az alkalmazás azon részein dolgozik, amelyek nem igényelnek valós válaszokat az OpenAI API-ból, a dev proxyval szimulálhatja a válaszokat. A szimulált válaszok használatával elkerülheti a szükségtelen költségeket. A helyi OpenAIMockResponsePlugin nyelvi modell segítségével szimulálja az OpenAI API válaszait.

Mielőtt elkezdené

Az OpenAI API-válaszok Dev Proxy használatával történő szimulálásához telepítenie kell egy támogatott nyelvimodell-ügyfelet a gépre.

Alapértelmezés szerint a Dev Proxy az Ollamán futó llama3.2 nyelvi modellt használja. Ha másik ügyfelet vagy modellt szeretne használni, frissítse a nyelvi modell beállításait a fejlesztői proxy konfigurációs fájljában.

Dev Proxy konfigurálása OpenAI API-válaszok szimulálásához

Tipp.

Az oktatóanyagban ismertetett lépések használatra kész fejlesztői proxykészletben érhetők el. Az előre beállított beállítás használatához futtassa devproxy config get simulate-openaia parancssorban, és kövesse az utasításokat.

Az OpenAI API-válaszok Dev Proxyval történő szimulálásához engedélyeznie kell a OpenAIMockResponsePlugin beállítást a devproxyrc.json fájlban.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ]
}

Ezután konfigurálja a Dev Proxyt az OpenAI API-ra irányuló kérések elfogására. Az OpenAI a https://api.openai.com/v1/chat/completions végpont használatát javasolja, amely lehetővé teszi, hogy kihasználhassa a legújabb modelleket és funkciókat.

{
  // [...] trimmed for brevity
  "urlsToWatch": [
    "https://api.openai.com/v1/chat/completions"
  ]
}

Végül konfigurálja a Dev Proxyt helyi nyelvi modell használatára.

{
  // [...] trimmed for brevity
  "languageModel": {
    "enabled": true
  }
}

A teljes konfigurációs fájl így néz ki.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ],
  "urlsToWatch": [
    "https://api.openai.com/v1/chat/completions"
  ],
  "languageModel": {
    "enabled": true
  }
}

OpenAI API-válaszok szimulálása

Az alapértelmezett konfigurációt feltételezve indítsa el az Ollamát a llama3.2 nyelvi modellel. A parancssorban futtassa a parancsot ollama run llama3.2.

Ezután indítsa el a fejlesztői proxy szolgáltatást. Ha az előre beállított beállítást használja, futtassa a parancsot devproxy -c "~appFolder/config/simulate-openai/simulate-openai.json. Ha az aktuális munkakönyvtárban tárolt egyéni konfigurációs fájlt devproxyrc.jsonhasznál, futtassa a fájlt devproxy. A Dev Proxy ellenőrzi, hogy hozzáfér-e az Ollama nyelvi modelljéhez, és megerősíti, hogy készen áll az OpenAI API-válaszok szimulálására.

 info    OpenAIMockResponsePlugin: Checking language model availability...
 info    Listening on 127.0.0.1:8000...

Hotkeys: issue (w)eb request, (r)ecord, (s)top recording, (c)lear screen
Press CTRL+C to stop Dev Proxy

Futtassa az alkalmazást, és küldjön kéréseket az OpenAI API-nak. A Dev Proxy elfogja a kéréseket, és a helyi nyelvi modell használatával szimulálja a válaszokat.

Következő lépés

További információ az OpenAIMockResponsePluginről.

OpenAIMockResponsePlugin

Példák

Lásd még a kapcsolódó Dev Proxy-mintákat:

• OpenAI API szimulálása