Simulace rozhraní OpenAI API

Když vytváříte aplikace připojené k OpenAI, často jenom část aplikace komunikuje s rozhraním OpenAI API. Když pracujete na částech aplikace, které nevyžadují skutečné odpovědi z rozhraní OpenAI API, můžete simulovat odpovědi pomocí dev proxy serveru. Použití simulovaných odpovědí vám umožní vyhnout se zbytečným nákladům. K OpenAIMockResponsePlugin simulaci odpovědí z OpenAI API používá místní jazykový model.

Než začnete

Chcete-li simulovat odpovědi rozhraní OpenAI API pomocí Dev Proxy, potřebujete na svém počítači nainstalovaného podporovaného klienta jazykového modelu .

Ve výchozím nastavení používá Dev Proxy jazykový model llama3.2 běžící na jazyku Ollama. Chcete-li použít jiného klienta nebo model, aktualizujte nastavení jazykového modelu v konfiguračním souboru Dev Proxy.

Konfigurace dev proxy serveru pro simulaci odpovědí rozhraní OpenAI API

Návod

Kroky popsané v tomto kurzu jsou k dispozici v přednastavení pro vývojový proxy server připravený k použití. Pokud chcete použít předvolbu, spusťte devproxy config get simulate-openaina příkazovém řádku a postupujte podle pokynů.

Pokud chcete simulovat odpovědi rozhraní OpenAI API pomocí Dev Proxy, musíte v OpenAIMockResponsePlugin souboru povolit devproxyrc.json.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ]
}

Dále nakonfigurujte Dev Proxy tak, aby zachycovali požadavky na rozhraní OpenAI API. OpenAI doporučuje používat https://api.openai.com/v1/chat/completions koncový bod, který vám umožní využívat nejnovější modely a funkce.

{
  // [...] trimmed for brevity
  "urlsToWatch": [
    "https://api.openai.com/v1/chat/completions"
  ]
}

Nakonec nakonfigurujte Dev Proxy tak, aby používal místní jazykový model.

{
  // [...] trimmed for brevity
  "languageModel": {
    "enabled": true
  }
}

Úplný konfigurační soubor vypadá takto.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ],
  "urlsToWatch": [
    "https://api.openai.com/v1/chat/completions"
  ],
  "languageModel": {
    "enabled": true
  }
}

Simulace odpovědí rozhraní API OpenAI

Za předpokladu výchozí konfigurace spusťte Ollama s jazykovým modelem llama3.2. Na příkazovém řádku spusťte ollama run llama3.2příkaz .

Potom spusťte Dev Proxy. Pokud použijete předvolbu, spusťte devproxy -c "~appFolder/config/simulate-openai/simulate-openai.jsonpříkaz . Pokud používáte vlastní konfigurační soubor s názvem devproxyrc.json, uložený v aktuálním pracovním adresáři, spusťte devproxypříkaz . Dev Proxy zkontroluje, zda má přístup k jazykovému modelu na Ollamě, a potvrdí, že je připraven simulovat odpovědi OpenAI API.

 info    OpenAIMockResponsePlugin: Checking language model availability...
 info    Listening on 127.0.0.1:8000...

Hotkeys: issue (w)eb request, (r)ecord, (s)top recording, (c)lear screen
Press CTRL+C to stop Dev Proxy

Spusťte svou aplikaci a odesílejte požadavky na OpenAI API. Dev Proxy zachytí požadavky a simuluje odpovědi pomocí místního jazykového modelu.

Další krok

Přečtěte si další informace o OpenAIMockResponsePlugin.

OpenAIMockResponsePlugin

Ukázky

Projděte si také související ukázky dev proxy serveru:

• Simulace rozhraní OpenAI API