Sdílet prostřednictvím

Použití místního jazykového modelu s Dev Proxy

Připojením dev Proxy k místnímu jazykovému modelu můžete vylepšit funkce dev proxy serveru. Vyberte moduly plug-in Dev Proxy, které používají jazykový model ke zlepšení jejich výstupu, kde je zahrnutý přirozený jazyk. Díky použití místního jazykového modelu můžete využívat vylepšené funkce, aniž byste museli šetřit další náklady.

Požadavky

Dev Proxy podporuje hostitele jazykových modelů, kteří zpřístupňují rozhraní API kompatibilní s OpenAI. Má také podporu pro rozhraní API Ollama. Chcete-li nakonfigurovat hostitele místního jazykového modelu, postupujte podle pokynů v jeho dokumentaci.

Konfigurace dev proxy serveru pro použití místního jazykového modelu

Pokud chcete nakonfigurovat Dev Proxy tak, aby používal místní jazykový model, použijte languageModel nastavení v devproxyrc.json souboru.

{
  "languageModel": {
    "enabled": true
  }
}

Jako součást languageModel nastavení můžete použít následující možnosti:

Možnost Popis Výchozí hodnota
cacheResponses Určuje, jestli se mají odpovědi z jazykového modelu ukládat do mezipaměti. true
client Typ klienta, který se má použít. Povolené hodnoty: Ollama, OpenAI OpenAI
enabled Určuje, jestli se má použít místní jazykový model. false
model Název jazykového modelu, který se má použít. llama3.2
url Adresa URL klienta místního jazykového modelu. http://localhost:11434/v1/

Ve výchozím nastavení používá Dev Proxy standardní konfiguraci Ollama s modelem llama3.2 pomocí rozhraní API kompatibilních s OpenAI společnosti Ollama. Také ukládá odpovědi z jazykového modelu do mezipaměti, což znamená, že pro stejnou výzvu získáte okamžitou odpověď bez čekání na zpracování jazykového modelu.

Důležité

Pokud používáte místní jazykový model, nezapomeňte před spuštěním Dev Proxy spustit klienta místního jazykového modelu.

Moduly plug-in Dev Proxy, které můžou používat místní jazykový model

Následující moduly plug-in Dev Proxy používají místní jazykový model, pokud je k dispozici:

  • Last updated on