Použijte místní jazykový model s Dev Proxy

Na první pohled
Cílem: Konfigurace místního LLM pro funkce dev Proxy
Čas: 10 minut
Pluginy:OpenAIMockResponsePlugin
Požadavky:Nastavení Dev Proxy, místního hostitele LLM (např. Ollama)

Připojením Dev Proxy k místnímu jazykovému modelu můžete vylepšit funkce Dev Proxy serveru. Některé moduly plug-in Dev Proxy používají jazykový model ke zlepšení jejich výstupu, kde je zahrnutý přirozený jazyk. Díky použití místního jazykového modelu můžete využívat vylepšené funkce, aniž byste museli vynakládat další náklady.

Předpoklady

Dev Proxy podporuje hostitele jazykových modelů, kteří zpřístupňují rozhraní API kompatibilní s OpenAI. Má také podporu rozhraní API Ollama. Chcete-li nakonfigurovat hostitele místního jazykového modelu, postupujte podle pokynů v jeho dokumentaci.

Konfigurace Dev Proxy pro použití místního jazykového modelu

Pokud chcete nakonfigurovat Dev Proxy tak, aby používal lokální jazykový model, použijte nastavení languageModel v souboru devproxyrc.json.

Soubor:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

V rámci nastavení languageModel můžete použít následující možnosti:

Možnost Popis Výchozí hodnota
cacheResponses Určuje, jestli se mají odpovědi z jazykového modelu ukládat do mezipaměti. true
client Typ klienta, který se má použít. Povolené hodnoty: Ollama, OpenAI OpenAI
enabled Určuje, jestli se má použít místní jazykový model. false
model Název jazykového modelu, který se má použít. llama3.2
url Adresa URL klienta místního jazykového modelu. http://localhost:11434/v1/

Ve výchozím nastavení používá Dev Proxy standardní konfiguraci Ollama s modelem llama3.2 pomocí rozhraní API kompatibilních s OpenAI společnosti Ollama. Také ukládá odpovědi z jazykového modelu do mezipaměti, což znamená, že pro stejnou výzvu získáte okamžitou odpověď bez čekání na zpracování jazykového modelu.

Důležité

Pokud používáte místní jazykový model, nezapomeňte před spuštěním Dev Proxy spustit klienta místního jazykového modelu.

Moduly pluginu Dev Proxy, které můžou používat lokální jazykový model

Následující moduly plug-in Dev Proxy vyžadují místní jazykový model. Pokud místní jazykový model nepovolíte, Dev Proxy zakáže tyto moduly plug-in:

Následující moduly plug-in Dev Proxy používají místní jazykový model, pokud je k dispozici:

Viz také

  • Poslední aktualizace v