Använda en lokal språkmodell med Dev Proxy

Överblick
Mål: Konfigurera lokala LLM för Dev Proxy-funktioner
Tid: 10 minuter
Plugins:OpenAIMockResponsePlugin
Krav:Konfigurera Dev Proxy, lokal LLM-server (t.ex. Ollama)

Genom att ansluta Dev Proxy till en lokal språkmodell kan du förbättra Dev Proxys funktionalitet. Utvalda Dev Proxy-plugin använder språkmodellen för att förbättra utdata, där naturligt språk ingår. Genom att använda en lokal språkmodell kan du dra nytta av de förbättrade funktionerna utan extra kostnader.

Förutsättningar

Dev Proxy stöder värdar för språkmodeller som tillhandahåller OpenAI-kompatibla API:er. Den har också stöd för Ollama API:er. Om du vill konfigurera en värd för en lokal språkmodell följer du anvisningarna i dokumentationen.

Konfigurera Dev Proxy för att använda en lokal språkmodell

Om du vill konfigurera Dev Proxy för att använda en lokal språkmodell använder du languageModel inställningen i devproxyrc.json filen.

Filen:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

Du kan använda följande alternativ som en del av languageModel-inställningen:

Alternativ Beskrivning Standardvärde
cacheResponses Anger om svar från språkmodellen ska lagras i cache. true
client Typen av klient som ska användas. Tillåtna värden: Ollama, OpenAI OpenAI
enabled Anger om en lokal språkmodell ska användas. false
model Namnet på den språkmodell som ska användas. llama3.2
url URL för klienten för den lokala språkmodellen. http://localhost:11434/v1/

Som standard använder Dev Proxy standardkonfigurationen för Ollama med llama3.2-modellen och använder Ollamas OpenAI-kompatibla API:er. Den cachelagrar även svar från språkmodellen, vilket innebär att du för samma fråga får ett omedelbart svar utan att vänta på att språkmodellen ska bearbeta den.

Viktigt

När du använder en lokal språkmodell måste du starta klienten för den lokala språkmodellen innan du startar Dev Proxy.

Plugin-program för Dev Proxy som kan använda en lokal språkmodell

Följande Dev Proxy-plugin-program kräver en lokal språkmodell. Om du inte aktiverar en lokal språkmodell, inaktiverar Dev Proxy dessa insticksprogram:

Följande Dev Proxy-plugin-program använder en lokal språkmodell om det är tillgängligt:

Se även

  • Uppdaterades senast