Använda en lokal språkmodell med Dev Proxy

Genom att ansluta Dev Proxy till en lokal språkmodell kan du förbättra Dev Proxys funktioner. Välj Dev Proxy-plugin-program använder språkmodellen för att förbättra utdata, där naturligt språk ingår. Genom att använda en lokal språkmodell kan du dra nytta av de förbättrade funktionerna utan extra kostnader.

Förutsättningar

Dev Proxy stöder Ollama som värd för lokala språkmodeller. Om du vill konfigurera den på datorn följer du anvisningarna i Ollama-dokumentationen.

Konfigurera Dev Proxy för att använda en lokal språkmodell

Om du vill konfigurera Dev Proxy för att använda en lokal språkmodell använder du languageModel inställningen i devproxyrc.json filen.

{
  "languageModel": {
    "enabled": true
  }
}

Du kan använda följande alternativ som en del av inställningen languageModel :

Alternativ	Description	Standardvärde
cacheResponses	Anger om svar ska cachelagrats från språkmodellen.	true
enabled	Anger om du vill använda en lokal språkmodell.	false
model	Namnet på den språkmodell som ska användas.	phi3
url	URL:en för Ollama-instansen.	http://localhost:11434

Som standard använder Dev Proxy standardkonfigurationen för Ollama med Phi-3-modellen . Den cachelagrar även svar från språkmodellen, vilket innebär att du för samma fråga får ett omedelbart svar utan att vänta på att språkmodellen ska bearbeta den.

Viktigt

När du använder en lokal språkmodell måste du starta Ollama innan du startar Dev Proxy.

Plugin-program för Dev Proxy som kan använda en lokal språkmodell

Följande Dev Proxy-plugin-program använder en lokal språkmodell om det är tillgängligt:

• OpenApiSpecGeneratorPlugin