Helyi nyelvi modell használata Dev Proxyval

Egy pillantással
Cél: Helyi LLM konfigurálása fejlesztői proxyfunkciókhoz
Idő: 10 perc
Beépülő modulok:OpenAIMockResponsePlugin
Előfeltételek:Dev Proxy beállítása, helyi LLM-gazdagép (pl. Ollama)

A Dev Proxyt egy helyi nyelvi modellhez csatlakoztatva javíthatja a Dev Proxy működését. Egyes Dev Proxy beépülő modulok a nyelvi modellt használják a kimenetük javítására, ahol természetes nyelv is érintett. A helyi nyelvi modell használatával további költségek nélkül élvezheti a továbbfejlesztett funkciókat.

Előfeltételek

A Dev Proxy támogatja az OpenAI-kompatibilis API-kat biztosító, nyelvi modellt futtató kiszolgálókat. Támogatja az Ollama API-kat is. A helyi nyelvimodell-kiszolgáló konfigurálásához kövesse a dokumentációjában található utasításokat.

Dev Proxy konfigurálása helyi nyelvi modell használatára

A Dev Proxy helyi nyelvi modell használatára való konfigurálásához használja a(z) devproxyrc.json fájl languageModel beállítását.

Fájl:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

A(z) languageModel beállítás részeként a következő lehetőségeket használhatja:

Opció Leírás Alapértelmezett érték
cacheResponses Meghatározza, hogy gyorsítótárazza-e a nyelvi modell válaszait. true
client A használni kívánt ügyfél típusa. Engedélyezett értékek: Ollama, OpenAI OpenAI
enabled Megadja, hogy használjon-e helyi nyelvi modellt. false
model A használni kívánt nyelvi modell neve. llama3.2
url A helyi nyelvi modell kliens URL-címe. http://localhost:11434/v1/

Alapértelmezés szerint a Dev Proxy a szabványos Ollama-konfigurációt használja a llama3.2 modellel az Ollama OpenAI-kompatibilis API-jainak használatával. Emellett gyorsítótárazza a nyelvi modell válaszait is, ami azt jelenti, hogy ugyanazon prompt esetén azonnali választ kap anélkül, hogy megvárja, amíg a nyelvi modell feldolgozza azt.

Fontos

Helyi nyelvi modell használata esetén a Dev Proxy elindítása előtt mindenképpen indítsa el a helyi nyelvi modell kliensalkalmazást.

Helyi nyelvi modellt használó fejlesztői proxy beépülő modulok

A következő Dev Proxy bővítményekhez helyi nyelvi modellre van szükség. Ha nem engedélyezi a helyi nyelvi modellt, a Dev Proxy letiltja ezeket a beépülő modulokat:

Ha elérhető, a következő Dev Proxy beépülő modulok helyi nyelvi modellt használnak:

Lásd még

  • Utolsó frissítés időpontja: