Megosztás a következőn keresztül:

Helyi nyelvi modell használata Dev Proxyval

A Dev Proxy helyi nyelvi modellhez való csatlakoztatásával javíthatja a Dev Proxy funkcióit. Válassza ki a Fejlesztői proxy beépülő modulokat a nyelvi modell használatával, hogy javítsa a kimenetüket, ahol a természetes nyelv is érintett. A helyi nyelvi modell használatával további költségek nélkül élvezheti a továbbfejlesztett funkciókat.

Előfeltételek

A Dev Proxy támogatja az OpenAI-kompatibilis API-kat elérhetővé tevő nyelvimodell-gazdagépeket. Támogatja az Ollama API-kat is. Helyi nyelvi modellgazda konfigurálásához kövesse a dokumentációban található utasításokat.

Fejlesztői proxy konfigurálása helyi nyelvi modell használatára

Ha a Dev Proxyt helyi nyelvi modell használatára szeretné konfigurálni, használja a languageModeldevproxyrc.json fájlban lévő beállítást.

{
  "languageModel": {
    "enabled": true
  }
}

A beállítás részeként a következő beállításokat használhatja languageModel :

Lehetőség Leírás Alapértelmezett érték
cacheResponses Meghatározza, hogy gyorsítótárazza-e a nyelvi modell válaszait. true
client A használni kívánt ügyfél típusa. Engedélyezett értékek: Ollama, OpenAI OpenAI
enabled Megadja, hogy használjon-e helyi nyelvi modellt. false
model A használni kívánt nyelvi modell neve. llama3.2
url A helyi nyelvi modell ügyfél URL-címe. http://localhost:11434/v1/

Alapértelmezés szerint a Dev Proxy a szabványos Ollama-konfigurációt használja a llama3.2 modellel az Ollama OpenAI-kompatibilis API-jainak használatával. Emellett gyorsítótárazza a nyelvi modell válaszait is, ami azt jelenti, hogy ugyanarra a kérdésre azonnali választ kap anélkül, hogy megvárja, amíg a nyelvi modell feldolgozni fogja.

Fontos

Helyi nyelvi modell használata esetén a Dev Proxy elindítása előtt mindenképpen indítsa el a helyi nyelvi modell ügyfelet.

Helyi nyelvi modellt használó fejlesztői proxy beépülő modulok

Ha elérhető, a következő Dev Proxy beépülő modulok helyi nyelvi modellt használnak:

  • Last updated on