Usare il modello linguistico locale con Dev Proxy

A colpo d'occhio
Obiettivo: Configurare le funzionalità LLM locali per il proxy di sviluppo
Tempo: 10 minuti
Plugins:OpenAIMockResponsePlugin
Prerequisiti: Configurareil proxy di sviluppo, l'host llm locale (ad esempio, Ollama)

Connettendo Dev Proxy a un modello linguistico locale, è possibile migliorare le funzionalità di Dev Proxy. Alcuni plug-in di Dev Proxy usano il modello linguistico per migliorare l'output, in cui è coinvolto il linguaggio naturale. Usando un modello linguistico locale, è possibile sfruttare le funzionalità migliorate senza incorrere in costi aggiuntivi.

Prerequisiti

Dev Proxy supporta gli host del modello linguistico che espongono API compatibili con OpenAI. Ha anche il supporto per le API Ollama. Per configurare un host del modello di linguaggio locale, seguire le istruzioni riportate nella relativa documentazione.

Configurare Dev Proxy per usare un modello linguistico locale

Per configurare Dev Proxy per l'uso di un modello linguistico locale, usare l'impostazione languageModel nel file devproxyrc.json.

File:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

È possibile usare le opzioni seguenti come parte dell'impostazione languageModel :

Opzione Descrizione Valore predefinito
cacheResponses Specifica se memorizzare nella cache le risposte dal modello linguistico. true
client Il tipo di client da utilizzare. Valori consentiti: Ollama, OpenAI OpenAI
enabled Specifica se utilizzare un modello linguistico locale. false
model Nome del modello linguistico da usare. llama3.2
url L'URL del client locale del modello linguistico. http://localhost:11434/v1/

Per impostazione predefinita, Dev Proxy utilizza la configurazione standard di Ollama con il modello llama3.2 utilizzando le API compatibili con OpenAI di Ollama. Memorizza nella cache anche le risposte dal modello linguistico, ovvero per la stessa richiesta, si ottiene una risposta immediata senza attendere che il modello linguistico lo elabori.

Importante

Quando si usa un modello linguistico locale, assicurarsi di avviare il client del modello linguistico locale prima di avviare Dev Proxy.

Plug-in di Dev Proxy che possono usare un modello linguistico locale

I seguenti plug-in di Dev Proxy richiedono un modello linguistico locale. Se non viene abilitato un modello linguistico locale, Dev Proxy disabilita questi plug-in:

I seguenti plug-in di Dev Proxy usano un modello linguistico locale, se disponibile:

Vedere anche

  • Ultimo aggiornamento: