Condividi tramite

Usare il modello linguistico locale con Dev Proxy

Connettendo Dev Proxy a un modello linguistico locale, è possibile migliorare le funzionalità del proxy di sviluppo. Selezionare Dev Proxy plugins (Plug-in Dev Proxy) usare il modello linguistico per migliorare l'output, in cui è coinvolto il linguaggio naturale. Usando un modello linguistico locale, è possibile sfruttare le funzionalità migliorate senza incorrere in costi aggiuntivi.

Prerequisiti

Dev Proxy supporta gli host del modello linguistico che espongono API compatibili con OpenAI. Ha anche il supporto per le API Ollama. Per configurare un host del modello di linguaggio locale, seguire le istruzioni riportate nella relativa documentazione.

Configurare il proxy di sviluppo per l'uso di un modello linguistico locale

Per configurare Dev Proxy per l'uso di un modello linguistico locale, usare l'impostazione languageModel nel devproxyrc.json file.

{
  "languageModel": {
    "enabled": true
  }
}

È possibile usare le opzioni seguenti come parte dell'impostazione languageModel :

Opzione Descrizione Valore predefinito
cacheResponses Specifica se memorizzare nella cache le risposte dal modello linguistico. true
client Il tipo di client da utilizzare. Valori consentiti: Ollama, OpenAI OpenAI
enabled Specifica se utilizzare un modello linguistico locale. false
model Nome del modello linguistico da usare. llama3.2
url URL del client del modello di lingua locale. http://localhost:11434/v1/

Per impostazione predefinita, Dev Proxy utilizza la configurazione standard di Ollama con il modello llama3.2 utilizzando le API compatibili con OpenAI di Ollama. Memorizza nella cache anche le risposte dal modello linguistico, ovvero per la stessa richiesta, si ottiene una risposta immediata senza attendere che il modello linguistico lo elabori.

Importante

Quando si usa un modello di lingua locale, assicurarsi di avviare il client del modello di lingua locale prima di avviare Dev Proxy.

Plug-in di Dev Proxy che possono usare un modello linguistico locale

I plug-in Dev Proxy seguenti usano un modello linguistico locale, se disponibile:

  • Last updated on