Usar modelo de idioma local com o Dev Proxy

De relance
Objetivo: Configurar um LLM local para funcionalidades de Proxy de Desenvolvimento
Tempo: 10 minutos
Plugins:OpenAIMockResponsePlugin
Pré-requisitos:Configurar Dev Proxy, host local de LLM (por exemplo, Ollama)

Ao conectar o Dev Proxy a um modelo de idioma local, pode melhorar a funcionalidade do Dev Proxy. Alguns plugins do Dev Proxy usam o modelo de linguagem para melhorar o seu resultado, quando a linguagem natural está envolvida. Usando um modelo de idioma local, pode beneficiar da funcionalidade aprimorada sem incorrer em custos extras.

Pré-requisitos

O Dev Proxy suporta hosts de modelo de linguagem que expõem APIs compatíveis com OpenAI. Também suporta as APIs do Ollama. Para configurar um host de modelo de idioma local, siga as instruções em sua documentação.

Configurar o Dev Proxy para usar um modelo de idioma local

Para configurar o Dev Proxy para usar um modelo de idioma local, use a configuração languageModel no ficheiro devproxyrc.json.

Ficheiro:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

Você pode usar as seguintes opções como parte da configuração languageModel:

Opção Descrição Valor predefinido
cacheResponses Especifica se as respostas do modelo de linguagem devem ser armazenadas em cache. true
client O tipo de cliente a ser usado. Valores permitidos: Ollama, OpenAI OpenAI
enabled Especifica se um modelo de idioma local deve ser usado. false
model O nome do modelo de linguagem a ser usado. llama3.2
url A URL do cliente do modelo de idioma local. http://localhost:11434/v1/

Por padrão, o Dev Proxy usa a configuração padrão do Ollama com o modelo llama3.2 usando as APIs compatíveis com OpenAI do Ollama. Também armazena em cache as respostas do modelo de linguagem, o que significa que, para o mesmo prompt, obtém uma resposta imediata sem esperar que o modelo de linguagem a processe.

Importante

Ao usar um modelo de idioma local, certifique-se de iniciar o cliente de modelo de idioma local antes de iniciar o Dev Proxy.

Plug-ins do Dev Proxy que podem usar um modelo de idioma local

Os seguintes plugins Dev Proxy requerem um modelo de linguagem local. Se não ativares um modelo de linguagem local, o Dev Proxy desativa estes plugins:

Os seguintes plug-ins do Dev Proxy usam um modelo de idioma local, se disponível:

Consulte também

  • Última atualização a