Usar o modelo de linguagem local com o Dev Proxy

Visão geral
Objetivo: Configurar o LLM local para funcionalidades do Proxy de Desenvolvimento
Tempo: 10 minutos
Plugins:OpenAIMockResponsePlugin
Pré-requisitos:Configurar Dev Proxy, hospedagem de LLM local (por exemplo, Ollama)

Ao conectar o Dev Proxy a um modelo de idioma local, você pode melhorar a funcionalidade do Dev Proxy. Os plug-ins do Dev Proxy selecionados usam o modelo de linguagem para melhorar a saída quando há linguagem natural envolvida. Ao usar um modelo de idioma local, você pode se beneficiar da funcionalidade aprimorada sem incorrer em custos extras.

Pré-requisitos

O Dev Proxy dá suporte a hosts de modelo de linguagem que expõem APIs compatíveis com OpenAI. Também tem suporte para APIs Ollama. Para configurar um host de modelo de idioma local, siga as instruções em sua documentação.

Configurar o Dev Proxy para usar um modelo de idioma local

Para configurar o Dev Proxy para usar um modelo de idioma local, use a configuração languageModel no arquivo devproxyrc.json.

Arquivo:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

Você pode usar as seguintes opções como parte da languageModel configuração:

Opção Descrição Valor padrão
cacheResponses Especifica se as respostas do modelo de linguagem devem ser armazenadas em cache. true
client O tipo de cliente a ser usado. Valores permitidos: Ollama e OpenAI OpenAI
enabled Especifica se um modelo de idioma local deve ser usado. false
model O nome do modelo de linguagem a ser usado. llama3.2
url A URL do cliente do modelo de idioma local. http://localhost:11434/v1/

Por padrão, o Dev Proxy usa a configuração padrão do Ollama com o modelo llama3.2 usando as APIs compatíveis com OpenAI do Ollama. Ele também armazena em cache as respostas do modelo de linguagem, o que significa que, para o mesmo prompt, você obtém uma resposta imediata sem esperar que o modelo de linguagem a processe.

Importante

Ao usar um modelo de idioma local, certifique-se de iniciar o cliente do modelo de idioma local antes de iniciar o Dev Proxy.

Plug-ins do Dev Proxy que podem usar um modelo de idioma local

Os plug-ins do Dev Proxy a seguir exigem um modelo de idioma local. Se você não habilitar um modelo de idioma local, o Dev Proxy desabilita estes plug-ins:

Os seguintes plug-ins do Dev Proxy usam um modelo de idioma local, se disponível:

Consulte também

  • Última atualização em