Compartilhar via

Usar o modelo de idioma local com o Dev Proxy

Ao conectar o Dev Proxy a um modelo de idioma local, você pode melhorar a funcionalidade do Dev Proxy. Os plug-ins Select Dev Proxy usam o modelo de linguagem para melhorar sua saída, onde a linguagem natural está envolvida. Ao usar um modelo de idioma local, você pode se beneficiar da funcionalidade aprimorada sem incorrer em custos extras.

Pré-requisitos

O Dev Proxy dá suporte a hosts de modelo de linguagem que expõem APIs compatíveis com OpenAI. Ele também tem suporte para APIs Ollama. Para configurar um host de modelo de idioma local, siga as instruções em sua documentação.

Configurar o Proxy de Desenvolvimento para usar um modelo de idioma local

Para configurar o Dev Proxy para usar um modelo de idioma local, use a languageModeldevproxyrc.json configuração no arquivo.

{
  "languageModel": {
    "enabled": true
  }
}

Você pode usar as seguintes opções como parte da languageModel configuração:

Opção Descrição Valor padrão
cacheResponses Especifica se as respostas do modelo de linguagem devem ser armazenadas em cache. true
client O tipo de cliente a ser usado. Valores permitidos: Ollama e OpenAI OpenAI
enabled Especifica se um modelo de idioma local deve ser usado. false
model O nome do modelo de linguagem a ser usado. llama3.2
url A URL do cliente do modelo de idioma local. http://localhost:11434/v1/

Por padrão, o Dev Proxy usa a configuração padrão do Ollama com o modelo llama3.2 usando as APIs compatíveis com OpenAI do Ollama. Ele também armazena em cache as respostas do modelo de linguagem, o que significa que, para o mesmo prompt, você obtém uma resposta imediata sem esperar que o modelo de linguagem a processe.

Importante

Ao usar um modelo de idioma local, certifique-se de iniciar o cliente do modelo de idioma local antes de iniciar o Dev Proxy.

Plug-ins do Dev Proxy que podem usar um modelo de idioma local

Os seguintes plug-ins do Dev Proxy usam um modelo de idioma local, se disponível:

  • Last updated on