Usa el modelo de lenguaje local con Dev Proxy

De un vistazo
Objetivo: Configurar LLM local para las características del proxy de desarrollo
Hora: 10 minutos
Plugins:OpenAIMockResponsePlugin
Requisitos previos:Configuración del proxy de desarrollo, host LLM local (por ejemplo, Ollama)

Al conectar Dev Proxy a un modelo de lenguaje local, puedes mejorar la funcionalidad de Dev Proxy. Algunos complementos de Dev Proxy utilizan el modelo de lenguaje para mejorar sus resultados cuando interviene el lenguaje natural. Mediante el uso de un modelo de lenguaje local, puede beneficiarse de la funcionalidad mejorada sin incurrir en costos adicionales.

Requisitos previos

Dev Proxy admite hosts de modelos de lenguaje que exponen API compatibles con OpenAI. También tiene soporte para las API de Ollama. Para configurar un host de modelo de idioma local, siga las instrucciones de su documentación.

Configura Dev Proxy para usar un modelo de lenguaje local

Para configurar Dev Proxy para que utilice un modelo de lenguaje local, utiliza el ajuste languageModel en el archivo devproxyrc.json.

Archivo:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

Puede usar las siguientes opciones como parte de la languageModel configuración:

Opción Descripción Valor predeterminado
cacheResponses Especifica si se almacenan en caché las respuestas del modelo de lenguaje. true
client El tipo de cliente que se va a utilizar. Valores permitidos: Ollama, OpenAI OpenAI
enabled Especifica si se va a usar un modelo de lenguaje local. false
model El nombre del modelo de lenguaje que se va a utilizar. llama3.2
url La dirección URL del cliente del modelo de idioma local. http://localhost:11434/v1/

De forma predeterminada, Dev Proxy utiliza la configuración estándar de Ollama con el modelo llama3.2 que utiliza las API compatibles con OpenAI de Ollama. También almacena en caché las respuestas del modelo de lenguaje, lo que significa que, para el mismo mensaje, se obtiene una respuesta inmediata sin esperar a que el modelo de lenguaje lo procese.

Importante

Cuando utilice un modelo de lenguaje local, asegúrese de iniciar el cliente del modelo de lenguaje local antes de iniciar Dev Proxy.

Complementos de Dev Proxy que pueden utilizar un modelo de lenguaje local

Los siguientes complementos de Dev Proxy requieren un modelo de lenguaje local. Si no habilita un modelo de lenguaje local, Dev Proxy deshabilita estos complementos:

Los siguientes complementos de Proxy de desarrollo usan un modelo de lenguaje local si está disponible:

Consulte también

  • Se actualizó por última vez el