Utiliser un modèle de langage local avec le proxy de développement

En un clin d’œil
Objectif: Configurer les fonctionnalités locales de LLM pour le proxy de développement
Heure : 10 minutes
Plugins :OpenAIMockResponsePlugin
Prérequis :Configurer le proxy de développement, hôte LLM local (par exemple, Ollama)

En connectant le proxy de développement à un modèle de langage local, vous pouvez améliorer les fonctionnalités du proxy de développement. Certains plug-ins Dev Proxy utilisent le modèle de langage pour améliorer leur sortie, là où le langage naturel est impliqué. En utilisant un modèle de langage local, vous pouvez tirer parti des fonctionnalités améliorées sans entraîner de coûts supplémentaires.

Prérequis

Dev Proxy prend en charge les hôtes de modèles de langage qui exposent des API compatibles avec OpenAI. Il prend également en charge les API Ollama. Pour configurer un hôte de modèle de langage local, suivez les instructions de sa documentation.

Configurer le proxy de développement pour utiliser un modèle de langage local

Pour configurer Dev Proxy pour utiliser un modèle de langue locale, utilisez le paramètre languageModel dans le fichier devproxyrc.json.

Fichier:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

Vous pouvez utiliser les options suivantes dans le paramètre languageModel :

Choix Descriptif Valeur par défaut
cacheResponses Spécifie s’il faut mettre en cache les réponses du modèle de langage. true
client Type e client à utiliser. Valeurs autorisées : Ollama, OpenAI OpenAI
enabled Spécifie s’il faut utiliser un modèle de langue locale. false
model Nom du modèle de langage à utiliser. llama3.2
url URL du client du modèle de langue locale. http://localhost:11434/v1/

Par défaut, Dev Proxy utilise la configuration standard d’Ollama à l’aide des API compatibles OpenAI d’Ollama avec le modèle llama3.2. Il met également en cache les réponses du modèle de langage, ce qui signifie que pour le même prompt, vous obtenez une réponse immédiate sans attendre que le modèle de langage le traite.

Important

Lorsque vous utilisez un modèle de langage local, veillez à démarrer votre client de modèle de langue locale avant de démarrer Dev Proxy.

Plug-ins dev Proxy qui peuvent utiliser un modèle de langage local

Les plugins Dev Proxy suivants nécessitent un modèle de langage local. Si vous n’activez pas de modèle de langage local, Dev Proxy désactive les plugins suivants :

Les plug-ins Dev Proxy suivants utilisent un modèle de langage local si disponible :

Voir aussi

  • Dernière mise à jour :