Verwenden des lokalen Sprachmodells mit Dev Proxy

Auf einen Blick
Ziel: Konfiguration des lokalen LLMs für Dev-Proxy-Funktionen
Zeit: 10 Minuten
Plugins:OpenAIMockResponsePlugin
Voraussetzungen:Einrichten von Dev Proxy, lokaler LLM-Host (z. B. Ollama)

Indem Sie Dev Proxy mit einem lokalen Sprachmodell verbinden, können Sie die Funktionalität von Dev Proxy verbessern. Ausgewählte Dev Proxy-Plug-Ins verwenden das Sprachmodell, um ihre Ausgabe zu verbessern, wenn natürliche Sprache im Spiel ist. Durch die Verwendung eines lokalen Sprachmodells können Sie von der verbesserten Funktionalität profitieren, ohne dass zusätzliche Kosten anfallen.

Voraussetzungen

Dev Proxy unterstützt Sprachmodellhosts, die OpenAI-kompatible APIs verfügbar machen. Es bietet auch Unterstützung für Ollama-APIs. Um einen Host für das lokale Sprachmodell zu konfigurieren, befolgen Sie die Anweisungen in der Dokumentation des Hosts.

Konfigurieren von Dev Proxy für die Verwendung eines lokalen Sprachmodells

Um Dev Proxy für die Verwendung eines lokalen Sprachmodells zu konfigurieren, verwenden Sie die languageModel Einstellung in der devproxyrc.json Datei.

Datei:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

Sie können die folgenden Optionen als Teil der languageModel Einstellung verwenden:

Option Beschreibung Standardwert
cacheResponses Gibt an, ob Antworten aus dem Sprachmodell zwischengespeichert werden sollen. true
client Der Typ des zu verwendenden Clients. Zulässige Werte: Ollama, OpenAI. OpenAI
enabled Gibt an, ob ein lokales Sprachmodell verwendet werden soll. false
model Der Name des zu verwendenden Sprachmodells. llama3.2
url Die URL des lokalen Sprachmodellclients. http://localhost:11434/v1/

Standardmäßig verwendet Dev Proxy die standardmäßige Ollama-Konfiguration mit dem llama3.2-Modell unter Verwendung der OpenAI-kompatiblen APIs von Ollama. Außerdem werden Antworten aus dem Sprachmodell zwischengespeichert, was bedeutet, dass Sie für dieselbe Eingabeaufforderung eine sofortige Antwort erhalten, ohne warten zu müssen, bis das Sprachmodell sie verarbeitet hat.

Wichtig

Wenn Sie ein lokales Sprachmodell verwenden, stellen Sie sicher, dass Sie Ihren lokalen Sprachmodellclient starten, bevor Sie Dev Proxy starten.

Dev Proxy-Plug-Ins, die ein lokales Sprachmodell verwenden können

Für die folgenden Dev Proxy-Plug-Ins ist ein lokales Sprachmodell erforderlich. Wenn Sie kein lokales Sprachmodell aktivieren, deaktiviert Dev Proxy die folgenden Plug-Ins:

Die folgenden Dev Proxy-Plug-Ins verwenden ein lokales Sprachmodell, falls verfügbar:

Siehe auch

  • Zuletzt aktualisiert um