Freigeben über

Verwenden des lokalen Sprachmodells mit Dev Proxy

Indem Sie Dev Proxy mit einem lokalen Sprachmodell verbinden, können Sie die Funktionalität von Dev Proxy verbessern. Wählen Sie Dev Proxy-Plug-Ins mit dem Sprachmodell aus, um ihre Ausgabe zu verbessern, wobei natürliche Sprache beteiligt ist. Durch die Verwendung eines lokalen Sprachmodells können Sie von der verbesserten Funktionalität profitieren, ohne dass zusätzliche Kosten anfallen.

Voraussetzungen

Dev Proxy unterstützt Sprachmodellhosts, die OpenAI-kompatible APIs verfügbar machen. Es bietet auch Unterstützung für Ollama-APIs. Um einen Host für das lokale Sprachmodell zu konfigurieren, befolgen Sie die Anweisungen in der Dokumentation.

Konfigurieren von Dev Proxy für die Verwendung eines lokalen Sprachmodells

Um Dev Proxy für die Verwendung eines lokalen Sprachmodells zu konfigurieren, verwenden Sie die languageModel Einstellung in der devproxyrc.json Datei.

{
  "languageModel": {
    "enabled": true
  }
}

Sie können die folgenden Optionen als Teil der languageModel Einstellung verwenden:

Auswahlmöglichkeit Beschreibung Standardwert
cacheResponses Gibt an, ob Antworten aus dem Sprachmodell zwischengespeichert werden sollen. true
client Der Typ des zu verwendenden Clients. Zulässige Werte: Ollama, OpenAI. OpenAI
enabled Gibt an, ob ein lokales Sprachmodell verwendet werden soll. false
model Der Name des zu verwendenden Sprachmodells. llama3.2
url Die URL des lokalen Sprachmodellclients. http://localhost:11434/v1/

Standardmäßig verwendet Dev Proxy die standardmäßige Ollama-Konfiguration mit dem llama3.2-Modell unter Verwendung der OpenAI-kompatiblen APIs von Ollama. Außerdem werden Antworten aus dem Sprachmodell zwischengespeichert, was bedeutet, dass Sie für dieselbe Eingabeaufforderung eine sofortige Antwort erhalten, ohne darauf zu warten, dass das Sprachmodell verarbeitet wird.

Wichtig

Wenn Sie ein lokales Sprachmodell verwenden, stellen Sie sicher, dass Sie Ihren lokalen Sprachmodellclient starten, bevor Sie Dev Proxy starten.

Dev Proxy-Plug-Ins, die ein lokales Sprachmodell verwenden können

Die folgenden Dev Proxy-Plug-Ins verwenden ein lokales Sprachmodell, falls verfügbar: