Delen via

Lokaal taalmodel gebruiken met Dev Proxy

Door Dev Proxy te verbinden met een lokaal taalmodel, kunt u de functionaliteit van dev proxy verbeteren. Selecteer Dev Proxy-invoegtoepassingen gebruiken het taalmodel om hun uitvoer te verbeteren, waarbij natuurlijke taal betrokken is. Met behulp van een lokaal taalmodel kunt u profiteren van de verbeterde functionaliteit zonder extra kosten.

Vereisten

Dev Proxy ondersteunt taalmodelhosts die OpenAI-compatibele API's beschikbaar maken. Het heeft ook ondersteuning voor Ollama API's. Als u een host in een lokaal taalmodel wilt configureren, volgt u de instructies in de bijbehorende documentatie.

Dev Proxy configureren voor het gebruik van een lokaal taalmodel

Als u Dev Proxy wilt configureren voor het gebruik van een lokaal taalmodel, gebruikt u de languageModel instelling in het devproxyrc.json bestand.

{
  "languageModel": {
    "enabled": true
  }
}

U kunt de volgende opties gebruiken als onderdeel van de languageModel instelling:

Optie Omschrijving Standaardwaarde
cacheResponses Hiermee geeft u op of antwoorden van het taalmodel moeten worden opgeslagen in de cache. true
client Het type client dat u wilt gebruiken. Toegestane waarden: Ollama, OpenAI OpenAI
enabled Hiermee geeft u op of een lokaal taalmodel moet worden gebruikt. false
model De naam van het te gebruiken taalmodel. llama3.2
url De URL van de client van het lokale taalmodel. http://localhost:11434/v1/

Standaard gebruikt Dev Proxy de standaard Ollama-configuratie met het lama3.2-model met behulp van Ollama's OpenAI-compatibele API's. Het slaat ook reacties van het taalmodel in de cache op, wat betekent dat u voor dezelfde prompt een onmiddellijke reactie krijgt zonder te wachten tot het taalmodel het verwerkt.

Belangrijk

Wanneer u een lokaal taalmodel gebruikt, moet u uw lokale taalmodelclient starten voordat u Dev Proxy start.

Dev Proxy-invoegtoepassingen die een lokaal taalmodel kunnen gebruiken

De volgende Dev Proxy-invoegtoepassingen maken gebruik van een lokaal taalmodel, indien beschikbaar: