Używanie lokalnego modelu językowego z Dev Proxy

Na pierwszy rzut oka
Celem: Konfigurowanie lokalnego LLM dla funkcji deweloperskiego serwera proxy
Czas: 10 minut
Plugins:OpenAIMockResponsePlugin
Wymagania wstępne:Konfigurowanie serwera proxy dev, lokalnego hosta LLM (np. Ollama)

Łącząc Dev Proxy z lokalnym modelem językowym, można ulepszyć funkcjonalność Dev Proxy. Wybrane wtyczki Dev Proxy używają modelu językowego do ulepszania swoich danych wyjściowych tam, gdzie w grę wchodzi język naturalny. Korzystając z lokalnego modelu językowego, możesz korzystać z ulepszonej funkcjonalności bez ponoszenia dodatkowych kosztów.

Wymagania wstępne

Dev Proxy obsługuje hosty modeli językowych, które uwidaczniają interfejsy API zgodne z OpenAI. Obsługuje również interfejsy API Ollama. Aby skonfigurować hosta lokalnego modelu językowego, postępuj zgodnie z instrukcjami w jego dokumentacji.

Konfigurowanie Dev Proxy do używania lokalnego modelu językowego

Aby skonfigurować Dev Proxy do używania lokalnego modelu językowego, użyj ustawienia languageModel w pliku devproxyrc.json.

Plik:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

W ramach languageModel ustawienia można użyć następujących opcji:

Opcja Opis Domyślna wartość
cacheResponses Określa, czy buforować odpowiedzi z modelu językowego. true
client Typ klienta, który ma być używany. Dozwolone wartości: Ollama, OpenAI OpenAI
enabled Określa, czy używać lokalnego modelu językowego. false
model Nazwa modelu językowego do użycia. llama3.2
url Adres URL klienta lokalnego modelu językowego. http://localhost:11434/v1/

Domyślnie Dev Proxy używa standardowej konfiguracji Ollama z modelem llama3.2, przy użyciu interfejsów API Ollama zgodnych z OpenAI. Buforuje również odpowiedzi z modelu językowego, co oznacza, że w przypadku tego samego promptu otrzymasz natychmiastową odpowiedź bez oczekiwania na przetworzenie modelu językowego.

Ważne

W przypadku korzystania z lokalnego modelu językowego należy uruchomić klienta lokalnego modelu językowego przed uruchomieniem Dev Proxy.

Wtyczki Dev Proxy, które mogą używać lokalnego modelu językowego

Następujące wtyczki serwera proxy deweloperów wymagają lokalnego modelu językowego. Jeśli nie włączysz lokalnego modelu językowego, serwer proxy deweloperów wyłączy następujące wtyczki:

Następujące wtyczki Dev Proxy używają lokalnego modelu językowego, jeśli jest dostępny:

Zobacz także

  • Ostatnia aktualizacja o