Udostępnij za pomocą

Używanie lokalnego modelu językowego z serwerem proxy deweloperów

Łącząc serwer proxy dev z lokalnym modelem językowym, można ulepszyć funkcjonalność serwera proxy deweloperów. Wybierz pozycję Wtyczki serwera proxy deweloperów używają modelu językowego, aby ulepszyć dane wyjściowe, w których zaangażowany jest język naturalny. Korzystając z lokalnego modelu językowego, możesz korzystać z ulepszonej funkcjonalności bez ponoszenia dodatkowych kosztów.

Wymagania wstępne

Serwer proxy deweloperów obsługuje hosty modeli językowych, które uwidaczniają interfejsy API zgodne z OpenAI. Obsługuje również interfejsy API Ollama. Aby skonfigurować hosta lokalnego modelu językowego, postępuj zgodnie z instrukcjami w jego dokumentacji.

Konfigurowanie serwera proxy deweloperskiego do używania lokalnego modelu językowego

Aby skonfigurować serwer proxy deweloperów do używania lokalnego modelu językowego, użyj languageModel ustawienia w devproxyrc.json pliku .

{
  "languageModel": {
    "enabled": true
  }
}

W ramach languageModel ustawienia można użyć następujących opcji:

Opcja opis Domyślna wartość
cacheResponses Określa, czy buforować odpowiedzi z modelu językowego. true
client Typ klienta, który ma być używany. Dozwolone wartości: Ollama, OpenAI OpenAI
enabled Określa, czy używać lokalnego modelu językowego. false
model Nazwa modelu językowego do użycia. llama3.2
url Adres URL klienta lokalnego modelu językowego. http://localhost:11434/v1/

Domyślnie Dev Proxy używa standardowej konfiguracji Ollama z modelem llama3.2 przy użyciu interfejsów API zgodnych z OpenAI Ollama. Buforuje również odpowiedzi z modelu językowego, co oznacza, że w przypadku tego samego monitu otrzymasz natychmiastową odpowiedź bez oczekiwania na przetworzenie modelu językowego.

Ważne

W przypadku korzystania z lokalnego modelu językowego należy uruchomić klienta lokalnego modelu językowego przed uruchomieniem serwera proxy deweloperskiej.

Wtyczki serwera proxy deweloperów, które mogą używać lokalnego modelu językowego

Następujące wtyczki serwera proxy deweloperów używają lokalnego modelu językowego, jeśli jest dostępny:

  • Last updated on