Dev Proxy ile yerel dil modelini kullanın

Bir bakışta
Hedef: Yerel LLM'yi Dev Proxy özellikleri için yapılandırma
Süre: 10 dakika
Eklentiler: OpenAIMockResponsePlugin
Önkoşullar:Geliştirme Proxy'sini ayarlama, yerel LLM konağı (ör. Ollama)

Dev Proxy'yi bir yerel dil modeline bağlayarak Dev Proxy'nin işlevselliğini geliştirebilirsiniz. Belirli Dev Proxy eklentileri, doğal dilin söz konusu olduğu durumlarda çıktılarını iyileştirmek için dil modelini kullanır. Yerel dil modeli kullanarak, ek maliyetler doğurmadan geliştirilmiş işlevsellikten yararlanabilirsiniz.

Önkoşullar

Dev Proxy, OpenAI uyumlu API'leri kullanıma sunan dil modeli konaklarını destekler. Ayrıca Ollama API'leri desteği de sunar. Yerel dil modeli sunucusunu yapılandırmak için belgelerindeki yönergeleri izleyin.

Dev Proxy'yi yerel bir dil modeli kullanacak şekilde yapılandırın

Dev Proxy'yi yerel bir dil modeli kullanacak şekilde yapılandırmak için devproxyrc.json dosyasındaki languageModel ayarını kullanın.

Dosya:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

languageModel ayarının bir parçası olarak aşağıdaki seçenekleri kullanabilirsiniz:

Seçenek Açıklama Varsayılan değer
cacheResponses Dil modelinden gelen yanıtların önbelleğe alınıp alınmayacağını belirtir. true
client Kullanılacak istemcinin türü. İzin verilen değerler: Ollama, OpenAI OpenAI
enabled Yerel dil modelinin kullanılıp kullanılmayacağını belirtir. false
model Kullanılacak dil modelinin adı. llama3.2
url Yerel dil modeli istemcisinin URL’si. http://localhost:11434/v1/

Varsayılan olarak Dev Proxy, Ollama'nın OpenAI uyumlu API'lerini kullanan llama3.2 modeliyle standart Ollama yapılandırmasını kullanır. Ayrıca dil modelinden gelen yanıtları önbelleğe alır; yani aynı istem verildiğinde, dil modelinin bunu işlemesini beklemeden anında yanıt alırsınız.

Önemli

Yerel dil modeli kullanırken, Dev Proxy'yi başlatmadan önce yerel dil modeli istemcinizi başlattığınızdan emin olun.

Yerel dil modelini kullanabilen Geliştirme Ara Sunucusu eklentileri

Aşağıdaki Dev Proxy eklentileri için yerel bir dil modeli gerekir. Yerel dil modelini etkinleştirmezseniz Dev Proxy şu eklentileri devre dışı bırakır:

Aşağıdaki Dev Proxy eklentileri, mevcutsa yerel bir dil modeli kullanır:

Ayrıca bakınız

  • Son güncelleştirme: