Aracılığıyla paylaş

Dev Proxy ile yerel dil modelini kullanma

Bir bakışta
Hedef: Yerel LLM'yi Dev Proxy özellikleri için yapılandırma
Süre: 10 dakika
Eklentiler: OpenAIMockResponsePlugin
Önkoşullar:Geliştirme Proxy'sini ayarlama, yerel LLM konağı (ör. Ollama)

Dev Proxy'yi bir yerel dil modeline bağlayarak Dev Proxy'nin işlevselliğini geliştirebilirsiniz. Geliştirici Ara Sunucusu eklentileri, doğal dilin söz konusu olduğu çıkışlarını geliştirmek için dil modelini kullanır'ı seçin. Yerel dil modeli kullanarak, ek maliyetler doğurmadan geliştirilmiş işlevsellikten yararlanabilirsiniz.

Önkoşullar

Dev Proxy, OpenAI uyumlu API'leri kullanıma sunan dil modeli konaklarını destekler. Ayrıca Ollama API'leri için de desteği vardır. Yerel dil modeli ana bilgisayarını yapılandırmak için belgelerindeki yönergeleri izleyin.

Dev Proxy'yi yerel dil modeli kullanacak şekilde yapılandırma

Dev Proxy'yi yerel dil modeli kullanacak şekilde yapılandırmak için dosyadaki languageModel ayarı kullanındevproxyrc.json.

Dosya:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

Ayarın bir parçası languageModel olarak aşağıdaki seçenekleri kullanabilirsiniz:

Seçenek Açıklama Varsayılan değer
cacheResponses Dil modelinden gelen yanıtların önbelleğe alınıp alınmayacağını belirtir. true
client Kullanılacak istemcinin türü. İzin verilen değerler: Ollama, OpenAI OpenAI
enabled Yerel dil modelinin kullanılıp kullanılmayacağını belirtir. false
model Kullanılacak dil modelinin adı. llama3.2
url Yerel dil modeli istemcisinin URL'si. http://localhost:11434/v1/

Varsayılan olarak Dev Proxy, Ollama'nın OpenAI uyumlu API'lerini kullanan llama3.2 modeliyle standart Ollama yapılandırmasını kullanır. Ayrıca dil modelinden gelen yanıtları önbelleğe alır, yani aynı istem için dil modelinin işlemesini beklemeden anında yanıt alırsınız.

Önemli

Yerel dil modeli kullanırken, Dev Proxy'yi başlatmadan önce yerel dil modeli istemcinizi başlattığınızdan emin olun.

Yerel dil modelini kullanabilen Geliştirme Ara Sunucusu eklentileri

Aşağıdaki Dev Proxy eklentileri varsa yerel bir dil modeli kullanır:

Ayrıca bakınız

  • Last updated on