Menggunakan model bahasa lokal dengan Dev Proxy
Dengan menyambungkan Dev Proxy ke model bahasa lokal, Anda dapat meningkatkan fungsionalitas Dev Proxy. Pilih Plugin Dev Proxy menggunakan model bahasa untuk meningkatkan output mereka, di mana bahasa alami terlibat. Dengan menggunakan model bahasa lokal, Anda dapat memperoleh manfaat dari fungsionalitas yang ditingkatkan tanpa dikenakan biaya tambahan.
Prasyarat
Dev Proxy mendukung Ollama sebagai host untuk model bahasa lokal. Untuk menyiapkannya di komputer Anda, ikuti instruksi dalam dokumentasi Ollama.
Mengonfigurasi Dev Proxy untuk menggunakan model bahasa lokal
Untuk mengonfigurasi Dev Proxy untuk menggunakan model bahasa lokal, gunakan languageModel pengaturan dalam devproxyrc.json file.
{
"languageModel": {
"enabled": true
}
}
Anda bisa menggunakan opsi berikut sebagai bagian languageModel dari pengaturan:
| Opsi | Deskripsi | Nilai default |
|---|---|---|
cacheResponses |
Menentukan apakah akan menyimpan respons dari model bahasa. | true |
enabled |
Menentukan apakah akan menggunakan model bahasa lokal. | false |
model |
Nama model bahasa yang akan digunakan. | phi3 |
url |
URL instans Ollama. | http://localhost:11434 |
Secara default, Dev Proxy menggunakan konfigurasi Ollama default dengan model Phi-3 . Ini juga menyimpan respons dari model bahasa, yang berarti, bahwa untuk perintah yang sama, Anda mendapatkan respons langsung tanpa menunggu model bahasa memprosesnya.
Penting
Saat menggunakan model bahasa lokal, pastikan untuk memulai Ollama sebelum memulai Dev Proxy.
Plugin Dev Proxy yang dapat menggunakan model bahasa lokal
Plugin Dev Proxy berikut menggunakan model bahasa lokal jika tersedia:
