Menggunakan model bahasa lokal dengan Dev Proxy

Sekilas
Tujuan: Mengonfigurasi LLM lokal untuk fitur Proxy Pengembangan
Waktu: 10 menit
Plugins:OpenAIMockResponsePlugin
Prasyarat:Menyiapkan Proksi Dev, host LLM lokal (misalnya, Ollama)

Dengan menyambungkan Dev Proxy ke model bahasa lokal, Anda dapat meningkatkan fungsionalitas Dev Proxy. Plugin Dev Proxy tertentu menggunakan model bahasa untuk meningkatkan output mereka, saat bahasa alami terlibat. Dengan menggunakan model bahasa lokal, Anda dapat mendapatkan manfaat dari fungsionalitas yang lebih baik tanpa biaya tambahan.

Prasyarat

Dev Proxy mendukung host model bahasa yang mengekspos API yang kompatibel dengan OpenAI. Ini juga memiliki dukungan untuk API Ollama. Untuk mengonfigurasi host model bahasa lokal, ikuti petunjuk dalam dokumentasinya.

Mengonfigurasi Dev Proxy untuk menggunakan model bahasa lokal

Untuk mengonfigurasi Dev Proxy agar menggunakan model bahasa lokal, gunakan pengaturan languageModel di file devproxyrc.json.

File:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

Anda bisa menggunakan opsi berikut sebagai bagian dari pengaturan languageModel:

Opsi Deskripsi Nilai default
cacheResponses Menentukan apakah akan menyimpan respons dari model bahasa dalam cache. true
client Jenis klien yang digunakan. Nilai yang diizinkan: Ollama, OpenAI OpenAI
enabled Menentukan apakah akan menggunakan model bahasa lokal. false
model Nama model bahasa yang akan digunakan. llama3.2
url URL dari klien model bahasa lokal. http://localhost:11434/v1/

Secara default, Dev Proxy menggunakan konfigurasi Ollama standar dengan model llama3.2 menggunakan API kompatibel OpenAI milik Ollama. Ini juga menyimpan respons dari model bahasa, yang berarti, bahwa untuk perintah yang sama, Anda mendapatkan respons langsung tanpa menunggu model bahasa memprosesnya.

Penting

Saat menggunakan model bahasa lokal, pastikan untuk memulai klien model bahasa lokal Anda sebelum memulai Dev Proxy.

Plugin Dev Proxy yang dapat menggunakan model bahasa lokal

Plugin Dev Proxy berikut memerlukan model bahasa lokal. Jika Anda tidak mengaktifkan model bahasa lokal, Dev Proxy menonaktifkan plugin ini:

Plugin Dev Proxy berikut menggunakan model bahasa lokal jika tersedia:

Lihat juga

  • Terakhir diperbarui pada