Bagikan melalui

Menggunakan model bahasa lokal dengan Dev Proxy

Sekilas
Tujuan: Mengonfigurasi LLM lokal untuk fitur Proxy Pengembangan
Waktu: 10 menit
Plugins:OpenAIMockResponsePlugin
Prasyarat:Menyiapkan Proksi Dev, host LLM lokal (misalnya, Ollama)

Dengan menyambungkan Dev Proxy ke model bahasa lokal, Anda dapat meningkatkan fungsionalitas Dev Proxy. Pilih Plugin Dev Proxy menggunakan model bahasa untuk meningkatkan output mereka, di mana bahasa alami terlibat. Dengan menggunakan model bahasa lokal, Anda dapat memperoleh manfaat dari fungsionalitas yang ditingkatkan tanpa dikenakan biaya tambahan.

Prasyarat

Dev Proxy mendukung host model bahasa yang mengekspos API yang kompatibel dengan OpenAI. Ini juga memiliki dukungan untuk API Ollama. Untuk mengonfigurasi host model bahasa lokal, ikuti petunjuk dalam dokumentasinya.

Mengonfigurasi Dev Proxy untuk menggunakan model bahasa lokal

Untuk mengonfigurasi Dev Proxy untuk menggunakan model bahasa lokal, gunakan languageModel pengaturan dalam devproxyrc.json file.

File:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

Anda bisa menggunakan opsi berikut sebagai bagian languageModel dari pengaturan:

Opsi Deskripsi Nilai default
cacheResponses Menentukan apakah akan menyimpan respons dari model bahasa. true
client Jenis klien yang akan digunakan. Nilai yang diizinkan: Ollama, OpenAI OpenAI
enabled Menentukan apakah akan menggunakan model bahasa lokal. false
model Nama model bahasa yang akan digunakan. llama3.2
url URL klien model bahasa lokal. http://localhost:11434/v1/

Secara default, Dev Proxy menggunakan konfigurasi Ollama standar dengan model llama3.2 menggunakan API yang kompatibel dengan OpenAI Ollama. Ini juga menyimpan respons dari model bahasa, yang berarti, bahwa untuk perintah yang sama, Anda mendapatkan respons langsung tanpa menunggu model bahasa memprosesnya.

Penting

Saat menggunakan model bahasa lokal, pastikan untuk memulai klien model bahasa lokal Anda sebelum memulai Dev Proxy.

Plugin Dev Proxy yang dapat menggunakan model bahasa lokal

Plugin Dev Proxy berikut menggunakan model bahasa lokal jika tersedia:

Lihat juga

  • Last updated on