Hubungkan Visual Studio Code ke endpoint model lokal dan jarak jauh

Visual Studio Code dapat menghubungkan tampilan Chat ke endpoint inferensi yang kompatibel dengan OpenAI untuk model yang dihosting secara lokal. Endpoint dapat dijalankan pada perangkat Windows 11 yang sama dengan Visual Studio Code atau pada Windows Server untuk akses dari satu atau lebih klien Windows 11 jarak jauh. Topologi ini memungkinkan Anda menyimpan inferensi pada perangkat pengembang atau memusatkan komputasi model tanpa menjalankan Visual Studio Code di Windows Server.

Dalam artikel ini, Anda menambahkan endpoint yang sudah ada sebagai endpoint kustom di Visual Studio Code, memilih modelnya, dan memverifikasi bahwa model tersebut merespons. Prosedur ini mengasumsikan bahwa endpoint inferensi sudah berjalan dan dapat diakses dari Visual Studio Code.

Persyaratan untuk titik akhir model lokal dan jarak jauh

  • Unduh rilis stabil Visual Studio Code saat ini, dan pastikan Anda dapat mengakses tampilan Chat.
  • Endpoint kompatibel OpenAI yang sudah ada, yang mendukung API Chat Completions dan dapat diakses dari komputer yang menjalankan Visual Studio Code.
  • Untuk endpoint jarak jauh yang dihosting di Windows Server, konektivitas jaringan dari klien Windows 11 ke server dan port endpoint. Konfigurasikan Windows Firewall dan firewall perantara atau proxy agar mengizinkan koneksi tersebut. Konfigurasikan endpoint agar mendengarkan di antarmuka jaringan yang dapat diakses oleh klien jarak jauh, bukan hanya di alamat loopback.
  • Untuk endpoint jarak jauh yang menggunakan nama host, diperlukan rekaman Domain Name System (DNS) yang dapat diresolusikan oleh klien Windows 11 ke host Windows Server.
  • Untuk endpoint HTTPS jarak jauh, sertifikat TLS valid yang tepercaya bagi klien Windows 11 dan yang nama subjek atau nama alternatif subjeknya cocok dengan nama host dalam URL endpoint.
  • Kontrol akses endpoint yang memungkinkan klien Windows 11 memanggil rute Chat Completions. Dapatkan kunci API atau token yang diperlukan dari administrator endpoint.
  • Untuk inferensi pada perangkat yang sama, URL loopback yang diekspos oleh endpoint, seperti http://localhost:<port>/v1/chat/completions.
  • Untuk inferensi jarak jauh, URL HTTPS tepercaya, seperti https://<server-name>:<port>/v1/chat/completions.
  • ID model yang tepat; nama tampilan model, yang ditampilkan oleh Visual Studio Code di pemilih model; batas konteks; dan kemampuan yang didukung menurut pemilik endpoint atau dokumentasi model.
  • Persyaratan header autentikasi untuk endpoint.
  • Jika organisasi Anda mengelola GitHub Copilot, organisasi tersebut harus mengaktifkan kebijakan Bring Your Own Language Model Key in VS Code. Untuk informasi lebih lanjut, lihat Bawa kunci model bahasa Anda sendiri di VS Code.

Anda tidak perlu akun GitHub atau rencana GitHub Copilot untuk menggunakan model bawa kunci sendiri di chat. Endpoint kustom tidak menyediakan fitur yang bergantung pada layanan GitHub Copilot, termasuk saran inline, pencarian semantik, dan embedding.

Tambahkan endpoint khusus untuk model lokal atau jarak jauh

Prosedur yang sama mendukung endpoint pada perangkat Windows 11 yang sama atau endpoint remote yang kompatibel dengan OpenAI di Windows Server. Visual Studio Code terhubung ke satu URL endpoint, dan layanan endpoint mengatur distribusi inferensi di backend.

  1. Di Visual Studio Code, buka tampilan Chat.

  2. Buka pemilih model bahasa, lalu pilih Kelola Model Bahasa (ikon roda gigi).

    Anda juga dapat membuka Palet Perintah dan menjalankan Chat: Kelola Model Bahasa.

  3. Di editor Model Bahasa , pilih Tambah Model, lalu pilih Titik Akhir Kustom.

  4. Masukkan nama grup. Nama ini mengidentifikasi model endpoint di language model picker dan editor Language Models .

  5. Masukkan nama tampilan model dan kunci API untuk endpoint.

  6. Untuk tipe API, pilih Penyelesaian Chat.

  7. Dalam file yang dibuka oleh Visual Studio Code chatLanguageModels.json, konfigurasikan properti model, lalu simpan file tersebut.

    Gunakan dokumentasi endpoint dan model untuk mengatur properti. Setidaknya, konfirmasi nilai-nilai berikut:

    Harta benda Nilai
    id Model ID yang tepat yang diharapkan oleh endpoint.
    name Nama tampilan model yang ditampilkan Visual Studio Code di pemilih model bahasa.
    url Rute lengkap, seperti https://<server-name>:<port>/v1/chat/completions.
    apiType chat-completions
    toolCalling true hanya jika endpoint dan model mendukung pemanggilan alat.
    vision true hanya jika endpoint dan model mendukung input gambar.
    maxInputTokens Jumlah token input maksimum yang didukung oleh model.
    maxOutputTokens Jumlah token output maksimum yang didukung oleh model ini.

    Pertahankan referensi input apiKey yang dihasilkan alih-alih menempatkan kunci API langsung di chatLanguageModels.json. Visual Studio Code secara bawaan mengirimkan kunci tersebut dalam header Authorization: Bearer <api-key> untuk endpoint kustom Chat Completions.

    Jika endpoint memerlukan header autentikasi yang berbeda, konfigurasikan properti requestHeaders pada model dan gunakan token ${apiKey} sebagai nilai header. Jangan menaruh rahasia mentah di file konfigurasi. Untuk properti yang didukung dan perilaku autentikasi, lihat referensi konfigurasi Titik Akhir Kustom.

Pilih dan verifikasi model endpoint lokal atau jarak jauh

  1. Kembali ke tampilan Chat dan buka pemilih model bahasa.

  2. Pilih model di bawah nama grup yang Anda konfigurasikan.

  3. Masukkan prompt tes singkat, seperti:

    Reply with one sentence that confirms you received this request.

  4. Konfirmasi bahwa tampilan Chat menampilkan respons dari model yang dipilih.

  5. Jika Anda memiliki akses ke log endpoint inferensi, pastikan bahwa endpoint tersebut menerima permintaan untuk ID model yang dikonfigurasi.

Konfigurasi berfungsi ketika model yang dipilih mengembalikan respons dan endpoint merekam permintaan tersebut.

Note

Sebuah model harus mendukung pemanggilan alat agar dapat digunakan oleh agen dalam chat. Jangan atur toolCalling menjadi true kecuali jika endpoint dan model mendukung kemampuan tersebut.

Mengatasi masalah endpoint model lokal dan jarak jauh di Visual Studio Code

Masalah Apa yang harus diperiksa
Endpoint Kustom tidak tersedia Pembaruan ke rilis stabil Visual Studio Code saat ini. Jika organisasi Anda mengelola GitHub Copilot, pastikan organisasi Anda mengaktifkan kebijakan bawa kunci sendiri.
Model tersebut tidak muncul di pemilih model SimpanchatLanguageModels.json, lalu restart Visual Studio Code. Di workspace dalam Mode Terbatas, percayakan workspace untuk mengembalikan daftar model lengkap. Untuk penggunaan oleh agen, pastikan juga bahwa model mendukung pemanggilan alat dan bahwa toolCalling adalah true.
Endpoint mengembalikan kesalahan autentikasi Pastikan kunci API saat ini dan header autentikasinya sesuai dengan persyaratan endpoint. Jika endpoint membutuhkan header lain, konfigurasikan requestHeaders dengan ${apiKey} token.
Endpoint mengembalikan kesalahan rute atau API Pastikan bahwa apiType bernilai chat-completions dan bahwa url berisi rute Chat Completions lengkap, termasuk /v1/chat/completions jika endpoint mengekspos rute tersebut.
Klien jarak jauh tidak dapat terhubung ke endpoint Pastikan klien Windows 11 dapat menyelesaikan nama host server dan mencapai port endpoint. Periksa alamat listener endpoint, Windows Firewall, dan firewall atau proxy yang berada di antaranya.
Endpoint jarak jauh mengembalikan kesalahan TLS atau sertifikat Pastikan sertifikat valid, klien Windows 11 mempercayainya, dan bahwa sertifikat tersebut mencakup nama host di URL endpoint.
Endpoint menolak klien jarak jauh Konfirmasikan bahwa kontrol akses endpoint memungkinkan klien memanggil rute Chat Completions dan bahwa kredensial yang dikonfigurasi memiliki akses ke model yang diminta.
Permintaan mencapai titik akhir tetapi inferensi gagal Pastikan model ID benar-benar sesuai dengan model ID endpoint dan endpoint mendukung kemampuan model yang diminta. Tinjau log endpoint terkait kegagalan permintaan.

Konten terkait

  • Terakhir diperbarui pada