Visual Studio Code'u yerel ve uzak model uç noktalarına bağla

Visual Studio Code, Chat görünümünü yerel olarak barındırılan bir model için OpenAI uyumlu bir çıkarım uç noktasına bağlayabilir. Uç nokta, Visual Studio Code ile aynı Windows 11 cihazında veya bir veya daha fazla uzak Windows 11 istemcisinden erişim için Windows Server'da çalışabilir. Bu topolojiler, bir geliştirici cihazında çıkarım yapmanıza veya Windows Server'da Visual Studio Code çalıştırmadan model hesaplamasını merkezileştirmenize olanak tanır.

Bu makalede, mevcut bir uç noktayı Visual Studio Code'ta özel bir uç nokta olarak eklersiniz, modelini seçirsiniz ve modelin yanıt verdiğini doğrultursunuz. Prosedür, çıkarım uç noktasının zaten çalıştığını ve Visual Studio Code'tan ulaşılabilir olduğunu varsayar.

Yerel ve uzak model uç noktaları için ön koşullar

  • Visual Studio Code'un güncel stabil sürümünü indirin ve Chat görünümüne erişebildiğinizden emin olun.
  • Chat Completions API'sini destekleyen ve Visual Studio Code çalıştıran bilgisayardan ulaşılabilen mevcut bir OpenAI uyumlu uç nokta.
  • Windows Server'da barındırılan uzak uç nokta için, Windows 11 istemcisinden sunucuya ve uç nokta portuna ağ bağlantısı. Windows Güvenlik Duvarı'nı ve aradaki herhangi bir güvenlik duvarı veya proxy'yi bağlantıya izin verecek şekilde yapılandırın. Uç noktayı, yalnızca bir geri döngü adresinde değil, uzak istemcilerin erişebileceği bir ağ arayüzünde dinlemesi için yapılandırın.
  • Bir ana bilgisayar adı kullanan uzak uç nokta için, Windows 11 istemcisinin Windows Server sunucusuna çözümleyebileceği bir Alan Adı Sistemi (DNS) kaydı oluşturulur.
  • Uzak bir HTTPS uç noktası için, Windows 11 istemcisinin güvendiği geçerli bir TLS sertifikasıdır ve konu adı ya da konu alternatif adı uç nokta URL'sindeki ana adıyla eşleşir.
  • Windows 11 istemcisinin Chat Completions rotasını çağırmasına izin veren uç nokta erişim kontrolleri. Uç nokta yöneticisinden gerekli API anahtarını veya token'ı alın.
  • Aynı cihazda çıkarım için, uç noktanın sunduğu geri döngü URL’si; örneğin http://localhost:<port>/v1/chat/completions.
  • Uzaktan çıkarım için, güvenilir bir HTTPS URL'si, örneğin https://<server-name>:<port>/v1/chat/completions.
  • Tam model kimliği; Visual Studio Code'un dil model seçicisinde gösterdiği model görüntüleme adı; bağlam sınırları; ve uç nokta sahibi veya model dokümantasyonu tarafından desteklenen yetenekler.
  • Uç nokta için kimlik doğrulama başlığı gereksinimleri.
  • Kuruluşunuz GitHub Copilot'u yönetiyorsa, VS Code'da Kendi Dil Model Anahtarını Getir politikasını etkinleştirmelidir. Daha fazla bilgi için, VS Code'da kendi dil model anahtarınızı getirin sayfasına bakınız.

Sohbette kendi anahtarını getir modelini kullanmak için GitHub hesabına veya GitHub Copilot planına ihtiyacınız yok. Özel uç nokta, satır içi öneriler, anlamsal arama ve vektör yerleştirmeleri dâhil olmak üzere GitHub Copilot hizmetine dayanan özellikleri sağlamaz.

Özel yerel veya uzak model uç noktası ekleyin

Aynı prosedür, aynı Windows 11 cihazında bir uç noktayı veya Windows Server'da uzak OpenAI uyumlu bir uç noktayı destekler. Visual Studio Code tek uç nokta URL'sine bağlanır ve uç nokta servisi arka uç çıkarım dağıtımını yönetir.

  1. Visual Studio Code'da Chat görünümünü açın.

  2. Dil model seçicisini açın ve ardından Dil Modellerini Yönet (dişli simgesi) seçeneğini seçin.

    Ayrıca Komut Paletini açıp Sohbet: Dil Modellerini Yönet seçeneğini çalıştırabilirsiniz.

  3. Dil Modelleri düzenleyicisinde Modelleri Ekle seçeneğini seçin, ardından Özel Uç Nokta seçin.

  4. Bir grup adı girin. Bu isim, uç noktanın modellerini dil model seçicisinde ve Dil Modelleri düzenleyicisinde tanımlar.

  5. Model gösterim adını ve uç nokta için API anahtarını girin.

  6. API türü için Chat Completions seçeneğini seçin.

  7. chatLanguageModels.json Visual Studio Code'un açtığı dosyada model özelliklerini yapılandırın ve dosyayı kaydedin.

    Özellikleri ayarlamak için uç nokta ve model dokümantasyonunu kullanın. En azından aşağıdaki değerleri onaylayın:

    Mülkiyet Değer
    id Uç noktanın beklediği tam model ID'si.
    name Visual Studio Code'un dil model seçicisinde gösterdiği model gösterme adı.
    url Tam güzergah, örneğin https://<server-name>:<port>/v1/chat/completions.
    apiType chat-completions
    toolCalling true Sadece uç nokta ve model araç çağrısını destekliyorsa.
    vision true Yalnızca uç nokta ve model görüntü girişini destekliyorsa.
    maxInputTokens Model, maksimum giriş token sayısını destekliyordu.
    maxOutputTokens Model, maksimum çıkış token sayısını desteklerdi.

    API anahtarını doğrudan içine chatLanguageModels.jsonkoymak yerine oluşturulan apiKey giriş referansını tutun. Visual Studio Code, Chat Completions özel uç noktaları için varsayılan olarak anahtarı başlıkta Authorization: Bearer <api-key> gönderir.

    Uç nokta farklı bir kimlik doğrulama üst bilgisi gerektiriyorsa, modelin requestHeaders özelliğini yapılandırın ve üst bilgi değeri olarak ${apiKey} belirtecini kullanın. Yapılandırma dosyasına ham bir sır koymayın. Desteklenen özellikler ve kimlik doğrulama davranışı için Özel Uç Nokta yapılandırma referansına bakınız.

Yerel veya uzak uç nokta modeli seçin ve doğrulayın

  1. Sohbet görünümüne geri dönün ve dil model seçicisini açın.

  2. Yapılandırdığınız grup adının altında modeli seçin.

  3. Kısa bir test promptu girin, örneğin:

    Reply with one sentence that confirms you received this request.

  4. Chat görünümünde seçilen modelden bir yanıt gösterdiğini doğrulayın.

  5. Çıkarım uç noktası loglarına erişiminiz varsa, uç noktanın yapılandırılmış model kimliği talebini aldığını doğrulayın.

Seçilen model yanıt döndürdüğünde ve uç nokta talebi kaydettiğinde yapılandırma çalışır.

Not

Bir modelin, ajanların sohbette kullanabilmesi için araç çağırmayı desteklemesi gerekir. Uç nokta ve model bu yeteneği desteklemiyorsa, toolCalling ögesini true olarak ayarlamayın.

Visual Studio Code’da yerel ve uzak model uç noktalarının sorunlarını giderme

Sorunu Denetlenecek şeyler
Özel Uç Nokta mevcut değil Visual Studio Code'un mevcut stabil sürümüne güncelleme. Eğer kuruluşunuz GitHub Copilot'u yönetiyorsa, kendi anahtarını getir politikasını etkinleştirdiğini onaylayın.
Model seçicide görünmüyor Kaydedin chatLanguageModels.jsonve sonra Visual Studio Code'u yeniden başlatın. Kısıtlı Mod’daki bir çalışma alanında, tam model listesini geri yüklemek için çalışma alanına güvenin. Ajan kullanımı için, modelin araç çağrısını desteklediğini ve toolCalling'ın true olduğunu da doğrulayın.
Uç nokta kimlik doğrulama hatası döndürüyor API anahtarının güncel olduğunu ve kimlik doğrulama başlığının uç nokta gereksinimlerini karşıladığını doğrulayın. Uç nokta ek bir üst bilgi gerektiriyorsa, ${apiKey} öğesini requestHeaders belirteciyle yapılandırın.
Uç nokta bir rota veya API hatası döndürür apiType öğesinin chat-completions olduğunu ve url öğesinin, uç nokta bu yolu sunduğunda /v1/chat/completions dahil, tam Chat Completions yolunu içerdiğini doğrulayın.
Uzak bir istemci uç noktaya bağlanamaz Windows 11 istemcisinin sunucu ana adını çözüp uç nokta portuna ulaşabildiğini doğrulayın. Uç nokta dinleyici adresini, Windows Güvenlik Duvarı'nı ve aradaki güvenlik duvarı veya proxy'yi kontrol edin.
Uzak uç nokta TLS veya sertifika hatası döndürür Sertifikanın geçerli olduğunu, Windows 11 istemcisinin ona güvendiğini ve uç nokta URL'sinde ana bilgisayar adını kapsadığını doğrulayın.
Uç nokta, uzak istemcinin erişimini reddeder. Uç nokta erişim kontrollerinin istemcinin Chat Completions rotasını çağırmasına izin verdiğini ve yapılandırılmış kimlik bilgilerinin istenen modele erişimi olduğunu doğrulayın.
İstek uç noktaya ulaşır ancak çıkarım başarısız olur Model ID'nin uç noktanın model ID'si ile tam olarak eşleşip uç noktanın istenen model yeteneklerini desteklediğini doğrulayın. Istek hatası için uç nokta kayıtlarını inceleyin.

İlgili içerik

  • Last updated on