連接 Visual Studio Code 與本地及遠端模型端點

Visual Studio Code 可以將聊天視窗連接到本地託管模型的 OpenAI 相容推論端點。 該端點可在與 Visual Studio Code 相同的 Windows 11 裝置上執行，或在 Windows Server 上執行，以便由一個或多個遠端 Windows 11 用戶端存取。 這些拓撲讓你可以在開發者裝置上保留推論，或集中管理模型運算，而不必在 Windows Server 上執行 Visual Studio Code。

在本文中，你會在 Visual Studio Code 中將一個現有端點加入自訂端點，選擇其模型，並驗證模型是否能回應。 此程序假設推論端點已在執行中，且可從 Visual Studio Code 存取。

本地與遠端模型端點的先決條件

  • 下載目前穩定版的 Visual Studio Code，並確保你能存取聊天視窗。
  • 一個現有的 OpenAI 相容端點，支援聊天完成 API，並可從執行 Visual Studio Code 的電腦存取。
  • 對於在 Windows Server 上架設的遠端端點，Windows 11 用戶端與伺服器及端點埠之間的網路連線。 設定 Windows 防火牆以及任何中間的防火牆或代理伺服器，以允許連線。 將端點設定為在遠端用戶端可存取的網路介面上監聽，而非僅限於迴路位址。
  • 對於使用主機名稱的遠端端點，Windows 11 用戶端可解析為 Windows Server 主機的網域名稱系統（DNS）記錄。
  • 對於遠端 HTTPS 端點，需具備 Windows 11 用戶端所信任的有效 TLS 憑證，且其主體名稱或主體別名必須與端點 URL 中的主機名稱相符。
  • 端點存取控制，允許 Windows 11 用戶端呼叫聊天完成路由。 從端點管理員取得任何必要的 API 金鑰或權杖。
  • 對於同一裝置上的推論，端點所公開的迴送 URL，例如 http://localhost:<port>/v1/chat/completions。
  • 為了遠端推論，使用受信任的 HTTPS URL，例如 https://<server-name>:<port>/v1/chat/completions。
  • 精確的模型 ID；Visual Studio Code 會在 語言模型選擇器 中顯示的模型顯示名稱；上下文限制；以及端點擁有者或模型文件中記載的支援能力。
  • 端點的認證標頭需求。
  • 如果您的組織負責管理 GitHub Copilot，則必須啟用 VS Code 中的「自備語言模型金鑰」原則。 更多資訊請參閱 VS Code 中的「自帶語言模型金鑰」。

你不需要 GitHub 帳號或 GitHub Copilot 計畫，就能在聊天中使用自帶金鑰模式。 自訂端點不提供依賴 GitHub Copilot 服務的功能，包括內嵌建議、語意搜尋和嵌入。

新增自訂的本地或遠端模型端點

相同程序可支援同一 Windows 11 裝置上的端點，或 Windows Server 上的遠端 OpenAI 相容端點。 Visual Studio Code 連接一個端點 URL，端點服務則管理後端推論分發。

  1. 在 Visual Studio Code 中，開啟聊天視窗。

  2. 打開 語言模型選擇器，然後選擇 「管理語言模型 」（齒輪圖示）。

    你也可以打開 指令面板 ，執行 聊天：管理語言模型。

  3. 在 語言模型 編輯器中，選擇 新增模型，然後選擇 自訂端點。

  4. 輸入一個團體名稱。 此名稱用以識別該端點在 語言模型選擇器 及 語言模型 編輯器中的模型。

  5. 輸入模型顯示名稱和端點的 API 金鑰。

  6. 在 API 類型中，請選擇 Chat Completions。

  7. 在 chatLanguageModels.json Visual Studio Code 開啟的檔案中，設定模型屬性，然後儲存該檔案。

    利用端點和模型文件來設定屬性。 至少，請確認以下數值：

    財產 價值
    id 端點所期望的精確型號 ID。
    name Visual Studio Code 在語言模型選擇器中顯示的模型顯示名稱。
    url 完整路徑，例如 https://<server-name>:<port>/v1/chat/completions。
    apiType chat-completions
    toolCalling true 僅在端點和模型支援工具呼叫時可用。
    vision true 只有當端點和模型支援影像輸入時才會如此。
    maxInputTokens 該模型支援的最大輸入標記數。
    maxOutputTokens 該模型支援的最大輸出令牌數。

    保留產生的 apiKey 輸入參考，而不是直接把 API 金鑰放進 chatLanguageModels.json。 Visual Studio Code 預設會以Authorization: Bearer <api-key>標頭方式傳送 Chat Completions 自訂端點的金鑰。

    如果端點需要不同的認證標頭，則設定模型 requestHeaders 屬性並使用 ${apiKey} 令牌作為標頭值。 不要在設定檔裡放原始秘密。 關於支援的屬性與認證行為，請參閱自訂端點設定參考。

選擇並驗證本地或遠端端點模型

  1. 回到 聊天 視窗並開啟 語言模型選擇器。

  2. 選擇你設定的群組名稱下的模型。

  3. 輸入一個簡短的測試提示，例如：

    Reply with one sentence that confirms you received this request.

  4. 確認 聊天 視窗是否顯示來自所選模型的回應。

  5. 如果您可以存取推論端點日誌，請確認端點是否已收到針對已設定模型 ID 的請求。

當所選模型回傳回應且端點記錄請求時，設定即正常運作。

附註

模型必須支援工具呼叫，才能讓客服人員在聊天中可用。 除非端點和模型支援該功能，否則不要設定toolCalling為 。true

在 Visual Studio Code 中排除本地與遠端模型端點的疑難

問題 要檢查的事項
自訂端點無法提供 更新到 Visual Studio Code 目前的穩定版本。 如果您的組織管理 GitHub Copilot，請確認您的組織是否啟用了自帶金鑰政策。
模型不會出現在模型選擇器裡 儲存 chatLanguageModels.json，然後重新啟動 Visual Studio Code。 在 受限模式下的工作區中，信任工作區會恢復完整的模型清單。 若要供代理使用，也請確認該模型支援工具呼叫功能，且 toolCalling 為 true。
端點回傳認證錯誤 確認 API 金鑰是最新的，且其認證標頭符合端點需求。 如果端點需要另一個標頭，就用${apiKey}標記來設定requestHeaders。
端點會回傳路由或 API 錯誤 確認 apiType 為 chat-completions，且 url 包含完整的 Chat Completions 路由；若端點公開該路由，則包括 /v1/chat/completions。
遠端用戶端無法連接到端點 確認 Windows 11 用戶端能解析伺服器主機名稱並存取端點埠。 檢查端點監聽者位址、Windows 防火牆，以及任何中間的防火牆或代理。
遠端端點會回傳 TLS 或憑證錯誤 確認憑證有效、Windows 11 用戶端是否信任它，且它在端點網址中包含主機名稱。
端點拒絕遠端用戶端 確認端點存取控制允許用戶端呼叫聊天完成路由，且設定的憑證是否能存取所請求的模型。
請求抵達端點但推論失敗 確認模型 ID 與端點的模型 ID 完全一致，且端點是否支援所請求的模型功能。 檢查端點日誌是否有請求失敗。

相關內容

  • Last updated on