Koppla Visual Studio Code till lokala och fjärrbaserade modellslutpunkter

Visual Studio Code kan koppla chattvyn till en OpenAI-kompatibel inferensendpoint för en lokalt hostad modell. Endpointen kan köras på samma Windows 11-enhet som Visual Studio Code eller på Windows Server för åtkomst från en eller flera fjärrstyrda Windows 11-klienter. Dessa topologier låter dig behålla inferenser på en utvecklarenhet eller centralisera modellberäkning utan att köra Visual Studio Code på Windows Server.

I den här artikeln lägger du till en befintlig endpoint som en anpassad endpoint i Visual Studio Code, väljer dess modell och verifierar att modellen svarar. Proceduren förutsätter att inferensändpunkten redan körs och är tillgänglig från Visual Studio Code.

Förutsättningar för lokala och fjärranslutna modellslutpunkter

  • Ladda ner den nuvarande stabila versionen av Visual Studio Code och se till att du kan komma åt chattvyn.
  • En befintlig OpenAI-kompatibel endpoint som stödjer Chat Completions API och är tillgänglig från datorn som kör Visual Studio Code.
  • För en fjärrterminal som är värd på Windows Server, nätverksanslutning från Windows 11-klienten till servern och slutpunktsporten. Konfigurera Windows-brandväggen och eventuella mellanliggande brandväggar eller proxyer för att möjliggöra anslutningen. Konfigurera ändpunkten så att den lyssnar på ett nätverksgränssnitt som fjärrklienter kan nå, inte bara på en loopbackadress.
  • För en fjärrändpunkt som använder ett värdnamn, en DNS-post som Windows 11-klienten kan matcha mot värddatorn med Windows Server.
  • För en fjärr-HTTPS-endpoint, ett giltigt TLS-certifikat som Windows 11-klienten litar på och vars ämnesnamn eller ämnesalternativ matchar värdnamnet i endpoint-URL:en.
  • Endpoint-åtkomstkontroller som tillåter Windows 11-klienten att anropa Chat Completions-rutten. Hämta vilken API-nyckel eller token som helst från endpoint-administratören.
  • För inferens på samma enhet, den loopback-URL som slutpunkten exponerar, till exempel http://localhost:<port>/v1/chat/completions.
  • För fjärrinferens används en betrodd HTTPS-URL, såsom https://<server-name>:<port>/v1/chat/completions.
  • Den exakta modell-ID:n; ett modellvisningsnamn som Visual Studio Code visar i språkmodellväljaren; kontextbegränsningar; och stödda funktioner från endpoint-ägaren eller modelldokumentationen.
  • Kraven på autentiseringsheadern för ändpunkten.
  • Om din organisation hanterar GitHub Copilot måste den aktivera policyn Bring Your Own Language Model Key in VS Code. För mer information, se Använd din egen språkmodellsnyckel i VS Code.

Du behöver inte ett GitHub-konto eller en GitHub Copilot-plan för att använda en bring-your-own-key-modell i chatten. Den anpassade endpointen erbjuder inte funktioner som är beroende av GitHub Copilot-tjänsten, inklusive inline-förslag, semantisk sökning och inbäddningar.

Lägg till en anpassad lokal eller fjärransluten modellslutpunkt

Samma procedur stödjer en slutpunkt på samma Windows 11-enhet eller en fjärrkompatibel OpenAI-kompatibel slutpunkt på Windows Server. Visual Studio Code ansluter till en enda slutpunkts-URL, och slutpunktstjänsten hanterar distributionen av backend-inferens.

  1. I Visual Studio Code, öppna chattvyn.

  2. Öppna språkmodellplockaren och välj sedan Hantera språkmodeller (kugghjulsikon).

    Du kan också öppna Command Palette och köra Chat: Hantera språkmodeller.

  3. I redigeraren Språkmodeller väljer du Lägg till modeller och sedan Anpassad slutpunkt.

  4. Ange ett gruppnamn. Detta namn identifierar endpointens modeller i språkmodellväljaren och Language Models-editorn .

  5. Ange modellens visningsnamn och API-nyckeln för endpointen.

  6. För API-typen väljer du Chat Completions.

  7. I filen chatLanguageModels.json som Visual Studio Code öppnar, konfigurera modellens egenskaper och spara sedan filen.

    Använd endpoint- och modelldokumentationen för att ställa in egenskaperna. Minst bekräfta följande värden:

    Property Value
    id Det exakta modell-ID som endpointen förväntar sig.
    name Modellvisningsnamnet som Visual Studio Code visar i språkmodellväljaren.
    url Den fullständiga rutten, såsom https://<server-name>:<port>/v1/chat/completions.
    apiType chat-completions
    toolCalling true endast om endpointen och modellen stöder verktygsanrop.
    vision true endast om slutpunkten och modellen stöder bildinmatning.
    maxInputTokens Det maximala antalet indatatoken som modellen stöder.
    maxOutputTokens Det maximala antalet utdatatoken som modellen stöder.

    Behåll den genererade apiKey inmatningsreferensen istället för att placera API-nyckeln direkt i chatLanguageModels.json. Visual Studio Code skickar som standard nyckeln i en Authorization: Bearer <api-key>-rubrik för anpassade slutpunkter för Chat Completions.

    Om slutpunkten kräver en annan autentiseringsheader, konfigurera modellens requestHeaders egenskap och använd ${apiKey} token som headervärde. Placera inte en rå hemlighet i konfigurationsfilen. För stödda egenskaper och autentiseringsbeteende, se Anpassad Endpoint-konfigurationsreferens.

Välj och verifiera en lokal eller fjärrändpunktsmodell

  1. Gå tillbaka till chattvyn och öppna språkmodellväljaren.

  2. Välj modellen under gruppnamnet som du konfigurerade.

  3. Ange en kort testprompt, såsom:

    Reply with one sentence that confirms you received this request.

  4. Bekräfta att chattvyn visar ett svar från den valda modellen.

  5. Om du har tillgång till slutpunktsloggarna, bekräfta att slutpunkten mottagit förfrågan om det konfigurerade modell-ID:t.

Konfigurationen fungerar när den valda modellen returnerar ett svar och slutpunkten registrerar förfrågan.

Anteckning

En modell måste stödja verktygsanrop för att vara tillgänglig för agenter i chatten. Ställ inte in toolCalling på true om inte endpointen och modellen stöder den funktionen.

Felsök lokala och fjärrmodell-endpoints i Visual Studio Code

Frågan Vad du bör kontrollera
Anpassad slutpunkt är inte tillgänglig Uppdatera till den nuvarande stabila versionen av Visual Studio Code. Om din organisation hanterar GitHub Copilot, kontrollera att din organisation aktiverar bring-your-own-key-policyn.
Modellen visas inte i modellväljaren Spara chatLanguageModels.json, och starta sedan om Visual Studio Code. I en arbetsyta i Begränsat läge, lita på att arbetsytan återställer hela modelllistan. För användning med agenter, kontrollera också att modellen stöder verktygsanrop och att toolCalling är true.
Endpointen returnerar ett autentiseringsfel Bekräfta att API-nyckeln är aktuell och att dess autentiseringsheader uppfyller endpointens krav. Om slutpunkten kräver en annan header, konfigurera requestHeaders med token.${apiKey}
Slutpunkten returnerar ett rutt- eller API-fel Bekräfta att apiType är chat-completions och att url innehåller hela Chat Completions-rutten, inklusive /v1/chat/completions när slutpunkten tillhandahåller den rutten.
En fjärrklient kan inte ansluta till slutpunkten Bekräfta att Windows 11-klienten kan lösa serverns värdnamn och nå slutpunktsporten. Kontrollera endpoint-lyssnaradressen, Windows-brandväggen och eventuella mellanliggande brandväggar eller proxyer.
En fjärrändpunkt returnerar ett TLS- eller certifikatfel Bekräfta att certifikatet är giltigt, att Windows 11-klienten litar på det och att det täcker värdnamnet i endpoint-URL:en.
Slutpunkten nekar en fjärrklient Bekräfta att endpoint-åtkomstkontrollerna tillåter klienten att anropa Chat Completions-rutten och att den konfigurerade legitimationen har tillgång till den begärda modellen.
Förfrågan når slutpunkten men slutsatsen misslyckas Bekräfta att modell-ID:t exakt matchar endpointens modell-ID och att endpointen stödjer de begärda modellfunktionerna. Gå igenom slutpunktsloggarna för att se om begäran misslyckades.

Relaterat innehåll

  • Uppdaterades senast