Verbind Visual Studio Code met lokale en externe modeleindpunten

Visual Studio Code kan de chatweergave verbinden met een OpenAI-compatibel inferentie-eindpunt voor een lokaal gehost model. Het eindpunt kan draaien op hetzelfde Windows 11-apparaat als Visual Studio Code of op Windows Server voor toegang vanaf een of meer externe Windows 11-clients. Deze topologieën stellen je in staat inferentie te bewaren op een ontwikkelaarsapparaat of modelberekening te centraliseren zonder Visual Studio Code op Windows Server te draaien.

In dit artikel voeg je een bestaand eindpunt toe als een aangepast eindpunt in Visual Studio Code, selecteer je het model en controleer je dat het model reageert. De procedure gaat ervan uit dat het inferentie-eindpunt al draait en bereikbaar is vanuit Visual Studio Code.

Vereisten voor lokale en externe modeleindpunten

  • Download de huidige stabiele versie van Visual Studio Code en zorg ervoor dat je toegang hebt tot de Chatweergave.
  • Een bestaand OpenAI-compatibel eindpunt dat de Chat Completions API ondersteunt en bereikbaar is vanaf de computer die Visual Studio Code draait.
  • Voor een extern eindpunt dat wordt gehost op Windows Server: netwerkconnectiviteit vanaf de Windows 11-client naar de server en de poort van het eindpunt. Configureer de Windows Firewall en eventuele tussenliggende firewalls of proxy's om de verbinding mogelijk te maken. Configureer het eindpunt om te luisteren op een netwerkinterface die externe clients kunnen bereiken, niet alleen op een loopback-adres.
  • Voor een extern eindpunt dat een hostnaam gebruikt, is er een Domain Name System (DNS)-record dat de Windows 11-client kan omzetten naar de Windows Server-host.
  • Voor een externe HTTPS-endpoint geldt een geldig TLS-certificaat dat de Windows 11-client vertrouwt en waarvan de subjectnaam of subjectalternatieve naam overeenkomt met de hostnaam in de endpoint-URL.
  • Toegangscontroles voor endpoints waarmee de Windows 11-client de Chat Completions-route kan aanroepen. Verkrijg een benodigde API-sleutel of token van de endpointbeheerder.
  • Voor inferentie op hetzelfde apparaat, de loopback-URL die het eindpunt beschikbaar stelt, zoals http://localhost:<port>/v1/chat/completions.
  • Voor externe inferentie is een vertrouwde HTTPS-URL, zoals https://<server-name>:<port>/v1/chat/completions.
  • De exacte model-ID; een modelweergavenaam, die door Visual Studio Code wordt weergegeven in de taalmodelkiezer; contextlimieten; en ondersteunde mogelijkheden uit de endpoint-eigenaar of modeldocumentatie.
  • De vereisten voor authenticatieheaders voor het endpoint.
  • Als je organisatie GitHub Copilot beheert, moet het het beleid Bring Your Own Language Model Key in VS Code inschakelen. Zie Bring your own language model key in VS Code voor meer informatie.

Je hebt geen GitHub-account of een GitHub Copilot-plan nodig om een bring-your-own-key-model in de chat te gebruiken. Het aangepaste eindpunt biedt geen functies die afhankelijk zijn van de GitHub Copilot-service, waaronder inline suggesties, semantisch zoeken en embeddings.

Voeg een aangepast lokaal of remote model endpoint toe

Dezelfde procedure ondersteunt een eindpunt op hetzelfde Windows 11-apparaat of een extern OpenAI-compatibel eindpunt op Windows Server. Visual Studio Code verbindt met één endpoint-URL, en de endpointservice beheert de distributie van backend-inferentie.

  1. Open in Visual Studio Code de weergave Chat.

  2. Open de taalmodel-picker en selecteer vervolgens Taalmodellen beheren (tandwielpictogram).

    Je kunt ook het Command Palette openen en Chat: Beheer Taalmodellen uitvoeren.

  3. Selecteer in de editor Language ModelsAdd Models en selecteer vervolgens Custom Endpoint.

  4. Voer een groepsnaam in. Deze naam identificeert de modellen van het eindpunt in de taalmodelkieser en de Language Models-editor .

  5. Voer de modelweergavenaam en de API-sleutel van het eindpunt in.

  6. Selecteer voor het API-type Chat Completes.

  7. In het chatLanguageModels.json bestand dat Visual Studio Code opent, configureer je de modeleigenschappen en sla je het bestand op.

    Gebruik de endpoint- en modeldocumentatie om de eigenschappen in te stellen. Bevestig minimaal de volgende waarden:

    Property Value
    id De exacte model-ID die het eindpunt verwacht.
    name De weergavenaam van het model die Visual Studio Code toont in de taalmodelkiezer.
    url De volledige route, zoals https://<server-name>:<port>/v1/chat/completions.
    apiType chat-completions
    toolCalling true Alleen als het endpoint en model het aanroepen van een tool ondersteunen.
    vision true Alleen als het eindpunt en model beeldinvoer ondersteunen.
    maxInputTokens Het maximaal ondersteunde aantal invoertokens van het model.
    maxOutputTokens Het model ondersteunde het maximale aantal outputtokens.

    Houd de gegenereerde apiKey invoerreferentie in plaats van de API-sleutel direct in chatLanguageModels.jsonte plaatsen. Visual Studio Code stuurt standaard de sleutel in een Authorization: Bearer <api-key> header voor aangepaste eindpunten van Chat Completions.

    Als het eindpunt een andere authenticatieheader vereist, configureer dan de requestHeaders eigenschap van het model en gebruik het ${apiKey} token als headerwaarde. Plaats geen rauw geheim in het configuratiebestand. Voor de ondersteunde eigenschappen en authenticatiegedrag, zie Custom Endpoint configuratiereferentie.

Selecteer en verifieer een lokaal of extern eindpuntmodel

  1. Ga terug naar de chatweergave en open de taalmodel-kiezer.

  2. Selecteer het model onder de groepsnaam die je hebt ingesteld.

  3. Voer een korte testprompt in, zoals:

    Reply with one sentence that confirms you received this request.

  4. Bevestig dat de Chatweergave een antwoord toont van het geselecteerde model.

  5. Als je toegang hebt tot de inferentie-endpointlogs, bevestig dan dat het endpoint het verzoek voor de geconfigureerde model-ID heeft ontvangen.

De configuratie werkt wanneer het geselecteerde model een antwoord teruggeeft en het eindpunt het verzoek registreert.

Opmerking

Een model moet tool-calling ondersteunen om beschikbaar te zijn voor agenten in de chat. Stel toolCalling niet in op true, tenzij het endpoint en model die mogelijkheid ondersteunen.

Probleemoplossing van lokale en externe modeleindpunten in Visual Studio Code

Probleem Wat u moet controleren
Aangepast eindpunt is niet beschikbaar Update naar de huidige stabiele versie van Visual Studio Code. Als uw organisatie GitHub Copilot beheert, bevestig dan dat uw organisatie het bring-your-own-key-beleid inschakelt.
Het model verschijnt niet in de modelkiezer Sla chatLanguageModels.json op en start Visual Studio Code daarna opnieuw op. In een werkruimte in Beperkte Modus, vertrouw erop dat de werkruimte de volledige modellijst herstelt. Voor gebruik met agents controleer ook of het model toolaanroepen ondersteunt en dat toolCallingtrue is.
Het eindpunt geeft een authenticatiefout terug Bevestig dat de API-sleutel actueel is en dat de authenticatieheader overeenkomt met de endpointvereisten. Als het eindpunt een andere header vereist, configureer requestHeaders dan met het ${apiKey} token.
Het eindpunt geeft een route- of API-fout terug Bevestig dat apiTypechat-completions is en dat url de volledige Chat Completions-route bevat, inclusief /v1/chat/completions wanneer het endpoint die route blootstelt.
Een externe client kan geen verbinding maken met het eindpunt Bevestig dat de Windows 11-client de hostnaam van de server kan oplossen en de eindpoort kan bereiken. Controleer het endpoint listeneradres, de Windows Firewall en eventuele tussenliggende firewall of proxy.
Een extern eindpunt geeft een TLS- of certificaatfout terug Bevestig dat het certificaat geldig is, dat de Windows 11-client het vertrouwt, en dat het de hostnaam in de endpoint-URL dekt.
Het eindpunt weigert een externe client Bevestig dat de endpoint-toegangscontroles de client toestaan de Chat Completions-route aan te roepen en dat het geconfigureerde inloggegevens toegang heeft tot het gevraagde model.
Het verzoek bereikt het eindpunt, maar de inferentie faalt Bevestig dat de model-ID exact overeenkomt met die van het endpoint en dat het endpoint de gevraagde modelmogelijkheden ondersteunt. Bekijk de logs van het endpoint voor het mislukken van het verzoek.

Verwante onderwerpen

  • Last updated on