Visual Studio Code mit einem Windows Server Token-Fabrikendpunkt verbinden

Visual Studio Code kann die Chatansicht eines Windows-Clients mit einem OpenAI-kompatiblen Token-Fabrikendpunkt verbinden, der auf Windows Server gehostet wird. Diese Konfiguration ermöglicht es Ihnen, ein organisationsgehostetes Modell in Visual Studio Code zu verwenden, während Windows Server Modellhosting und Rechenleistung zentralisiert.

In diesem Artikel fügen Sie einen bestehenden Windows Server Token-Fabrikendpunkt als benutzerdefinierten Endpunkt in Visual Studio Code hinzu, wählen sein Modell aus und überprüfen, ob das Modell reagiert. Das Verfahren bereitet oder sichert den Token-Factory-Endpunkt nicht.

Prerequisites

  • Laden Sie die aktuelle stabile Version von Visual Studio Code herunter und stellen Sie sicher, dass Sie auf die Chatansicht zugreifen können.
  • Ein bestehender Windows Server Token-Fabrikendpunkt, der die OpenAI-kompatible Chat Completions API unterstützt und vom Computer mit Visual Studio Code aus erreichbar ist.
  • Netzwerkverbindung vom Windows 11-Client zum Server und zum Endpoint-Port. Konfigurieren Sie die Windows-Firewall und alle dazwischenliegenden Firewalls oder Proxys, um die Verbindung zu ermöglichen. Konfigurieren Sie den Endpunkt so, dass er an einer Netzwerkschnittstelle lauscht, die für Remoteclients erreichbar ist, und nicht nur an einer Loopback-Adresse.
  • Ein Domain Name System (DNS)-Eintrag, den der Windows 11-Client an den Windows Server-Host auflösen kann.
  • Ein gültiges TLS-Zertifikat, dem der Windows 11-Client vertraut und dessen Betreffname oder Alternativname mit dem Hostnamen in der Endpunkt-URL übereinstimmt.
  • Endpunktzugriffskontrollen, die es dem Windows 11-Client erlauben, die Chat Completions-Route aufzurufen. Erhalten Sie einen beliebigen API-Schlüssel oder Token vom Endpunktadministrator.
  • Eine vertrauenswürdige HTTPS-URL, wie zum Beispiel https://<server-name>:<port>/v1/chat/completions.
  • Die genaue Modell-ID; ein Modellanzeigename, den Visual Studio Code in der Auswahl für Sprachmodelle anzeigt; Kontextlimits; und unterstützte Funktionen vom Eigentümer des Endpunkts oder aus der Dokumentation des Modells.
  • Die Anforderungen des Authentifizierungsheaders für den Endpunkt.
  • Wenn Ihre Organisation GitHub Copilot verwaltet, muss sie die Richtlinie "Bring Your Own Language Model Key in VS Code" aktivieren. Weitere Informationen finden Sie unter Eigenen Sprachmodellschlüssel in VS Code verwenden.

Du brauchst kein GitHub-Konto oder einen GitHub Copilot-Plan, um ein Bring-Your-Own-Key-Modell im Chat zu verwenden. Der benutzerdefinierte Endpunkt bietet keine Funktionen, die vom GitHub Copilot-Dienst abhängen, einschließlich Inline-Vorschlägen, semantischer Suche und Embeddings.

Den Windows Server Token-Factory-Endpunkt hinzufügen

Visual Studio Code verbindet sich über die OpenAI-kompatible Endpunkt-URL mit der Windows Server Token Factory.

  1. Öffne in Visual Studio Code die Chat-Ansicht.

  2. Öffnen Sie den Sprachmodell-Picker und wählen Sie dann Sprachmodelle verwalten (Zahnrad-Symbol).

    Du kannst auch die Command Palette öffnen und Chat: Manage Language Models ausführen.

  3. Im Language Models-Editor wählen Sie Models hinzufügen und wählen Sie dann Custom Endpoint.

  4. Geben Sie einen Gruppennamen ein. Dieser Name identifiziert die Modelle des Endpunkts im Language Model Picker und im Language Models-Editor .

  5. Geben Sie den Anzeigenamen des Modells und den API-Schlüssel für den Endpunkt ein.

  6. Für den API-Typ wählen Sie Chat Completions.

  7. Konfigurieren Sie in der Datei chatLanguageModels.json, die Visual Studio Code öffnet, die Modelleigenschaften, und speichern Sie dann die Datei.

    Verwenden Sie die Endpunkt- und Modelldokumentation, um die Eigenschaften festzulegen. Mindestens bestätigen Sie folgende Werte:

    Eigentum Wert
    id Die genaue Modell-ID, die der Endpunkt erwartet.
    name Der Modell-Anzeigename, den Visual Studio Code im Sprachmodellwähler anzeigt.
    url Die vollständige Route, beispielsweise https://<server-name>:<port>/v1/chat/completions.
    apiType chat-completions
    toolCalling true nur wenn der Endpunkt und das Modell das Aufrufen von Werkzeugen unterstützen.
    vision true, nur wenn der Endpunkt und das Modell Bildeingabe unterstützen.
    maxInputTokens Die maximal unterstützte Anzahl an Eingabetokens des Modells.
    maxOutputTokens Das Modell unterstützte die maximale Anzahl der Ausgabe-Tokens.

    Behalte die generierte apiKey Eingabereferenz, anstatt den API-Schlüssel direkt in chatLanguageModels.jsonzu legen. Visual Studio Code sendet den Schlüssel standardmäßig in einem Authorization: Bearer <api-key> Header für benutzerdefinierte Endpunkte von Chat Completions.

    Wenn der Endpunkt einen anderen Authentifizierungsheader benötigt, konfigurieren Sie die requestHeaders Eigenschaft des Modells und verwenden Sie das ${apiKey} Token als Headerwert. Stecke kein rohes Geheimnis in die Konfigurationsdatei. Für die unterstützten Eigenschaften und das Authentifizierungsverhalten siehe Custom Endpoint Konfigurationsreferenz.

Wählen und überprüfen Sie das Token-Factory-Modell

  1. Kehren Sie zur Chat-Ansicht zurück und öffnen Sie den Sprachmodell-Picker.

  2. Wählen Sie das Modell unter dem von Ihnen konfigurierten Gruppennamen aus.

  3. Geben Sie eine kurze Testaufforderung ein, wie zum Beispiel:

    Reply with one sentence that confirms you received this request.
    
  4. Bestätigen Sie, dass die Chat-Ansicht eine Antwort des ausgewählten Modells anzeigt.

  5. Wenn Sie Zugriff auf die Inferenz-Endpunkt-Logs haben, bestätigen Sie, dass der Endpunkt die Anfrage nach der konfigurierten Modell-ID erhalten hat.

Die Konfiguration funktioniert, wenn das ausgewählte Modell eine Antwort zurückgibt und der Endpunkt die Anfrage aufzeichnet.

Note

Ein Modell muss Tool-Calling unterstützen, um für Agenten im Chat verfügbar zu sein. Setze toolCalling nicht auf true, es sei denn, der Endpunkt und das Modell unterstützen diese Fähigkeit.

Problembehandlung für die Visual Studio Code-Verbindung mit dem Windows Server-Token Factory-Endpunkt

Angelegenheit Was soll überprüft werden?
Benutzerdefinierter Endpunkt ist nicht verfügbar Update zur aktuellen stabilen Version von Visual Studio Code. Wenn Ihre Organisation GitHub Copilot verwaltet, bestätigen Sie, dass Ihre Organisation die Bring-Your-Own-Key-Politik aktiviert.
Das Modell erscheint nicht im Modellwähler Speichere chatLanguageModels.json, und starte dann Visual Studio Code neu. In einem Arbeitsbereich im eingeschränkten Modus vertrauen Sie darauf, dass der Arbeitsbereich die vollständige Modellliste wiederherstellt. Für die Verwendung mit Agenten bestätigen Sie außerdem, dass das Modell Tool-Aufrufe unterstützt und dass toolCallingtrue ist.
Der Endpunkt liefert einen Authentifizierungsfehler zurück Bestätigen Sie, dass der API-Schlüssel aktuell ist und dass sein Authentifizierungsheader den Anforderungen des Endpunkts entspricht. Wenn der Endpunkt einen weiteren Header benötigt, konfigurieren Sie requestHeaders mit dem Token ${apiKey}.
Der Endpunkt gibt einen Routen- oder API-Fehler zurück Bestätigen Sie, dass apiType mit chat-completions identisch ist und dass url die vollständige Route für Chat Completions enthält, einschließlich /v1/chat/completions, wenn der Endpunkt diese Route bereitstellt.
Ein entfernter Client kann sich nicht mit dem Endpunkt verbinden Bestätigen Sie, dass der Windows 11-Client den Server-Hostnamen auflösen und den Endpunkt-Port erreichen kann. Überprüfen Sie die Endpunkt-Listeneradresse, die Windows-Firewall und alle dazwischenliegenden Firewalls oder Proxys.
Ein entfernter Endpunkt gibt einen TLS- oder Zertifikatsfehler zurück Bestätigen Sie, dass das Zertifikat gültig ist, dass der Windows 11-Client ihm vertraut und dass es den Hostnamen in der Endpunkt-URL abdeckt.
Der Endpunkt lehnt einen entfernten Client ab Bestätigen Sie, dass die Endpunkt-Zugriffskontrollen es dem Client erlauben, die Chat-Abschluss-Route aufzurufen und dass die konfigurierte Zugangsdaten Zugriff auf das angeforderte Modell haben.
Die Anfrage erreicht den Endpunkt, aber die Schlussfolgerung schlägt fehl Bestätigen Sie, dass die Modell-ID genau mit der Modell-ID des Endpunkts übereinstimmt und dass der Endpunkt die gewünschten Modellfähigkeiten unterstützt. Überprüfen Sie die Endpunkt-Logs auf den Fehlschlag der Anfrage.