Collega Visual Studio Code a un endpoint di fabbrica di Windows Server Token

Visual Studio Code può collegare la visualizzazione Chat su un client Windows a un endpoint di fabbrica di token compatibile OpenAI ospitato su Windows Server. Questa configurazione consente di utilizzare un modello ospitato dall'organizzazione in Visual Studio Code mentre Windows Server centralizza l'hosting e il calcolo del modello.

In questo articolo, aggiungi un endpoint di fabbrica esistente di Windows Server Token come endpoint personalizzato in Visual Studio Code, selezioni il suo modello e verifichi che il modello risponda. La procedura non esegue il deployment dell'endpoint della token factory né lo protegge.

Prerequisites

  • Scarica la versione stabile attuale di Visual Studio Code e assicurati di poter accedere alla visualizzazione Chat.
  • Un endpoint esistente del servizio Token Factory di Windows Server che supporta l'API Chat Completions compatibile con OpenAI ed è raggiungibile dal computer su cui è in esecuzione Visual Studio Code.
  • Connettività di rete dal client Windows 11 al server e alla porta dell'endpoint. Configura il firewall di Windows e qualsiasi firewall o proxy intermedio per consentire la connessione. Configura l'endpoint affinché ascolti su un'interfaccia di rete raggiungibile dai client remoti, non solo su un indirizzo di loopback.
  • Un record di Domain Name System (DNS) che il client Windows 11 può risolvere nel nome host di Windows Server.
  • Un certificato TLS valido di cui il client Windows 11 si fida e il cui nome del soggetto o nome alternativo corrisponde al nome host nell'URL dell'endpoint.
  • Controlli di accesso agli endpoint che permettono al client Windows 11 di chiamare la via Chat Completions. Ottieni qualsiasi chiave API o token necessario dall'amministratore dell'endpoint.
  • Un URL HTTPS attendibile, come https://<server-name>:<port>/v1/chat/completions.
  • L'ID esatto del modello; un nome visualizzato del modello, che Visual Studio Code mostra nel selettore del modello linguistico; limiti di contesto; e capacità supportate dal proprietario dell'endpoint o dalla documentazione del modello.
  • I requisiti dell'header di autenticazione per l'endpoint.
  • Se la tua organizzazione gestisce GitHub Copilot, deve abilitare il criterio Usa una chiave del tuo modello linguistico in VS Code. Per maggiori informazioni, consulta Usare la propria chiave del modello linguistico in VS Code.

Non serve un account GitHub o un piano GitHub Copilot per usare un modello di porta la tua chiavi in chat. L'endpoint personalizzato non offre funzionalità che dipendono dal servizio GitHub Copilot, inclusi suggerimenti inline, ricerca semantica e embedding.

Aggiungi l'endpoint di fabbrica del token di Windows Server

Visual Studio Code si collega al servizio Token factory di Windows Server tramite l'URL dell'endpoint compatibile con OpenAI.

  1. In Visual Studio Code, apri la vista Chat.

  2. Apri il selezionatore di modelli linguistici e poi seleziona Gestisci modelli di linguaggio (icona di ingranaggio).

    Puoi anche aprire la Tavolozza di Comandi e avviare Chat: Gestisci Modelli di Linguaggio.

  3. Nell'editor Modelli di linguaggio, seleziona Aggiungi Modelli, poi seleziona Endpoint Personalizzato.

  4. Inserisci il nome del gruppo. Questo nome identifica i modelli dell'endpoint nel selettore di modelli linguistici e nell'editor Language Models .

  5. Inserisci il nome visualizzato del modello e la chiave API per l'endpoint.

  6. Per il tipo di API, seleziona Chat Completions.

  7. Nel chatLanguageModels.json file che Visual Studio Code apre, configura le proprietà del modello e poi salva il file.

    Usa la documentazione dell'endpoint e del modello per impostare le proprietà. Al minimo, confermare i seguenti valori:

    Proprietà Value
    id L'ID esatto del modello che l'endpoint si aspetta.
    name Il nome di visualizzazione del modello che Visual Studio Code mostra nel selezionatore del modello linguistico.
    url Il percorso completo, ad esempio https://<server-name>:<port>/v1/chat/completions.
    apiType chat-completions
    toolCalling true solo se l'endpoint e il modello supportano la chiamata di strumenti.
    vision true Solo se l'endpoint e il modello supportano l'input dell'immagine.
    maxInputTokens Il modello supportava il numero massimo di token di input.
    maxOutputTokens Il modello supportava il conteggio massimo di token in uscita.

    Mantieni il riferimento di input generato apiKey invece di inserire direttamente la chiave API in chatLanguageModels.json. Visual Studio Code invia la chiave in un'intestazione Authorization: Bearer <api-key> di default per gli endpoint personalizzati di Chat Completions.

    Se l'endpoint richiede un'intestazione di autenticazione diversa, configura la proprietà requestHeaders del modello e usa il token ${apiKey} come valore dell'intestazione. Non mettere un segreto grezzo nel file di configurazione. Per le proprietà supportate e il comportamento di autenticazione, vedi Custom Endpoint configuration reference.

Seleziona e verifica il modello token factory

  1. Torna alla vista Chat e apri il selettore del modello linguistico.

  2. Seleziona il modello sotto il nome del gruppo che hai configurato.

  3. Inserisci un breve prompt di test, come ad esempio:

    Reply with one sentence that confirms you received this request.
    
  4. Conferma che la vista Chat mostri una risposta dal modello selezionato.

  5. Se hai accesso ai log dell'endpoint di inferenza, conferma che l'endpoint ha ricevuto la richiesta per l'ID del modello configurato.

La configurazione funziona quando il modello selezionato restituisce una risposta e l'endpoint registra la richiesta.

Note

Un modello deve supportare la chiamata di strumenti per essere disponibile per gli agenti in chat. Non impostare toolCalling su true a meno che l'endpoint e il modello non supportino questa capacità.

Risolvere il problema della connessione di Visual Studio Code all'endpoint Token factory di Windows Server

Problema Controlli da eseguire
L'endpoint personalizzato non è disponibile Aggiornamento alla versione stabile attuale di Visual Studio Code. Se la tua organizzazione gestisce GitHub Copilot, verifica che la tua organizzazione attivi la politica di portare la propria chiave.
Il modello non appare nel selezionatore di modelli Salva chatLanguageModels.json, e poi riavvia Visual Studio Code. In uno spazio di lavoro in modalità Riservata, fidati dello spazio di lavoro per ripristinare l'elenco completo dei modelli. Per l'uso degli agenti, conferma anche che il modello supporti la chiamata di uno strumento e che toolCalling sia true.
L'endpoint restituisce un errore di autenticazione Verifica che la chiave API sia valida e che la relativa intestazione di autenticazione corrisponda ai requisiti dell'endpoint. Se l'endpoint richiede un'altra intestazione, configura requestHeaders con il token ${apiKey}.
L'endpoint restituisce un errore di route o API Conferma che apiType sia chat-completions e che url contenga l'intera rotta Chat Completions, incluso /v1/chat/completions quando l'endpoint espone quella route.
Un client remoto non può connettersi all'endpoint Conferma che il client di Windows 11 possa risolvere il nome host del server e raggiungere la porta dell'endpoint. Controlla l'indirizzo dell'ascoltatore dell'endpoint, il firewall di Windows e eventuali firewall o proxy intermedi.
Un endpoint remoto restituisce un errore TLS o certificato Conferma che il certificato sia valido, che il client Windows 11 si fidi di esso e che copra il nome host nell'URL dell'endpoint.
L'endpoint nega un client remoto Conferma che i controlli di accesso agli endpoint permettano al client di chiamare la via Chat Completions e che la credenziale configurata abbia accesso al modello richiesto.
La richiesta raggiunge l'endpoint ma l'inferenza fallisce Conferma che l'ID modello corrisponda esattamente a quello dell'endpoint e che l'endpoint supporti le capacità del modello richieste. Controlla i log dell'endpoint relativi all'errore della richiesta.