Kapcsold össze a Visual Studio Code-ot helyi és távoli modellvégpontokhoz

A Visual Studio Code a Chat nézetet egy helyben hosztolt modellhez tartozó, OpenAI-kompatibilis inferencia-végponthoz tudja csatlakoztatni. A végállomás ugyanazon a Windows 11 eszközön futhat, mint a Visual Studio Code, vagy a Windows Server-en, hogy egy vagy több távoli Windows 11 klienstől érhető el. Ezek a topológiák lehetővé teszik, hogy fejlesztői eszközön lefeszítsd a következtetéseket, vagy központosítsd a modellszámítást anélkül, hogy a Visual Studio Code-ot Windows Server-en futtatnád.

Ebben a cikkben egy meglévő végpontot hozzáadsz egyedi végpontként a Visual Studio Code-ban, kiválasztod a modelljét, és ellenőrizd, hogy a modell reagál-e. Az eljárás feltételezi, hogy a következtetési végpont már fut és elérhető a Visual Studio Code-ból.

Előfeltételek a helyi és távoli modellvégpontokhoz

  • Töltsd le a Visual Studio Code jelenlegi stabil kiadását, és győződj meg róla, hogy hozzáférsz a Chat nézethez.
  • Egy meglévő OpenAI-kompatibilis végpont, amely támogatja a Chat Completions API-t, és elérhető a Visual Studio Code-ot futtató számítógépről.
  • Egy Windows Server-en tárolt távoli végpont esetén a Windows 11 klienstől a szerverhez és a végpont porthoz való hálózati kapcsolat. Konfiguráld be a Windows tűzfalat és az esetleges köztes tűzfalakat vagy proxyt úgy, hogy engedélyezze a kapcsolatot. Úgy konfiguráld a végpontot, hogy ne csak egy visszacsatolási címen figyeljen, hanem olyan hálózati interfészen is, amelyet a távoli ügyfelek elérhetnek.
  • Gazdagépnevet használó távoli végpont esetén olyan tartománynévrendszer- (DNS-) rekord, amelyet a Windows 11-ügyfél fel tud oldani a Windows Server-gazdagépre.
  • Egy távoli HTTPS végpont esetén egy érvényes TLS tanúsítvány, amelyet a Windows 11 kliens megbíz, és amelynek tárgyneve vagy alternatív neve megegyezik a végpont URL-jében szereplő hosztnévvel.
  • Olyan végponti hozzáférés-vezérlők, amelyek engedélyezik, hogy a Windows 11-ügyfél meghívja a Chat Completions útvonalat. Szerezz be bármilyen szükséges API kulcsot vagy tokent a végvégállomás adminisztrátortól.
  • Azonos eszközön végzett következtetéshez a végpont által elérhetővé tett visszacsatolási URL, például http://localhost:<port>/v1/chat/completions.
  • Távoli következtetéshez egy megbízható HTTPS URL-t, például https://<server-name>:<port>/v1/chat/completions.
  • A pontos modellazonosító; egy modell megjelenítési neve, amelyet a Visual Studio Code megjelenít a nyelvi modellválasztóban; kontextuskorlátokat; valamint a végállomás tulajdonosa vagy modelldokumentációja által támogatott képességeket.
  • A végpont hitelesítési fejlécének követelményei.
  • Ha a szervezete kezeli a GitHub Copilot-t, akkor engedélyeznie kell a Bring Your Own Language Model Key in VS Code szabályzatot. További információért lásd: Hozd be saját nyelvi modellkulcsot a VS Code-ban.

Nincs szükség GitHub-fiókra vagy GitHub Copilot-csomagra ahhoz, hogy a csevegésben saját kulcsos modellt használj. Az egyedi végpont nem kínál olyan funkciókat, amelyek a GitHub Copilot szolgáltatástól függnek, beleértve az inline javaslatokat, szemantikai keresést és beágyazásokat.

Hozzáadj egy egyedi helyi vagy távoli modell végpontot

Ugyanez az eljárás támogatja egy végpontot ugyanazon a Windows 11-es eszközön, vagy egy távoli OpenAI-kompatibilis végpontot a Windows Server-en. Visual Studio Code egy végpont URL-hez csatlakozik, a végpont szolgáltatás pedig a backend következtetés elosztását kezeli.

  1. A Visual Studio Code-ban nyisd meg a Chat nézetet.

  2. Nyisd meg a nyelvi modellválasztót, majd válaszd a Language Models kezelése (fogaskerék ikon) opciót.

    Megnyithatod a Parancspalettát is, és elindíthatod a Chat: Language Models kezelését.

  3. A Language Models szerkesztőben válaszd ki a Modellek hozzáadása, majd a Egyéni végpont lehetőséget.

  4. Írj be egy csoportnevet. Ez a név azonosítja a végpont modelljeit a nyelvi modellválasztóban és a Nyelvi modellek szerkesztőben.

  5. Adja meg a modell megjelenítési nevét és az API kulcsot a végponthoz.

  6. Az API-típusnál válassza a Chat Completions lehetőséget.

  7. A chatLanguageModels.json fájlban, amit a Visual Studio Code megnyit, konfigurálja a modell tulajdonságait, majd elmenti a fájlt.

    Használd a végpontot és a modelldokumentációt a tulajdonságok beállításához. Legalább a következő értékeket erősítsd meg:

    Property Érték
    id Pontosan azt a modellazonosítót, amit a végpont vár.
    name A modell megjelenítési neve, amelyet a Visual Studio Code a nyelvi modellválasztóban jelenít meg.
    url A teljes útvonal, például https://<server-name>:<port>/v1/chat/completions.
    apiType chat-completions
    toolCalling true Csak akkor, ha a végpont és a modell támogatja az eszköz hívását.
    vision true Csak akkor, ha a végpont és a modell támogatja a kép bemenetét.
    maxInputTokens A modell támogatta a maximális bemeneti token számot.
    maxOutputTokens A modell támogatta a maximális kimeneti token számot.

    Tartsd meg a generált apiKey bemeneti hivatkozást, ahelyett, hogy közvetlenül az API kulcsot helyeznéd be chatLanguageModels.json. A Visual Studio Code alapértelmezés szerint a kulcsot egy Authorization: Bearer <api-key> fejlécben küldi a Chat Completions egyedi végpontjainál.

    Ha a végpontnak más hitelesítési fejlécre van szüksége, konfiguráld a requestHeaders modell tulajdonságát, és használd a ${apiKey} tokent fejlécértékként. Ne tegyél nyers titkot a konfigurációs fájlba. A támogatott tulajdonságokért és hitelesítési viselkedésért lásd: Egyedi végpont konfigurációs hivatkozás.

Válasszon és ellenőrizze egy helyi vagy távoli végpontmodellt

  1. Térj vissza a Csevegés nézethez, és nyisd meg a nyelvi modell választót.

  2. Válaszd ki a modellt a beállított csoport neve alatt.

  3. Írj be egy rövid tesztpromptot, például:

    Reply with one sentence that confirms you received this request.

  4. Erősítse meg, hogy a Chat nézet válaszot jelenít meg a kiválasztott modelltől.

  5. Ha hozzáférsz a következtetési végpontnaplókhoz, győzd meg, hogy a végpont megkapta a konfigurált modellazonosító kérését.

A konfiguráció akkor működik, amikor a kiválasztott modell választ ad, és a végpont rögzíti a kérést.

Megjegyzés:

Egy modellnek támogatnia kell az eszközhívást, hogy elérhető legyen az ügynökök számára a csevegésben. Ne állítsd a(z) toolCalling értékét true értékre, hacsak a végpont és a modell nem támogatja ezt a képességet.

Helyi és távoli modellvégpontok hibaelhárítása a Visual Studio Code-ban

Kérdés Mit kell ellenőrizni?
Egyedi végpont nem elérhető Frissítés a Visual Studio Code jelenlegi stabil kiadásához. Ha a szervezete kezeli a GitHub Copilotot, győződjön meg arról, hogy a szervezete engedélyezi a saját kulcs használatára vonatkozó szabályzatot.
A modell nem jelenik meg a modellválasztóban Mentsd el chatLanguageModels.json, majd indítsd újra a Visual Studio Code-ot. Korlátozott módban lévő munkatérben bízz a munkatérben, hogy visszaállítsa a teljes modelllistát. Ügynökök használatához azt is ellenőrizd, hogy a modell támogatja az eszközhívást, és hogy a(z) toolCallingtrue.
A végpont hitelesítési hibát ad Győződjön meg róla, hogy az API kulcs naprakész, és hogy a hitelesítési fejléce megfelel a végpont követelményeinek. Ha a végpont további fejlécet igényel, konfiguráld a requestHeaders elemet a ${apiKey} tokennel.
A végpont útvonalat vagy API-hibát ad vissza Győződj meg róla, hogy a(z) apiType a(z) chat-completions, és hogy a(z) url tartalmazza a teljes Chat Completions-útvonalat, beleértve a(z) /v1/chat/completions elemet is, amikor a végpont elérhetővé teszi ezt az útvonalat.
Egy távoli kliens nem tud csatlakozni a végponthoz Győződjön meg róla, hogy a Windows 11 kliens képes megoldani a szerver hosztnevet és elérni a végpont portját. Ellenőrizd a végpont hallgató címét, a Windows tűzfalat, valamint a köztes tűzfalat vagy proxyt.
Egy távoli végpont TLS vagy tanúsítvány hibát ad Győződjön meg róla, hogy a tanúsítvány érvényes, hogy a Windows 11 kliens megbízik benne, és hogy lefedi a hosztnevet a végpont URL-jében.
A végpont megtagadja a távoli klienst Győződjön meg róla, hogy a végpont hozzáférési kontrollja lehetővé teszi-e az ügyfél számára, hogy hívja a Chat Completions útvonalat, és hogy a konfigurált jogosultság hozzáfér a kért modellhez.
A kérés eléri a végpontot, de az inferencia meghiúsul Győződjön meg róla, hogy a modellazonosító pontosan egyezik a végpont modellazonosítójával, és hogy a végpont támogatja a kért modellképességeket. Tekintse át a végpont naplóit a kérés sikertelenségével kapcsolatban.

Kapcsolódó tartalom

  • Last updated on