Inference AI ve Windows Server

Lokální AI inference je proces spuštění trénovaného AI modelu na infrastruktuře, kterou ovládáte vy nebo vaše organizace. Hlavním scénářem Windows Server je distribuovaná inference: model server kompatibilní s OpenAI běží na Windows Server a vzdálení klienti posílají požadavky na jeho koncový bod přes síť. Například Visual Studio Code na pracovní stanici s Windows 11 může posílat výzvy na server a přijímat generovaný výstup.

Organizace používají distribuovanou inferenci, aby více klientům umožnily přístup ke sdílenému modelu výpočtu a zároveň kontrolovaly, kam se pohybují požadavky a výstupy. Tato kontrola závisí na umístění koncového zařízení, síťové cestě, konfiguraci klienta, získávání modelů, diagnostice a dalších službách v řešení.

Tento článek pomáhá administrátorům a vývojářům Windows Server rozhodnout, kdy použít lokální inferenci a identifikovat infrastrukturní aspekty pro tuto volbu.

Jak funguje AI inference na Windows Server

Pomocí lokální AI inference na Windows Server se vzdálené aplikace a nástroje připojují k síťové adrese modelového serveru, odesílají požadavky a přijímají odpovědi. Klienti model nenačítají ani nespouštějí lokálně.

Tato topologie dává Windows Server specifickou roli. Server centralizuje výpočetní a GPU kapacitu, modelové úložiště a hosting, přístup k síti, provoz služeb a správu kapacity pro více klientů. Administrátoři provozují sdílenou službu a její infrastrukturu, zatímco vývojáři konfigurují klienty podle základní URL koncového bodu, identifikátoru modelu, podporovaného API a autentizační metody.

Řešení obsahuje tyto prvky:

  • Vzdálený klient: Aplikace, vývojový nástroj nebo administrativní nástroj, který posílá prompty nebo jiný vstup do modelu přes síť. Klienti mohou běžet na Windows 11, Windows Server nebo jiné podporované platformě.
  • Rozhraní: SDK nebo HTTP API, které definuje formáty požadavků a odpovědí. Mnoho sdílených runtime prostředí například zpřístupňuje API kompatibilní s OpenAI.
  • Modelový server a model: Serverově orientované runtime, které načítá trénovaný model, plánuje inferenční požadavky a vrací výstup přes koncový bod.
  • Infrastruktura Windows Server: Fyzický hostitel nebo virtuální stroj, procesor, paměť, úložiště, GPU zdroje, síťové a řídicí nástroje, které podporují a zpřístupňují sdílenou pracovní zátěž.

Koncový bod implementuje jeden nebo více formátů API, které klienti používají, ale kompatibilita neznamená, že každý koncový bod podporuje všechny funkce. Klienti mohou požadovat specifické trasy, identifikátory modelů, chování při streamování, volání nástrojů nebo funkcí, autentizační metody nebo pole požadavků. Před připojením si ověřte jak požadavky klienta, tak i schopnosti koncových zařízení.

Vložená inference má jinou hranici. Aplikace načítá a spouští model na stejném zařízení, často v procesu aplikace, místo aby volala model server. Windows ML poskytuje tento inferenční rámec aplikací pro modely ONNX. Foundry Local je také určen pro pracovní postupy přímo v zařízení. Foundry Local SDK vkládá runtime do aplikace a jeho příkazové rozhraní spravuje modely a lokální službu na jednom zařízení. Tyto možnosti mohou běžet na hardwaru Windows Server, ale samy o sobě neposkytují distribuovanou inferenční službu, kterou administrátoři provozují centrálně pro více klientů.

Vyberte si svůj přístup k inferenčnímu odvození

Vyberte přístup na základě toho, kde se inference provádí, kolik klientů model potřebuje a kdo provozuje runtime. Používejte Windows Server jako sdílený endpoint pro centralizaci modelů a výpočty pro vzdálené klienty. Tento přístup přidává požadavky na síť, bezpečnost, kapacitu a dostupnost. Případně použijte vestavěnou inferenci nebo inferenci v zařízení v systému Windows Server, pokud má jedna aplikace nebo jedno zařízení spravovat běhové prostředí a životní cyklus modelu.

Approach Nejlepší přizpůsobení Provozní model Důležité hranice
Koncový bod Windows Server Více vzdálených aplikací nebo nástrojů, které spotřebovávají modelovou službu spravovanou centrálním operačním týmem Modelový server na Windows Server vlastní načítání modelů, plánování požadavků, souběžnost a API. Vzdálení klienti používají základní URL koncového bodu, identifikátor modelu a autentizační nastavení, která jejich organizace schvaluje. Produkt, který vyberete, určuje instalaci za běhu, nasazení koncových zařízení, podporu API a škálovací charakteristiky. Tento článek předpokládá, že endpoint existuje a klienti ho mohou dosáhnout.
Windows ML Windows aplikace, které běží na ONNX modelech na stejném zařízení Aplikace využívá ONNX runtime, který podporuje Windows, buď jako sdílenou systémovou komponentu, nebo jako samostatnou součást aplikace. Volitelní poskytovatelé provádění využívají dostupné zdroje CPU, GPU nebo NPU. Windows ML je inferenční rámec aplikací, nikoli koncový bod kompatibilní s OpenAI, který slouží modelům. Požadavky poskytovatele vykonání, ovladače, hardwaru a modelu se liší.
Foundry Local Aplikace a vývojové pracovní postupy vyžadující inferenci na jednom zařízení a pečlivě vybraný katalog modelů Aplikace obvykle provádí inferenci přímo v procesu přes SDK. Foundry Local CLI může spravovat modely a lokální službu na zařízení. Foundry Local může běžet na serverovém hardwaru, ale jeho návrh necílí na inferenci více uživatelů na serveru. Neposkytuje souběžné řazení požadavků do fronty, průběžné dávkování ani efektivní sdílení GPU pro mnoho souběžně připojených klientů.

Tyto přístupy nejsou v rámci organizace vzájemně vylučující. Jedna aplikace může vložit ONNX model přes Windows ML, vývojář může používat Foundry Local na jedné pracovní stanici a nástroje pro vzdálený vývoj a obchodní aplikace mohou používat sdílený endpoint na Windows Server. Každou cestu považujte za samostatnou pracovní zátěž s vlastním modelem, hardwarem, bezpečností a požadavky na podporu.

Plánujte infrastrukturu Windows Server pro inferenci AI

Architektura modelu, počet parametrů, kvantizace, délka kontextu, souběžnost požadavků a cíle latence určují požadovanou výpočetní kapacitu a paměť. Některé modely běží na CPU, zatímco jiné pracovní zátěže těží z akcelerace GPU. GPU není předpokladem pro každé řešení inference.

Pro pracovní zátěž na fyzickém hostiteli Windows Server může runtime využívat hardware a API, které Windows Server a dodavatelé hardwaru podporují. Pro pracovní zátěž ve Hyper-V virtuálním stroji vyberte vhodnou možnost virtualizace GPU. Plán na akceleraci GPU ve Windows Server porovnává přímý přístup k hostiteli, Discrete Device Assignment (DDA), rozdělení GPU a scénáře Windows kontejnerů. Dělení GPU je dostupné ve Windows Server 2025 nebo novějším a je volitelnou volbou infrastruktury.

Také si naplánujte tyto zdroje:

  • Paměť a GPU paměť: Zohledňují načtený model, požadavky na kontext a cache, souběžné požadavky a další procesy na hostiteli.
  • Úložiště: Poskytovat kapacitu a přístupové kontroly pro modelové soubory, runtime balíčky, logy a dočasná data. Získávání modelu může vyžadovat externí síťové připojení i při lokálním odvozování.
  • Síť: Pro sdílený koncový bod odhadněte šířku pásma a latenci mezi klienty a koncovým bodem. Definujte, které sítě a hostitelé mohou ke službě přistupovat.
  • Dostupnost a kapacita: Rozhodnout, jak se klienti chovají, když je koncový bod nedostupný nebo pracuje na plný výkon. Ověřte souběžnost a propustnost pomocí reprezentativních modelů a požadavků před použitím ve výrobě.

Zabezpečte a provozujte AI inferenci na Windows Server

Lokální umístění samo o sobě neposkytuje bezpečnostní hranici. Definujte hranici, ve které musí zůstat výzvy, získaná data, modelové soubory, výstupy, logy a diagnostika, a poté ověřte každou komponentu vůči této hranici.

Chraňte síťový provoz schválenými nastaveními TLS, autentizujte a autorizujte klienty, omezujte přístup k koncovým zařízením pomocí síťových kontrol a ukládejte přihlašovací údaje do schváleného tajného úložiště. Nezadávejte přihlašovací údaje do zdrojových souborů ani do konfigurace nástrojů, které by mohli číst ostatní uživatelé. Před nasazením modelových souborů si prostudujte licence modelů a zdroje akvizice.

Ověřte výstup modelu, než se na něj spolehnete. Udržujte odpovídající lidský dohled nad důslednými kroky nebo rozhodnutími.

Spravujte infrastrukturu Windows Server prostřednictvím zavedených administrátorských nástrojů, včetně Windows Admin Center, pokud podporuje požadované operace. Řiďte se dokumentací běhového prostředí pro životní cyklus modelu a operace specifické pro daný koncový bod. Minimálně plánujte sledovat stav koncových bodů, latenci požadavků, propustnost, selhání, využití CPU a paměti, využití GPU a využití paměti, pokud je to možné, a kapacitu úložiště. Dostupné metriky a řídicí operace se liší podle času běhu, takže tento článek nepředepisuje jednu implementaci pozorovatelnosti.

Běžné scénáře lokální inference AI

Lokální inference může podporovat pracovní zátěže vývojářů, administrátorů a aplikací a zároveň zachovat cestu inference v rámci zvolené hranice organizace.

  • Pomoc s programováním: Připojte podporovaný vývojový nástroj, jako je Visual Studio Code na Windows 11, k existujícímu endpointu na Windows Server pro vysvětlení kódu, generování, kontrolu nebo řešení problémů. Zdrojový kód a prompty putují sítí k tomuto koncovému bodu, takže zahrnují síťovou cestu, koncový bod a její operátory do datové hranice.
  • Administrativní asistence: Připojte administrativní nástroj k modelu, který dokáže vysvětlit nebo navrhnout příkazy. Projděte si vygenerované příkazy a pochopte jejich účinky před jejich spuštěním, zvlášť když mění stav systému.
  • Zpracování dokumentů: Použijte aplikaci k shrnutí, klasifikaci, extrakci nebo indexaci dokumentů pomocí lokálního modelu. Aplikace zůstává odpovědná za autorizaci zdrojových dokumentů a generovaných výstupů.
  • Konverzační aplikace: Přidejte chatování nebo zodpovězení na otázky do stávající aplikace. Aplikace může kombinovat koncový bod modelu s autorizovanými podnikovými daty, ale musí vynucovat kontroly přístupu nezávisle na modelu.

Další kroky pro lokální AI inferenci na Windows Server

  • Poslední aktualizace v