Gyakori kérdések az AI Windows alkalmazásokban való használatával kapcsolatban

A megfelelő beállítás kiválasztása

Melyik Windows AI-beállítást érdemes használni?

Ez a célhardvertől és a használati esettől függ. Windows AI API-k a legegyszerűbb útvonalat biztosítják a Copilot+ PCs számára – egyetlen API-hívás ocR-ra, képleírásra, szövegösszesítésre és Phi Silica-csevegésre, modellkezelés nélkül. A Foundry Local a megfelelő választás, ha szélesebb modellkatalógusra, nem Copilot+ PC hardvertámogatásra vagy OpenAI-kompatibilis API-hozzáférésre van szüksége. Windows ML biztosítja a legnagyobb irányítást – bármilyen ONNX-modellt használhat, és közvetlenül kezelheti a végrehajtási szolgáltatókat. A Windows AI-megoldás kiválasztása az egymás melletti összehasonlításhoz című témakörben talál további információt.

Szükségem van Copilot+ PC vagy NPU-ra Windows AI-funkciók használatához?

Attól függ, hogy melyik funkciót használja. Windows AI API-khoz NPU-val rendelkező Copilot+ PC szükséges. A Foundry Local bármilyen Windows eszközön fut DirectX 12-kompatibilis GPU-val – beleértve az NPU nélküli eszközöket is. Windows ml a processzorok, GPU-k és NPU-k széles skáláját támogatja. Részletekért tekintse meg a támogatott hardverlistát .

Használhatom a Foundry Localt a meglévő OpenAI SDK-kódommal?

Yes. A Foundry Local egy OpenAI-kompatibilis REST API-t tesz elérhetővé. Indítsa el a helyi szolgáltatást a(z) foundry service start paranccsal, majd irányítsa az OpenAI-kliensét a helyi végpontra – a modell neve, az üzenetek és a streaminghívások módosítás nélkül működnek. A végpontformátumot a Foundry Local használatának első lépései című témakörben találja.

A Foundry Local alkalmas éles alkalmazásokhoz, vagy még kísérleti jellegű?

A natív SDK-k (C#, Python, JavaScript, Rust) jelenleg alfa/előzetes kiadásban vannak. A mögöttes ONNX Runtime és a modellkiszolgáló infrastruktúra éles használatra alkalmas. A jelenleg kiadott alkalmazások esetében tekintse úgy, hogy az SDK API-felülete változhat, és rögzítse a csomagverziókat. A legújabb stabilitási állapotot a Foundry Local című témakörben találja.

Offline működik a Foundry Local?

Igen, miután letöltött és gyorsítótárazott egy modellt az eszközön, a Foundry Local teljes mértékben az eszközön végez következtetést felhőfüggőség nélkül. A kezdeti modell letöltéséhez internet-hozzáférés szükséges. Indításkor előfordulhat, hogy a Foundry Local megpróbálja frissíteni a modellkatalógust, de ez nem szükséges – ha az eszköz offline állapotban van, visszakerül a gyorsítótárazott katalógusba, és a következtetés a szokásos módon folytatódik. Az SDK IsCachedAsync (C#) / is_cached (Python) metódusa lehetővé teszi a modell rendelkezésre állásának ellenőrzését az inferencia futtatása előtt, így megfelelően kezelheti az offline állapotot.

Hogyan kezeli a Foundry Local az eszközök közötti hardverkülönbségeket?

A Foundry Local indításkor észleli a rendelkezésre álló hardvereket, és kiválasztja a legjobb végrehajtási szolgáltatót ( Qualcomm NPU (QNN), bármely DirectX 12-kompatibilis GPU-t WinML-n/DirectML-en keresztül (AMD, Intel, NVIDIA, Qualcomm), NVIDIA GPU-t CUDA-n keresztül vagy CPU-tartalékot. A modellt alias (például ) alapján kéri le, phi-3.5-miniés a Foundry Local automatikusan kiszolgálja az eszköz hardveroptimalizált változatát. Az alkalmazáskód minden hardverkonfigurációban ugyanaz.

Adatvédelem és biztonság

A Foundry Local felhasználói adatokat küld a felhőbe?

Nem. A Foundry Local teljes egészében az eszközön fut. Az inferencia bemenete és kimenete soha nem hagyja el a gépet. Az egyetlen hálózati forgalom a modell kezdeti letöltése és az opcionális katalógus metaadatainak frissítése. Indításkor előfordulhat, hogy a Foundry Local megpróbálja frissíteni a modellkatalógust, de ez nem szükséges – ha az eszköz offline állapotban van, visszakerül a gyorsítótárazott katalógusba, és a következtetés a szokásos módon folytatódik.

Hogyan kezelhetem az adatvédelmet Windows AI API-k használatakor?

Windows AI API-k helyileg dolgozzák fel az adatokat az eszközön az NPU használatával. A rendszer nem küld bemeneti adatokat Microsoft kiszolgálóknak. A felelős AI-gyakorlatokról, a hozzájárulásról és az átláthatóságról a Felelős Generatív AI-alkalmazások és -szolgáltatások fejlesztése Windows című témakörben olvashat.

Platform és futtatókörnyezet

Mi az Windows ML?

Windows ML lehetővé teszi, hogy az alkalmazás megosztott, rendszerszintű ONNX-futtatókörnyezetet használjon, és dinamikusan letöltse a gyártóspecifikus végrehajtási szolgáltatókat (EP-ket), hogy a modell következtetése optimalizálva legyen az eszköz CPU-jára, GPU-jára vagy NPU-jára – anélkül, hogy az alkalmazás nagy futtatókörnyezetet vagy EP bináris fájlokat tartalmazna. Akkor használja, ha saját ONNX-modellt szeretne használni, vagy teljes mértékben kézben szeretné tartani az EP-kiválasztást. Lásd Windows gépi tanulás áttekintését.

Mi az a DirectML?

A DirectML egy alacsony szintű GPU-gyorsítási API a gépi tanuláshoz, amely Direct3D 12-n alapul. Támogatja az AMD, az Intel, az NVIDIA és a Qualcomm összes DirectX 12-kompatibilis GPU-t. Az ONNX futtatókörnyezet a DirectML-t használja végrehajtási szolgáltatóként Windows, ha a CUDA nem érhető el.

Mi a különbség az foundry-local-sdk és a foundry-local-sdk-winml között a PyPI-n?

foundry-local-sdk-winml az Windows-specifikus csomag – a Windows ML-en keresztüli hardveres gyorsítást tartalmazza, és Windowson ajánlott. foundry-local-sdk a macOS-hez, Linuxhoz vagy Windowshoz készült platformfüggetlen csomag hardveres gyorsítás nélkül. Csak az egyiket telepítse: a két csomag a(z) onnxruntime-core különböző verzióit rögzíti, és ütközést okoznak, ha mindkettő telepítve van. Vegye figyelembe, hogy a PyPI-n található foundry-local (-sdk nélkül) egy nem kapcsolódó, harmadik féltől származó csomag — telepítse a foundry-local-sdk vagy foundry-local-sdk-winml csomagot.

Hogyan ellenőrizhetim, hogy milyen GPU-val vagy NPU-val rendelkezik az eszközöm?

Nyissa meg a Feladatkezelőt (Ctrl+Shift+Esc), válassza a Teljesítmény lapot, és keresse meg a GPU- és NPU-bejegyzéseket a bal oldali panelen. A parancssorból is futtatható foundry model list – A Foundry Local megjeleníti, hogy mely végrehajtási szolgáltatók aktívak a hardverhez a szolgáltatás indításakor.

Ez a célhardvertől és a használati esettől függ. Windows AI API-k a legegyszerűbb útvonalat biztosítják a Copilot+ PCs számára – egyetlen API-hívás ocR-ra, képleírásra, szövegösszesítésre és Phi Silica-csevegésre, modellkezelés nélkül. A Foundry Local a megfelelő választás, ha szélesebb modellkatalógusra, nem Copilot+ PC hardvertámogatásra vagy OpenAI-kompatibilis API-hozzáférésre van szüksége. Windows ML biztosítja a legnagyobb irányítást – bármilyen ONNX-modellt használhat, és közvetlenül kezelheti a végrehajtási szolgáltatókat. A Windows AI-megoldás kiválasztása az egymás melletti összehasonlításhoz című témakörben talál további információt.

Attól függ, hogy melyik funkciót használja. Windows AI API-khoz NPU-val rendelkező Copilot+ PC szükséges. A Foundry Local bármilyen Windows eszközön fut DirectX 12-kompatibilis GPU-val – beleértve az NPU nélküli eszközöket is. Windows ml a processzorok, GPU-k és NPU-k széles skáláját támogatja. Részletekért tekintse meg a támogatott hardverlistát .

Yes. A Foundry Local egy OpenAI-kompatibilis REST API-t tesz elérhetővé. Indítsa el a helyi szolgáltatást a(z) foundry service start paranccsal, majd irányítsa az OpenAI-kliensét a helyi végpontra – a modell neve, az üzenetek és a streaminghívások módosítás nélkül működnek. A végpontformátumot a Foundry Local használatának első lépései című témakörben találja.

A natív SDK-k (C#, Python, JavaScript, Rust) jelenleg alfa/előzetes kiadásban vannak. A mögöttes ONNX Runtime és a modellkiszolgáló infrastruktúra éles használatra alkalmas. A jelenleg kiadott alkalmazások esetében tekintse úgy, hogy az SDK API-felülete változhat, és rögzítse a csomagverziókat. A legújabb stabilitási állapotot a Foundry Local című témakörben találja.

Igen, miután letöltött és gyorsítótárazott egy modellt az eszközön, a Foundry Local teljes mértékben az eszközön végez következtetést felhőfüggőség nélkül. A kezdeti modell letöltéséhez internet-hozzáférés szükséges. Indításkor előfordulhat, hogy a Foundry Local megpróbálja frissíteni a modellkatalógust, de ez nem szükséges – ha az eszköz offline állapotban van, visszakerül a gyorsítótárazott katalógusba, és a következtetés a szokásos módon folytatódik. Az SDK IsCachedAsync (C#) / is_cached (Python) metódusa lehetővé teszi a modell rendelkezésre állásának ellenőrzését az inferencia futtatása előtt, így megfelelően kezelheti az offline állapotot.

A Foundry Local indításkor észleli a rendelkezésre álló hardvereket, és kiválasztja a legjobb végrehajtási szolgáltatót ( Qualcomm NPU (QNN), bármely DirectX 12-kompatibilis GPU-t WinML-n/DirectML-en keresztül (AMD, Intel, NVIDIA, Qualcomm), NVIDIA GPU-t CUDA-n keresztül vagy CPU-tartalékot. A modellt alias (például ) alapján kéri le, phi-3.5-miniés a Foundry Local automatikusan kiszolgálja az eszköz hardveroptimalizált változatát. Az alkalmazáskód minden hardverkonfigurációban ugyanaz.

Nem. A Foundry Local teljes egészében az eszközön fut. Az inferencia bemenete és kimenete soha nem hagyja el a gépet. Az egyetlen hálózati forgalom a modell kezdeti letöltése és az opcionális katalógus metaadatainak frissítése. Indításkor előfordulhat, hogy a Foundry Local megpróbálja frissíteni a modellkatalógust, de ez nem szükséges – ha az eszköz offline állapotban van, visszakerül a gyorsítótárazott katalógusba, és a következtetés a szokásos módon folytatódik.

Windows AI API-k helyileg dolgozzák fel az adatokat az eszközön az NPU használatával. A rendszer nem küld bemeneti adatokat Microsoft kiszolgálóknak. A felelős AI-gyakorlatokról, a hozzájárulásról és az átláthatóságról a Felelős Generatív AI-alkalmazások és -szolgáltatások fejlesztése Windows című témakörben olvashat.

Windows ML lehetővé teszi, hogy az alkalmazás megosztott, rendszerszintű ONNX-futtatókörnyezetet használjon, és dinamikusan letöltse a gyártóspecifikus végrehajtási szolgáltatókat (EP-ket), hogy a modell következtetése optimalizálva legyen az eszköz CPU-jára, GPU-jára vagy NPU-jára – anélkül, hogy az alkalmazás nagy futtatókörnyezetet vagy EP bináris fájlokat tartalmazna. Akkor használja, ha saját ONNX-modellt szeretne használni, vagy teljes mértékben kézben szeretné tartani az EP-kiválasztást. Lásd Windows gépi tanulás áttekintését.

A DirectML egy alacsony szintű GPU-gyorsítási API a gépi tanuláshoz, amely Direct3D 12-n alapul. Támogatja az AMD, az Intel, az NVIDIA és a Qualcomm összes DirectX 12-kompatibilis GPU-t. Az ONNX futtatókörnyezet a DirectML-t használja végrehajtási szolgáltatóként Windows, ha a CUDA nem érhető el.

foundry-local-sdk-winml az Windows-specifikus csomag – a Windows ML-en keresztüli hardveres gyorsítást tartalmazza, és Windowson ajánlott. foundry-local-sdk a macOS-hez, Linuxhoz vagy Windowshoz készült platformfüggetlen csomag hardveres gyorsítás nélkül. Csak az egyiket telepítse: a két csomag a(z) onnxruntime-core különböző verzióit rögzíti, és ütközést okoznak, ha mindkettő telepítve van. Vegye figyelembe, hogy a PyPI-n található foundry-local (-sdk nélkül) egy nem kapcsolódó, harmadik féltől származó csomag — telepítse a foundry-local-sdk vagy foundry-local-sdk-winml csomagot.

Nyissa meg a Feladatkezelőt (Ctrl+Shift+Esc), válassza a Teljesítmény lapot, és keresse meg a GPU- és NPU-bejegyzéseket a bal oldali panelen. A parancssorból is futtatható foundry model list – A Foundry Local megjeleníti, hogy mely végrehajtási szolgáltatók aktívak a hardverhez a szolgáltatás indításakor.