GPU-gyorsítás a Windowson futtatott Linux rendszerhez készült Azure IoT Edge-hez
A következőkre vonatkozik:
IoT Edge 1.5 IoT Edge 1.4
Fontos
Az IoT Edge 1.5 LTS és az IoT Edge 1.4 LTS támogatott kiadások. Az IoT Edge 1.4 LTS 2024. november 12-én megszűnik. Ha egy korábbi kiadáson dolgozik, olvassa el az IoT Edge frissítése című témakört.
A GPU-k népszerűek a mesterségesintelligencia-számításokhoz, mivel párhuzamos feldolgozási képességeket kínálnak, és gyakran gyorsabban hajtják végre a látásalapú következtetést, mint a processzorok. A mesterséges intelligencia és a gépi tanulási alkalmazások jobb támogatása érdekében az Azure IoT Edge for Linux windowsos (EFLOW) képes gpu-t elérhetővé tenni a virtuális gép Linux-moduljában.
A Linuxhoz készült Azure IoT Edge Windows rendszeren számos GPU-átengedési technológiát támogat, többek között a következőket:
Közvetlen eszköz-hozzárendelés (DDA) – A GPU-magok a Linux virtuális géphez vagy a gazdagéphez vannak lefoglalva.
GPU-Paravirtualization (GPU-PV) – A GPU meg van osztva a Linux virtuális gép és a gazdagép között.
Az üzembe helyezés során ki kell választania a megfelelő átengedési módszert, hogy megfeleljen az eszköz GPU-hardverének támogatott képességeinek.
Fontos
Ezek a funkciók magukban foglalhatják az NVIDIA Corporation vagy licencadói által fejlesztett és birtokolt összetevőket. Az összetevők használatát az NVIDIA webhelyén található végfelhasználói licencszerződés szabályozza.
A GPU gyorsítási funkcióinak használatával elfogadja és elfogadja az NVIDIA végfelhasználói licencszerződésének feltételeit.
Előfeltételek
A Linuxhoz készült Azure IoT Edge GPU-gyorsítási funkciói Windows rendszeren jelenleg a GPU-hardverek egy bizonyos készletét támogatják. Emellett a funkció használatához szükség lehet a Windows bizonyos verzióira is.
A támogatott GPU-k és a szükséges Windows-verziók az alábbiak:
| Támogatott GPU-k | GPU-átengedés típusa | Támogatott Windows-verziók |
|---|---|---|
| NVIDIA T4, A2 | DDA | Windows Server 2019 Windows Server 2022 Windows 10/11 (Pro, Enterprise, IoT Enterprise) |
| NVIDIA GeForce, Quadro, RTX | GPU-PV | Windows 10/11 (Pro, Enterprise, IoT Enterprise) |
| Intel iGPU | GPU-PV | Windows 10/11 (Pro, Enterprise, IoT Enterprise) |
Fontos
A GPU-PV támogatása a GPU-gyártó által meghatározott processzorok vagy GPU-architektúrák bizonyos generációira korlátozódhat. További információkért tekintse meg az Intel iGPU-illesztőprogramjának dokumentációját vagy az NVIDIA WSL-hez készült CUDA-dokumentációját.
A Windows Server 2019 felhasználóinak legalább 17763-as buildet kell használniuk, és az összes aktuális kumulatív frissítést telepíteni kell.
A Windows 10-felhasználóknak a 2021. novemberi frissítés 19044.1620-ás vagy újabb buildet kell használniuk. A telepítés után a parancssorban futtatva winver ellenőrizheti a buildverziót.
A GPU-átengedés nem támogatott beágyazott virtualizálással, például az EFLOW windowsos virtuális gépeken való futtatásával.
Rendszer beállítása és telepítése
A következő szakaszok a GPU-nak megfelelően tartalmazzák a telepítési és telepítési információkat.
NVIDIA T4/A2 GPU-k
A T4/A2 GPU-k esetében a Microsoft azt javasolja, hogy telepítsen egy eszközcsökkentési illesztőprogramot a GPU gyártójától. Bár nem kötelező, a kockázatcsökkentő illesztőprogram telepítése javíthatja az üzembe helyezés biztonságát. További információ: Grafikus eszközök üzembe helyezése közvetlen eszközhozzárendelés használatával.
Figyelmeztetés
A hardvereszközök átadásának engedélyezése növelheti a biztonsági kockázatokat. A Microsoft egy eszközcsökkentési illesztőprogramot javasol a GPU gyártójától, ha van ilyen. További információ: Grafikus eszközök üzembe helyezése különálló eszközhozzárendelés használatával.
NVIDIA GeForce/Quadro/RTX GPU-k
NVIDIA GeForce/Quadro/RTX GPU-k esetén töltse le és telepítse az NVIDIA CUDA-kompatibilis illesztőprogramot Linuxos Windows-alrendszer (WSL) számára a meglévő CUDA ML-munkafolyamatok használatához. Az eredetileg WSL-hez fejlesztett CUDA WSL-illesztőprogramokat a Linuxhoz készült Azure IoT Edge-hez is használják Windows rendszeren.
A Windows 10-felhasználóknak is telepíteniük kell a WSL-t , mert a kódtárak egy része meg van osztva a WSL és a Linuxhoz készült Azure IoT Edge között Windows rendszeren.
Intel iGPU-k
Intel iGPU-k esetén töltse le és telepítse az Intel grafikus illesztőprogramot WSL GPU-támogatással.
A Windows 10-felhasználóknak is telepíteniük kell a WSL-t , mert a kódtárak egy része meg van osztva a WSL és a Linuxhoz készült Azure IoT Edge között Windows rendszeren.
GPU-gyorsítás engedélyezése Az Azure IoT Edge Linuxon Windows-telepítésen
Ha a rendszer beállítása befejeződött, készen áll az Azure IoT Edge windowsos üzembe helyezésének létrehozására. A folyamat során engedélyeznie kell a GPU-t az EFLOW-telepítés részeként.
Az alábbi parancsok például létrehoznak egy GPU-kompatibilis virtuális gépet NVIDIA A2 GPU-val vagy Intel Iris Xe Grafikus kártyával.
#Deploys EFLOW with NVIDIA A2 assigned to the EFLOW VM
Deploy-Eflow -gpuPassthroughType DirectDeviceAssignment -gpuCount 1 -gpuName "NVIDIA A2"
#Deploys EFLOW with Intel(R) Iris(R) Xe Graphics assigned to the EFLOW VM
Deploy-Eflow -gpuPassthroughType ParaVirtualization -gpuCount 1 -gpuName "Intel(R) Iris(R) Xe Graphics"
A GPU nevének megkereséséhez futtassa a következő parancsot, vagy keresse meg a display adaptereket a Eszközkezelő.
(Get-WmiObject win32_VideoController).caption
A telepítés befejezése után készen áll a GPU-val felgyorsított Linux-modulok üzembe helyezésére és futtatására a Linuxhoz készült Azure IoT Edge-en keresztül Windows rendszeren.
GPU-gyorsítás konfigurálása meglévő Azure IoT Edge Linux rendszeren Windows-telepítésen
A GPU üzembe helyezéskor való hozzárendelése a legegyszerűbb felhasználói élményt eredményezi. A GPU üzembe helyezés utáni engedélyezéséhez vagy letiltásához használja a set-eflowvm parancsot. A set-eflowvm használatakor a rendszer az alapértelmezett paramétert használja a nem megadott argumentumokhoz. Például:
#Deploys EFLOW without a GPU assigned to the EFLOW VM
Deploy-Eflow -cpuCount 4 -memoryInMB 16384
#Assigns NVIDIA A2 GPU to the existing deployment (cpu and memory must still be specified, otherwise they will be set to the default values)
Set-EflowVM -cpuCount 4 -memoryInMB 16384 -gpuName "NVIDIA A2" -gpuPassthroughType DirectDeviceAssignment -gpuCount 1
#Reduces the cpuCount and memory (GPU must still be specified, otherwise the GPU will be removed)
Set-EflowVM -cpuCount 2 -memoryInMB 4096 -gpuName "NVIDIA A2" -gpuPassthroughType DirectDeviceAssignment -gpuCount 1
#Removes NVIDIA A2 GPU from the existing deployment
Set-EflowVM -cpuCount 2 -memoryInMB 4096
Következő lépések
A minták használatának első lépései
Látogasson el az EFLOW-minták oldalára , ahol számos OLYAN GPU-mintát fedezhet fel, amelyeket kipróbálhat és használhat. Ezek a minták olyan gyakori gyártási és kiskereskedelmi forgatókönyveket mutatnak be, mint a hibaészlelés, a feldolgozói biztonság és a készletkezelés. A thee nyílt forráskódú minták megoldássablonként szolgálhatnak saját látásalapú gépi tanulási alkalmazás létrehozásához.
További információ partnereinktől
Számos GPU-gyártó biztosított felhasználói útmutatókat a hardverek és szoftverek EFLOW-val való lehető legnagyobb kihasználása érdekében.
- Megtudhatja, hogyan futtathat Intel OpenVINO-alkalmazásokat™ az EFLOW-on az Intel iGPU-val kapcsolatos útmutatójának követésével a Windows rendszeren futó Azure IoT Edge-lel (EFLOW) & OpenVINO™ Toolkit és referencia-implementációkkal.
- Első lépések a CUDA által gyorsított alkalmazások EFLOW-on való üzembe helyezéséhez az NVIDIA GeForce/Quadro/RTX GPU-khoz készült EFLOW felhasználói útmutatóját követve.
Feljegyzés
Ez az útmutató nem tartalmazza a DDA-alapú GPU-kat, például az NVIDIA T4-et vagy az A2-t.
Ismerkedés a technológiával
A GPU átengedési technológiáival kapcsolatos további információkért tekintse meg a DDA dokumentációját és a GPU-PV blogbejegyzést.