GPU-acceleration för Azure IoT Edge för Linux på Windows
Gäller för:
IoT Edge 1.1
Viktigt
IoT Edge 1.1 slutdatum för support var den 13 december 2022. I informationen om Microsoft-produktens livscykel hittar du fler uppgifter om vilken support som gäller för denna produkt, tjänst, teknik eller detta API. Mer information om hur du uppdaterar till den senaste versionen av IoT Edge finns i Uppdatera IoT Edge.
GPU:er är ett populärt val för beräkningar med artificiell intelligens, eftersom de erbjuder parallella bearbetningsfunktioner och ofta kan köra visionsbaserad slutsatsdragning snabbare än processorer. För att bättre stödja program för artificiell intelligens och maskininlärning kan Azure IoT Edge för Linux på Windows (EFLOW) exponera en GPU för den virtuella datorns Linux-modul.
Azure IoT Edge för Linux i Windows har stöd för flera GPU-tekniker för genomströmning, inklusive:
Direkt enhetstilldelning (DDA) – GPU-kärnor allokeras antingen till den virtuella Linux-datorn eller till värden.
GPU-Paravirtualization (GPU-PV) – GPU:n delas mellan den virtuella Linux-datorn och värden.
Du måste välja lämplig genomströmningsmetod under distributionen för att matcha de funktioner som stöds i enhetens GPU-maskinvara.
Viktigt
Dessa funktioner kan omfatta komponenter som utvecklats och ägs av NVIDIA Corporation eller dess licensgivare. Användningen av komponenterna styrs av NVIDIA-End-User-licensavtalet som finns på NVIDIA:s webbplats.
Genom att använda GPU-accelerationsfunktioner accepterar och godkänner du villkoren i NVIDIA End-User-licensavtalet.
Förutsättningar
GPU-accelerationsfunktionerna i Azure IoT Edge för Linux i Windows stöder för närvarande en viss uppsättning GPU-maskinvara. Dessutom kan användningen av den här funktionen kräva specifika versioner av Windows.
De GPU:er som stöds och nödvändiga Windows-versioner visas nedan:
| GPU:er som stöds | GPU-genomströmningstyp | Windows-versioner som stöds |
|---|---|---|
| NVIDIA T4, A2 | DDA | Windows Server 2019 Windows Server 2022 Windows 10/11 (Pro, Enterprise, IoT Enterprise) |
| NVIDIA GeForce, Quadro, RTX | GPU-PV | Windows 10/11 (Pro, Enterprise, IoT Enterprise) |
| Intel iGPU | GPU-PV | Windows 10/11 (Pro, Enterprise, IoT Enterprise) |
Viktigt
GPU-PV-stöd kan begränsas till vissa generationer av processorer eller GPU-arkitekturer som bestäms av GPU-leverantören. Mer information finns i Intels dokumentation om iGPU-drivrutin eller NVIDIA:s CUDA för WSL-dokumentation.
Windows Server 2019-användare måste använda minst version 17763 med alla aktuella kumulativa uppdateringar installerade.
Windows 10 användare måste använda november 2021-uppdateringsversionen 19044.1620 eller senare. Efter installationen kan du verifiera din version genom att köra winver i kommandotolken.
GPU-genomströmning stöds inte med kapslad virtualisering, till exempel att köra EFLOW på en virtuell Windows-dator.
Systemkonfiguration och installation
Följande avsnitt innehåller konfigurations- och installationsinformation enligt din GPU.
NVIDIA T4/A2 GPU:er
För T4/A2 GPU:er rekommenderar Microsoft att du installerar en enhetsminskningsdrivrutin från GPU:ns leverantör. Även om det är valfritt kan det förbättra säkerheten för distributionen om du installerar en åtgärdsdrivrutin. Mer information finns i Distribuera grafikenheter med direkt enhetstilldelning.
Varning
Aktivering av genomströmning för maskinvaruenheter kan öka säkerhetsriskerna. Microsoft rekommenderar en enhetsminskningsdrivrutin från GPU:ns leverantör, i förekommande fall. Mer information finns i Distribuera grafikenheter med diskret enhetstilldelning.
NVIDIA GeForce/Quadro/RTX GPU:er
För NVIDIA GeForce/Quadro/RTX GPU:er laddar du ned och installerar den NVIDIA CUDA-aktiverade drivrutinen för Windows-undersystem för Linux (WSL) som ska användas med dina befintliga CUDA ML-arbetsflöden. CUDA för WSL-drivrutiner som ursprungligen utvecklades för WSL används också för Azure IoT Edge för Linux i Windows.
Windows 10 användare måste också installera WSL eftersom vissa bibliotek delas mellan WSL och Azure IoT Edge för Linux i Windows.
Intel iGPUs
För Intel iGPUs laddar du ned och installerar Intel-grafikdrivrutinen med WSL GPU-stöd.
Windows 10 användare måste också installera WSL eftersom vissa bibliotek delas mellan WSL och Azure IoT Edge för Linux i Windows.
Aktivera GPU-acceleration i din Azure IoT Edge Linux i Windows-distribution
När systemkonfigurationen är klar är du redo att skapa distributionen av Azure IoT Edge för Linux i Windows. Under den här processen måste du aktivera GPU som en del av EFLOW-distributionen.
Kommandot nedan skapar till exempel en virtuell dator med en NVIDIA A2 GPU tilldelad.
Deploy-Eflow -gpuPassthroughType "DirectDeviceAssignment" -gpuCount 1 -gpuName "NVIDIA A2"
När installationen är klar är du redo att distribuera och köra GPU-accelererade Linux-moduler via Azure IoT Edge för Linux i Windows.
Nästa steg
Prova vårt GPU-aktiverade exempel med Vision on Edge, en lösningsmall som illustrerar hur du skapar ett eget visionsbaserat maskininlärningsprogram.
Upptäck hur du kör Intel OpenVINO-program på EFLOW genom att följa Intels guide om iGPU med Azure IoT Edge för Linux på Windows (EFLOW) & OpenVINO Toolkit och referensimplementeringar.
Läs mer om GPU-genomströmningstekniker genom att gå till DDA-dokumentationen och blogginlägget GPU-PV.