Akcelerace GPU pro Azure IoT Edge pro Linux na Windows

  • Článek

Platí pro:IoT Edge 1.4 checkmark IoT Edge 1.4

Důležité

IoT Edge 1.4 je podporovaná verze. Pokud používáte starší verzi, podívejte se na článek Aktualizace IoT Edge.

Gpu jsou oblíbenou volbou pro výpočty umělé inteligence, protože nabízejí možnosti paralelního zpracování a mohou často spouštět odvozování založené na vizi rychleji než procesory. Aby bylo možné lépe podporovat aplikace umělé inteligence a strojového učení, může Azure IoT Edge pro Linux ve Windows (EFLOW) vystavit GPU modulu linuxového virtuálního počítače.

Azure IoT Edge pro Linux ve Windows podporuje několik technologií předávání GPU, mezi které patří:

  • Přiřazení přímého zařízení (DDA) – Jádra GPU se přidělují virtuálnímu počítači s Linuxem nebo hostiteli.

  • GPU-Paravirtualization (GPU-PV) – GPU se sdílí mezi virtuálním počítačem s Linuxem a hostitelem.

Při nasazování musíte vybrat příslušnou metodu průchodu, aby odpovídala podporovaným možnostem hardwaru GPU vašeho zařízení.

Důležité

Tyto funkce mohou zahrnovat komponenty vyvinuté a vlastněné společností NVIDIA Corporation nebo jejími poskytovateli licencí. Použití komponent se řídí licenční smlouvou NVIDIA Pro koncového uživatele, která se nachází na webu SPOLEČNOSTI NVIDIA.

Používáním funkcí akcelerace GPU přijímáte podmínky licenční smlouvy NVIDIA End-User a souhlasíte s nimi.

Požadavky

Funkce akcelerace GPU Azure IoT Edge pro Linux ve Windows v současné době podporují výběrovou sadu hardwaru GPU. Kromě toho může použití této funkce vyžadovat konkrétní verze Systému Windows.

Podporované gpu a požadované verze Windows jsou uvedené níže:

Podporované gpu Typ průchodu GPU Podporované verze Windows
NVIDIA T4, A2 DDA Windows Server 2019
Windows Server 2022
Windows 10/11 (Pro, Enterprise, IoT Enterprise)
NVIDIA GeForce, Quadro, RTX GPU-PV Windows 10/11 (Pro, Enterprise, IoT Enterprise)
Intel iGPU GPU-PV Windows 10/11 (Pro, Enterprise, IoT Enterprise)

Důležité

Podpora GPU-PV může být omezená na určité generace procesorů nebo architektur GPU určených dodavatelem GPU. Další informace naleznete v dokumentaci k ovladači iGPU společnosti Intel nebo CUDA společnosti NVIDIA pro dokumentaci WSL.

Uživatelé Windows Serveru 2019 musí používat minimální build 17763 s nainstalovanými všemi aktuálními kumulativními aktualizacemi.

Uživatelé Windows 10 musí používat build aktualizace z listopadu 2021 19044.1620 nebo novější. Po instalaci můžete ověřit verzi sestavení spuštěním winver na příkazovém řádku.

Předávání GPU se nepodporuje s vnořenou virtualizací, jako je spuštění EFLOW na virtuálním počítači s Windows.

Nastavení a instalace systému

Následující části obsahují informace o nastavení a instalaci podle vašeho GPU.

GPU NVIDIA T4/A2

U grafických procesorů T4/A2 doporučuje Microsoft nainstalovat ovladač pro zmírnění rizik zařízení od dodavatele GPU. I když je instalace ovladače pro zmírnění rizik volitelná, může zlepšit zabezpečení vašeho nasazení. Další informace najdete v tématu Nasazení grafických zařízení pomocí přímého přiřazení zařízení.

Upozorňující

Povolení průchodu hardwarovým zařízením může zvýšit bezpečnostní rizika. Microsoft doporučuje ovladač pro zmírnění rizik zařízení od dodavatele GPU, pokud je to možné. Další informace naleznete v tématu Nasazení grafických zařízení pomocí samostatného přiřazení zařízení.

GRAFICKÉ procesory NVIDIA GeForce/Quadro/RTX

Pro GRAFICKÉ procesory NVIDIA GeForce/Quadro/RTX stáhněte a nainstalujte ovladač NVIDIA CUDA s podporou Subsystém Windows pro Linux (WSL), který chcete použít s existujícími pracovními postupy CUDA ML. Původně vyvinuté pro WSL, CUDA pro ovladače WSL se také používají pro Azure IoT Edge pro Linux ve Windows.

Uživatelé Windows 10 musí také nainstalovat WSL , protože některé knihovny jsou sdílené mezi WSL a Azure IoT Edge pro Linux ve Windows.

Intel iGPU

Pro procesory Intel iGPU stáhněte a nainstalujte grafický ovladač Intel s podporou GPU WSL.

Uživatelé Windows 10 musí také nainstalovat WSL , protože některé knihovny jsou sdílené mezi WSL a Azure IoT Edge pro Linux ve Windows.

Povolení akcelerace GPU v nasazení Azure IoT Edge v Linuxu ve Windows

Po dokončení instalace systému jste připraveni vytvořit nasazení Azure IoT Edge pro Linux ve Windows. Během tohoto procesu musíte v rámci nasazení EFLOW povolit GPU .

Následující příkazy například vytvoří virtuální počítač s podporou GPU s grafickým procesorem NVIDIA A2 nebo grafickou kartou Intel Iris Xe.

#Deploys EFLOW with NVIDIA A2 assigned to the EFLOW VM
Deploy-Eflow -gpuPassthroughType DirectDeviceAssignment -gpuCount 1 -gpuName "NVIDIA A2"

#Deploys EFLOW with Intel(R) Iris(R) Xe Graphics assigned to the EFLOW VM
Deploy-Eflow -gpuPassthroughType ParaVirtualization -gpuCount 1 -gpuName "Intel(R) Iris(R) Xe Graphics"

Pokud chcete najít název GPU, můžete spustit následující příkaz nebo vyhledat adaptéry zobrazení v Správce zařízení.

(Get-WmiObject win32_VideoController).caption

Po dokončení instalace jste připraveni nasadit a spouštět linuxové moduly s akcelerovanými GPU prostřednictvím Azure IoT Edge pro Linux ve Windows.

Konfigurace akcelerace GPU v existujícím nasazení Azure IoT Edge s Linuxem ve Windows

Přiřazení GPU v době nasazení způsobí nejpřímější prostředí. Pokud ale chcete gpu po nasazení povolit nebo zakázat, použijte příkaz set-eflowvm. Pokud použijete set-eflowvm, použije se výchozí parametr pro libovolný argument, který není zadán. Příklad:

#Deploys EFLOW without a GPU assigned to the EFLOW VM
Deploy-Eflow -cpuCount 4 -memoryInMB 16384

#Assigns NVIDIA A2 GPU to the existing deployment (cpu and memory must still be specified, otherwise they will be set to the default values)
Set-EflowVM -cpuCount 4 -memoryInMB 16384 -gpuName "NVIDIA A2" -gpuPassthroughType DirectDeviceAssignment -gpuCount 1

#Reduces the cpuCount and memory (GPU must still be specified, otherwise the GPU will be removed)
Set-EflowVM -cpuCount 2 -memoryInMB 4096 -gpuName "NVIDIA A2" -gpuPassthroughType DirectDeviceAssignment -gpuCount 1

#Removes NVIDIA A2 GPU from the existing deployment
Set-EflowVM -cpuCount 2 -memoryInMB 4096

Další kroky

Začínáme s ukázkami

Navštivte naši stránku s ukázkami EFLOW a zjistěte několik ukázek GPU, které můžete vyzkoušet a použít. Tyto ukázky ilustrují běžné scénáře výroby a maloobchodního prodeje, jako je detekce vad, bezpečnost pracovníků a správa zásob. Open source ukázky můžou sloužit jako šablona řešení pro vytvoření vlastní aplikace strojového učení založené na vizi.

Další informace od našich partnerů

Několik dodavatelů GPU poskytlo uživatelské příručky k získání většiny hardwaru a softwaru pomocí EFLOW.

Poznámka:

Tato příručka nepokrývá grafické procesory založené na DDA, jako jsou NVIDIA T4 nebo A2.

Ponořte se do technologie

Další informace o technologiích předávání GPU najdete v dokumentaci k DDA a blogovém příspěvku GPU-PV.