Kurz: Konfigurace, připojení a ověření modulu IoT Edge pro GPU

Platí pro: IoT Edge 1.5

Důležité

Podporovanou verzí je IoT Edge 1.5 LTS. IoT Edge 1.4 LTS je konec životnosti od 12. listopadu 2024. Pokud používáte starší verzi, podívejte se na článek Aktualizace IoT Edge.

V tomto kurzu se dozvíte, jak vytvořit virtuální počítač s podporou GPU. Na virtuálním počítači spustíte zařízení IoT Edge, které přiděluje práci z jednoho ze svých modulů na vaši GPU.

Pomocí webu Azure Portal, Azure Cloud Shellu a příkazového řádku virtuálního počítače můžete:

• Vytvoření virtuálního počítače s podporou GPU
• Instalace rozšíření ovladače NVIDIA na virtuální počítač
• Konfigurace modulu na zařízení IoT Edge pro přidělení práce gpu

Požadavky

• Účet Azure – Vytvoření bezplatného účtu

• Azure IoT Hub – vytvoření IoT Hubu

• Zařízení Azure IoT Edge

  Pokud nemáte zařízení IoT Edge a chcete ho rychle vytvořit, spusťte následující příkaz. Použijte Azure Cloud Shell na webu Azure Portal. Vytvořte nový název zařízení pro <DEVICE-NAME> a <YOUR-IOT-HUB-NAME> nahraďte názvem IoT hubu.

  az iot hub device-identity create --device-id <YOUR-DEVICE-NAME> --edge-enabled --hub-name <YOUR-IOT-HUB-NAME>
  

  Další informace o vytvoření zařízení IoT Edge najdete v tématu Rychlý start: Nasazení prvního modulu IoT Edge do virtuálního zařízení s Linuxem. Později v tomto článku přidáte do zařízení IoT Edge modul NVIDIA.

Vytvoření virtuálního počítače optimalizovaného pro GPU

Pokud chcete vytvořit virtuální počítač optimalizovaný pro GPU, zvolte správnou velikost. Ne všechny velikosti virtuálních počítačů podporují zpracování GPU a různé velikosti virtuálních počítačů fungují nejlépe pro různé úlohy. Další informace najdete v tématu Velikosti virtuálních počítačů optimalizovaných pro GPU nebo vyzkoušejte selektor virtuálních počítačů.

Vytvořte virtuální počítač IoT Edge pomocí šablony Azure Resource Manageru (ARM) na GitHubu a pak ho nakonfigurujte tak, aby byl optimalizovaný pro GPU.

1. Přejděte na šablonu nasazení virtuálního počítače IoT Edge na GitHubu v Azure/iotedge-vm-deploy.

2. Výběrem tlačítka Nasadit do Azure začněte vytvářet vlastní virtuální počítač na webu Azure Portal.

3. Do polí Vlastní nasazení zadejte přihlašovací údaje a informace o prostředcích Azure:

   Vlastnost	Popis nebo ukázková hodnota
   Předplatné	Zvolte své předplatné účtu Azure.
   Skupina prostředků	Přidejte skupinu prostředků Azure.
   Oblast	East US Virtuální počítače GPU nejsou dostupné ve všech oblastech.
   Předpona názvu DNS	Vytvořte název virtuálního počítače.
   Uživatelské jméno správce	adminUser Nebo si vytvořte vlastní uživatelské jméno.
   Připojovací řetězec zařízení	Zkopírujte připojovací řetězec ze zařízení IoT Edge a vložte ho sem.
   Velikost virtuálního počítače	Standard_NV6
   Typ autentizace	Zvolte heslo nebo veřejný klíč SSH a v případě potřeby vytvořte název páru hesel nebo klíčů.

   Návod

   Zkontrolujte, které virtuální počítače GPU jsou podporované v jednotlivých oblastech: Produkty dostupné podle oblastí.

   Pokud chcete zkontrolovat , která oblast vaše předplatné Azure umožňuje, zkuste tento příkaz Azure na webu Azure Portal. N Znamená Standard_N to, že se jedná o virtuální počítač s podporou GPU.

   az vm list-skus --location <YOUR-REGION> --size Standard_N --all --output table
   

4. Vyberte tlačítko Zkontrolovat a vytvořit v dolní části a pak vyberte tlačítko Vytvořit . Nasazení může trvat až jednu minutu.

Instalace rozšíření NVIDIA

Teď, když máte virtuální počítač optimalizovaný pro GPU, nainstalujte na virtuální počítač rozšíření NVIDIA pomocí webu Azure Portal.

1. Otevřete virtuální počítač na webu Azure Portal a v nabídce vlevo vyberte Rozšíření a aplikace .

2. V seznamu vyberte Přidat a zvolte rozšíření ovladače NVIDIA GPU a pak vyberte Další.

3. Zvolte Zkontrolovat a vytvořit a pak Vytvořit. Dokončení nasazení může trvat až 30 minut.

4. Pokud chcete instalaci potvrdit na webu Azure Portal, vraťte se do nabídky Rozšíření a aplikace na virtuálním počítači. Nové pojmenované NvidiaGpuDriverLinux rozšíření by mělo být v seznamu rozšíření a mělo by se zobrazit úspěšné zřízení v části Stav.

5. Pokud chcete instalaci potvrdit pomocí Azure Cloud Shellu, spusťte tento příkaz a zobrazte seznam rozšíření. <> Zástupné symboly nahraďte hodnotami:

   az vm extension list --resource-group <YOUR-RESOURCE-GROUP> --vm-name <YOUR-VM-NAME> -o table
   

6. S modulem NVIDIA použijeme program NVIDIA System Management Interface, označovaný také jako nvidia-smi.

   Ze svého zařízení nainstalujte nvidia-smi balíček na základě vaší verze Ubuntu. Pro účely tohoto kurzu nainstalujeme nvidia-utils-515 ubuntu 20.04. Po zobrazení výzvy v instalaci vyberte Y .

   sudo apt install nvidia-utils-515
   

   Tady je seznam všech nvidia-smi verzí. Pokud nvidia-smi spustíte bez předchozí instalace, vytiskne se tento seznam v konzole.

   

7. Po instalaci spusťte tento příkaz a potvrďte, že je nainstalovaný:

   nvidia-smi
   

   Zobrazí se potvrzovací tabulka podobná této tabulce.

   

Poznámka:

Rozšíření NVIDIA je zjednodušený způsob instalace ovladačů NVIDIA, ale možná budete potřebovat další přizpůsobení. Další informace o vlastních instalacích na virtuálních počítačích řady N-series naleznete v tématu Instalace ovladačů NVIDIA GPU na virtuální počítače řady N-series s Linuxem.

Povolení modulu s akcelerací GPU

Modul IoT Edge můžete povolit různými způsoby, aby ke zpracování používal GPU. Jedním ze způsobů je konfigurace existujícího modulu IoT Edge na vašem zařízení tak, aby se akceleroval GPU. Dalším způsobem je použití předkompilovaného kontejnerového modulu, například modulu z NVIDIA DIGITS , který je již optimalizovaný pro GPU. Pojďme se podívat, jak se oba způsoby dělají.

Povolení GPU v existujícím modulu pomocí DeviceRequests

Pokud máte na zařízení IoT Edge existující modul, přidání konfigurace pomocí DeviceRequestscreateOptions manifestu nasazení zajistí optimalizaci modulu GPU. Podle těchto kroků nakonfigurujte existující modul.

1. Na webu Azure Portal přejděte do služby IoT Hub a v nabídce Správa zařízení zvolte Zařízení.

2. Výběrem zařízení IoT Edge ho otevřete.

3. V horní části vyberte kartu Nastavit moduly.

4. V seznamu modulů IoT Edge vyberte modul, který chcete povolit pro použití GPU.

5. Otevře se boční panel, zvolte kartu Možnosti vytvoření kontejneru.

6. Zkopírujte tento HostConfig řetězec JSON a vložte ho do pole Vytvořit možnosti .

    {
        "HostConfig": {
            "DeviceRequests": 
            [
                {
                    "Count": -1,
                    "Capabilities": [
                        [
                            "gpu"
                        ]
                    ]
                }
            ]
        }
    }
   

7. Vyberte Aktualizovat.

8. Vyberte Zkontrolovat a vytvořit. Nový HostConfig objekt je teď viditelný v settings modulu.

9. Vyberte Vytvořit.

10. Pokud chcete potvrdit, že nová konfigurace funguje, spusťte na virtuálním počítači tento příkaz:

    sudo docker inspect <YOUR-MODULE-NAME>
    

    Měli byste vidět parametry, které DeviceRequests jste zadali v výtisku JSON v konzole.

Poznámka:

Pokud chcete lépe porozumět parametru DeviceRequests , podívejte se na zdrojový kód: moby/host_config.go

Povolení GPU v předkompilovaném modulu NVIDIA

Pojďme do zařízení IoT Edge přidat modul NVIDIA DIGITS a pak modulu přidělit GPU nastavením proměnných prostředí. Tento modul NVIDIA je již v kontejneru Dockeru.

1. V nabídce Zařízení ioT Hubu vyberte zařízení IoT Edge na webu Azure Portal.

2. V horní části vyberte kartu Nastavit moduly.

3. V záhlaví modulů IoT Edge vyberte + Přidat a zvolte Modul IoT Edge.

4. Do pole Název modulu IoT Edge zadejte název.

5. Na kartě Nastavení modulu přidejte nvidia/digits:6.0 do pole Identifikátor URI obrázku.

6. Vyberte kartu Proměnné prostředí.

7. Přidejte název NVIDIA_VISIBLE_DEVICES proměnné prostředí s hodnotou 0. Tato proměnná řídí, které GPU jsou viditelné pro kontejnerizovanou aplikaci spuštěnou na hraničním zařízení. NVIDIA_VISIBLE_DEVICES Proměnnou prostředí lze nastavit na čárkami oddělený seznam ID zařízení, které odpovídají fyzickým grafickým procesorům v systému. Pokud jsou v systému například dvě GPU s ID zařízení 0 a 1, můžete proměnnou nastavit na "NVIDIA_VISIBLE_DEVICES=0,1", aby se obě grafické procesory zobrazovaly kontejneru. V tomto článku, protože virtuální počítač má jenom jeden GPU, použijeme první (a pouze) jeden.

   Název	Typ	Hodnota
   NVIDIA_VISIBLE_DEVICES	Text	0

8. Vyberte Přidat.

9. Vyberte Zkontrolovat a vytvořit. Zobrazí se vlastnosti vašeho manifestu nasazení.

10. Výběrem možnosti Vytvořit vytvořte modul.

11. Výběrem možnosti Aktualizovat aktualizujte seznam modulů. Spuštění modulu ve stavu runtime trvá několik minut, takže zařízení aktualizujte.

12. Z vašeho zařízení spusťte tento příkaz, abyste potvrdili, že nový modul NVIDIA existuje a je spuštěný.

    iotedge list
    

    Modul NVIDIA by se měl zobrazit v seznamu modulů na zařízení IoT Edge se stavem running.

    

Poznámka:

Další informace o modulu kontejneru NVIDIA DIGITS najdete v dokumentaci k číslicím hlubokého učení.

Vyčištění prostředků

Pokud chcete pokračovat v dalších kurzech IoT Edge, můžete použít zařízení, které jste vytvořili pro účely tohoto kurzu. Jinak můžete odstranit prostředky Azure, které jste vytvořili, abyste se vyhnuli poplatkům.

Pokud jste vytvořili virtuální počítač a Centrum IoT v nové skupině prostředků, můžete tuto skupinu odstranit, čímž se odstraní všechny přidružené prostředky. Pečlivě zkontrolujte obsah skupiny prostředků a ujistěte se, že není nic, co chcete zachovat. Pokud nechcete odstranit celou skupinu, můžete místo toho odstranit jednotlivé prostředky (virtuální počítač, zařízení nebo modul GPU).

Důležité

Odstranění skupiny prostředků je nevratné.

Pomocí následujícího příkazu odeberte skupinu prostředků Azure. Odstranění skupiny prostředků může trvat několik minut.

az group delete --name <YOUR-RESOURCE-GROUP> --yes

Pokud chcete ověřit, že je skupina prostředků odebraná, zobrazí se seznam skupin prostředků.

az group list

Další kroky

Tento článek vám pomohl nastavit virtuální počítač a zařízení IoT Edge tak, aby se akcelerovalo GPU. Pokud chcete spustit aplikaci s podobným nastavením, vyzkoušejte studijní program pro vývoj NVIDIA DeepStream v Microsoft Azure. V kurzu Learn se dozvíte, jak vyvíjet optimalizované inteligentní video aplikace, které můžou využívat více video, obrázků a zvukových zdrojů.