Sdílet prostřednictvím

Použití instancí RDMA nebo GPU ve fondech služby Batch

Pokud chcete spouštět určité úlohy Batch, můžete využít velikosti virtuálních počítačů Azure navržené pro rozsáhlé výpočty. Příklad:

  • Pokud chcete spouštět úlohy MPI s více instancemi, zvolte řady HB, HC, NC nebo ND nebo jiné velikosti, které mají síťové rozhraní pro přímý přístup do paměti vzdáleného počítače (RDMA). Tyto velikosti se připojují k síti InfiniBand pro komunikaci mezi uzly, což může urychlit aplikace MPI.

  • U aplikací CUDA zvolte velikosti N-series, které obsahují karty GRAFICKÉho procesoru NVIDIA Tesla (GPU).

Tento článek obsahuje pokyny a příklady použití některých specializovaných velikostí Azure ve fondech Batch. Informace o specifikacích a pozadí najdete tady:

  • Velikosti virtuálních počítačů s vysokým výkonem (Linux, Windows)

  • Velikosti virtuálních počítačů s podporou GPU (Linux, Windows)

Poznámka:

Některé velikosti virtuálních počítačů nemusí být dostupné v oblastech, ve kterých vytváříte účty Batch. Pokud chcete zkontrolovat, jestli je dostupná velikost, podívejte se na produkty dostupné podle oblasti a zvolte velikost virtuálního počítače pro fond Batch.

Závislosti

Funkce RDMA nebo GPU pro velikosti náročné na výpočetní výkon ve službě Batch se podporují jenom v určitých operačních systémech. Podporované operační systémy pro tyto velikosti virtuálních počítačů zahrnují pouze podmnožinu těch, které jsou k dispozici pro vytvoření virtuálního počítače. V závislosti na tom, jak vytvoříte fond Batch, budete možná muset nainstalovat nebo nakonfigurovat další ovladač nebo jiný software na uzlech. Následující tabulky shrnují tyto závislosti. Podrobnosti najdete v odkazovaných článcích. Možnosti konfigurace fondů Batch najdete dále v tomto článku.

Bazény Linux – Konfigurace virtuálního počítače

Velikost Schopnost Operační systémy Požadovaný software Nastavení bazénu
H16r, H16mr
NC24r, NC24rs_v2, NC24rs_v3, ND24rs*		 RDMA Ubuntu 22.04 LTS
(Azure Marketplace)		 Intel MPI 5

Linuxové ovladače RDMA		 Povolení komunikace mezi uzly, zakázání souběžného spouštění úloh
NCv3, NDv2, NDv4, řada NDv5 NVIDIA Tesla GPU (liší se podle řad) Ubuntu 22.04 LTS
(Azure Marketplace)		 Ovladače NVIDIA CUDA nebo CUDA Toolkit –
NVv3, NVv4, řada NVv5 Akcelerované vizualizace GPU Ubuntu 22.04 LTS
(Azure Marketplace)		 Ovladače NVIDIA GRID nebo ovladače AMD GPU –

*Velikosti N-řad podporující RDMA zahrnují také gpu NVIDIA Tesla.

Důležité

Tento dokument odkazuje na verzi Linuxu, která se blíží ke konci nebo dosáhla konce životnosti (EOL). Zvažte aktualizaci na aktuálnější verzi.

Pooly Windows – Konfigurace virtuálních počítačů

Velikost Schopnost Operační systémy Požadovaný software Nastavení fondu
H16r, H16mr
NC24r, NC24rs_v2, NC24rs_v3, ND24rs*		 RDMA Windows Server 2016, 2012 R2 nebo
2012 (Azure Marketplace)		 Microsoft MPI 2012 R2 nebo novější nebo
Intel MPI 5

Ovladače RDMA systému Windows		 Povolení komunikace mezi uzly, zakázání souběžného spouštění úloh
NC, NCv2, NCv3, ND, NDv2 NVIDIA Tesla GPU (liší se podle řad) Windows Server 2016 nebo
2012 R2 (Azure Marketplace)		 Ovladače NVIDIA CUDA nebo CUDA Toolkit –
NV, NVv2, řada NVv4 NVIDIA Tesla M60 GPU Windows Server 2016 nebo
2012 R2 (Azure Marketplace)		 Ovladače NVIDIA GRID –

*Velikosti N-řad podporující RDMA zahrnují také gpu NVIDIA Tesla.

Pooly Windows – Konfigurace cloudových služeb

Varování

Skupiny konfigurace cloudových služeb jsou zastaralé. Místo toho použijte konfigurační fondy virtuálních strojů.

Velikost Schopnost Operační systémy Požadovaný software Nastavení poolu
H16r, H16mr RDMA Windows Server 2016, 2012 R2, 2012 nebo
2008 R2 (rodina hostovaného operačního systému)		 Microsoft MPI 2012 R2 nebo novější nebo
Intel MPI 5

Ovladače RDMA systému Windows		 Povolení komunikace mezi uzly
zakázat souběžné provádění úloh

Poznámka:

Ve fondech konfigurace cloudových služeb nejsou podporovány velikosti řady N.

Možnosti konfigurace fondu

Pokud chcete pro fond Batch nakonfigurovat specializovanou velikost virtuálního počítače, máte několik možností instalace požadovaného softwaru nebo ovladačů:

  • Pro fondy v konfiguraci virtuálního stroje zvolte předkonfigurovaný obraz virtuálního stroje Azure Marketplace s předinstalovanými ovladači a softwarem. Příklady:

  • Vytvořte vlastní image virtuálního počítače s Windows nebo Linuxem s nainstalovanými ovladači, softwarem nebo jinými nastaveními požadovanými pro velikost virtuálního počítače.

  • Nainstalujte ovladače GPU a RDMA podle rozšíření virtuálního počítače.

  • Vytvořte balíček aplikace Batch z komprimovaného ovladače nebo instalačního programu aplikace. Pak nakonfigurujte službu Batch, aby nasadila tento balíček do uzlů fondu a nainstalovala ho jednou při vytvoření každého uzlu. Pokud je například balíček aplikace instalační program, vytvořte příkazový řádek spouštěcí úlohy , který aplikaci bezobslužně nainstaluje na všechny uzly fondu. Pokud vaše úloha závisí na konkrétní verzi ovladače, zvažte použití balíčku aplikace a úlohy spuštění fondu.

    Poznámka:

    Spouštěcí úkol musí běžet se zvýšenými oprávněními (správce) a musí čekat na úspěch. Dlouhotrvající úlohy zvětší dobu potřebnou k zřízení fondu Batch.

Příklad: Ovladače NVIDIA GPU ve fondu virtuálních počítačů s Windows NC

Pokud chcete spouštět aplikace CUDA ve fondu uzlů nc systému Windows, musíte nainstalovat ovladače NVIDIA GPU. Následující ukázkové kroky používají balíček aplikace k instalaci ovladačů NVIDIA GPU. Tuto možnost můžete zvolit, pokud vaše úloha závisí na konkrétní verzi ovladače GPU.

  1. Stáhněte instalační balíček pro ovladače GPU ve Windows Serveru 2016 z webu NVIDIA , například verze 411.82. Uložte soubor místně pomocí krátkého názvu, jako je GPUDriverSetup.exe.
  2. Vytvořte soubor ZIP balíčku.
  3. Nahrajte balíček do účtu Batch. Postup najdete v pokynech k balíčkům aplikací. Zadejte ID aplikace, jako je GPUDriver, a verzi, například 411.82.
  4. Pomocí rozhraní API služby Batch nebo webu Azure Portal vytvořte fond v konfiguraci virtuálního počítače s požadovaným počtem uzlů a škálováním. Následující tabulka ukazuje ukázková nastavení pro instalaci ovladačů NVIDIA GPU bezobslužně pomocí spouštěcí úlohy:
Nastavení Hodnota
Typ obrazu Marketplace (Linux/Windows)
Vydavatel MicrosoftWindowsServer
Nabídka Windows Server
Sku 2016-Datacenter
Velikost uzlu NC6 Standard
Odkazy na balíčky aplikací GPUDriver verze 411.82
Povoleno spuštění úkolu Pravda
Příkazový řádek - cmd /c "%AZ_BATCH_APP_PACKAGE_GPUDriver#411.82%\\GPUDriverSetup.exe /s"
Identita uživatele – správce, automatický uživatel fondu
Čekání na úspěch – Pravda

Příklad: Ovladače NVIDIA GPU ve fondu virtuálních počítačů Linux NC

Pokud chcete spouštět aplikace CUDA na fondu uzlů NC Linuxu, musíte nainstalovat potřebné ovladače NVIDIA Tesla GPU ze sady CUDA Toolkit. Následující ukázkový postup vytvoří a nasadí vlastní image Ubuntu 22.04 LTS s ovladači GPU:

  1. Nasaďte virtuální počítač řady NC-series Azure s Ubuntu 22.04 LTS. Například vytvořte virtuální počítač v jihovýchodní centrální region USA.
  2. Přidejte do virtuálního počítače rozšíření NVIDIA GPU Drivers pomocí Azure portálu, klientského počítače, který se připojuje k předplatnému Azure, nebo Azure Cloud Shellu. Případně se podle pokynů připojte k virtuálnímu počítači a nainstalujte ovladače CUDA ručně.
  3. Postupujte podle pokynů k vytvoření image Galerie výpočetních prostředků Azure pro Službu Batch.
  4. Vytvořte účet Batch v oblasti, která podporuje virtuální počítače nc.
  5. Pomocí rozhraní API služby Batch nebo portálu Azure vytvořte fond pomocí vlastní image s požadovaným počtem uzlů a škálou. Následující tabulka ukazuje ukázková nastavení fondu pro obrázek:
Nastavení Hodnota
Typ obrázku Vlastní obrázek
Vlastní image Název obrázku
Skladová položka agenta uzlu batch.node.ubuntu 22.04
Velikost uzlu NC6 Standard

Příklad: Microsoft MPI ve fondu virtuálních počítačů s Windows H16r

Pokud chcete spouštět aplikace WINDOWS MPI ve fondu uzlů virtuálních počítačů Azure H16r, musíte nakonfigurovat rozšíření HpcVmDrivers a nainstalovat Microsoft MPI. Tady jsou ukázkové kroky pro nasazení vlastní image Windows Serveru 2016 s potřebnými ovladači a softwarem:

  1. Nasaďte virtuální počítač Azure H16r s Windows Serverem 2016. Vytvořte například virtuální počítač v oblasti USA – západ.
  2. Přidejte do virtuálního počítače rozšíření HpcVmDrivers spuštěním příkazu Azure PowerShellu z klientského počítače, který se připojuje k vašemu předplatnému Azure nebo pomocí Azure Cloud Shellu.
  3. Připojte se ke vzdálené ploše virtuálního počítače
  4. Stáhněte instalační balíček (MSMpiSetup.exe) pro nejnovější verzi programu Microsoft MPI a nainstalujte microsoft MPI.
  5. Postupujte podle pokynů k vytvoření image Galerie výpočetních prostředků Azure pro Službu Batch.
  6. Pomocí rozhraní API služby Batch nebo webu Azure Portal vytvořte fond pomocí Galerie výpočetních prostředků Azure a s požadovaným počtem uzlů a škálováním. Následující tabulka ukazuje ukázková nastavení fondu pro obrázek:
Nastavení Hodnota
Typ obrázku Vlastní obrázek
Vlastní image Název obrázku
Skladová položka agenta uzlu batch.node.windows amd64
Velikost uzlu H16r Standard
Povolená komunikace mezi uzly True
Maximální počet úkolů na uzel 1

Další kroky

  • Pokud chcete spouštět úlohy MPI ve fondu Azure Batch, podívejte se na příklady windows nebo Linuxu.
  • Last updated on