Průvodce migrací výpočetních úloh GPU v Azure

Vzhledem k tomu, že na marketplace a v datacentrech Microsoft Azure budou k dispozici výkonnější GPU, doporučujeme znovu posoudit výkon vašich úloh a zvážit migraci na novější GPU.

Ze stejného důvodu a také kvůli zachování vysoce kvalitní a spolehlivé nabídky služeb Azure pravidelně vyřazuje hardware, který pohání starší velikosti virtuálních počítačů. První skupinou produktů GPU, které se mají v Azure vyřadit, jsou původní virtuální počítače řady NC, NC v2 a ND, které využívají akcelerátory GPU NVIDIA Tesla K80, P100 a P40 datacentra. Tyto produkty budou vyřazeny 31. srpna 2023 a nejstarší virtuální počítače v této sérii byly uvedeny na trh v roce 2016.

Od té doby udělaly GPU neuvěřitelný pokrok spolu s celým odvětvím hlubokého učení a HPC, což obvykle překračuje zdvojnásobení výkonu mezi generacemi. Od uvedení grafických procesorů NVIDIA K80, P40 a P100 azure dodává několik novějších generací a kategorií produktů virtuálních počítačů, které jsou zaměřené na výpočetní prostředky akcelerované grafickými procesory a umělé inteligence založené na grafických procesorech NVIDIA T4, V100 a A100, a liší se volitelnými funkcemi, jako jsou propojovací prostředky infrastruktury založené na technologii InfiniBand. Toto všechno jsou možnosti, které zákazníkům doporučujeme prozkoumat jako cesty migrace.

Ve většině případů dramatický nárůst výkonu, který nabízí novější generace grafických procesorů, snižuje celkové celkové náklady na vlastnictví tím, že zkracuje dobu trvání úlohy nebo snižuje celkový počet virtuálních počítačů s podporou GPU, které jsou potřeba k pokrytí poptávky po výpočetních prostředcích s pevnou velikostí, i když se náklady na hodinu GPU můžou lišit. Kromě těchto výhod můžou zákazníci vylepšit funkci Time-to-Solution prostřednictvím výkonnějších virtuálních počítačů a zlepšit stav a podporu svého řešení přijetím novějšího softwaru, modulu runtime CUDA a verzí ovladačů.

Migrace vs. optimalizace

Azure si uvědomuje, že zákazníci mají velké množství požadavků, které můžou určovat výběr konkrétního produktu virtuálního počítače GPU, včetně aspektů architektury GPU, propojení, celkových nákladů na vlastnictví, doby trvání řešení a regionální dostupnosti v závislosti na lokalitě dodržování předpisů nebo požadavcích na latenci– a některé z nich se dokonce v průběhu času mění.

Akcelerace GPU je zároveň novou a rychle se rozvíjející oblastí.

Pro tuto produktovou oblast proto neexistují žádné skutečně univerzální pokyny a migrace je ideální čas na opětovné vyhodnocení potenciálně dramatických změn úloh , jako je přechod z clusterovaného modelu nasazení na jeden velký virtuální počítač s 8 GPU nebo naopak, využití datových typů s nižší přesností, přijetí funkcí, jako je více instancí GPU a mnoho dalšího.

Tyto druhy aspektů– když je třeba vzít v úvahu kontext už tak dramatického zvýšení výkonu GPU v jednotlivých generacích, kdy funkce, jako je přidání TensorCores, může zvýšit výkon řádově, jsou velmi specifické pro úlohu.

Kombinace migrace a opětovné architektury aplikace může přinést obrovskou hodnotu a zlepšit náklady a čas na řešení.

Tyto druhy vylepšení jsou ale nad rámec tohoto dokumentu, jehož cílem je zaměřit se na třídy přímé ekvivalence pro generalizované úlohy, které můžou dnes spouštět zákazníci, aby bylo možné identifikovat nejpodobnější možnosti virtuálních počítačů v ceně i výkonu podle GPU stávajícím rodinám virtuálních počítačů, které jsou vyřazeny z provozu.

Tento dokument proto předpokládá, že uživatel nemusí mít žádný přehled nebo kontrolu nad vlastnostmi specifickými pro úlohy, jako je počet požadovaných instancí virtuálních počítačů, GPU, propojení a další.

NC-Series virtuálních počítačů s grafickými procesory NVIDIA K80

Virtuální počítače řady NC (v1)-Series jsou nejstarším výpočetním typem virtuálních počítačů Azure s akcelerací GPU využívající 1 až 4 akcelerátory GPU nvidia Tesla K80 datacentra spárované s procesory Intel Xeon E5-2690 v3 (Haswell). Kdysi vlajkový typ virtuálního počítače pro náročné aplikace AI, ML a HPC zůstaly oblíbenou volbou i v pozdějších fázích životního cyklu produktu (zejména prostřednictvím propagačních cen řady NC-series) pro uživatele, kteří si cenili velmi nízké absolutní náklady na hodinu GPU oproti GPU s vyšší propustností za dolar.

Vzhledem k relativně nízkému výpočetnímu výkonu stárnoucí platformy GPU NVIDIA K80 v porovnání s řadou virtuálních počítačů s novějšími GPU jsou oblíbeným případem použití řady NC-series úlohy odvozování a analýzy v reálném čase, kde musí být akcelerovaný virtuální počítač k dispozici v stabilním stavu, aby bylo možné obsloužit požadavky od aplikací hned, jak přijdou. V těchto případech nemusí objem nebo velikost dávky požadavků stačit k tomu, aby bylo možné využívat výkonnější gpu. Virtuální počítače nc jsou také oblíbené pro vývojáře a studenty, kteří se učí akceleraci GPU, vyvíjejí pro ni nebo experimentují s ní, a potřebují levný cloudový cíl nasazení CUDA, na kterém iterují, a nemusí se provádět na produkčních úrovních.

Obecně platí, že NC-Series zákazníci by měli zvážit přímý přechod z velikostí NC na velikosti NC T4 v3 , novou platformu Azure s akcelerací GPU pro malé úlohy s procesory NVIDIA Tesla T4 GPU.

Aktuální velikost virtuálního počítače Velikost cílového virtuálního počítače Rozdíl ve specifikaci
Standard_NC6
Standard_NC6_Promo
Standard_NC4as_T4_v3
nebo
Standard_NC8as_T4
CPU: Intel Haswell vs AMD Rome
Počet GPU: 1 (stejný)
Generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 FLOPs)
Paměť GPU (GiB na GPU): 16 (+4)
vCPU: 4 (-2) nebo 8 (+2)
Memory GiB: 16 (-40) nebo 56 (stejné)
Dočasné úložiště (SSD) GiB: 180 (-160) nebo 360 (+20)
Maximální počet datových disků: 8 (-4) nebo 16 (+4)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Standard_NC12
Standard_NC12_Promo
Standard_NC16as_T4_v3 CPU: Intel Haswell vs AMD Rome
Počet GPU: 1 (-1)
Generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 FLOPs)
Paměť GPU (GiB na GPU): 16 (+4)
vCPU: 16 (+4)
Memory GiB: 110 (-2)
Dočasné úložiště (SSD) GiB: 360 (-320)
Maximální počet datových disků: 48 (+16)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Standard_NC24
Standard_NC24_Promo
Standard_NC64as_T4_v3* CPU: Intel Haswell vs AMD Rome
Počet GPU: 4 (stejný)
Generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 FLOPs)
Paměť GPU (GiB na GPU): 16 (+4)
vCPU: 64 (+40)
Paměť GiB: 440 (+216)
Dočasné úložiště (SSD): 2880 (+1440)
Maximální počet datových disků: 32 (-32)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Standard_NC24r
Standard_NC24r_Promo
Standard_NC64as_T4_v3* CPU: Intel Haswell vs AMD Rome
Počet GPU: 4 (stejný)
Generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 FLOPs)
Paměť GPU (GiB na GPU): 16 (+4)
vCPU: 64 (+40)
Paměť GiB: 440 (+216)
Dočasné úložiště (SSD): 2880 (+1440)
Maximální počet datových disků: 32 (-32)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Propojení InfiniBand: Ne

Virtuální počítače NC řady v2 s GPU NVIDIA Tesla P100

Virtuální počítače NC řady v2 jsou vlajkovou lodí, která byla původně navržena pro úlohy umělé inteligence a hlubokého učení. Nabízejí vynikající výkon pro trénování hlubokého učení, s výkonem na GPU zhruba 2krát více než původní NC-Series a využívají procesory NVIDIA Tesla P100 a procesory Intel Xeon E5-2690 v4 (Broadwell). Stejně jako nc a ND -Series i NC v2-Series nabízí konfiguraci se sekundární sítí s nízkou latencí a vysokou propustností prostřednictvím RDMA a připojením InfiniBand, takže můžete spouštět rozsáhlé trénovací úlohy zahrnující mnoho GPU.

Obecně platí, že NCv2-Series zákazníci by měli zvážit přechod přímo na velikosti NC A100 v4 , novou platformu Azure s akcelerací GPU využívající procesory NVIDIA Ampere A100 PCIe GPU.

Aktuální velikost virtuálního počítače Velikost cílového virtuálního počítače Rozdíl ve specifikaci
Standard_NC6s_v2 Standard_NC24ads_A100_v4 CPU: Intel Broadwell vs. AMD Milan
Počet GPU: 1 (stejný)
Generace GPU: NVIDIA Pascal vs. Ampere (+2 generace)
Paměť GPU (GiB na GPU): 80 (+64)
vCPU: 24 (+18)
Velikost paměti: 220 (+108)
Temp Storage (SSD) GiB: 1123 (+387)
Maximální počet datových disků: 12 (stejný)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Standard_NC12s_v2 Standard_NC48ads_A100_v4 PROCESOR: Intel Broadwell vs. AMD Milan
Počet GPU: 2 (stejný)
Generace GPU: NVIDIA Pascal vs. Ampere (+2 generace)
Paměť GPU (GiB na GPU): 80 (+64)
vCPU: 48 (+36)
Velikost paměti: 440 (+216)
Temp Storage (SSD) GiB: 2246 (+772)
Maximální počet datových disků: 24 (stejné)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Standard_NC24s_v2 Standard_NC96ads_A100_v4 PROCESOR: Intel Broadwell vs. AMD Milan
Počet GPU: 4 (stejný)
Generace GPU: NVIDIA Pascal vs. Ampere (+2 generace)
Paměť GPU (GiB na GPU): 80 (+64)
vCPU: 96 (+72)
Velikost paměti: 880 (+432)
Temp Storage (SSD) GiB: 4492 (+1544)
Maximální počet datových disků: 32 (stejné)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Standard_NC24rs_v2 Standard_NC96ads_A100_v4 PROCESOR: Intel Broadwell vs. AMD Milan
Počet GPU: 4 (stejné)
Generace GPU: NVIDIA Pascal vs. Ampere (+2 generace)
Paměť GPU (GiB na GPU): 80 (+64)
vCPU: 96 (+72)
Velikost paměti: 880 (+432)
Temp Storage (SSD) GiB: 4492 (+1544)
Maximální počet datových disků: 32 (stejné)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Propojení InfiniBand: Ne (-)

ND-Series virtuálních počítačů s grafickými procesory NVIDIA Tesla P40

Virtuální počítače řady ND-series jsou platformou střední kategorie, která byla původně navržená pro úlohy umělé inteligence a hlubokého učení. Nabízejí vynikající výkon pro dávkové odvozování prostřednictvím vylepšených operací s plovoucí desetinou čárkou s jednou přesností oproti svým předchůdcům a jsou poháněny procesory NVIDIA Tesla P40 a procesory Intel Xeon E5-2690 v4 (Broadwell). Stejně jako řada NC a NC v2-Series nabízí ND-Series konfiguraci se sekundární sítí s nízkou latencí, vysokou propustností prostřednictvím RDMA a připojením InfiniBand, takže můžete spouštět rozsáhlé trénovací úlohy zahrnující mnoho GPU.

Aktuální velikost virtuálního počítače Velikost cílového virtuálního počítače Rozdíl ve specifikaci
Standard_ND6 Standard_NC4as_T4_v3
nebo
Standard_NC8as_T4_v3
CPU: Intel Broadwell vs AMD Rome
Počet GPU: 1 (stejný)
Generace GPU: NVIDIA Pascal vs. Turing (+1 generace)
Paměť GPU (GiB na GPU): 16 (-8)
vCPU: 4 (-2) nebo 8 (+2)
Velikost paměti: 16 (-40) nebo 56 (-56)
Temp Storage (SSD) GiB: 180 (-552) nebo 360 (-372)
Maximální počet datových disků: 8 (-4) nebo 16 (+4)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Standard_ND12 Standard_NC16as_T4_v3 CPU: Intel Broadwell vs AMD Rome
Počet GPU: 1 (-1)
Generace GPU: NVIDIA Pascal vs. Turing (+1 generace)
Paměť GPU (GiB na GPU): 16 (-8)
vCPU: 16 (+4)
Velikost paměti: 110 (-114)
Temp Storage (SSD) GiB: 360 (-1 114)
Maximální počet datových disků: 48 (+16)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Standard_ND24 Standard_NC64as_T4_v3* CPU: Intel Broadwell vs AMD Rome
Počet GPU: 4 (stejný)
Generace GPU: NVIDIA Pascal vs. Turing (+1 generace)
Paměť GPU (GiB na GPU): 16 (-8)
vCPU: 64 (+40)
Velikost paměti: 440 (stejné)
Temp Storage (SSD) GiB: 2880 (stejné)
Maximální počet datových disků: 32 (stejné)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Standard_ND24r Standard_ND96amsr_A100_v4 CPU: Intel Broadwell vs AMD Rome
Počet GPU: 8 (+4)
Generace GPU: NVIDIA Pascal vs. Ampere (+2 generace)
Paměť GPU (GiB na GPU): 80 (+56)
vCPU: 96 (+72)
Paměť GiB: 1900 (+1452)
Temp Storage (SSD) GiB: 6400 (+3452)
Maximální počet datových disků: 32 (stejné)
Akcelerované síťové služby: Ano (+)
Premium Storage: Ano (+)
Propojení InfiniBand: Ano (stejné)

Kroky migrace

Obecné změny

  1. Zvolte řadu a velikost pro migraci. Další přehledy získáte pomocí cenové kalkulačky .

  2. Získání kvóty pro řadu cílových virtuálních počítačů

  3. Změňte velikost aktuálního virtuálního počítače řady N* na cílovou velikost. Může být také vhodná doba k aktualizaci operačního systému používaného vaší imagí virtuálního počítače nebo přijetí některé z imagí prostředí HPC s předinstalovanými ovladači.

    Důležité

    Image virtuálního počítače může být vytvořená se starší verzí modulu runtime CUDA, ovladačem NVIDIA a (pokud je to možné, pouze pro velikosti s podporou RDMA) ovladači Mellanox OFED, než vyžaduje nová řada virtuálních počítačů GPU, které můžete aktualizovat podle pokynů v dokumentaci k Azure.

Zásadní změny

Vyberte cílovou velikost pro migraci.

Po posouzení aktuálního využití se rozhodněte, jaký typ virtuálního počítače s GPU potřebujete. V závislosti na požadavcích úloh máte několik různých možností.

Poznámka

Osvědčeným postupem je vybrat velikost virtuálního počítače na základě nákladů i výkonu. Doporučení v této příručce jsou založená na obecném porovnání metrik výkonu 1:1 a nejbližší shody v jiné řadě virtuálních počítačů. Než se rozhodnete o správné velikosti, získejte porovnání nákladů pomocí cenové kalkulačky Azure.

Důležité

Všechny starší velikosti NC, NC v2 a ND-Series jsou k dispozici ve velikostech s více GPU, včetně velikostí 4 GPU s propojením infiniBand i bez rozhraní InfiniBand pro škálování na více instancí, které vyžadují větší výpočetní výkon než jeden virtuální počítač se 4 GPU nebo jeden gpu K80, P40 nebo P100. I když výše uvedená doporučení nabízejí jednoduchou cestu vpřed, uživatelé těchto velikostí by měli zvážit dosažení svých výkonnostních cílů pomocí výkonnějších virtuálních počítačů řady NVIDIA V100 založených na GPU, jako jsou NC v3-Series a ND v2, které obvykle umožňují stejnou úroveň výkonu úloh s nižšími náklady a s lepšími možnostmi správy tím, že poskytují výrazně vyšší výkon na GPU a virtuální počítač, než bude potřeba konfigurace s více GPU a více uzly. v uvedeném pořadí.

Získání kvóty pro cílovou řadu virtuálních počítačů

Postupujte podle pokynů a požádejte o navýšení kvóty virtuálních procesorů podle řady virtuálních počítačů. Vyberte cílovou velikost virtuálního počítače, kterou jste vybrali pro migraci.

Změna velikosti aktuálního virtuálního počítače

Velikost virtuálního počítače můžete změnit.

Další kroky

Úplný seznam velikostí virtuálních počítačů s podporou GPU najdete v tématu Přehled akcelerovaných výpočetních prostředků GPU.