Průvodce migrací výpočetních úloh GPU v Azure
Vzhledem k tomu, že na marketplace a v datacentrech Microsoft Azure budou k dispozici výkonnější GPU, doporučujeme znovu posoudit výkon vašich úloh a zvážit migraci na novější GPU.
Ze stejného důvodu a také kvůli zachování vysoce kvalitní a spolehlivé nabídky služeb Azure pravidelně vyřazuje hardware, který pohání starší velikosti virtuálních počítačů. První skupinou produktů GPU, které se mají v Azure vyřadit, jsou původní virtuální počítače řady NC, NC v2 a ND, které využívají akcelerátory GPU NVIDIA Tesla K80, P100 a P40 datacentra. Tyto produkty budou vyřazeny 31. srpna 2023 a nejstarší virtuální počítače v této sérii byly uvedeny na trh v roce 2016.
Od té doby udělaly GPU neuvěřitelný pokrok spolu s celým odvětvím hlubokého učení a HPC, což obvykle překračuje zdvojnásobení výkonu mezi generacemi. Od uvedení grafických procesorů NVIDIA K80, P40 a P100 azure dodává několik novějších generací a kategorií produktů virtuálních počítačů, které jsou zaměřené na výpočetní prostředky akcelerované grafickými procesory a umělé inteligence založené na grafických procesorech NVIDIA T4, V100 a A100, a liší se volitelnými funkcemi, jako jsou propojovací prostředky infrastruktury založené na technologii InfiniBand. Toto všechno jsou možnosti, které zákazníkům doporučujeme prozkoumat jako cesty migrace.
Ve většině případů dramatický nárůst výkonu, který nabízí novější generace grafických procesorů, snižuje celkové celkové náklady na vlastnictví tím, že zkracuje dobu trvání úlohy nebo snižuje celkový počet virtuálních počítačů s podporou GPU, které jsou potřeba k pokrytí poptávky po výpočetních prostředcích s pevnou velikostí, i když se náklady na hodinu GPU můžou lišit. Kromě těchto výhod můžou zákazníci vylepšit funkci Time-to-Solution prostřednictvím výkonnějších virtuálních počítačů a zlepšit stav a podporu svého řešení přijetím novějšího softwaru, modulu runtime CUDA a verzí ovladačů.
Migrace vs. optimalizace
Azure si uvědomuje, že zákazníci mají velké množství požadavků, které můžou určovat výběr konkrétního produktu virtuálního počítače GPU, včetně aspektů architektury GPU, propojení, celkových nákladů na vlastnictví, doby trvání řešení a regionální dostupnosti v závislosti na lokalitě dodržování předpisů nebo požadavcích na latenci– a některé z nich se dokonce v průběhu času mění.
Akcelerace GPU je zároveň novou a rychle se rozvíjející oblastí.
Pro tuto produktovou oblast proto neexistují žádné skutečně univerzální pokyny a migrace je ideální čas na opětovné vyhodnocení potenciálně dramatických změn úloh , jako je přechod z clusterovaného modelu nasazení na jeden velký virtuální počítač s 8 GPU nebo naopak, využití datových typů s nižší přesností, přijetí funkcí, jako je více instancí GPU a mnoho dalšího.
Tyto druhy aspektů– když je třeba vzít v úvahu kontext už tak dramatického zvýšení výkonu GPU v jednotlivých generacích, kdy funkce, jako je přidání TensorCores, může zvýšit výkon řádově, jsou velmi specifické pro úlohu.
Kombinace migrace a opětovné architektury aplikace může přinést obrovskou hodnotu a zlepšit náklady a čas na řešení.
Tyto druhy vylepšení jsou ale nad rámec tohoto dokumentu, jehož cílem je zaměřit se na třídy přímé ekvivalence pro generalizované úlohy, které můžou dnes spouštět zákazníci, aby bylo možné identifikovat nejpodobnější možnosti virtuálních počítačů v ceně i výkonu podle GPU stávajícím rodinám virtuálních počítačů, které jsou vyřazeny z provozu.
Tento dokument proto předpokládá, že uživatel nemusí mít žádný přehled nebo kontrolu nad vlastnostmi specifickými pro úlohy, jako je počet požadovaných instancí virtuálních počítačů, GPU, propojení a další.
Doporučené způsoby upgradu
NC-Series virtuálních počítačů s grafickými procesory NVIDIA K80
Virtuální počítače řady NC (v1)-Series jsou nejstarším výpočetním typem virtuálních počítačů Azure s akcelerací GPU využívající 1 až 4 akcelerátory GPU nvidia Tesla K80 datacentra spárované s procesory Intel Xeon E5-2690 v3 (Haswell). Kdysi vlajkový typ virtuálního počítače pro náročné aplikace AI, ML a HPC zůstaly oblíbenou volbou i v pozdějších fázích životního cyklu produktu (zejména prostřednictvím propagačních cen řady NC-series) pro uživatele, kteří si cenili velmi nízké absolutní náklady na hodinu GPU oproti GPU s vyšší propustností za dolar.
Vzhledem k relativně nízkému výpočetnímu výkonu stárnoucí platformy GPU NVIDIA K80 v porovnání s řadou virtuálních počítačů s novějšími GPU jsou oblíbeným případem použití řady NC-series úlohy odvozování a analýzy v reálném čase, kde musí být akcelerovaný virtuální počítač k dispozici v stabilním stavu, aby bylo možné obsloužit požadavky od aplikací hned, jak přijdou. V těchto případech nemusí objem nebo velikost dávky požadavků stačit k tomu, aby bylo možné využívat výkonnější gpu. Virtuální počítače nc jsou také oblíbené pro vývojáře a studenty, kteří se učí akceleraci GPU, vyvíjejí pro ni nebo experimentují s ní, a potřebují levný cloudový cíl nasazení CUDA, na kterém iterují, a nemusí se provádět na produkčních úrovních.
Obecně platí, že NC-Series zákazníci by měli zvážit přímý přechod z velikostí NC na velikosti NC T4 v3 , novou platformu Azure s akcelerací GPU pro malé úlohy s procesory NVIDIA Tesla T4 GPU.
Aktuální velikost virtuálního počítače | Velikost cílového virtuálního počítače | Rozdíl ve specifikaci |
---|---|---|
Standard_NC6 Standard_NC6_Promo |
Standard_NC4as_T4_v3 nebo Standard_NC8as_T4 |
CPU: Intel Haswell vs AMD Rome Počet GPU: 1 (stejný) Generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 FLOPs) Paměť GPU (GiB na GPU): 16 (+4) vCPU: 4 (-2) nebo 8 (+2) Memory GiB: 16 (-40) nebo 56 (stejné) Dočasné úložiště (SSD) GiB: 180 (-160) nebo 360 (+20) Maximální počet datových disků: 8 (-4) nebo 16 (+4) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
Standard_NC12 Standard_NC12_Promo |
Standard_NC16as_T4_v3 | CPU: Intel Haswell vs AMD Rome Počet GPU: 1 (-1) Generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 FLOPs) Paměť GPU (GiB na GPU): 16 (+4) vCPU: 16 (+4) Memory GiB: 110 (-2) Dočasné úložiště (SSD) GiB: 360 (-320) Maximální počet datových disků: 48 (+16) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
Standard_NC24 Standard_NC24_Promo |
Standard_NC64as_T4_v3* | CPU: Intel Haswell vs AMD Rome Počet GPU: 4 (stejný) Generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 FLOPs) Paměť GPU (GiB na GPU): 16 (+4) vCPU: 64 (+40) Paměť GiB: 440 (+216) Dočasné úložiště (SSD): 2880 (+1440) Maximální počet datových disků: 32 (-32) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
Standard_NC24r Standard_NC24r_Promo |
Standard_NC64as_T4_v3* | CPU: Intel Haswell vs AMD Rome Počet GPU: 4 (stejný) Generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 FLOPs) Paměť GPU (GiB na GPU): 16 (+4) vCPU: 64 (+40) Paměť GiB: 440 (+216) Dočasné úložiště (SSD): 2880 (+1440) Maximální počet datových disků: 32 (-32) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) Propojení InfiniBand: Ne |
Virtuální počítače NC řady v2 s GPU NVIDIA Tesla P100
Virtuální počítače NC řady v2 jsou vlajkovou lodí, která byla původně navržena pro úlohy umělé inteligence a hlubokého učení. Nabízejí vynikající výkon pro trénování hlubokého učení, s výkonem na GPU zhruba 2krát více než původní NC-Series a využívají procesory NVIDIA Tesla P100 a procesory Intel Xeon E5-2690 v4 (Broadwell). Stejně jako nc a ND -Series i NC v2-Series nabízí konfiguraci se sekundární sítí s nízkou latencí a vysokou propustností prostřednictvím RDMA a připojením InfiniBand, takže můžete spouštět rozsáhlé trénovací úlohy zahrnující mnoho GPU.
Obecně platí, že NCv2-Series zákazníci by měli zvážit přechod přímo na velikosti NC A100 v4 , novou platformu Azure s akcelerací GPU využívající procesory NVIDIA Ampere A100 PCIe GPU.
Aktuální velikost virtuálního počítače | Velikost cílového virtuálního počítače | Rozdíl ve specifikaci |
---|---|---|
Standard_NC6s_v2 | Standard_NC24ads_A100_v4 | CPU: Intel Broadwell vs. AMD Milan Počet GPU: 1 (stejný) Generace GPU: NVIDIA Pascal vs. Ampere (+2 generace) Paměť GPU (GiB na GPU): 80 (+64) vCPU: 24 (+18) Velikost paměti: 220 (+108) Temp Storage (SSD) GiB: 1123 (+387) Maximální počet datových disků: 12 (stejný) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
Standard_NC12s_v2 | Standard_NC48ads_A100_v4 | PROCESOR: Intel Broadwell vs. AMD Milan Počet GPU: 2 (stejný) Generace GPU: NVIDIA Pascal vs. Ampere (+2 generace) Paměť GPU (GiB na GPU): 80 (+64) vCPU: 48 (+36) Velikost paměti: 440 (+216) Temp Storage (SSD) GiB: 2246 (+772) Maximální počet datových disků: 24 (stejné) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
Standard_NC24s_v2 | Standard_NC96ads_A100_v4 | PROCESOR: Intel Broadwell vs. AMD Milan Počet GPU: 4 (stejný) Generace GPU: NVIDIA Pascal vs. Ampere (+2 generace) Paměť GPU (GiB na GPU): 80 (+64) vCPU: 96 (+72) Velikost paměti: 880 (+432) Temp Storage (SSD) GiB: 4492 (+1544) Maximální počet datových disků: 32 (stejné) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
Standard_NC24rs_v2 | Standard_NC96ads_A100_v4 | PROCESOR: Intel Broadwell vs. AMD Milan Počet GPU: 4 (stejné) Generace GPU: NVIDIA Pascal vs. Ampere (+2 generace) Paměť GPU (GiB na GPU): 80 (+64) vCPU: 96 (+72) Velikost paměti: 880 (+432) Temp Storage (SSD) GiB: 4492 (+1544) Maximální počet datových disků: 32 (stejné) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) Propojení InfiniBand: Ne (-) |
ND-Series virtuálních počítačů s grafickými procesory NVIDIA Tesla P40
Virtuální počítače řady ND-series jsou platformou střední kategorie, která byla původně navržená pro úlohy umělé inteligence a hlubokého učení. Nabízejí vynikající výkon pro dávkové odvozování prostřednictvím vylepšených operací s plovoucí desetinou čárkou s jednou přesností oproti svým předchůdcům a jsou poháněny procesory NVIDIA Tesla P40 a procesory Intel Xeon E5-2690 v4 (Broadwell). Stejně jako řada NC a NC v2-Series nabízí ND-Series konfiguraci se sekundární sítí s nízkou latencí, vysokou propustností prostřednictvím RDMA a připojením InfiniBand, takže můžete spouštět rozsáhlé trénovací úlohy zahrnující mnoho GPU.
Aktuální velikost virtuálního počítače | Velikost cílového virtuálního počítače | Rozdíl ve specifikaci |
---|---|---|
Standard_ND6 | Standard_NC4as_T4_v3 nebo Standard_NC8as_T4_v3 |
CPU: Intel Broadwell vs AMD Rome Počet GPU: 1 (stejný) Generace GPU: NVIDIA Pascal vs. Turing (+1 generace) Paměť GPU (GiB na GPU): 16 (-8) vCPU: 4 (-2) nebo 8 (+2) Velikost paměti: 16 (-40) nebo 56 (-56) Temp Storage (SSD) GiB: 180 (-552) nebo 360 (-372) Maximální počet datových disků: 8 (-4) nebo 16 (+4) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
Standard_ND12 | Standard_NC16as_T4_v3 | CPU: Intel Broadwell vs AMD Rome Počet GPU: 1 (-1) Generace GPU: NVIDIA Pascal vs. Turing (+1 generace) Paměť GPU (GiB na GPU): 16 (-8) vCPU: 16 (+4) Velikost paměti: 110 (-114) Temp Storage (SSD) GiB: 360 (-1 114) Maximální počet datových disků: 48 (+16) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
Standard_ND24 | Standard_NC64as_T4_v3* | CPU: Intel Broadwell vs AMD Rome Počet GPU: 4 (stejný) Generace GPU: NVIDIA Pascal vs. Turing (+1 generace) Paměť GPU (GiB na GPU): 16 (-8) vCPU: 64 (+40) Velikost paměti: 440 (stejné) Temp Storage (SSD) GiB: 2880 (stejné) Maximální počet datových disků: 32 (stejné) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
Standard_ND24r | Standard_ND96amsr_A100_v4 | CPU: Intel Broadwell vs AMD Rome Počet GPU: 8 (+4) Generace GPU: NVIDIA Pascal vs. Ampere (+2 generace) Paměť GPU (GiB na GPU): 80 (+56) vCPU: 96 (+72) Paměť GiB: 1900 (+1452) Temp Storage (SSD) GiB: 6400 (+3452) Maximální počet datových disků: 32 (stejné) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) Propojení InfiniBand: Ano (stejné) |
Kroky migrace
Obecné změny
Zvolte řadu a velikost pro migraci. Další přehledy získáte pomocí cenové kalkulačky .
Získání kvóty pro řadu cílových virtuálních počítačů
Změňte velikost aktuálního virtuálního počítače řady N* na cílovou velikost. Může být také vhodná doba k aktualizaci operačního systému používaného vaší imagí virtuálního počítače nebo přijetí některé z imagí prostředí HPC s předinstalovanými ovladači.
Důležité
Image virtuálního počítače může být vytvořená se starší verzí modulu runtime CUDA, ovladačem NVIDIA a (pokud je to možné, pouze pro velikosti s podporou RDMA) ovladači Mellanox OFED, než vyžaduje nová řada virtuálních počítačů GPU, které můžete aktualizovat podle pokynů v dokumentaci k Azure.
Zásadní změny
Vyberte cílovou velikost pro migraci.
Po posouzení aktuálního využití se rozhodněte, jaký typ virtuálního počítače s GPU potřebujete. V závislosti na požadavcích úloh máte několik různých možností.
Poznámka
Osvědčeným postupem je vybrat velikost virtuálního počítače na základě nákladů i výkonu. Doporučení v této příručce jsou založená na obecném porovnání metrik výkonu 1:1 a nejbližší shody v jiné řadě virtuálních počítačů. Než se rozhodnete o správné velikosti, získejte porovnání nákladů pomocí cenové kalkulačky Azure.
Důležité
Všechny starší velikosti NC, NC v2 a ND-Series jsou k dispozici ve velikostech s více GPU, včetně velikostí 4 GPU s propojením infiniBand i bez rozhraní InfiniBand pro škálování na více instancí, které vyžadují větší výpočetní výkon než jeden virtuální počítač se 4 GPU nebo jeden gpu K80, P40 nebo P100. I když výše uvedená doporučení nabízejí jednoduchou cestu vpřed, uživatelé těchto velikostí by měli zvážit dosažení svých výkonnostních cílů pomocí výkonnějších virtuálních počítačů řady NVIDIA V100 založených na GPU, jako jsou NC v3-Series a ND v2, které obvykle umožňují stejnou úroveň výkonu úloh s nižšími náklady a s lepšími možnostmi správy tím, že poskytují výrazně vyšší výkon na GPU a virtuální počítač, než bude potřeba konfigurace s více GPU a více uzly. v uvedeném pořadí.
Získání kvóty pro cílovou řadu virtuálních počítačů
Postupujte podle pokynů a požádejte o navýšení kvóty virtuálních procesorů podle řady virtuálních počítačů. Vyberte cílovou velikost virtuálního počítače, kterou jste vybrali pro migraci.
Změna velikosti aktuálního virtuálního počítače
Velikost virtuálního počítače můžete změnit.
Další kroky
Úplný seznam velikostí virtuálních počítačů s podporou GPU najdete v tématu Přehled akcelerovaných výpočetních prostředků GPU.
Váš názor
https://aka.ms/ContentUserFeedback.
Připravujeme: V průběhu roku 2024 budeme postupně vyřazovat problémy z GitHub coby mechanismus zpětné vazby pro obsah a nahrazovat ho novým systémem zpětné vazby. Další informace naleznete v tématu:Odeslat a zobrazit názory pro