Den virtuella datorn i ND H100 v5-serien (VM) är ett nytt flaggskeppstillägg till Azure GPU-familjen. Den här serien är utformad för avancerad djupinlärningsträning och nära kopplade arbetsbelastningar för generativ AI och HPC.
ND H100 v5-serien börjar med en enda virtuell dator och åtta NVIDIA H100 Tensor Core GPU:er. ND H100 v5-baserade distributioner kan skala upp till tusentals GPU:er med 3,2 TB bandbredd per virtuell dator. Varje GPU på den virtuella datorn tillhandahålls med en egen dedikerad, topologi-agnostisk 400 Gb/s NVIDIA Quantum-2 CX7 InfiniBand-anslutning. Dessa anslutningar konfigureras automatiskt mellan virtuella datorer som upptar samma VM-skalningsuppsättning och stöder GPU Direct RDMA.
Varje GPU har NVLINK 4.0-anslutning för kommunikation inom den virtuella datorn, och instansen har 96 fysiska fjärde Gen Intel Xeon-skalbara processorskärnor.
Dessa instanser ger utmärkta prestanda för många AI-, ML- och analysverktyg som stöder GPU-acceleration "out-of-the-box", till exempel TensorFlow, Pytorch, Caffe, RAPIDS och andra ramverk. Dessutom stöder den utskalningsbaserade InfiniBand-anslutningen en stor uppsättning befintliga AI- och HPC-verktyg som bygger på NVIDIA:s NCCL-kommunikationsbibliotek för sömlös klustring av GPU:er.
1Temp disk speed differss oftens between RR (Random Read) och RW (Random Write) operations. RR-åtgärder är vanligtvis snabbare än RW-åtgärder. RW-hastigheten är vanligtvis långsammare än RR-hastigheten i serien där endast RR-hastighetsvärdet anges.
Lagringskapaciteten visas i GiB, eller 1 024^3 byte. När du jämför diskar som mäts i GB (1 000^3 byte) med diskar som mäts i GiB (1024^3) kommer du ihåg att kapacitetsnumren som anges i GiB kan verka mindre. Till exempel 1023 GiB = 1098,4 GB.
Diskgenomflödet mäts i indata-/utdataåtgärder per sekund (IOPS) och Mbit/s där Mbit/s = 10^6 byte/sek.
Lagringskapaciteten visas i GiB, eller 1 024^3 byte. När du jämför diskar som mäts i GB (1 000^3 byte) med diskar som mäts i GiB (1024^3) kommer du ihåg att kapacitetsnumren som anges i GiB kan verka mindre. Till exempel 1023 GiB = 1098,4 GB.
Diskgenomflödet mäts i indata-/utdataåtgärder per sekund (IOPS) och Mbit/s där Mbit/s = 10^6 byte/sek.
Datadiskar kan köras i cachelagrat eller icke cachelagrat läge. För diskåtgärder med cachelagrade data anges cacheläget till ReadOnly eller ReadWrite. För diskåtgärder med icke cachelagrade data anges cacheläget till Inget.
Förväntad nätverksbandbredd är den maximala aggregerade bandbredden som allokeras per VM-typ för alla nätverkskort för alla mål. Mer information finns i Nätverksbandbredd för virtuella datorer
Övre gränser garanteras inte. Begränsningar ger vägledning för att välja rätt typ av virtuell dator för det avsedda programmet. Den faktiska nätverksprestandan beror på flera faktorer som nätverksbelastning, programbelastning och nätverksinställningar. Information om hur du optimerar nätverkets dataflöde finns i Optimera nätverkets dataflöde för virtuella Azure-datorer.
För att uppnå den förväntade nätverksprestandan i Linux eller Windows kan du behöva välja en viss version eller optimera den virtuella datorn. Mer information finns i Bandbredds-/dataflödestestning (NTTTCP).
Acceleratorinformation (GPU:er, FPGA:er osv.) för varje storlek