Seri ukuran ND GB200-v6

Komputer virtual (VM) seri ND-GB200-v6 adalah tambahan unggulan untuk keluarga GPU Azure, memberikan performa yang tidak cocok untuk pelatihan Pembelajaran Mendalam, AI Generatif, dan beban kerja HPC. VM ini memanfaatkan GPU NVIDIA GB200 Tensor Core, yang dibangun di atas arsitektur Blackwell, yang menawarkan kemajuan signifikan dalam daya komputasi, bandwidth memori, dan skalabilitas pada generasi sebelumnya. Setiap VM ND-GB200-v6 didukung oleh dua CPU NVIDIA Grace dan empat GPU NVIDIA Blackwell. GPU saling terhubung melalui NVLink generasi kelima, menyediakan total bandwidth NVLink 4× 1,8 TB/s per VM. Interkoneksi peningkatan skala yang kuat ini memungkinkan komunikasi yang mulus dan berkecepatan tinggi antara GPU dalam VM. Selain itu, VM memberikan jaringan backend peluasan skala dengan 4 koneksi InfiniBand NVIDIA Quantum-2 CX7 masing-masing berkecepatan 400 GB/dtk per VM, memastikan throughput tinggi dan komunikasi dengan latensi rendah saat menghubungkan beberapa VM. NVIDIA GB200 NVL72 menghubungkan hingga 72 GPU per rak, memungkinkan sistem beroperasi sebagai satu komputer. Sistem skala rak dengan 72 GPU ini terdiri dari kelompok 18 VM ND GB200 v6 yang memberikan hingga 1,4 Exa-FLOPS throughput FP4 Tensor Core, memori bandwidth tinggi bersama sebesar 13,5 TB, bandwidth NVLINK distribusi sebesar 130 TB/dtk, dan jaringan peluasan berskala dengan kecepatan 28,8 Tb/dtk.

Dengan 128 vCPU per VM yang mendukung sistem keseluruhan, arsitektur dioptimalkan untuk mendistribusikan beban kerja dan tuntutan memori secara efisien untuk AI dan aplikasi ilmiah. Desain ini memungkinkan penskalaan multi-GPU yang mulus dan penanganan model skala besar yang kuat. Instans ini memberikan performa terbaik di kelasnya untuk beban kerja AI, ML, dan analitik dengan dukungan siap pakai untuk kerangka kerja seperti TensorFlow, PyTorch, JAX, RAPIDS, dan banyak lagi. Interkoneksi InfiniBand peluasan skala dioptimalkan untuk alat AI dan HPC yang ada yang dibangun di pustaka komunikasi NCCL NVIDIA, memastikan komputasi terdistribusi yang efisien di seluruh kluster besar.

Spesifikasi host

Bagian	Jumlah Unit Penghitungan	Spesifikasi ID SKU, Satuan Performa, dll.
Prosesor	128 vCPU	Nvidia Grace CPU
Ingatan	VM 900GB	LPDDR
Penyimpanan Lokal	4 Disk	16TB NVME Direct
Penyimpanan Jarak Jauh	16 Disket	80000 IOPS/1200 MBps
Jaringan	1 NIC	Ethernet 160Gbps
Akselerator	4 GPU	GPU Nvidia Blackwell (192GB)

Dukungan fitur

Penyimpanan Premium: Tersedia
Penyimpanan Cache Premium: Didukung
Migrasi Langsung: Tidak Didukung
Pembaruan Yang Mempertahankan Memori: Tidak Didukung
VM Generasi 2: Didukung
VM Generasi 1: Tidak Didukung
Jaringan Terkelola: Didukung
Disk OS Sementara: Didukung
Virtualisasi Berlapis: Tidak Didukung

Ukuran dalam seri

Prinsip Dasar

Jumlah vCPU dan Memori untuk setiap ukuran

Nama Ukuran	vCPUs (Jml.)	Memori Penyimpanan (GB)
Standard_ND128isr_NDR_GB200_v6	128	900

Sumber daya Dasar VM

• Periksa kuota vCPU

Penyimpanan lokal

Info penyimpanan lokal (sementara) untuk setiap ukuran

Nama Ukuran	Disk Penyimpanan Sementara Maks (Qty.)	Ukuran Disk Sementara (TB)
Standard_ND128isr_NDR_GB200_v6	4	16

Sumber daya penyimpanan

• Pendahuluan tentang Disk Terkelola Azure
• Tipe disk yang dikelola Azure
• Bagikan disk Azure yang dikelola

Definisi tabel

• Kecepatan disk sementara sering berbeda antara operasi RR (Pembacaan Acak) dan RW (Tulis Acak). Operasi RR biasanya lebih cepat daripada operasi RW. Kecepatan RW biasanya lebih lambat daripada kecepatan RR pada seri di mana hanya nilai kecepatan RR yang tercantum.
• Kapasitas penyimpanan ditampilkan dalam unit GiB atau 1024^3 byte. Saat membandingkan disk yang diukur dalam GB (1000^3 byte) dengan disk yang diukur dalam GiB (1024^3), ingat bahwa jumlah kapasitas yang diberikan dalam GiB mungkin tampak lebih kecil. Misalnya, 1023 GiB = 1098,4 GB.
• Throughput disk diukur dalam operasi input/output per detik (IOPS) dan MBps, di mana MBps sama dengan 10^6 byte per detik.
• Untuk mempelajari cara mendapatkan performa penyimpanan terbaik untuk VM Anda, lihat Komputer virtual dan performa disk.

Penyimpanan jarak jauh

Info penyimpanan jarak jauh (tidak di-cache) untuk setiap ukuran

Nama Ukuran	Jumlah Disk Penyimpanan Jarak Jauh Maksimal	IOPS Disk Tanpa Cache	Kecepatan Disk Tidak Di-cache (MBps)
Standard_ND128isr_NDR_GB200_v6	316	80000	1200

Sumber daya penyimpanan

• Pendahuluan tentang Disk Terkelola Azure
• Tipe disk yang dikelola Azure
• Bagikan disk Azure yang dikelola

Definisi tabel

• Beberapa ukuran mendukung bursting untuk meningkatkan performa disk untuk sementara waktu. Kecepatan ledakan dapat dipertahankan hingga 30 menit pada satu waktu.
• Penyimpanan Khusus mengacu pada penyimpanan Ultra Disk atau Premium SSD v2 .
• Kapasitas penyimpanan ditampilkan dalam unit GiB atau 1024^3 byte. Saat membandingkan disk yang diukur dalam GB (1000^3 byte) dengan disk yang diukur dalam GiB (1024^3), ingat bahwa jumlah kapasitas yang diberikan dalam GiB mungkin tampak lebih kecil. Misalnya, 1023 GiB = 1098,4 GB.
• Throughput disk diukur dalam operasi input/output per detik (IOPS) dan MBps, di mana MBps sama dengan 10^6 byte per detik.
• Disk data dapat beroperasi dalam mode cache atau tidak di-cache. Untuk operasi disk data cache, mode cache host diatur ke ReadOnly atau ReadWrite. Untuk operasi disk data yang tidak di-cache, mode cache host diatur ke None.
• Untuk mempelajari cara mendapatkan performa penyimpanan terbaik untuk VM Anda, lihat Komputer virtual dan performa disk.

Jaringan

Info antarmuka jaringan untuk setiap ukuran

Nama Ukuran	Maksimum NIC Front-end (Jumlah)	Lebar Pita Maksimal Front-end (Mbps)	NICS Peningkatan Skala Maks (Qty.)	Maks Bandwidth Scale-Up (Gbps)1	NICS Penskalaan Maksimum (Jumlah)	Bandwidth Maksimum Scale-Out (TBps)2
Standard_ND128isr_NDR_GB200_v6	1	160	4	400	4	1.8

Sumber daya jaringan

• Jaringan virtual dan komputer virtual di Azure
• Bandwidth jaringan komputer virtual

Definisi tabel

• ¹ Bandwidth per NIC dapat mencapai hingga 100.000 GPU melalui InfiniBand
• ² Bandwidth mencapai 72 GPU per domain melalui NVLINK
• Bandwidth jaringan yang diharapkan adalah bandwidth agregat maksimum yang dialokasikan per jenis VM di semua NIC, untuk semua tujuan. Untuk informasi selengkapnya, lihat Bandwidth jaringan komputer virtual
• Batas atas tidak dijamin. Batas menawarkan panduan untuk memilih jenis VM yang tepat untuk aplikasi yang dimaksud. Performa jaringan aktual akan tergantung pada beberapa faktor termasuk kemacetan jaringan, beban aplikasi, dan pengaturan jaringan. Untuk mengetahui informasi tentang mengoptimalkan throughput jaringan, lihat Mengoptimalkan throughput jaringan untuk komputer virtual Azure.
• Untuk mencapai performa jaringan yang diharapkan di Linux atau Windows, Anda mungkin perlu memilih versi tertentu atau mengoptimalkan VM Anda. Untuk mengetahui informasi selengkapnya, lihat Pengujian Bandwidth/Throughput (NTTTCP).

Akselerator

Informasi Akselerator (GPU, FPGA, dll.) untuk setiap ukuran

Nama Ukuran	Akselerator (Qty.)	Accelerator-Memory (GB)
Standard_ND128isr_NDR_GB200_v6	4	192

Informasi ukuran lainnya

Daftar semua ukuran yang tersedia: Ukuran

Kalkulator Harga: Kalkulator Harga

Informasi tentang Jenis Disk: Jenis Disk

Langkah selanjutnya

Manfaatkan kinerja dan fitur terbaru yang tersedia untuk beban kerja Anda dengan mengubah ukuran mesin virtual.

Gunakan prosesor ARM yang dirancang secara internal oleh Microsoft dengan VM Azure Cobalt.

Pelajari cara memantau mesin virtual Azure.