Bagikan melalui

Seri ND H100 v5

  • Artikel

Berlaku untuk: ✔️ VM Linux ✔️Set skala fleksibel ✔️ Set skala seragam

Mesin virtual (VM) seri ND H100 v5 adalah tambahan unggulan baru untuk keluarga GPU Azure. Ini dirancang untuk pelatihan Pembelajaran Mendalam kelas atas dan meningkatkan skala dan menskalakan beban kerja Generative AI dan HPC yang digabungkan dengan erat.

Seri ND H100 v5 dimulai dengan satu VM dan delapan GPU NVIDIA H100 Tensor Core. Penyebaran berbasis ND H100 v5 dapat menskalakan hingga ribuan GPU dengan bandwidth interkoneksi 3,2 Tb/dtk per VM. Setiap GPU dalam VM disediakan dengan koneksi Khusus, topologi-agnostik 400 Gb/dtk NVIDIA Quantum-2 CX7 InfiniBand. Koneksi ini secara otomatis dikonfigurasi antara VM yang menempati set skala mesin virtual yang sama, dan mendukung GPUDirect RDMA.

Setiap GPU memiliki konektivitas NVLINK 4.0 untuk komunikasi dalam VM, dan instans didukung oleh inti prosesor Intel Xeon Scalable Generasi ke-4 fisik 96.

Instans ini memberikan performa yang sangat baik untuk banyak alat AI, ML, dan analitik yang mendukung akselerasi GPU 'out-of-the-box,' seperti TensorFlow, Pytorch, Caffe, RAPIDS, dan kerangka kerja lainnya. Selain itu, interkoneksi InfiniBand peluasan skala didukung oleh sekumpulan besar alat AI dan HPC yang ada yang dibangun di atas pustaka komunikasi NCCL NVIDIA untuk pengklusteran GPU yang mulus.

Penyimpanan Premium: Didukung
Penembolokan Penyimpanan Premium: Didukung
Disk ultra: Didukung Pelajari selengkapnya tentang ketersediaan, penggunaan, dan performa
Migrasi Langsung: Tidak Didukung
Pembaruan yang Menyimpan Memori: Tidak Didukung
Dukungan Generasi VM: Generasi 2
Jaringan Terakselerasi: Didukung
Disk OS Ephemeral: Didukung
Infiniband: Didukung, GPUDirect RDMA, 8x400 Gigabit NDR
NVIDIA NVLink Interkoneksi: Didukung
Virtualisasi Berlapis: Tidak Didukung

Penting

Untuk mulai menggunakan VM ND H100 v5, lihat Konfigurasi dan Pengoptimalan Beban Kerja HPC untuk langkah-langkah termasuk konfigurasi driver dan jaringan. Karena peningkatan jejak I/O memori GPU, ND H100 v5 memerlukan penggunaan VM Generasi 2 dan gambar marketplace.

Azure mendukung Ubuntu 20.04/22.04, RHEL 7.9/8.7/9.3, AlmaLinux 8.8/9.2, dan SLES 15 untuk VM ND H100 v5. Di marketplace Azure, ada penawaran gambar VM Linux yang dioptimalkan dan telah dikonfigurasi sebelumnya untuk beban kerja HPC/AI dengan berbagai alat dan pustaka HPC yang diinstal, dan dengan demikian sangat disarankan. Saat ini, gambar VM Ubuntu-HPC 20.04/22.04 dan AlmaLinux-HPC 8.6/8.7 didukung.

Contoh

Ukuran vCPU Memori: GiB Penyimpanan sementara (SSD) GiB GPU GiB Memori GPU Disk data maksimal Throughput disk maksimal yang tidak di-cache: IOPS/MBps Bandwidth jaringan maks NIC Maksimum
Standard_ND96isr_H100_v5 96 1900 28000 8 GPU H100 80 GB (NVLink) 80 32 40800/612 80.000 Mbps 8

Definisi tabel ukuran

  • Kapasitas penyimpanan ditampilkan dalam unit GiB atau 1024^3 byte. Saat membandingkan disk yang diukur dalam GB (1000^3 byte) dengan disk yang diukur dalam GiB (1024^3), ingat bahwa jumlah kapasitas yang diberikan dalam GiB mungkin tampak lebih kecil. Misalnya, 1023 GiB = 1098,4 GB.

  • Throughput disk diukur dalam operasi input/output per detik (IOPS) dan MBps di mana MBps = 10^6 byte/detik.

  • Disk data dapat beroperasi dalam mode cache atau tidak di-cache. Untuk operasi disk data cache, mode cache host diatur ke ReadOnly atau ReadWrite. Untuk operasi disk data yang tidak di-cache, mode cache host diatur ke None.

  • Untuk mempelajari cara mendapatkan performa penyimpanan terbaik untuk VM Anda, lihat Komputer virtual dan performa disk.

  • Bandwidth jaringan yang diharapkan adalah bandwidth agregat maksimum yang dialokasikan per jenis VM di semua NIC, untuk semua tujuan. Untuk informasi selengkapnya, lihat Bandwidth jaringan komputer virtual.

    Batas atas tidak dijamin. Batas menawarkan panduan untuk memilih jenis VM yang tepat untuk aplikasi yang dimaksud. Performa jaringan aktual akan tergantung pada beberapa faktor termasuk kemacetan jaringan, beban aplikasi, dan pengaturan jaringan. Untuk mengetahui informasi tentang mengoptimalkan throughput jaringan, lihat Mengoptimalkan throughput jaringan untuk komputer virtual Azure. Untuk mencapai performa jaringan yang diharapkan di Linux atau Windows, Anda mungkin perlu memilih versi tertentu atau mengoptimalkan VM Anda. Untuk mengetahui informasi selengkapnya, lihat Pengujian Bandwidth/Throughput (NTTTCP).

Ukuran serta informasi lainnya

Informasi lebih lanjut tentang Jenis Disk: Jenis Disk