Mesin virtual (VM) seri ND MI300X v5 adalah tambahan unggulan baru untuk keluarga GPU Azure. Ini dirancang untuk pelatihan Pembelajaran Mendalam kelas atas dan meningkatkan skala dan menskalakan beban kerja Generative AI dan HPC yang digabungkan dengan erat.
VM seri ND MI300X v5 dimulai dengan delapan GPU AMD Instinct MI300 dan dua prosesor Intel Xeon Scalable Gen keempat untuk total 96 core fisik. Setiap GPU dalam VM kemudian terhubung satu sama lain melalui tautan Infinity Fabric AMD Gen ke-4 dengan bandwidth 128 GB/dtk per GPU dan bandwidth agregat 896 GB/dtk.
Penyebaran berbasis ND MI300X v5 dapat menskalakan hingga ribuan GPU dengan bandwidth interkoneksi 3,2 Tb/dtk per VM. Setiap GPU dalam VM disediakan dengan koneksi Khusus, topologi-agnostik 400 Gb/dtk NVIDIA Quantum-2 CX7 InfiniBand. Koneksi ini secara otomatis dikonfigurasi antara VM yang menempati set skala mesin virtual yang sama, dan mendukung GPUDirect RDMA.
Instans ini memberikan performa yang sangat baik untuk banyak alat AI, ML, dan analitik yang mendukung akselerasi GPU "out-of-the-box," seperti TensorFlow, Pytorch, dan kerangka kerja lainnya. Selain itu, interkoneksi InfiniBand peluasan skala mendukung serangkaian besar alat AI dan HPC yang ada yang dibangun di ROCm Communication Collectives Library (RCCL) AMD untuk pengklusteran GPU yang mulus.
Spesifikasi host
Bagian
Jumlah Unit Hitung
Spesifikasi ID SKU, Unit Performa, dll.
Pemroses
96 vCPU
Intel Xeon (Sapphire Rapids) [x86-64]
Memori
1850 GiB
Penyimpanan Lokal
1 Disk Sementara 8 Disk NVMe
Disk Sementara 1000 GiB 28000 GiB NVMe Disk
Penyimpanan Jarak Jauh
32 Disk
80000 IOPS 1200 MBps
Jaringan
8 NIC
Akselerator
8 GPU
AMD Instinct MI300X GPU (192GB)
Dukungan fitur
Penyimpanan Premium: Didukung Penembolokan Penyimpanan Premium: Didukung Migrasi Langsung: Tidak Didukung Pembaruan Yang Mempertahankan Memori: Tidak Didukung VM Generasi 2: Didukung VM Generasi 1: Tidak Didukung Jaringan Terakselerasi: Didukung Disk OS Ephemeral: Didukung Virtualisasi Berlapis: Tidak Didukung
1Kecepatan disk sementara sering berbeda antara operasi RR (Pembacaan Acak) dan RW (Tulis Acak). Operasi RR biasanya lebih cepat daripada operasi RW. Kecepatan RW biasanya lebih lambat daripada kecepatan RR pada seri di mana hanya nilai kecepatan RR yang tercantum.
Kapasitas penyimpanan ditampilkan dalam unit GiB atau 1024^3 byte. Saat membandingkan disk yang diukur dalam GB (1000^3 byte) dengan disk yang diukur dalam GiB (1024^3), ingat bahwa jumlah kapasitas yang diberikan dalam GiB mungkin tampak lebih kecil. Misalnya, 1023 GiB = 1098,4 GB.
Throughput disk diukur dalam operasi input/output per detik (IOPS) dan MBps di mana MBps = 10^6 byte/detik.
1Beberapa ukuran mendukung bursting untuk meningkatkan performa disk untuk sementara waktu. Kecepatan ledakan dapat dipertahankan hingga 30 menit pada satu waktu.
Kapasitas penyimpanan ditampilkan dalam unit GiB atau 1024^3 byte. Saat membandingkan disk yang diukur dalam GB (1000^3 byte) dengan disk yang diukur dalam GiB (1024^3), ingat bahwa jumlah kapasitas yang diberikan dalam GiB mungkin tampak lebih kecil. Misalnya, 1023 GiB = 1098,4 GB.
Throughput disk diukur dalam operasi input/output per detik (IOPS) dan MBps di mana MBps = 10^6 byte/detik.
Disk data dapat beroperasi dalam mode cache atau tidak di-cache. Untuk operasi disk data cache, mode cache host diatur ke ReadOnly atau ReadWrite. Untuk operasi disk data yang tidak di-cache, mode cache host diatur ke None.
Bandwidth jaringan yang diharapkan adalah bandwidth agregat maksimum yang dialokasikan per jenis VM di semua NIC, untuk semua tujuan. Untuk informasi selengkapnya, lihat Bandwidth jaringan komputer virtual
Batas atas tidak dijamin. Batas menawarkan panduan untuk memilih jenis VM yang tepat untuk aplikasi yang dimaksud. Performa jaringan aktual akan tergantung pada beberapa faktor termasuk kemacetan jaringan, beban aplikasi, dan pengaturan jaringan. Untuk mengetahui informasi tentang mengoptimalkan throughput jaringan, lihat Mengoptimalkan throughput jaringan untuk komputer virtual Azure.
Untuk mencapai performa jaringan yang diharapkan di Linux atau Windows, Anda mungkin perlu memilih versi tertentu atau mengoptimalkan VM Anda. Untuk mengetahui informasi selengkapnya, lihat Pengujian Bandwidth/Throughput (NTTTCP).
Info Akselerator (GPU, FPGA, dll.) untuk setiap ukuran