Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Karena GPU yang lebih kuat tersedia di marketplace dan di pusat data Microsoft Azure, sebaiknya nilai ulang performa beban kerja Anda dan pertimbangkan untuk bermigrasi ke GPU yang lebih baru.
Untuk alasan yang sama, serta untuk mempertahankan penawaran layanan berkualitas tinggi dan andal, Azure secara berkala menghentikan perangkat keras yang mendukung ukuran VM yang lebih lama. Grup produk GPU pertama yang akan dihentikan di Azure adalah VM seri NC, NC v2, dan ND asli, yang didukung oleh Akselerator GPU pusat data NVIDIA Tesla K80, P100, dan P40. Produk-produk ini akan dihentikan pada 31 Agustus 2023, dan VM tertua dalam seri ini diluncurkan pada 2016.
Sejak itu, GPU telah membuat langkah luar biasa bersama seluruh pembelajaran mendalam dan industri HPC, biasanya melebihi dua kali lipat performa antar generasi. Sejak peluncuran GPU NVIDIA K80, P40, dan P100, Azure telah mengirimkan beberapa generasi dan kategori produk VM yang lebih baru yang diarahkan pada komputasi dan AI yang dipercepat GPU, berdasarkan GPU T4, V100, dan A100 NVIDIA, dan dibedakan oleh fitur opsional seperti kain interkoneksi berbasis InfiniBand. Ini semua adalah opsi yang kami dorong pelanggan untuk dijelajahi sebagai jalur migrasi.
Dalam kebanyakan kasus, peningkatan dramatis dalam performa yang ditawarkan oleh generasi GPU yang lebih baru menurunkan TCO secara keseluruhan dengan mengurangi durasi pekerjaan, untuk pekerjaan yang dapat meledak- atau mengurangi kuantitas VM berkemampuan GPU secara keseluruhan yang diperlukan untuk mencakup permintaan ukuran tetap untuk sumber daya komputasi, meskipun biaya per jam GPU dapat bervariasi. Selain manfaat ini, pelanggan dapat meningkatkan Time-to-Solution melalui VM berkinerja lebih tinggi, dan meningkatkan kesehatan dan dukungan solusi mereka dengan mengadopsi perangkat lunak yang lebih baru, runtime CUDA, dan versi driver.
Migrasi vs. Pengoptimalan
Azure mengakui bahwa pelanggan memiliki banyak persyaratan yang dapat menentukan pemilihan produk VM GPU tertentu, termasuk pertimbangan arsitektur GPU, interkoneksi, TCO, Time to Solution, dan ketersediaan regional berdasarkan lokalitas kepatuhan atau persyaratan latensi- dan beberapa di antaranya bahkan berubah dari waktu ke waktu.
Pada saat yang sama, akselerasi GPU adalah area baru dan berkembang dengan cepat.
Dengan demikian, tidak ada panduan pas satu ukuran yang benar untuk area produk ini, dan migrasi adalah waktu yang tepat untuk mengevaluasi kembali perubahan yang berpotensi dramatis pada beban kerja - seperti berpindah dari model penyebaran berkluster ke satu VM 8-GPU besar atau sebaliknya, memanfaatkan tipe data presisi yang berkurang, mengadopsi fitur seperti GPU Multi-Instans, dan banyak lagi.
Pertimbangan semacam ini- ketika membuat konteks performa GPU yang sudah dramatis per generasi meningkat, di mana fitur seperti penambahan TensorCores dapat meningkatkan performa dengan urutan besaran, sangat spesifik untuk beban kerja.
Menggabungkan migrasi dengan arsitektur ulang aplikasi dapat menghasilkan nilai dan peningkatan biaya dan waktu ke solusi yang besar.
Namun, peningkatan semacam ini berada di luar cakupan dokumen ini, yang bertujuan untuk fokus pada kelas kesetaraan langsung untuk beban kerja umum yang mungkin dijalankan oleh pelanggan saat ini, untuk mengidentifikasi opsi VM yang paling mirip dalam harga dan performa per GPU kepada keluarga VM yang ada yang mengalami penghentian.
Dengan demikian, dokumen ini mengasumsikan bahwa pengguna mungkin tidak memiliki wawasan atau kontrol atas properti khusus beban kerja seperti jumlah instans VM yang diperlukan, GPU, interkoneksi, dan banyak lagi.
Jalur Peningkatan yang Direkomendasikan
VM NC-Series yang dilengkapi dengan GPU NVIDIA K80
VM Seri NC (v1) adalah jenis VM komputasi terlama Azure yang dipercepat GPU, didukung oleh 1 hingga 4 akselerator GPU pusat data NVIDIA Tesla K80 yang dipasangkan dengan prosesor Intel Xeon E5-2690 v3 (Haswell). Setelah jenis VM unggulan untuk penggunaan aplikasi AI, ML, dan HPC yang menuntut, mereka tetap menjadi pilihan populer hingga akhir siklus hidup produk (terutama melalui harga promosi seri NC) bagi pengguna yang menghargai memiliki biaya keseluruhan yang sangat rendah per jam GPU meskipun ada GPU dengan efisiensi throughput harga yang lebih tinggi.
Saat ini, mengingat performa komputasi yang relatif rendah dari platform GPU NVIDIA K80 yang menua, dibandingkan dengan seri VM yang menampilkan GPU yang lebih baru, kasus penggunaan populer untuk seri NC adalah inferensi real time dan beban kerja analitik, di mana VM yang dipercepat harus tersedia dalam keadaan stabil untuk melayani permintaan dari aplikasi saat mereka tiba. Dalam kasus ini volume atau ukuran batch permintaan mungkin tidak mencukupi untuk mendapatkan manfaat dari GPU yang lebih berkinerja. VM NC juga populer bagi pengembang dan siswa yang belajar tentang, mengembangkan, atau bereksperimen dengan akselerasi GPU, yang membutuhkan target penyebaran CUDA berbasis cloud yang murah untuk menguji coba tanpa perlu mencapai tingkat performa produksi.
Secara umum, pelanggan NC-Series harus mempertimbangkan untuk berpindah langsung dari ukuran NC ke ukuran NC T4 v3 , platform baru yang dipercepat GPU Azure untuk beban kerja ringan yang didukung oleh GPU NVIDIA Tesla T4.
| Ukuran VM Saat Ini | Ukuran Mesin Virtual Sasaran | Perbedaan dalam Spesifikasi |
|---|---|---|
| Standard_NC6 Standard_NC6_Promo |
Standard_NC4as_T4_v3 atau Standard_NC8as_T4 |
CPU: Intel Haswell vs AMD Roma Jumlah GPU: 1 (sama) Generasi GPU: NVIDIA Keppler vs. Turing (+2 generasi, ~2x FP32 FLOP) Memori GPU (GiB per GPU): 16 (+4) vCPU: 4 (-2) atau 8 (+2) Memori GiB: 16 (-40) atau 56 (sama) Penyimpanan Sementara (SSD) GiB: 180 (-160) atau 360 (+20) Disk data maks: 8 (-4) atau 16 (+4) Jaringan Terakselerasi: Ya (+) Penyimpanan Premium: Ya (+) |
| Standar_NC12 Standard_NC12_Promo |
Standard_NC16as_T4_v3 | CPU: Intel Haswell vs AMD Roma Jumlah GPU: 1 (-1) Generasi GPU: NVIDIA Keppler vs. Turing (+2 generasi, ~2x FP32 FLOP) Memori GPU (GiB per GPU): 16 (+4) vCPU: 16 (+4) Memori GiB: 110 (-2) Penyimpanan Sementara (SSD) GiB: 360 (-320) Jumlah maksimal disk data: 48 (+16) Jaringan Terakselerasi: Ya (+) Penyimpanan Premium: Ya (+) |
| Standard_NC24 Standard_NC24_Promo |
Standard_NC64as_T4_v3* | CPU: Intel Haswell vs AMD Roma Jumlah GPU: 4 (sama) Generasi GPU: NVIDIA Keppler vs. Turing (+2 generasi, ~2x FP32 FLOP) Memori GPU (GiB per GPU): 16 (+4) vCPU: 64 (+40) Memori GiB: 440 (+216) Penyimpanan Sementara (SSD) GiB: 2880 (+1440) Disk data maks: 32 (-32) Jaringan Terakselerasi: Ya (+) Penyimpanan Premium: Ya (+) |
| Standard_NC24r Standard_NC24r_Promo |
Standard_NC64as_T4_v3* | CPU: Intel Haswell vs AMD Roma Jumlah GPU: 4 (sama) Generasi GPU: NVIDIA Keppler vs. Turing (+2 generasi, ~2x FP32 FLOP) Memori GPU (GiB per GPU): 16 (+4) vCPU: 64 (+40) Memori GiB: 440 (+216) Penyimpanan Sementara (SSD) GiB: 2880 (+1440) Disk data maks: 32 (-32) Jaringan Terakselerasi: Ya (+) Penyimpanan Premium: Ya (+) Interkoneksi InfiniBand: Tidak |
VM Seri NC v2 yang menampilkan GPU NVIDIA Tesla P100
Komputer virtual seri NC v2 adalah platform unggulan yang awalnya dirancang untuk beban kerja AI dan Deep Learning. Mereka menawarkan performa yang sangat baik untuk pelatihan Pembelajaran Mendalam, dengan performa per GPU sekitar 2x dari NC-Series asli dan didukung oleh GPU NVIDIA Tesla P100 dan CPU Intel Xeon E5-2690 v4 (Broadwell). Seperti NC dan ND -Series, Seri NC v2 menawarkan konfigurasi dengan latensi rendah sekunder, jaringan throughput tinggi melalui RDMA, dan konektivitas InfiniBand sehingga Anda dapat menjalankan pekerjaan pelatihan skala besar yang mencakup banyak GPU.
Secara umum, pelanggan NCv2-Series harus mempertimbangkan untuk berpindah langsung ke ukuran NC A100 v4, platform baru Azure yang dipercepat oleh GPU NVIDIA Ampere A100 PCIe.
| Ukuran VM Saat Ini | Ukuran Mesin Virtual Sasaran | Perbedaan dalam Spesifikasi |
|---|---|---|
| Standar_NC6s_v2 | Standard_NC24ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Jumlah GPU: 1 (sama) Generasi GPU: NVIDIA Pascal vs. Ampere (generasi+2) Memori GPU (GiB per GPU): 80 (+64) vCPU: 24 (+18) Memori GiB: 220 (+108) Penyimpanan Sementara (SSD) GiB: 1123 (+387) Jumlah disk data maksimum: 12 (sama) Jaringan Terakselerasi: Ya (+) Penyimpanan Premium: Ya (+) |
| Standard_NC12s_v2 | Standard_NC48ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Jumlah GPU: 2 (sama) Generasi GPU: NVIDIA Pascal vs. Ampere (+2 generasi) Memori GPU (GiB per GPU): 80 (+64) vCPU: 48 (+36) Memori GiB: 440 (+216) Penyimpanan Sementara (SSD) GiB: 2246 (+772) Disk data maksimal: 24 (sama) Jaringan Terakselerasi: Ya (+) Penyimpanan Premium: Ya (+) |
| Standar_NC24s_v2 | Standard_NC96ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Jumlah GPU: 4 (sama) Generasi GPU: NVIDIA Pascal vs. Ampere (+2 generasi) Memori GPU (GiB per GPU): 80 (+64) vCPU: 96 (+72) Memori GiB: 880 (+432) Penyimpanan Sementara (SSD) GiB: 4492 (+1544) Disk data maks: 32 (sama) Jaringan Terakselerasi: Ya (+) Penyimpanan Premium: Ya (+) |
| Standard_NC24rs_v2 | Standard_NC96ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Jumlah GPU: 4 (Sama) Generasi GPU: NVIDIA Pascal vs. Ampere (+2 generasi) Memori GPU (GiB per GPU): 80 (+64) vCPU: 96 (+72) Memori GiB: 880 (+432) Penyimpanan Sementara (SSD) GiB: 4492 (+1544) Disk data maksimum: 32 (tetap sama) Jaringan Terakselerasi: Ya (+) Penyimpanan Premium: Ya (+) Interkoneksi InfiniBand: Tidak (-) |
ND-Series mesin virtual (VM) yang dilengkapi dengan GPU NVIDIA Tesla P40
Komputer virtual seri ND adalah platform midrange yang awalnya dirancang untuk beban kerja AI dan Deep Learning. Mereka menawarkan performa yang sangat baik untuk inferensi batch melalui peningkatan operasi titik mengambang presisi tunggal dibandingkan dengan pendahulunya dan didukung oleh GPU NVIDIA Tesla P40 serta CPU Intel Xeon E5-2690 v4 (Broadwell). Seperti Seri NC dan NC v2, ND-Series menawarkan konfigurasi dengan jaringan latensi rendah sekunder, throughput tinggi melalui RDMA, dan konektivitas InfiniBand sehingga Anda dapat menjalankan pekerjaan pelatihan skala besar yang mencakup banyak GPU.
| Ukuran VM Saat Ini | Ukuran Mesin Virtual Sasaran | Perbedaan dalam Spesifikasi |
|---|---|---|
| Standard_ND6 | Standard_NC4as_T4_v3 atau Standard_NC8as_T4_v3 |
CPU: Intel Broadwell vs AMD Roma Jumlah GPU: 1 (sama) Generasi GPU: NVIDIA Pascal vs. Turing (+1 generasi) Memori GPU (GiB per GPU): 16 (-8) vCPU: 4 (-2) atau 8 (+2) Memori GiB: 16 (-40) atau 56 (-56) Penyimpanan Sementara (SSD) GiB: 180 (-552) atau 360 (-372) Disk data maks: 8 (-4) atau 16 (+4) Jaringan Terakselerasi: Ya (+) Penyimpanan Premium: Ya (+) |
| Standard_ND12 | Standard_NC16as_T4_v3 | CPU: Intel Broadwell vs AMD Roma Jumlah GPU: 1 (-1) Generasi GPU: NVIDIA Pascal vs. Turing (+1 generasi) Memori GPU (GiB per GPU): 16 (-8) vCPU: 16 (+4) Memori GiB: 110 (-114) Penyimpanan Sementara (SSD) GiB: 360 (-1.114) Disk data maksimum: 48 (+16) Jaringan Terakselerasi: Ya (+) Penyimpanan Premium: Ya (+) |
| Standard_ND24 | Standard_NC64as_T4_v3* | CPU: Intel Broadwell vs AMD Roma Jumlah GPU: 4 (sama) Generasi GPU: NVIDIA Pascal vs. Turing (+1 generasi) Memori GPU (GiB per GPU): 16 (-8) vCPU: 64 (+40) Memori GiB: 440 (sama) Penyimpanan Sementara (SSD) GiB: 2880 (sama) Jumlah disk data maksimum: 32 (sama) Jaringan Terakselerasi: Ya (+) Penyimpanan Premium: Ya (+) |
| Standard_ND24r | Standard_ND96amsr_A100_v4 | CPU: Intel Broadwell vs AMD Roma Jumlah GPU: 8 (+4) Generasi GPU: NVIDIA Pascal vs. Ampere (generasi+2) Memori GPU (GiB per GPU): 80 (+56) vCPU: 96 (+72) Memori GiB: 1900 (+1452) Penyimpanan Sementara (SSD) GiB: 6400 (+3452) Maksimum disk data: 32 (tetap sama) Jaringan Terakselerasi: Ya (+) Penyimpanan Premium: Ya (+) Interkoneksi InfiniBand: Ya (Sama) |
Langkah migrasi
Perubahan Umum
Pilih seri dan ukuran untuk migrasi. Manfaatkan kalkulator harga untuk wawasan lebih lanjut.
Dapatkan kuota untuk seri VM target
Ubah ukuran VM seri N* saat ini ke ukuran target. Ini mungkin juga waktu yang tepat untuk memperbarui sistem operasi yang digunakan oleh citra Mesin Virtual Anda, atau menggunakan salah satu citra HPC dengan driver yang telah diinstal sebelumnya sebagai titik awal Anda.
Penting
Gambar VM Anda mungkin telah diproduksi dengan versi runtime CUDA yang lebih lama, driver NVIDIA, serta (jika berlaku, hanya untuk ukuran yang didukung RDMA) driver-driver Mellanox OFED daripada yang diperlukan seri VM GPU baru Anda, yang dapat diperbarui dengan mengikuti instruksi dalam dokumentasi Azure.
Memecahkan Perubahan
Pilih ukuran sasaran untuk migrasi
Setelah menilai penggunaan Anda saat ini, putuskan jenis VM GPU apa yang Anda butuhkan. Bergantung pada persyaratan beban kerja, Anda memiliki beberapa pilihan yang berbeda.
Nota
Praktik terbaik adalah memilih ukuran VM berdasarkan biaya dan performa. Rekomendasi dalam panduan ini didasarkan pada perbandingan satu-ke-satu metrik performa secara umum dan kecocokan terdekat dalam seri VM lainnya. Sebelum memutuskan ukuran yang tepat, dapatkan perbandingan biaya menggunakan Kalkulator Harga Azure.
Penting
Semua ukuran NC lama, NC v2, dan ND-Series tersedia dalam ukuran multi-GPU, termasuk ukuran 4-GPU dengan dan tanpa interkoneksi InfiniBand untuk ekspansi skala, beban kerja yang saling terhubung erat yang membutuhkan daya komputasi lebih dari satu VM 4-GPU, atau masing-masing GPU K80, P40, atau P100 dapat menyediakan. Meskipun rekomendasi di atas menawarkan jalur langsung ke depan, pengguna ukuran ini harus mempertimbangkan untuk mencapai tujuan performa mereka dengan seri VM berbasis GPU NVIDIA V100 yang lebih kuat seperti Seri NC v3 dan seri ND v2, yang biasanya memungkinkan tingkat performa beban kerja yang sama dengan biaya yang lebih rendah dan dengan peningkatan pengelolaan dengan memberikan performa yang jauh lebih besar per GPU dan per VM sebelum konfigurasi multi-GPU dan multi-node diperlukan, masing-masing.
Dapatkan kuota untuk keluarga VM yang ditargetkan
Ikuti panduan untuk meminta peningkatan kuota vCPU oleh keluarga VM. Pilih ukuran VM target yang telah Anda pilih untuk migrasi.
Mengubah ukuran komputer virtual saat ini
Anda dapat mengubah ukuran komputer virtual.
Langkah selanjutnya
Untuk daftar lengkap ukuran komputer virtual yang diaktifkan GPU, lihat GPU - gambaran umum komputasi yang dipercepat