Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Karena GPU yang lebih kuat tersedia di marketplace dan di pusat data Microsoft Azure, sebaiknya nilai ulang performa beban kerja Anda dan pertimbangkan untuk bermigrasi ke GPU yang lebih baru.
Untuk alasan yang sama, serta untuk mempertahankan penawaran layanan berkualitas tinggi dan andal, Azure secara berkala menghentikan perangkat keras yang mendukung ukuran VM yang lebih lama. Grup produk GPU pertama yang dihentikan di Azure adalah VM seri NC, NC v2, dan ND asli, yang didukung oleh Akselerator GPU pusat data NVIDIA Tesla K80, P100, dan P40 masing-masing. Produk-produk ini akan dihentikan pada 31 Agustus 2023, dan VM tertua dalam seri ini diluncurkan pada 2016.
Sejak itu, GPU telah membuat langkah luar biasa bersama seluruh pembelajaran mendalam dan industri HPC, biasanya melebihi dua kali lipat performa antar generasi. Sejak peluncuran GPU NVIDIA K80, P40, dan P100, Azure telah merilis beberapa generasi dan kategori produk VM yang lebih baru yang didesain untuk komputasi yang dipercepat oleh GPU dan AI, berdasarkan GPU NVIDIA T4, V100, dan A100, dan dibedakan oleh fitur opsional seperti jaringan interkoneksi berbasis InfiniBand. Ini semua adalah opsi yang kami dorong pelanggan untuk dijelajahi sebagai jalur migrasi.
Dalam kebanyakan kasus, peningkatan dramatis dalam performa yang ditawarkan oleh generasi GPU yang lebih baru menurunkan TCO secara keseluruhan dengan mengurangi durasi pekerjaan, untuk pekerjaan yang dapat meledak- atau mengurangi kuantitas VM berkemampuan GPU secara keseluruhan yang diperlukan untuk mencakup permintaan ukuran tetap untuk sumber daya komputasi, meskipun biaya per jam GPU dapat bervariasi. Selain manfaat ini, pelanggan dapat meningkatkan Time-to-Solution melalui VM berkinerja lebih tinggi, dan meningkatkan kesehatan dan dukungan solusi mereka dengan mengadopsi perangkat lunak yang lebih baru, runtime CUDA, dan versi driver.
Migrasi vs. Pengoptimalan
Azure mengakui bahwa pelanggan memiliki banyak persyaratan yang dapat menentukan pemilihan produk VM GPU tertentu, termasuk pertimbangan arsitektur GPU, interkoneksi, TCO, Time to Solution, dan ketersediaan regional berdasarkan lokalitas kepatuhan atau persyaratan latensi- dan beberapa hal ini bahkan berubah dari waktu ke waktu.
Pada saat yang sama, akselerasi GPU adalah area baru dan berkembang dengan cepat.
Dengan demikian, tidak ada panduan pas satu ukuran yang benar untuk area produk ini, dan migrasi adalah waktu yang tepat untuk mengevaluasi kembali perubahan yang berpotensi dramatis pada beban kerja - seperti berpindah dari model penyebaran berkluster ke satu VM 8-GPU besar atau sebaliknya, memanfaatkan tipe data presisi yang berkurang, mengadopsi fitur seperti GPU Multi-Instans, dan banyak lagi.
Pertimbangan semacam ini- ketika membuat konteks performa GPU yang sudah dramatis per generasi meningkat, di mana fitur seperti penambahan TensorCores dapat meningkatkan performa dengan urutan besaran, sangat spesifik untuk beban kerja.
Menggabungkan migrasi dengan arsitektur ulang aplikasi dapat menghasilkan nilai dan peningkatan biaya dan waktu ke solusi yang besar.
Namun, peningkatan semacam ini berada di luar cakupan dokumen ini, yang bertujuan untuk fokus pada kelas kesetaraan langsung untuk beban kerja umum yang mungkin dijalankan oleh pelanggan saat ini, untuk mengidentifikasi opsi VM yang paling mirip dalam harga dan performa per GPU kepada keluarga VM yang ada yang mengalami penghentian.
Dengan demikian, dokumen ini mengasumsikan bahwa pengguna mungkin tidak memiliki wawasan atau kontrol atas properti khusus beban kerja seperti jumlah instans VM yang diperlukan, GPU, interkoneksi, dan banyak lagi.
Jalur Peningkatan yang Direkomendasikan
VM NC-Series yang dilengkapi dengan GPU NVIDIA K80
VM NC (v1)-Series adalah tipe VM komputasi Azure tertua yang dipercepat oleh GPU, didukung oleh 1 hingga 4 akselerator GPU NVIDIA Tesla K80 yang dipasangkan dengan prosesor Intel Xeon E5-2690 v3 (Haswell). Setelah jenis VM unggulan untuk penggunaan aplikasi AI, ML, dan HPC yang menuntut, mereka tetap menjadi pilihan populer hingga akhir siklus hidup produk (terutama melalui harga promosi seri NC) bagi pengguna yang menghargai memiliki biaya keseluruhan yang sangat rendah per jam GPU meskipun ada GPU dengan efisiensi throughput harga yang lebih tinggi.
Saat ini, mengingat performa komputasi yang relatif rendah dari platform GPU NVIDIA K80 yang menua, dibandingkan dengan seri VM yang menampilkan GPU yang lebih baru, kasus penggunaan populer untuk seri NC adalah inferensi real time dan beban kerja analitik, di mana VM yang dipercepat harus tersedia dalam keadaan stabil untuk melayani permintaan dari aplikasi saat mereka tiba. Dalam kasus ini volume atau ukuran batch permintaan mungkin tidak mencukupi untuk mendapatkan manfaat dari GPU yang lebih berkinerja. VM NC juga populer bagi pengembang dan siswa yang belajar tentang, mengembangkan, atau bereksperimen dengan akselerasi GPU, yang membutuhkan target penyebaran CUDA berbasis cloud yang murah untuk menguji coba tanpa perlu mencapai tingkat performa produksi.
Secara umum, pelanggan NC-Series harus mempertimbangkan untuk memindahkan langsung dari ukuran NC ke ukuran NC T4 v3, platform baru Azure yang dipercepat oleh unit pemrosesan grafis untuk beban kerja ringan yang ditenagai oleh GPU NVIDIA Tesla T4.
| Ukuran VM Saat Ini | Ukuran Mesin Virtual Sasaran | Perbedaan dalam Spesifikasi |
|---|---|---|
| Standard_NC6 Standard_NC6_Promo |
Standard_NC4as_T4_v3 atau Standard_NC8as_T4 |
CPU: Intel Haswell vs AMD Roma Jumlah GPU: 1 (sama) Generasi GPU: NVIDIA Keppler vs. Turing (+2 generasi, ~2x FP32 FLOP) Memori GPU (GiB per GPU): 16 (+4) vCPU: 4 (-2) atau 8 (+2) Memori GiB: 16 (-40) atau 56 (sama) Penyimpanan Sementara (SSD) GiB: 180 (-160) atau 360 (+20) Disk data maks: 8 (-4) atau 16 (+4) Jaringan Terakselerasi: Ya (+) Premium Storage: Ya (+) |
| Standar_NC12 Standard_NC12_Promo |
Standard_NC16as_T4_v3 | CPU: Intel Haswell vs AMD Roma Jumlah GPU: 1 (-1) Generasi GPU: NVIDIA Keppler vs. Turing (+2 generasi, ~2x FP32 FLOP) Memori GPU (GiB per GPU): 16 (+4) vCPU: 16 (+4) Memori GiB: 110 (-2) Penyimpanan Sementara (SSD) GiB: 360 (-320) Jumlah maksimal disk data: 48 (+16) Jaringan Terakselerasi: Ya (+) Premium Storage: Ya (+) |
| Standard_NC24 Standard_NC24_Promo |
Standard_NC64as_T4_v3* | CPU: Intel Haswell vs AMD Roma Jumlah GPU: 4 (sama) Generasi GPU: NVIDIA Keppler vs. Turing (+2 generasi, ~2x FP32 FLOP) Memori GPU (GiB per GPU): 16 (+4) vCPU: 64 (+40) Memori GiB: 440 (+216) Penyimpanan Sementara (SSD) GiB: 2880 (+1440) Disk data maks: 32 (-32) Jaringan Terakselerasi: Ya (+) Premium Storage: Ya (+) |
| Standard_NC24r Standard_NC24r_Promo |
Standard_NC64as_T4_v3* | CPU: Intel Haswell vs AMD Roma Jumlah GPU: 4 (sama) Generasi GPU: NVIDIA Keppler vs. Turing (+2 generasi, ~2x FP32 FLOP) Memori GPU (GiB per GPU): 16 (+4) vCPU: 64 (+40) Memori GiB: 440 (+216) Penyimpanan Sementara (SSD) GiB: 2880 (+1440) Disk data maks: 32 (-32) Jaringan Terakselerasi: Ya (+) Premium Storage: Ya (+) Interkoneksi InfiniBand: Tidak |
VM Seri NC v2 yang menampilkan GPU NVIDIA Tesla P100
Komputer virtual seri NC v2 adalah platform unggulan yang awalnya dirancang untuk beban kerja AI dan Deep Learning. Mereka menawarkan performa yang sangat baik untuk pelatihan Pembelajaran Mendalam, dengan performa per GPU sekitar 2x dari NC-Series asli dan didukung oleh GPU NVIDIA Tesla P100 dan CPU Intel Xeon E5-2690 v4 (Broadwell). Seperti NC dan ND -Series, Seri NC v2 menawarkan konfigurasi dengan latensi rendah sekunder, jaringan throughput tinggi melalui RDMA, dan konektivitas InfiniBand sehingga Anda dapat menjalankan pekerjaan pelatihan skala besar yang mencakup banyak GPU.
Secara umum, pelanggan NCv2-Series harus mempertimbangkan untuk langsung berpindah ke ukuran NC A100 v4, platform Azure yang baru dipercepat GPU dan ditenagai oleh GPU PCIe NVIDIA Ampere A100.
| Ukuran VM Saat Ini | Ukuran Mesin Virtual Sasaran | Perbedaan dalam Spesifikasi |
|---|---|---|
| Standard_NC6s_v2 | Standard_NC24ads_A100_v4 | Prosesor: Intel Broadwell vs AMD Milan Jumlah GPU: 1 (sama) Generasi GPU: NVIDIA Pascal vs. Ampere (generasi+2) Memori GPU (GiB per GPU): 80 (+64) vCPU: 24 (+18) Memori GiB: 220 (+108) Penyimpanan Sementara (SSD) GiB: 1123 (+387) Jumlah disk data maksimum: 12 (sama) Jaringan Terakselerasi: Ya (+) Premium Storage: Ya (+) |
| Standard_NC12s_v2 | Standard_NC48ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Jumlah GPU: 2 (sama) Generasi GPU: NVIDIA Pascal vs. Ampere (+2 generasi) Memori GPU (GiB per GPU): 80 (+64) vCPU: 48 (+36) Memori GiB: 440 (+216) Penyimpanan Sementara (SSD) GiB: 2246 (+772) Disk data maksimal: 24 (sama) Jaringan Terakselerasi: Ya (+) Premium Storage: Ya (+) |
| Standar_NC24s_v2 | Standard_NC96ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Jumlah GPU: 4 (sama) Generasi GPU: NVIDIA Pascal vs. Ampere (+2 generasi) Memori GPU (GiB per GPU): 80 (+64) vCPU: 96 (+72) Memori GiB: 880 (+432) Penyimpanan Sementara (SSD) GiB: 4492 (+1544) Disk data maks: 32 (sama) Jaringan Terakselerasi: Ya (+) Premium Storage: Ya (+) |
| Standard_NC24rs_v2 | Standard_NC96ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Jumlah GPU: 4 (Sama) Generasi GPU: NVIDIA Pascal vs. Ampere (+2 generasi) Memori GPU (GiB per GPU): 80 (+64) vCPU: 96 (+72) Memori GiB: 880 (+432) Penyimpanan Sementara (SSD) GiB: 4492 (+1544) Disk data maks: 32 (sama) Jaringan Terakselerasi: Ya (+) Premium Storage: Ya (+) Interkoneksi InfiniBand: Tidak (-) |
ND-Series mesin virtual (VM) yang dilengkapi dengan GPU NVIDIA Tesla P40
Komputer virtual seri ND adalah platform midrange yang awalnya dirancang untuk beban kerja AI dan Deep Learning. Mereka menawarkan performa yang sangat baik untuk inferensi batch melalui peningkatan operasi titik mengambang presisi tunggal dibandingkan dengan pendahulunya dan didukung oleh GPU NVIDIA Tesla P40 serta CPU Intel Xeon E5-2690 v4 (Broadwell). Seperti Seri NC dan NC v2, ND-Series menawarkan konfigurasi dengan jaringan latensi rendah sekunder, throughput tinggi melalui RDMA, dan konektivitas InfiniBand sehingga Anda dapat menjalankan pekerjaan pelatihan skala besar yang mencakup banyak GPU.
| Ukuran VM Saat Ini | Ukuran Mesin Virtual Sasaran | Perbedaan dalam Spesifikasi |
|---|---|---|
| Standard_ND6 | Standard_NC4as_T4_v3 atau Standard_NC8as_T4_v3 |
CPU: Intel Broadwell vs AMD Roma Jumlah GPU: 1 (sama) Generasi GPU: NVIDIA Pascal vs. Turing (+1 generasi) Memori GPU (GiB per GPU): 16 (-8) vCPU: 4 (-2) atau 8 (+2) Memori GiB: 16 (-40) atau 56 (-56) Penyimpanan Sementara (SSD) GiB: 180 (-552) atau 360 (-372) Disk data maks: 8 (-4) atau 16 (+4) Jaringan Terakselerasi: Ya (+) Premium Storage: Ya (+) |
| Standard_ND12 | Standard_NC16as_T4_v3 | CPU: Intel Broadwell vs AMD Roma Jumlah GPU: 1 (-1) Generasi GPU: NVIDIA Pascal vs. Turing (+1 generasi) Memori GPU (GiB per GPU): 16 (-8) vCPU: 16 (+4) Memori GiB: 110 (-114) Penyimpanan Sementara (SSD) GiB: 360 (-1.114) Jumlah maksimal disk data: 48 (+16) Jaringan Terakselerasi: Ya (+) Premium Storage: Ya (+) |
| Standard_ND24 | Standard_NC64as_T4_v3* | CPU: Intel Broadwell vs AMD Roma Jumlah GPU: 4 (sama) Generasi GPU: NVIDIA Pascal vs. Turing (+1 generasi) Memori GPU (GiB per GPU): 16 (-8) vCPU: 64 (+40) Memori GiB: 440 (sama) Penyimpanan Sementara (SSD) GiB: 2880 (sama) Disk data maks: 32 (sama) Jaringan Terakselerasi: Ya (+) Premium Storage: Ya (+) |
| Standard_ND24r | Standard_ND96amsr_A100_v4 | CPU: Intel Broadwell vs AMD Roma Jumlah GPU: 8 (+4) Generasi GPU: NVIDIA Pascal vs. Ampere (generasi+2) Memori GPU (GiB per GPU): 80 (+56) vCPU: 96 (+72) Memori GiB: 1900 (+1452) Penyimpanan Sementara (SSD) GiB: 6400 (+3452) Disk data maks: 32 (sama) Jaringan Terakselerasi: Ya (+) Premium Storage: Ya (+) Interkoneksi InfiniBand: Ya (Sama) |
VM NP-Series
Penting
Ukuran seri NP (Standard_NP10s, Standard_NP20s, Standard_NP40s) dijadwalkan untuk dihentikan pada 31 Mei 2027. Setelah tanggal ini, VM seri NP yang tersisa secara otomatis dibatalkan alokasinya, berhenti bekerja, berhenti dikenakan biaya, dan tidak lagi memiliki SLA atau dukungan. Data pada disk terkelola dipertahankan.
Batas Pembelian Reserved Instance: Pembelian Instans VM Cadangan Azure 1 tahun dan 3 tahun untuk seri NP berakhir pada 2 April 2026. Pelanggan yang perencanaan kapasitasnya terkait dengan Reservasi Instans sebaiknya memigrasikan atau menyesuaikan reservasi tersebut sesuai kebutuhan.
VM seri NP didukung oleh FPGA AMD Xilinx Alveo U250 dan digunakan untuk beban kerja yang dipercepat FPGA kustom seperti inferensi ML, transkode video, dan pencarian &analitik database. Tidak seperti seri VM berbasis GPU, seri NP menggunakan akselerasi FPGA melalui toolchain Xilinx XRT/Vitis. Migrasi ke alternatif berbasis GPU memerlukan beban kerja porting dari kerangka kerja berbasis FPGA ke kerangka kerja berbasis GPU seperti CUDA.
Target migrasi yang direkomendasikan berdasarkan karakteristik beban kerja:
- NCasT4_v3 (NVIDIA T4) – Terbaik untuk inferensi, grafis interaktif, dan beban kerja yang sensitif terhadap biaya.
- NDv2 (NVIDIA V100 dengan NVLink) – Terbaik untuk pelatihan AI yang dipercepat GPU dan beban kerja HPC yang membutuhkan memori GPU tinggi dan interkoneksi.
- NCads_H100_v5 (NVIDIA H100) – Terbaik untuk pelatihan AI modern dan inferensi batch pada generasi GPU terbaru.
| Ukuran VM Saat Ini | Ukuran Mesin Virtual Sasaran | GPU (Unit Pemrosesan Grafis) | Jumlah GPU | Pembuatan GPU | vCPUs | Memori (GigaBita) |
|---|---|---|---|---|---|---|
| Standard_NP10s | Standard_NC4as_T4_v3 | NVIDIA T4 | 1 | Turing | 4 | 28 |
| Standard_NP20s | Standard_NC16as_T4_v3 atau Standard_ND40rs_v2 (pelatihan) |
NVIDIA T4 atau V100 | 1 atau 8 | Turing atau Volta | 16 atau 40 | 110 atau 672 |
| Standard_NP40s | Standard_NC64as_T4_v3 atau Standard_NC24ads_A100_v4 (kelas atas) |
NVIDIA T4 atau H100 | 4 atau 1 | Turing atau Hopper | 64 atau 24 | 440 atau 220 |
Langkah migrasi
Perubahan Umum
Pilih seri dan ukuran untuk migrasi. Manfaatkan kalkulator harga untuk wawasan lebih lanjut.
Dapatkan kuota untuk seri VM target
Ubah ukuran VM seri N* saat ini ke ukuran target. Ini mungkin juga waktu yang tepat untuk memperbarui sistem operasi yang digunakan oleh citra Mesin Virtual Anda, atau menggunakan salah satu citra HPC dengan driver yang telah diinstal sebelumnya sebagai titik awal Anda.
Penting
Gambar VM Anda mungkin telah diproduksi dengan versi runtime CUDA yang lebih lama, driver NVIDIA, dan (jika berlaku, hanya untuk ukuran yang diaktifkan RDMA) driver Mellanox OFED dibandingkan dengan yang diperlukan oleh seri VM GPU baru Anda, yang dapat diperbarui dengan mengikuti instruksi dalam Dokumentasi Azure.
Memecahkan Perubahan
Pilih ukuran sasaran untuk migrasi
Setelah menilai penggunaan Anda saat ini, putuskan jenis VM GPU apa yang Anda butuhkan. Bergantung pada persyaratan beban kerja, Anda memiliki beberapa pilihan yang berbeda.
Nota
Praktik terbaik adalah memilih ukuran VM berdasarkan biaya dan performa. Rekomendasi dalam panduan ini didasarkan pada perbandingan satu-ke-satu metrik performa secara umum dan kecocokan terdekat dalam seri VM lainnya. Sebelum memutuskan ukuran yang tepat, dapatkan perbandingan biaya menggunakan Kalkulator Harga Azure.
Pelanggan seri NP: Saat memilih alternatif untuk VM seri NP, pertimbangkan biaya dan performa. Generasi GPU yang lebih baru (T4, V100, H100) dapat secara signifikan mengurangi waktu ke solusi untuk beban kerja AI dan analitik. Untuk panduan migrasi seri NP terperinci, lihat bagian NP-Series VM di atas.
Penting
Semua ukuran NC lama, NC v2, dan ND-Series tersedia dalam ukuran multi-GPU, termasuk ukuran 4-GPU dengan dan tanpa interkoneksi InfiniBand untuk ekspansi skala, beban kerja yang saling terhubung erat yang membutuhkan daya komputasi lebih dari satu VM 4-GPU, atau masing-masing GPU K80, P40, atau P100 dapat menyediakan. Meskipun rekomendasi di atas menawarkan jalur langsung ke depan, pengguna ukuran ini harus mempertimbangkan untuk mencapai tujuan performa mereka dengan seri VM berbasis GPU NVIDIA V100 yang lebih kuat seperti Seri NC v3 dan seri ND v2, yang biasanya memungkinkan tingkat performa beban kerja yang sama dengan biaya yang lebih rendah dan dengan peningkatan pengelolaan dengan memberikan performa yang jauh lebih besar per GPU dan per VM sebelum konfigurasi multi-GPU dan multi-node diperlukan, masing-masing.
Dapatkan kuota untuk keluarga VM yang ditargetkan
Ikuti panduan untuk meminta peningkatan kuota vCPU oleh keluarga VM. Pilih ukuran VM target yang telah Anda pilih untuk migrasi.
Mengubah ukuran komputer virtual saat ini
Anda dapat mengubah ukuran komputer virtual.
Langkah selanjutnya
Untuk daftar lengkap ukuran komputer virtual yang diaktifkan GPU, lihat GPU - gambaran umum komputasi yang dipercepat