ND-MI300X-v5 大小系列

ND MI300X v5 系列虛擬機器 (VM) 是 Azure GPU 系列新的主打產品。 它專為高階深度學習訓練所設計，緊密結合擴大又擴增的生成式 AI 和 HPC 工作負載。

ND MI300X v5 系列 VM 從八個 AMD Instinct MI300 GPU 和兩個第四代 Intel Xeon Scalable 處理器開始，總共有 96 個實體核心。 然後，VM 中的每個 GPU 都會透過第 4 代 AMD Infinity Fabric 連結彼此連線，而每個 GPU 的頻寬為 128 GB/秒，彙總頻寬為 896 GB/秒。

以 ND MI300X v5 為基礎的部署可以擴大至數千個 GPU，每個 VM 的互連頻寬為 3.2 Tb/秒。 VM 內的每個 GPU 隨附自己專用、與拓撲無關的 400 Gb/秒 NVIDIA Quantum-2 CX7 InfiniBand 連線。 這些連線會在佔用相同虛擬機器擴展集的 VM 之間自動設定，並支援 GPUDirect RDMA。

這些執行個體可為許多支援 GPU 加速「現成可用」的 AI、ML 和分析工具 (例如 TensorFlow、Pytorch 和其他架構) 提供絕佳的效能。 此外，擴增的 InfiniBand 互連支援大量現有的 AI 和 HPC 工具，這些工具以 AMD 的 ROCm Communication Collectives Library (RCCL) 為建置基礎，可以順暢地群集 GPU。

主機規格

部分	數量 計數單位	規格 SKU 識別碼、效能單位等。
處理器	96 個 vCPU	Intel Xeon (Sapphire Rapids) [x86-64]
記憶體	1850 GiB
本機儲存體	1 個磁碟	1000 GiB
遠端儲存體	32 個磁碟	40800 IOPS 612 MBps
網路	8 張NIC
加速器	8 GPUs	AMD Instinct MI300X GPU (192GB)

功能支援

進階儲存體：支援
進階儲存體快取：支援
即時移轉：不支援
記憶體保留更新：不支援
第 2 代 VM：支援
第 1 代 VM：不支援
加速網路：支援
暫時性 OS 磁碟：支援
巢狀虛擬化：不支援

系列中的大小

基本概念

每個大小的 vCPU (數量) 和記憶體

大小名稱	vCPU (數量)	記憶體 (GB)
Standard_ND96isr_MI300X_v5	96	1850

VM 基本資源

• 檢查 vCPU 配額

本機儲存體

每個大小的本機 (temp) 儲存體資訊

大小名稱	最大暫存儲存體磁碟 (數量)	暫存磁碟大小 (GiB)	暫存磁碟隨機讀取 (RR)1 IOPS	暫存磁碟隨機讀取 (RR)1 速度 (MBps)	暫存磁碟隨機寫入 (RW)1 IOPS	暫存磁碟隨機寫入 (RW)1 速度 (MBps)
Standard_ND96isr_MI300X_v5	1	1000

遠端儲存體

每個大小的遠端 (未快取) 儲存體資訊

大小名稱	最大遠端儲存體磁碟 (數量)	未快取的磁碟 IOPS	未快取的磁碟速度 (MBps)	未快取的磁碟高載1 IOPS	未快取的磁碟高載1 速度 (MBps)	未快取的特殊2 磁碟 IOPS	未快取的特殊2 磁碟速度 (MBps)	未快取的高載1 特殊2磁碟 IOPS	未快取的高載1 特殊2磁碟速度 (MBps)
Standard_ND96isr_MI300X_v5	32	40800	612

儲存體資源

• Azure 受控磁碟簡介
• Azure 受控磁碟類型
• 共用 Azure 受控磁碟

表格定義

• ¹某些大小支援使用高載來暫時提高磁碟效能。 高載速度一次最多可維持 30 分鐘。
• ²特殊儲存體是指 Ultra 磁碟或進階 SSD v2 儲存體。
• 儲存容量會以 GiB 或是 1024^3 位元組為單位顯示。 當比較使用 GB (1000^3 位元組) 為度量單位的磁碟與使用 GiB (1024^3) 為度量單位的磁碟時，請記住以 GiB 為單位提供的容量數字可能較小。 例如，1023 GiB = 1098.4 GB。
• 磁碟輸送量是以每秒輸入/輸出作業 (IOPS) 和 MBps 進行測量，其中 MBps = 10^6 位元組/每秒。
• 資料磁碟可以在快取模式或取消快取模式下運作。 針對快取的資料磁碟作業，主機快取模式必須設定為 ReadOnly 或 ReadWrite。 針對取消快取的資料磁碟作業，主機快取模式必須設定為 None。
• 若要瞭解如何取得 VM 的最佳儲存體效能，請參閱虛擬機器和磁碟效能。

Network

每個大小的網路介面資訊

大小名稱	最大 NIC (數量)	最大頻寬 (Mbps)
Standard_ND96isr_MI300X_v5	8	80000

網路資源

• Azure 中的虛擬網路與虛擬機器
• 虛擬機器網路頻寬

表格定義

• 預期的網路頻寬是針對所有目的地，為所有 NIC 中每個 VM 類型配置的最大彙總頻寬。 如需詳細資訊，請參閱虛擬機器網路頻寬
• 不保證效能上限。 限制針對預定應用程式選取正確 VM 類型的供應項目指導。 實際網路效能取決於多種因素，包括網路壅塞、應用程式負載和網路設定。 如需最佳化網路輸送量的資訊，請參閱最佳化 Azure 虛擬機器的網路輸送量。
• 若要達到 Linux 或 Windows 上的預期網路效能，您可能需要選取特定版本，或最佳化 VM。 如需詳細資訊，請參閱頻寬/輸送量測試 (NTTTCP)。

加速器

每個大小的加速器 (GPU、FPGA 等) 資訊

大小名稱	加速器 (數量)	加速器-記憶體 (GB)
Standard_ND96isr_MI300X_v5	8	1535

其他大小資訊

所有可用大小清單：大小

定價計算機：定價計算機

磁碟類型的相關資訊：磁碟類型

下一步

深入了解 Azure 計算單位 (ACU) 如何協助您比較各個 Azure SKU 的計算效能。

請參閱 Azure 專用主機，讓實體伺服器能夠裝載指派給一個 Azure 訂用帳戶的一或多部虛擬機器。

了解如何監視 Azure 虛擬機器。