HBv2 系列虛擬機器概觀
適用於:✔️ Linux VM ✔️ Windows VM ✔️ 彈性擴展集 ✔️ 統一擴展集。
在 AMD EPYC 極大化高效能運算 (HPC) 應用程式效能,需要謹慎方法記憶體位置和流程放置。 以下概述 AMD EPYC 結構,與適用 HPC 應用程式在 Azure 上的運用。 "pNUMA" 一詞指的是實體 NUMA 網域,而 "vNUMA" 則指的是虛擬化 NUMA 網域。
實體上,HBv2 系列伺服器共有 128 個實體核心,分別為 2 個 64 核心的 EPYC 7V12 CPU。 HBv2 上的同步多執行緒 (SMT) 已停用。 這些 128 核心分割為 16 個區段 (每個通訊端 8 個區段),每個區段包含 8 個處理器核心。 Azure HBv2 伺服器也會執行下列 AMD BIOS 設定:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
如此一來,伺服器就會以 4 個 NUMA 網域啟動 (每個通訊端 2 個)。 每個網域大小為 32 核心。 每個 NUMA 都能直接存取 4 個以 3200 MT/秒運作的實體 DRAM 通道。
為了讓 Azure Hypervisor 擁有足夠空間,在不干擾 VM 的情況下運作,我們會為每個伺服器保留 8 個實體核心。
VM 拓撲
我們會在兩個 CPU 通訊端上以對稱方式保留這 8 個 Hypervisor 主機核心,從每個 NUMA 網域上的特定 Core Complex Dies (CCD) 中取用前 2 個核心,其餘核心用於 HBv2 系列 VM。 CCD 界限與 NUMA 界限並不相等。 在 HBv2 上,四個連續 (4) CCD 的群組會設為 NUMA 網域,主機伺服器層級和客體 VM 內皆有。 因此,所有 HBv2 VM 大小都會公開向 OS 和應用程式顯示的 4 個 NUMA 網域。 4 個統一的 NUMA 網域,視特定 HBv2 VM 大小,每個網域有不同的核心數目。
處理程序釘選會在 HBv2 系列 VM 上運作,因為我們會依原樣向客體 VM 公開基礎晶片。 強烈建議進行程序釘選以獲得最佳效能和一致性。
硬體規格
硬體規格 | HBv2 系列 VM |
---|---|
核心 | 120 (SMT 已停用) |
CPU | AMD EPYC 7V12 |
CPU 頻率 (非 AVX) | ~3.1 GHz (單一 + 所有核心) |
記憶體 | 4 GB/核心 (總共 480 GB) |
本機磁碟 | 960 GiB NVMe (區塊)、480 GB SSD (頁面檔) |
Infiniband | 200 Gb/s HDR Mellanox ConnectX-6 |
網路 | 50 Gb/秒 乙太網路 (40 Gb/秒 可用) Azure 第二代 SmartNIC |
軟體規格
軟體規格 | HBv2 系列 VM |
---|---|
MPI 工作大小上限 | 36000 核心 (singlePlacementGroup=true 的單一虛擬機器擴展集中的 300 個 VM) |
MPI 支援 | HPC-X、Intel MPI、OpenMPI、MVAPICH2、MPICH、Platform MPI |
其他架構 | UCX、libfabric、PGAS |
Azure 儲存體支援 | 標準和進階磁碟 (最多 8 個磁碟) |
SRIOV RDMA 的 OS 支援 | RHEL 7.9+、Ubuntu 18.04+、SLES 12 SP5+、WinServer 2016+ |
協調器支援 | CycleCloud、Batch、AKS;叢集設定選項 |
注意
HBv2 和其他具有超過 64 個 (虛擬或實體) 核心的 VM 均不支援 Windows Server 2012 R2。 如需詳細資訊,請參閱 Windows Server 上 Hyper-V 支援的 Windows 客體作業系統。
下一步
- 如需 AMD EPYC 架構和多晶片架構的詳細資訊,請參閱 AMD EPYC 處理器的 HPC 微調指南。
- 如需 HPC 工作負載範例和效能結果的最新公告,請參閱 Azure 計算技術社群部落格。
- 如需執行中 HPC 工作負載較高階的架構檢視,請參閱 Azure 上的高效能運算 (HPC)。