ND-H200-v5 大小系列

ND v5 H200 系列虚拟机旨在为 AI 和高性能计算 (HPC) 工作负载提供卓越的性能。 这些虚拟机利用 NVIDIA H200 Tensor Core GPU 的强大功能（比 H100 GPU 提供的高带宽内存增加 76%），从而在最先进的生成式 AI 模型中提供更高的性能。 H200 GPU 具有 141 GB 的高速内存和 4.8 TB/秒的内存带宽，可以处理更大的数据集和更复杂的模型，因此非常适合生成式 AI 和科学计算。

ND H200 v5 系列以单个虚拟机和 8 个 NVIDIA H200 Tensor Core GPU 开头，与 900 GB/s NVLink 互连。 基于 ND H200 v5 的部署可以纵向扩展到成千上万个 GPU，每个虚拟机的互连带宽为 3.2Tb/秒。 VM 内的每个 GPU 都具备其自己专用的、与拓扑无关的 400 Gb/秒 NVIDIA Quantum-2 CX7 InfiniBand 连接。 这些连接在占用同一虚拟机规模集的 VM 之间自动配置，并且支持 GPUDirect RDMA。

这些实例为众多 AI、ML、支持 GPU 加速的现成分析工具（如 TensorFlow、Pytorch、Caffe、RAPIDS）以及其他框架提供卓越的性能。 此外，一大组基于 NVIDIA 的 NCCL 通信库构建的现有 AI 和 HPC 工具都支持横向扩展 InfiniBand 互连，以便实现无缝的 GPU 群集化。

主机规格

组成部分	数量 计数单位	规格 SKU ID、性能单位等
处理器	96 个 vCPU	Intel Xeon （Sapphire Rapids） [x86-64]
内存	1850 GiB
本地存储	1 个磁盘	28000 GiB
远程存储	16Disks
网络	8个 NIC
加速器	8 个 GPU	Nvidia H200 GPU （141GB）

功能支持

高级存储：支持
高级存储缓存：支持
实时迁移：不支持
内存保留更新：不支持
第 2 代 VM：支持
第 1 代 VM：不支持
加速网络：支持
临时 OS 磁盘：支持
嵌套虚拟化：不支持

系列大小

基础知识

每个大小的 vCPU（数量）和内存

大小名称	vCPU（数量）	内存 (GB)
Standard_ND96isr_H200_v5	96	1850

VM 基础知识资源

• 检查 vCPU 配额

本地存储

每个大小的本地（临时）存储信息

大小名称	最大临时存储磁盘数量	临时磁盘大小 (GiB)
Standard_ND96isr_H200_v5	1	28000

存储资源

• Azure 托管磁盘简介
• Azure 托管磁盘类型
• 共享 Azure 托管磁盘

表定义

• ¹临时磁盘速度通常因 RR（随机读取）和 RW（随机写入）操作而异。 RR 操作通常比 RW 操作快。 RW 速度通常比系列上的 RR 速度慢，其中仅列出了 RR 速度值。
• 存储容量的单位为 GiB 或 1024^3 字节。 比较以 GB（1000^3 字节）为单位的磁盘和以 GiB（1024^3 字节）为单位的磁盘时，请记住以 GiB 为单位的容量数显得更小。 例如，1023 GiB = 1098.4 GB。
• 磁盘吞吐量的单位为每秒输入/输出操作数 (IOPS) 和 Mbps，其中 Mbps = 10^6 字节/秒。
• 如要了解如何为虚拟机获得最佳存储性能，请参阅虚拟机和磁盘性能。

远程存储

每个大小的远程（未缓存）存储信息

大小名称	最大远程存储磁盘数量	未缓存磁盘 IOPS	未缓存磁盘速度 (MBps)
Standard_ND96isr_H200_v5	16	40000	612

存储资源

• Azure 托管磁盘简介
• Azure 托管磁盘类型
• 共享 Azure 托管磁盘

表定义

• ¹某些大小支持使用突发来暂时提高磁盘性能。 突发速度一次最多可以保持 30 分钟。
• ²特殊存储是指超级磁盘或高级 SSD v2 存储。
• 存储容量的单位为 GiB 或 1024^3 字节。 比较以 GB（1000^3 字节）为单位的磁盘和以 GiB（1024^3 字节）为单位的磁盘时，请记住以 GiB 为单位的容量数显得更小。 例如，1023 GiB = 1098.4 GB。
• 磁盘吞吐量的单位为每秒输入/输出操作数 (IOPS) 和 Mbps，其中 Mbps = 10^6 字节/秒。
• 数据磁盘可以在缓存或非缓存模式下运行。 对于缓存数据磁盘操作，主机缓存模式设置为 “ReadOnly” 或 “ReadWrite”。 对于非缓存数据磁盘操作，主机缓存模式设置为 "None"。
• 如要了解如何为虚拟机获得最佳存储性能，请参阅虚拟机和磁盘性能。

网络

每个大小的网络接口信息

大小名称	最大 NIC 数（数量）	最大带宽 (Mbps)
Standard_ND96isr_H200_v5	8	80000

网络资源

• Azure 中的虚拟网络和虚拟机
• 虚拟机网络带宽

表定义

• 预期的网络带宽是指跨所有 NIC 为每个 VM 类型分配的最大聚合带宽，适用于所有目标。 有关详细信息，请参阅虚拟机网络带宽。
• 上限不能保证。 这些限制能够为目标应用程序选择适当的虚拟机类型提供指导。 实际网络性能取决于多种因素，例如网络拥塞、应用程序负载和网络设置。 有关如何优化网络吞吐量的信息，请参阅为 Azure 虚拟机优化网络吞吐量。
• 如要在 Linux 或 Windows 中达到预期的网络性能，可能需要选择特定的版本或优化虚拟机。 有关详细信息，请参阅带宽/吞吐量测试 (NTTTCP)。

加速器

每个大小的加速器（GPU、FPGA 等）信息

大小名称	加速器（数量）	加速器内存 (GB)
Standard_ND96isr_H200_v5	8	1128

其他大小信息

所有可用大小的列表：大小

定价计算器：定价计算器

有关磁盘类型的信息：磁盘类型

后续步骤

通过更改虚拟机的大小来利用工作负载可用的最新性能和功能。

凭借 Azure Cobalt VM 利用 Microsoft 内部设计的 ARM 处理器。

了解如何监视 Azure 虚拟机。