你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

NCads H100 v5 系列

适用于:✔️ Linux VM ✔️ Windows VM ✔️ 灵活规模集 ✔️ 统一规模集

NCads H100 v5 系列虚拟机 (VM) 是 Azure GPU 系列的新增成员。 此系列可用于实际的 Azure 应用 AI 训练和批处理推理工作负载。 NCads H100 v5 系列虚拟机由 NVIDIA H100 NVL GPU 和第 4 代 AMD EPYC™ Genoa 处理器提供支持。 VM 配置最多 2 个 NVIDIA H100 NVL GPU(每个具有 94 GB 的内存)、多达 96 个非多线程 AMD EPYC Genoa 处理器核心,以及 640 GiB 的系统内存。 这些 VM 非常适合实际的应用 AI 工作负载,例如:

  • GPU 加速分析和数据库
  • 具有大量预处理和后期处理工作的批处理推理
  • 自治模型训练
  • 油气储层模拟
  • 机器学习 (ML) 开发
  • 视频处理
  • AI/ML Web 服务

支持的功能

若要开始使用 NCads H100 v5 VM,请参阅 HPC 工作负载配置和优化,了解包括驱动程序和网络配置在内的步骤。

由于 GPU 内存 I/O 占用量增加,NCads H100 v5 需要使用第 2 代 VM 和市场映像。 请按照 Azure HPC 映像说明进行配置。

大小 vCPU 内存 (GiB) 临时磁盘 NVMe (GiB) GPU GPU 内存 (GiB) 最大数据磁盘数 非缓存磁盘的最大吞吐量 (IOPS / MBps) 最大网卡数/网络带宽等级 (MBps)
Standard_NC40ads_H100_v5 40 320 3576 1 94 8 100000/3000 2/40,000
Standard_NC80adis_H100_v5 80 640 7152 2 188 16 240000/7000 4/80,000

1 1 GPU = 一个 H100 卡
2 本地 NVMe 磁盘是临时磁盘。 如果您停止/解除分配 VM,这些磁盘上的数据将会丢失。 即使启用了在主机上加密,本地 NVMe 磁盘也不会被 Azure 存储加密进行加密。

大小表定义

  • 存储容量的单位为 GiB 或 1024^3 字节。 比较以 GB(1000^3 字节)为单位的磁盘和以 GiB(1024^3 字节)为单位的磁盘时,请记住以 GiB 为单位的容量数显得更小。 例如,1023 GiB = 1098.4 GB。

  • 磁盘吞吐量的单位为每秒输入/输出操作数 (IOPS) 和 Mbps,其中 Mbps = 10^6 字节/秒。

  • 数据磁盘可以在缓存或非缓存模式下运行。 对于缓存数据磁盘操作,主机缓存模式设置为 “ReadOnly”“ReadWrite”。 对于非缓存数据磁盘操作,主机缓存模式设置为 "None"

  • 如要了解如何为虚拟机获得最佳存储性能,请参阅虚拟机和磁盘性能

  • 预期的网络带宽是指跨所有 NIC 为每个 VM 类型分配的最大聚合带宽,适用于所有目标。 有关详细信息,请参阅虚拟机网络带宽

    上限不能保证。 这些限制能够为目标应用程序选择适当的虚拟机类型提供指导。 实际的网络性能取决于多种因素,比如网络拥塞、应用程序负载和网络设置。 有关如何优化网络吞吐量的信息,请参阅为 Azure 虚拟机优化网络吞吐量。 如要在 Linux 或 Windows 中达到预期的网络性能,可能需要选择特定的版本或优化虚拟机。 有关详细信息,请参阅带宽/吞吐量测试 (NTTTCP)

其他大小和信息

可以使用定价计算器来估算 Azure VM 成本。

有关磁盘类型的详细信息,请参阅 Azure 有哪些可用的磁盘类型?

后续步骤