你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
制造 HPC 网络拓扑和连接
本指南基于 Azure 登陆区域一文中定义的 网络拓扑和连接性注意事项和建议。 按照本文中的指南操作,可帮助你了解与 Microsoft Azure 和 HPC 部署建立网络和连接的关键设计注意事项和最佳做法。
规划 IP 地址、虚拟网络和子网
在 Azure 中规划 IP 地址需求以确保:
- IP 地址空间在本地位置和 Azure 区域中不重叠。
- 将来可以与现有或计划 VNet 建立 VNet 对等互连。
- 虚拟网络 (VNet) 包含正确的地址空间。
- 提前对子网配置进行适当规划。
- 考虑为将来的扩展或其他服务提供足够的过度寻址
HPC 制造设计注意事项
请考虑创建单独的子网,以跨环境的功能组件分配 IP 地址。 例如,专用 HPC VNet 可以包含以下子网:
- 计算
- 存储
- 基础结构
- 可视化效果
- 登录
- ANF
- HPC 缓存
Azure NetApp 文件、Azure HPC 缓存和将来的存储产品/服务等一些服务需要专用的委托子网才能正常操作。 如果你正在考虑任何这些服务,请确保规划适当的寻址空间。
为本地和 Azure 资源配置 DNS 和名称解析
域名系统 (DNS) 是整个 Azure 登陆区域体系结构中的关键设计方面。 某些组织可能希望利用其现有的 DNS 投资。 其他组织可能将云采用视为一个契机,借以实现内部 DNS 基础结构现代化,并使用原生 Azure 功能。
HPC 网络设计注意事项
以下建议适用于在迁移期间虚拟机的 DNS 或虚拟名称未更改的情况。
用例:
- 后台 DNS 和虚拟名称连接 HPC 环境中的许多系统接口。 客户有时只会知道开发人员随时间推移定义的接口。 迁移后虚拟名称或 DNS 名称更改时,各种系统之间会出现连接挑战。 建议保留 DNS 别名,以防止出现这些类型的困难。
- 使用不同的 DNS 区域来区分每个环境(沙盒、开发、预生产和生产)。 对于具有其自己的 VNet 的 HPC 部署,则例外。 此处,专用 DNS 区域可能不是必需的。
- 使用 HPC 缓存时,DNS 支持是必需的,这样他们才能访问存储和其他资源。
高性能网络服务
加速网络
例如,许多 HPC 工作负载 (地震处理) 需要处理大量数据。 数据存储在 Azure Blob、Azure NetApp 文件、Lustre ClusterStor 等大型共享文件系统中,以及通过网络访问的其他自定义存储解决方案。 依靠高性能网络来减少数据传输时间至关重要。
启用 加速网络 可为 VM 提供高吞吐量和低延迟连接,以及 VM 与 Azure 服务之间的连接,同时降低抖动和最小化 CPU 使用率。
InfiniBand
依赖于消息传递接口 (MPI) 库的并行 HPC 应用程序可能需要在多个 VM 之间传输大量信息。 支持 RDMA 的 H 系列 和 N 系列 VM 上提供的 InfiniBand 互连提供所需的低延迟和高带宽,以最大程度地提高 HPC 和 AI 应用程序的性能和可伸缩性。
MPI 作业的一些示例包括:
- 分子动力学
- 计算流体动力学
- 油气储层模拟
- 制造业中新兴的分布式机器学习工作负载
只能在同一 放置组中分配的 VM 之间建立 InfiniBand 连接。
Azure ExpressRoute
- 如果有一个突发应用程序(例如用于油库模拟和建模的混合设置),其中本地数据集是共享的,Azure 计算成为扩展,Express Route 可帮助你在连接提供商的帮助下通过专用连接将本地环境连接到 Microsoft 云。 它提供企业级复原能力和可用性,以及全球 ExpressRoute 合作伙伴生态系统的优势。 要了解如何使用 ExpressRoute 将网络连接到 Microsoft,请参阅 ExpressRoute 连接模型。
- ExpressRoute 连接并不经过公共 Internet。与典型的 Internet 连接相比,它的可靠性更高、速度更快且延迟更低。 对于点到站点 VPN 和站点到站点 VPN,可以使用这些 VPN 选项和 Azure ExpressRoute 的任意组合将本地设备或网络连接到虚拟网络。
定义 Azure 网络拓扑
企业级登陆区域支持两种网络拓扑:一种基于 Azure 虚拟 WAN,另一种是基于中心分支体系结构的传统网络拓扑。 本部分建议这两种部署模型的 HPC 配置和做法。
如果组织计划执行以下操作,请使用基于虚拟 WAN 的网络拓扑:
- 跨多个 Azure 区域部署资源,并将全球位置连接到 Azure 和本地。
- 将软件定义的 WAN 部署与 Azure 完全集成。
- 跨连接到一个虚拟 WAN中心的所有 VNet 部署多达 50,000 个虚拟机工作负载。
组织使用虚拟 WAN 来满足大规模的互连需求。 Microsoft 管理此服务,这有助于降低整体网络复杂性并实现组织网络的现代化。
如果组织有以下条件,请使用基于 中心辐射型体系结构 的传统 Azure 网络拓扑:
- 计划仅在选择的 Azure 区域中部署资源。
- 不需要全局互连网络。
- 每个区域的远程或分支位置很少, (IPsec) 隧道需要少于 30 个 IP 安全性。
- 需要完全控制和粒度才能手动配置 Azure 网络。
- 使用本地和全局 VNet 对等互连来提供连接。 本地和全球 VNet 对等互连是确保登陆区域之间的连接的首选方法,以便跨多个 Azure 区域进行 HPC 部署。
计划入站和出站 Internet 连接
本部分推荐用于进出公共 Internet 的入站和出站连接的连接模型。 Azure 防火墙、应用程序网关 上的 Azure Web 应用程序防火墙 和 Azure Front Door 等 Azure 本机网络安全服务是完全托管服务。 因此,不会产生与基础结构部署相关的运营和管理成本,这可能会在大规模上变得复杂。
HPC 实现的设计建议:
- 对于具有全球足迹的客户,Azure Front Door 通过使用 Azure Web 应用程序防火墙策略跨 Azure 区域交付和保护全球 HTTP/S 应用程序来帮助 HPC 部署。
- 使用此服务时,请利用 Azure Front Door 中的Web 应用程序防火墙策略,并Azure 应用程序网关来保护 HTTP/S 应用程序。 锁定 Azure 应用程序网关以仅接收来自 Azure 前门的流量。
定义网络加密要求
本部分探讨在本地与 Azure 之间以及跨 Azure 区域加密网络的关键建议。
HPC 实现的设计注意事项:
- 使用 Azure ExpressRoute 配置专用对等互连时,流量当前未加密。
- 对于 HPC 部署,无需通过 ExpressRoute 加密流量。 默认情况下,IPsec 隧道会加密 Internet 流量。 加密或解密可能会对流量的性能产生负面影响。
由客户决定是否应加密 HPC 流量。 浏览网络拓扑和连接,了解企业级登陆区域中的网络加密选项。
在 Azure 中规划 IP 地址需求以确保:
- IP 地址空间在本地位置和 Azure 区域中不重叠。
- 虚拟网络 (VNet) 包含正确的地址空间。
- 提前对子网配置进行适当规划。
定义和吞吐量延迟带宽网络要求
- 仅限云中的 HPC 和 HPC 云混合部署模型都有自己的网络和连接延迟和吞吐量需求,具体取决于在本地与云中提交和运行制造工作流和工作负载作业的方式。 用户可以从本地或云) 以多种部署模式 (提交 HPC 作业。
- 单个作业
- 使用远程可视化桌面时的本地到 Azure 连接注意事项
- 突发作业
- 在云中提交作业的计划程序设置网络注意事项
- Azure Batch网络注意事项
- 并行工作流 (本地和云)
- 混合
- HPC 缓存
- 云原生
- KS 容器
- 函数
- 单个作业
- MPI 环境是专用的,因为它们具有独特的要求,需要节点之间的低延迟通信。 节点通过高速互连进行连接,不能与其他工作负载共享。 MPI 应用程序在虚拟化环境中通过直通模式使用整个高性能互连。 MPI 节点的存储通常是一个并行文件系统,例如 Lustre,也可以通过高速互连进行访问。
后续步骤
以下文章提供了有关制造 HPC 环境的云采用旅程中每个步骤的指导。