通过

使用 Azure 文件存储 配置 HPC Pack

  • 项目

本文介绍如何使用 Azure 文件存储配置 HPC Pack、配置标识和身份验证以及实现性能目标。

由于 Azure 文件共享是无服务器的，因此针对生产方案进行部署不需要管理文件服务器或网络连接存储 (NAS) 设备。 Azure 文件存储还具有内置冗余，以实现高可用性。 这意味着组织无需应用软件修补程序或条带化多个磁盘来满足其高性能计算 (HPC) 群集的成本和性能需求。

Azure 文件存储高级文件共享满足典型的客户性能和标识要求，实现易于配置、经济高效且高性能的直接迁移方案。 Azure 文件存储根据客户需求支持不同的标识配置。

本文重点介绍如何将现有的本地 HPC Pack 工作负载引入 Azure。 它重点介绍此方案的常见报告配置，即具有本地 Azure Active Directory 域服务 (Azure AD DS) 配置了默认共享级别权限的实例的高级文件共享。

例如，如果将 HPC Pack 用于金融服务，则公司可能有一个策略，即不将标识同步到云。 在这种情况下，默认权限可能会满足你的需求。 默认共享级别访问控制列出 (ACL，) 允许为所有经过 AD DS 身份验证的用户在存储帐户上添加默认共享级别权限。 然后，可以使用 Windows ACL (也称为 NTFS 权限) 在文件和目录级别应用精细的访问控制。

分配给存储帐户的默认共享级别权限将应用于存储帐户中包含的所有文件共享。 然后，可以将本地 Active Directory用于文件级和目录级权限，而无需将 Active Directory 同步到云。

规划将 Azure 文件存储 与 HPC Pack 配合使用

以下部分介绍如何使用 Azure 文件存储 作为存储来规划和执行本地 HPC Pack 解决方案的直接迁移。

计算性能目标

Azure 文件存储使用服务器消息块 (SMB) 装载的高级文件共享非常适合基于 Windows 的应用程序，这些应用程序：

  • 与标准层存储) （例如 HPC Pack）相比，需要性能更高的安全解决方案 (。 详细了解高级存储层。
  • 在 SSD) (固态硬盘上使用预配的存储。

计算 HPC Pack 环境的性能需求后，可以 计算各种大小的文件共享的性能目标：

  • 若要计算基线每秒输入/输出 (IOPS) ，请使用以下公式：

    每 GiB 3，000 + 1 IOPS

    例如，对于 10 TiB 高级文件共享，计算结果为 3，000 + 10，240 GiB = 13，240 IOPS。

  • 若要计算吞吐量 (总入口和出口) ，请使用此公式。 使用 CEILING 函数，因为这会影响结果，具体取决于输入预配的大小。

    100 + CEILING (.04 * GiB) + CEILING (.06 * GiB)

    例如，对于 10 TiB 高级文件共享，计算结果为 100 + CEILING (.04 * GiB) + CEILING (.06 * GiB) = 1，125 MiB/秒。

了解提供预期 IOPS 和吞吐量值的目标共享大小后，可以：

选择标识方案

接下来，需要决定是使用 Azure AD DS 还是本地 AD DS 作为标识方案。 还需要决定是否应用默认共享级别权限。 有关详细信息，请参阅 SMB 访问Azure 文件存储基于标识的身份验证选项概述。

HPC Pack 的一个常见模式是组织不希望 Active Directory 同步到云。 如果是这种情况，并且无法将本地 AD DS 实例同步到 Azure AD，请使用 默认共享级别权限 为所有经过身份验证的标识设置默认访问级别，而不考虑其同步状态。 然后，可以使用 Windows ACL 对文件和目录强制实施精细权限。

为 HPC Pack 配置Azure 文件存储

  1. 创建和配置 Azure 文件共享：

    1. 创建存储帐户。 若要创建 FileStorage 存储帐户，请确保将“性能”选项设置为“高级”，并在“高级帐户类型”下拉列表中选择了“文件共享”。 存储帐户名称必须少于 15 个字符。
    2. 创建大小满足性能需求的文件共享。 如前面的计算中所示。
    3. 启用 SMB 多通道。 本文稍后将介绍 SMB 多通道权益。
    4. 通过在 Azure 文件存储 上启用 Azure AD DS 身份验证或为存储帐户上的Azure 文件存储启用 AD DS 身份验证来配置标识。
    5. 设置默认共享级别权限。
    6. 使用存储帐户密钥装载 Azure 文件共享。
    7. 配置 Windows ACL。

  2. 配置和使用 HPC Pack 文件共享。 有关默认 HPC Pack 文件共享的列表，请参阅 在 Azure 中生成高可用性 HPC Pack 群集。 请注意，仅某些用户方案需要默认共享。 若要将默认共享移动到 Azure 文件共享，请执行以下步骤：

    1. 创建 Azure 文件共享并根据原始文件共享 (配置 Windows ACL，例如 SOA 运行时共享) 。
    2. (更改相关群集设置， cluscfg setenvs CCP_SERVICEREGISTRATION_PATH=\\<AzureFiles>\HpcServiceRegistration 例如，) 。

使用Azure 文件存储提供高性能

SMB 多通道

Azure 文件存储支持高级文件共享上的 SMB 多通道 (存储帐户) 的 FileStorage 类型的文件共享。 在 Azure 文件存储中启用 SMB 多通道不会产生额外费用。 默认情况下， 在 FileStorage 资源上禁用 SMB 多通道。

单个 VM 客户端的最大性能仍受 VM 限制约束。 例如，Standard_D32s_v3可以支持最大带宽 16，000 MBps (或 2 GBps) 。 VM (写入存储) 的出口按流量计费，但从存储) 读取的入口 (不是。 文件共享性能受计算机网络限制、CPU、可用内部存储、网络带宽、I/O 大小、并行度和其他因素的影响。 有关详细信息，请参阅 SMB 多通道性能。

典型 HPC Pack 性能

典型的 HPC Pack 使用情况是从中读取和写入的多个大型文件， (60% 读取和 40% 写入，平均) 大块大小（存储在 Azure 文件存储 中）。 根据 标识配置，此类使用应体验到符合已发布的 I/O 和吞吐量预期的最佳性能。

非典型使用情况可能是数百万个小文件和小块大小。 在这些情况下，组织需要测试其他配置，以评估最佳性能。

测量性能

若要测试性能，可以使用 DiskSpd.exe。 它是一个可配置的工具，可模拟各种工作负载并测量延迟、读取和写入 I/O、延迟和吞吐量。

优化和排查性能问题

下面是一些资源和提示：

  • 优化性能
  • 排查 Azure 文件共享性能问题
  • HPC Pack 环境中存储性能不佳的迹象：
    • 接受任务和开始计算的节点的启动时间较长。
    • Windows 性能计数器 (Avg. Disk sec/Read、Avg. Disk sec/Transfer、Avg. Disk sec/Write，尤其是 Avg Disk Queue Lengths，) 计算节点上显示高值或上限值。
    • 输出位置的延迟。 在某些计算中，指定的输出位置 RUNTIME$ Share 或其他 SMB 共享可能指示饱和。
  • 高级 SMB 客户端故障排除