Azure 托管 Lustre 文件系统先决条件

本文介绍在创建 Azure 托管 Lustre 文件系统之前必须配置的先决条件。

网络先决条件

Azure 托管 Lustre 文件系统存在于虚拟网络子网中。 子网包含 Lustre 管理服务 (MGS) ,并处理与虚拟 Lustre 群集的所有客户端交互。

创建文件系统后,无法将文件系统从一个网络或子网移到另一个网络或子网。

Azure 托管 Lustre 仅接受 IPv4 地址。 不支持 IPv6。

网络大小要求

所需的子网大小取决于创建的文件系统的大小。 下表粗略估计了不同大小的 Azure 托管 Lustre 文件系统的最小子网大小。

存储容量 建议的 CIDR 前缀值
4 TiB 到 16 TiB /27 或更大
20 TiB 到 40 TiB /26 或更大
44 TiB 到 92 TiB /25 或更大
96 TiB 到 196 TiB /24 或更大
200 TiB 到 400 TiB /23或更大

其他网络大小注意事项

规划虚拟网络和子网时,请考虑到要在 Azure 托管 Lustre 子网或虚拟网络中找到的任何其他服务的要求。

如果将 Azure Kubernetes 服务 (AKS) 群集与 Azure 托管 Lustre 文件系统配合使用,则可以在文件系统所在的同一子网中找到 AKS 群集。 在这种情况下,除了 Lustre 文件系统的地址空间外,还必须为 AKS 节点和 Pod 提供足够的 IP 地址。 如果在虚拟网络中使用多个 AKS 群集,请确保该虚拟网络有足够的容量来容纳所有群集中的所有资源。 若要详细了解 Azure 托管 Lustre 和 AKS 的网络策略,请参阅 AKS 子网访问

如果计划使用其他资源在同一虚拟网络中托管计算 VM,请在为 Azure 托管 Lustre 系统创建虚拟网络和子网之前检查该过程的要求。 在同一子网中规划多个群集时,必须使用足够大的地址空间来满足所有群集的总要求。

子网访问权限和权限

默认情况下,无需进行特定更改来启用 Azure 托管 Lustre。 如果环境包含受限的网络或安全策略,应考虑以下指南:

访问类型 所需的网络设置
DNS 访问 使用默认的基于 Azure 的 DNS 服务器。
Azure 云服务访问 配置网络安全组,以允许 Azure 托管 Lustre 文件系统从文件系统子网内访问 Azure 云服务。

添加具有以下属性的出站安全规则:
- 端口:任何
- 协议:任何
- :虚拟网络
- 目标:“AzureCloud”服务标记
- 操作:允许

注意:配置 Azure 云服务还会启用 Azure 队列服务的必要配置。

有关详细信息,请参阅虚拟网络服务标记
Lustre 网络端口访问 网络安全组必须允许端口 988 和端口 1019-1023 上的入站和出站访问。 其他任何服务都不能在 Lustre 客户端上保留或使用这些端口。
默认规则 65000 AllowVnetInBound65000 AllowVnetOutBound 满足此要求。

已知的限制

以下已知限制适用于 Azure 托管 Lustre 文件系统的虚拟网络设置:

  • Azure 托管 Lustre 和 Azure NetApp 文件资源无法共享子网。 如果使用 Azure NetApp 文件服务,则必须在单独的子网中创建 Azure 托管 Lustre 文件系统。 如果尝试在当前包含或以前包含 Azure NetApp 文件资源的子网中创建 Azure 托管 Lustre 文件系统,则部署将失败。
  • 如果在 ypbind 客户端上使用守护程序来维护网络信息服务 (NIS) 绑定信息,则必须确保 ypbind 不保留端口 988。 可以手动调整保留的端口 ypbind ,或者确保系统启动基础结构在启动 ypbind之前启动 Lustre 客户端装载。

注意

创建 Azure 托管 Lustre 文件系统后,文件系统的资源组中会显示几个新的网络接口。 他们的名字以 amlfs 开头 , 以 -snic 结尾。 请勿更改这些接口上的任何设置。 具体而言,保留“加速网络”设置的默认值处于启用状态。 在这些网络接口上禁用加速网络会降低文件系统的性能。

Blob 集成先决条件 (可选)

如果计划将 Azure 托管 Lustre 文件系统与 Azure Blob 存储集成,请在创建文件系统之前完成以下先决条件。

若要详细了解 Blob 集成,请参阅 将 Azure Blob 存储与 Azure 托管 Lustre 文件系统配合使用

Azure 托管 Lustre 适用于启用了分层命名空间的存储帐户和具有非分层或平面命名空间的存储帐户。 存在以下细微差异:

  • 对于启用了分层命名空间的存储帐户,Azure 托管 Lustre 会从 blob 标头读取 POSIX 属性。
  • 对于 启用分层命名空间的存储帐户,Azure 托管 Lustre 会从 Blob 元数据中读取 POSIX 属性。 将创建一个与 Blob 容器内容同名的单独空文件,用于保存元数据。 此文件是 Azure 托管 Lustre 文件系统中实际数据目录的同级文件。

若要将 Azure Blob 存储与 Azure 托管 Lustre 文件系统集成,必须在创建文件系统之前创建或配置以下资源:

存储帐户

必须创建存储帐户或使用现有的存储帐户。 存储帐户必须具有以下设置:

  • 帐户类型 - 兼容的存储帐户类型。 若要了解详细信息,请参阅 支持的存储帐户类型
  • 访问角色 - 允许 Azure 托管 Lustre 系统修改数据的角色分配。 若要了解详细信息,请参阅 所需的访问角色
  • 访问密钥 - 存储帐户必须将存储帐户密钥访问设置设置为 “已启用”。

支持的存储帐户类型

以下存储帐户类型可用于 Azure 托管 Lustre 文件系统:

存储帐户类型 冗余
标准 本地冗余存储 (LRS) 、异地冗余存储 (GRS)

区域冗余存储 (ZRS) 、read-access-geo-冗余存储 (RAGRS) 、异地区域冗余存储 (GZRS) 、read-access-geo-zone-冗余存储 (RA-GZRS)
高级 - 块 Blob LRS、ZRS

有关存储帐户类型的详细信息,请参阅 存储帐户的类型

Blob 集成的访问角色

Azure 托管 Lustre 需要授权才能访问存储帐户。 (Azure RBAC) 使用 Azure 基于角色的访问控制 ,为文件系统提供对 Blob 存储的访问权限。

存储帐户所有者必须在创建文件系统之前添加以下角色:

重要

在创建 Azure 托管 Lustre 文件系统之前,必须添加这些角色。 如果文件系统无法访问 Blob 容器,则文件系统创建将失败。 在创建文件系统之前执行的验证无法检测到容器访问权限问题。 角色设置最多可能需要 5 分钟才能在 Azure 环境中传播。

若要添加服务主体 HPC 缓存资源提供程序的角色,请执行以下步骤:

  1. 导航存储帐户,然后在左侧导航窗格中选择“ 访问控制 (IAM) ”。
  2. 选择“添加”>“添加角色分配”,打开“添加角色分配”页面 。
  3. 分配角色。
  4. HPC 缓存资源提供程序 添加到该角色。

    提示

    如果找不到 HPC 缓存资源提供程序,请改为搜索 storagecachestoragecache 资源提供程序 是产品正式发布前的服务主体名称。

  5. 重复步骤 3 和 4 以添加每个角色。

有关详细步骤,请参阅使用 Azure 门户分配 Azure 角色

Blob 容器

同一存储帐户中必须有两个单独的 Blob 容器,用于以下目的:

  • 数据容器:存储帐户中的 Blob 容器,其中包含要在 Azure 托管 Lustre 文件系统中使用的文件。
  • 日志记录容器:存储帐户中用于导入/导出日志的第二个容器。 必须将日志存储在与数据容器不同的容器中。

注意

稍后可以从客户端将文件添加到文件系统。 但是,创建文件系统后添加到原始 Blob 容器的文件不会导入到 Azure 托管 Lustre 文件系统,除非 创建导入作业

专用终结点 (可选)

如果在 Blob 设置中使用专用终结点,为了确保 Azure 托管 Lustre 可以解析 SA 名称,必须在创建新终结点期间启用专用终结点设置 “与专用 DNS 区域集成 ”。

  • 与专用 DNS 区域集成:必须设置为 “是”。

显示终结点设置过程的“DNS”选项卡的屏幕截图。

后续步骤