确定 Azure Managed Lustre 的要求
在部署 Azure Managed Lustre 文件系统之前,你需要满足网络配置以及(可选)blob 集成的先决条件。 本单元简要概述了服务拓扑,并说明了在创建 Azure Managed Lustre 文件系统之前必须配置的先决条件。
概述
下图描述了 Azure Managed Lustre 文件系统的基本服务拓扑,其中显示了它的排列方式,以及它如何连接到其他 Azure 服务并与之交互:
网络先决条件
Azure Managed Lustre 文件系统存在于一个虚拟网络子网中。 该子网包含 Lustre 管理服务 (MGS),并处理与虚拟 Lustre 群集的所有客户端交互。
网络规模要求
你需要的子网规模取决于你创建的文件系统的大小。 下表大致估计了不同大小的 Azure Managed Lustre 文件系统的最小子网规模。
存储容量 | 建议的 CIDR 前缀值 |
---|---|
4 TiB 到 16 TiB | /27 或更大 |
20 TiB 到 40 TiB | /26 或更大 |
44 TiB 到 92 TiB | /25 或更大 |
96 TiB 到 196 TiB | /24 或更大 |
200 TiB 到 400 TiB | /23 或更大 |
子网访问和权限
默认情况下,无需进行任何特定更改便可启用 Azure Managed Lustre。 如果你的环境包含受限制的网络或安全策略,则应考虑以下指导:
访问类型 | 所需的网络设置 |
---|---|
DNS 访问 | 使用默认的基于 Azure 的 DNS 服务器。 |
主机之间的访问 | 允许在 Azure Managed Lustre 子网中的主机之间进行入站和出站访问。 例如,群集部署需要访问 TCP 端口 22 (SSH)。 |
Azure 云服务访问 | 将你的网络安全组配置为允许 Azure Managed Lustre 文件系统从文件系统子网内访问 Azure 云服务。 添加具有以下属性的出站安全规则: - 端口:任意 - 协议:任意 - 源:虚拟网络 - 目标:“AzureCloud”服务标记 - 操作:允许 注意:配置 Azure 云服务还支持对 Azure 队列服务进行必要的配置。 有关详细信息,请参阅虚拟网络服务标记。 |
Lustre 网络端口访问 | 你的网络安全组必须允许在端口 988 和端口 1019-1023 上进行入站和出站访问。 其他任何服务都无法在 Lustre 客户端上保留或使用这些端口。 默认规则 65000 AllowVnetInBound 和 65000 AllowVnetOutBound 满足此要求。 |
有关为 Azure Managed Lustre 文件系统配置网络安全组的详细指导,请参阅创建和配置网络安全组。
其他网络注意事项
规划虚拟网络和子网配置时,请考虑以下注意事项和限制:
- Azure Kubernetes 服务 (AKS):如果你将 AKS 群集与 Azure Managed Lustre 文件系统一起使用,则可以在与该文件系统相同的子网中找到 AKS 群集。 在这种情况下,除了 Lustre 文件系统的地址空间外,还必须为 AKS 节点和 Pod 提供足够的 IP 地址。 如果你在虚拟网络中使用多个 AKS 群集,请确保虚拟网络有足够的容量来容纳所有群集中的所有资源。 若要详细了解 Azure Managed Lustre 和 AKS 的网络策略,请参阅 AKS 子网访问。
- 计算 VM/多个群集:如果你计划使用其他资源在与文件系统相同的虚拟网络中托管你的计算 VM,请在为 Azure Managed Lustre 文件系统创建虚拟网络和子网之前检查该过程的要求。 在同一子网内规划多个群集时,请确保使用足够大的地址空间来满足所有群集的总体要求。
- Azure NetApp 文件:Azure Managed Lustre 和 Azure NetApp 文件资源无法共享子网。 如果你使用 Azure NetApp 文件服务,则必须在单独的子网中创建 Azure Managed Lustre 文件系统。 如果你尝试在当前包含或曾经包含 Azure NetApp 文件资源的子网中创建 Azure Managed Lustre 文件系统,则部署将失败。
- ypbind:如果你在客户端上使用
ypbind
守护程序来维护网络信息服务 (NIS) 绑定信息,则必须确保ypbind
不保留端口 988。 你可以手动调整ypbind
保留的端口,或确保你的系统启动基础结构在启动ypbind
之前启动 Lustre 客户端装载。 - 创建文件系统后,无法将文件系统移动到其他虚拟网络或子网。
- Azure Managed Lustre 仅接受 IPv4 地址。 不支持 IPv6。
注意
创建 Azure Managed Lustre 文件系统后,文件系统的资源组中会显示多个新的网络接口。 它们的名称以 amlfs- 开头,以 -snic 结尾。 不要更改这些接口上的任何设置。 具体而言,对于“加速网络”设置,请保留默认值“已启用”。 在这些网络接口上禁用加速网络会降低文件系统的性能。
Blob 集成先决条件
如果你计划将 Azure Managed Lustre 文件系统与 Azure Blob 存储集成,请在创建文件系统之前完成以下先决条件。
若要将 Azure Blob 存储与 Azure Managed Lustre 文件系统集成,必须在创建文件系统之前创建或配置以下资源:
若要详细了解 blob 集成,请参阅将 Azure Blob 存储与 Azure Managed Lustre 文件系统配合使用。
存储帐户
创建一个新存储帐户或使用现有存储帐户。 该存储帐户必须具有下列设置:
- 帐户类型 - 一个兼容的存储帐户类型。
- 访问角色 - 允许 Azure Managed Lustre 系统修改数据的角色分配。
- 访问密钥 - 存储帐户必须将存储帐户密钥访问设置设为“已启用”。
支持的存储帐户类型
以下存储帐户类型可用于 Azure Managed Lustre 文件系统:
存储帐户类型 | 冗余 |
---|---|
Standard | 本地冗余存储 (LRS)、异地冗余存储 (GRS) 区域冗余存储 (ZRS)、读取访问异地冗余存储 (RAGRS)、异地区域冗余存储 (GZRS)、读取访问异地区域冗余存储 (RA-GZRS) |
高级版 - 块 blob | LRS、ZRS |
有关存储帐户类型的详细信息,请参阅存储帐户的类型。
针对 blob 集成的访问角色
Azure Managed Lustre 需要授权才能访问你的存储帐户。 请使用 Azure 基于角色的访问控制 (Azure RBAC) 向文件系统授予对你的 Blob 存储的访问权限。
存储帐户所有者必须在创建文件系统之前添加这些角色:
若要为服务主体“HPC 缓存资源提供程序”添加这些角色,请执行以下步骤:
- 导航到你的存储帐户,从左侧导航栏中选择“访问控制(IAM)”。
- 选择“添加”>“添加角色分配”,打开“添加角色分配”页面 。
- 分配角色。
- 将“HPC 缓存资源提供程序”添加到该角色。
提示
如果找不到 HPC 缓存资源提供程序,请改为搜索“storagecache”。 “storagecache 资源提供程序”是产品正式发布前的服务主体名称。
- 重复步骤 3 和步骤 4 来添加每个角色。
有关详细步骤,请参阅使用 Azure 门户分配 Azure 角色。
Blob 容器
同一存储帐户中必须有两个单独的 Blob 容器,以用于以下用途:
- 数据容器:存储帐户中的一个 Blob 容器,其中包含要在 Azure Managed Lustre 文件系统中使用的文件。
- 日志记录容器:存储帐户中的另一个容器,用于导入/导出日志。 必须将日志存储在与数据容器不同的容器中。
注意
你稍后可以从客户端向文件系统中添加文件。 但是,在创建文件系统后添加到原始 Blob 容器的文件不会导入到 Azure Managed Lustre 文件系统,除非你创建导入作业。
专用终结点(可选)
如果你将专用终结点与你的存储配合使用,则必须在创建新的专用终结点时启用“与专用 DNS 区域集成”设置。 此设置可确保专用终结点可以解析存储帐户的 DNS 名称。