故障转移群集存储体系结构

Windows Server 故障转移群集支持多种存储体系结构模式,这些模式为群集角色提供高可用性和复原能力。 本文介绍存储体系结构,包括 SAN、NAS、超融合、非聚合存储空间直通和混合拓扑。

此处介绍的存储体系结构反映了计算和存储组件如何缩放,以及群集共享卷(CSV)或存储空间直通(S2D)的使用方式。 本文不介绍每种可能的存储体系结构配置或罕见的边缘情况。

体系结构比较

Architecture 存储位置规划 缩放特性
SAN 或 NAS 存储 通过计算群集通过网络访问的外部共享存储(SAN、NAS 或 SMB 3.0 文件共享)。 计算和存储独立缩放(无需添加存储即可添加计算节点;存储增长特定于供应商)。
超融合 每个集群节点中的本地磁盘由 S2D 汇集;数据在各节点间复制;CSV 统一呈现存储。 对称扩展,每个节点都会添加计算和存储,集群支持的节点数可达 S2D 记录的上限。
与 SAN 存储超融合 本地 S2D 池(ReFS CSV)以及同一群集中的外部 SAN 卷(NTFS CSV);磁盘集保持独立。 双重缩放:添加节点(计算 + S2D 存储)或独立扩展 SAN。
非聚合存储空间直通 单独的计算群集通过网络访问由不同的 S2D 存储群集提供的存储。 计算和存储可以独立扩展(只添加计算或存储节点)。
混合体系结构支持 同一计算群集使用的非聚合 SAN/NAS 存储和基于 S2D 的存储的组合。 灵活 - 根据工作负荷混合独立和对称缩放策略。

所有体系结构都依赖于概述中所述的群集功能(仲裁、运行状况监视、故障转移)。 CSV 使用情况详细信息(元数据同步、重定向 I/O)在 CSV 概述中可用。 有关 SAN 和 NAS 注意事项(多路径、隔离),请参阅群集硬件要求。 Scale-Out 文件服务器主动-主动语义在其概述中介绍。

SAN 或 NAS 存储

非聚合 SAN 或 NAS 存储(包括 SMB 3.0 共享)将存储放在单独的结构上。 群集节点通过网络访问存储。 计算和存储可以独立扩展。

非聚合 SAN 或 NAS 模型的主要特征包括:

  • 支持对 VM、Scale-Out 文件服务器数据、SQL Server(在 SMB 上)和其他群集应用进行故障转移。

  • SAN 或 NAS 平台提供存储可用性和复原能力。 使用多路径 I/O 或 NIC 组合消除单一故障点(请参阅 硬件要求)。

  • SMB 共享可以从 SMB 多通道和 SMB Direct 中受益,以提高吞吐量和弹性。

  • 独立缩放:在没有存储的情况下添加计算(CPU/RAM),或单独扩展存储。

  • 群集最多支持 64 个节点。

在部署或扩展 SAN 或 NAS 支持的故障转移群集之前,请查看以下规划注意事项:

  • 缩放和性能取决于供应商特定的设置。 请参考您的平台指导。

  • 使固件和驱动程序在块协议(光纤通道、iSCSI)之间保持一致。 确保 SMB 的网络冗余。

  • 将存储流量与客户端和管理路径隔离,以减少争用。

  • 规划网络路径可用性和冗余,以匹配存储平台的复原能力。

  • 应用文件共享 ACL,以便仅群集节点访问共享资源。

当存储生命周期或增长不同于计算时,或者当集中式共享存储必须为多个群集提供服务时,请选择此模型。 存储群集的扩展依赖于供应商。 请与供应商联系,以了解他们提供的存储解决方案如何扩展。

超融合

在此超融合配置中,存储空间直通会将每个群集节点中的本地驱动器池入共享存储池中,将卷呈现为群集共享卷(CSV),并跨群集节点复制数据以提高弹性。 添加群集节点时,计算(CPU 和 RAM)和存储容量会一起增长。

超融合模型的主要特征:

  • 支持群集工作负荷,例如虚拟机、Scale-Out 文件服务器应用程序数据、SQL Server 数据库(在 SMB 和 CSV 上),以及容器化应用程序。

  • 群集故障转移允许 VM 和其他群集角色在群集中的任何节点上移动或重启。

  • 本地 NVMe、SSD 和 HDD 设备共用,卷作为 CSV 公开,用于统一命名空间。

  • 数据复原使用镜像、奇偶校验或嵌套复原,并将数据复制到其他节点。 有关存储空间直通容错的详细信息,请参阅 容错和存储效率

  • 对称缩放,这意味着每个添加的节点都提供计算和存储。

  • 使用存储空间直连的群集支持 1 到 16 个节点。

  • 低延迟的东西向网络,以及在配置 RDMA(RoCE 或 iWARP)时,可提高吞吐量并降低 CPU 占用。

在部署或扩展超融合群集之前规划注意事项:

  • 使固件和驱动程序版本在存储适配器和驱动器之间保持一致。

  • 验证网络配置(QoS、RDMA 优先级和流控制),以避免拥塞并确保可预测的延迟。

  • 使用已发布的指南来调整缓存和容量层(NVMe、SSD 和 HDD)的大小,以保持建议的性能比率。

  • 保留重新生成容量,以便群集可以安全地容忍驱动器或节点故障,并避免在接近 100% 利用率运行。

  • 主动监控驱动器、机箱和复制的健康状况。

包含计算主机和共用本地磁盘的基本超融合存储空间直通群集的关系图。

非聚合存储空间直通

解耦存储空间直通将计算和存储分为不同的集群。 计算群集(运行诸如 VM、Scale-Out 文件服务器角色、SQL Server 数据库或容器化应用程序等工作负荷)通过 SMB 3.0 访问由单独的 Storage Spaces Direct 群集提供的存储。

解聚存储空间直通体系结构的主要特征:

  • 独立缩放:仅为更多 CPU 和 RAM 资源添加计算节点,或仅添加存储节点来实现容量和性能。 增长率可能会有所分歧。

  • 通过 SMB 或 CSV 支持的共享公开时,支持与超融合模型相同的群集工作负荷。

  • 存储群集使用镜像、奇偶校验或嵌套复原能力,并将数据复制到其他节点。 若要了解有关存储空间直通容错的详细信息,请参阅 容错和存储效率

  • 维护隔离:可以独立于计算节点修补或重新启动存储节点。

  • 多个计算集群可以从一个存储集群中消耗共享资源(受容量和性能规划的限制)。

  • 计算群集支持 1 到 64 个节点。

  • 存储群集支持 1 到 16 个节点。

  • 在群集之间需要可靠的低延迟东西向网络(可选使用RDMA),以保证性能的可预测性。

在部署或扩展分解式 Storage Spaces Direct 之前的规划注意事项:

  • 在存储节点之间对齐固件、驱动程序和 OS 更新节奏。 避免混合驱动程序版本。

  • 验证网络配置(QoS、RDMA 优先级和流控制),以避免拥塞并确保可预测的延迟。

  • 预测各异的增长(CPU、RAM、容量和 IOPS),并为独立扩展每个群集设置阈值。

  • 应用最小权限原则。 使用文件共享 ACL 将计算和存储群集之间的管理访问限制为所需的群集节点。

  • 在存储群集中主动监视驱动器、机箱和复制运行状况,因此独立计算不受存储可用性的影响。

下图显示了一个计算群集和一个存储群集的分解部署。

分解体系结构图:一个访问单独存储空间直通群集的计算群集。

添加更多计算资源时,可以向现有计算群集添加新节点或添加新群集。 下图显示了向简单部署添加新群集而不添加更多存储时会发生什么情况。

展示添加第二个计算群集后分解模型的关系图(仅计算规模)。

为托管数据添加更多存储资源而不添加更多计算资源时,可以向现有存储群集添加新节点或添加新群集。 下图显示了添加新群集时简单部署的外观,而无需添加 CPU 或 RAM 等计算资源。

显示在添加第二个存储集群(仅用于存储扩展)后的非聚合模型关系图。

与 SAN 存储超融合

从 Windows Server 2022 开始,可以将超融合存储空间直通与同一故障转移群集中的外部 SAN 存储相结合。 此体系结构将超融合存储空间直通群集(本地磁盘共用并公开为 ReFS 支持的 CSV)与提供给同一群集并添加为 NTFS 支持的 CSV 的外部 SAN 存储相结合。 这两个存储源共存,但保持独立。

超融合加 SAN 模型的主要特征:

  • 共存:S2D CSV 和 SAN CSV 在同一故障转移群集中并行运行。

  • 严格分离:SAN 磁盘绝不能添加到存储空间直通池,并且是独立管理的。

  • 格式要求:

    • 将 SAN 卷格式化为 NTFS,然后再将其转换为群集共享卷。

    • 将存储空间直通卷格式化为 ReFS,然后再将其转换为群集共享卷。

  • 支持的 SAN 连接包括光纤通道、iSCSI 和 iSCSI 目标。

  • 工作负载放置的灵活性:可在 S2D 卷上放置延迟敏感或 ReFS 优化的工作负载(例如较大的 VHDX 集或容器层)。 将需要特定 NTFS 功能或现有 SAN 管理工具的工作负荷放置在 SAN 卷上。

  • 独立容量扩展:添加超融合节点(添加计算和存储)或扩展 SAN 容量(仅添加存储),而不会影响另一个节点。

  • 容错域保持不变:S2D 通过复原集处理驱动器和节点故障。 SAN 通过其自己的控制器、结构或多路径设计来处理可用性。

  • 存储空间直通群集支持 1 到 16 个节点。

在部署或扩展组合超融合和 SAN 体系结构之前,规划注意事项:

  • SAN 缩放和性能特定于供应商 - 请参阅平台指南。

  • 不要尝试将 SAN 提供的磁盘添加到 S2D 存储池中。

  • 为存储子系统(S2D 适配器和 SAN HBA/NIC)保持一致的固件和驱动程序版本。

  • 建立工作负载部署指南(例如,高变动或重复数据删除的适用性),并记录并说明要使用的 CSV 类型。

  • 单独监视容量趋势:S2D 池利用率与 SAN 阵列利用率,以预测升级。

  • 协调备份和灾难恢复策略;SAN 快照和基于 S2D 的卷备份可能遵循不同的计划和工具。

  • 验证性能隔离;大量 SAN I/O 不会导致东西向 S2D 复制流量拥堵。

  • 需要规划 SAN 和网络路径可用性和冗余,以匹配每个存储平台的可用性。

混合体系结构支持

Hyper-V 支持在同一计算群集中组合以下体系结构:

  • 具有非聚合存储空间直通的 Hyper-V

  • 带有 SAN 的非聚合 Hyper-V

  • 带有 NAS 的非聚合 Hyper-V

下图显示了一个包含非聚合 SAN 和 NAS 存储混合的计算群集的部署示例。

显示一个计算群集的部署关系图,该群集包含混合的 SAN 和 NAS 存储。

网络存储协议

Windows Server 支持以下网络文件存储协议:

Windows Server 还支持以下网络块存储协议:

  • iSCSI

  • 光纤通道

  • InfiniBand

注释

配置细节最终确定部署是否支持这些协议。 例如,使用 Hyper-V 虚拟交换机的部署不支持 InfiniBand。 但是,当设备未绑定到虚拟交换机时,它们可以支持 InfiniBand 设备。

Microsoft 还为网络块存储提供基于软件的内置 iSCSI 发起程序。

还可以将存储供应商客户端用于 Windows Server 目录中提供的任何设备。