Analytics Platform System 中的处理和存储容量

业务要求确定数据缩放单元的数量,以及 Analytics Platform System (APS) 设备中所需的计算节点磁盘的大小。 使用这些处理和存储计算来指导容量购买和规划决策。

规划处理能力

SQL Server Parallel Data Warehouse (PDW) 的查询性能在很大程度上取决于并行处理数据的 CPU 核心数。 在限制内,增加并行度可提高大规模并行处理 (MPP) 查询的性能。 即使数据相对较小,MPP 查询引擎的能力也会因更高的并行度得到增强。

例如,具有 12 个计算节点的设备有 192 个 CPU 核心,这些核心并行处理数据。 这是 192 路并行! 具有 56 个计算节点的设备有 896 个核心,这些核心全部并行工作。 在没有 MPP 计算的情况下,无法实现这种规模的并行度。

随着计算节点数的增加,横向扩展设备需要一次添加多个计算节点才能获得明显的增益。 硬件供应商仅支持数据缩放单元的特定配置,以确保缩放设备的益处超出在更多计算节点之间重新分配数据的成本。

数据缩放单元配置示例 - HPE

下面是数据缩放单元支持的 HPE 配置的示例。 它们可能与当前支持的配置不同,仅作为如何增容 20% 的示例提供。

提升是通过将数据缩放单元从一行增加到下一行来提高容量的百分比。 例如,将数据缩放单元从 6 增加到 8 可提升 CPU 核心和内存 33%。 它还会增加此表中未显示的磁盘空间。

数据缩放单元 计算节点 CPU 核心数 内存 (GB) 提升
1 2 32 512 -
2 4 64 1024 100%
3 6 96 1536 50%
4 8 128 2048 33%
5 10 160 2560 25%
6 12 192 3072 20%
8 16 256 4096 33%
10 20 320 5120 25%
12 24 384 6144 20%
16 32 512 8192 33%
20 40 640 10240 25%
24 48 768 12288 20%
28 56 896 14336 17%

说明:

  • 每个设备的数据缩放单位。 若要了解数据缩放单元,请参阅 Analytics Platform System 硬件组件

  • 每个设备的计算节点

  • 每个设备的 CPU 核心。 每个计算节点有 16 个核心,每个镜像磁盘对有一个核心。 有关计算节点磁盘结构,请参阅 Analytics Platform System 硬件组件

  • 每个设备的内存。 每个核心有 256 GB 内存。

数据缩放单元配置示例 - Dell、Quanta

下面是数据缩放单元支持的 Dell 和 Quanta 配置的示例。 它们可能与当前支持的配置不同,仅作为如何增容 20% 的示例提供。

提升是通过将数据缩放单元从一行增加到下一行来提高容量的百分比。 例如,将数据缩放单元从 6 增加到 8 可提升 CPU 核心和内存 33%。 它还会增加此表中未显示的磁盘空间。

数据缩放单元 计算节点 CPU 内核数 内存 (GB) 提升
1 3 48 768 -
2 6 96 1536 100%
3 9 144 2,304 50%
4 12 192 3,072 33%
5 15 240 3,840 25%
6 18 288 4,608 20%
7 21 336 5,376 17%
8 24 384 6,144 14%
9 27 432 6,912 13%
12 36 576 9,216 33%
15 45 720 11,520 25%
18 54 864 13,824 20%

计划存储容量

此表估计,可以将最多 6 PB 的未压缩数据加载并存储在完全构建的 Analytics Platform System 设备上。

供应商 驱动器大小 每个计算节点的物理数据存储 每个机架的最大计算节点数 每个机架的物理最大数据存储 每个机架估计的最大用户数据存储 最大机架数 每个设备估计的最大用户数据存储
HPE 1 TB 16 TB 8 128 TB 320 TB 7 2,240 TB
HPE 2 TB 32 TB 8 256 TB 640 TB 7 4,480 TB
HPE 4 TB 64 TB 8 512 TB 1280 TB 7 8,960 TB
DELL 1 TB 16 TB 9 144 TB 360 TB 6 2,160 TB
DELL 2 TB 32 TB 9 288 TB 720 TB 6 4,320 TB
DELL 4 TB 64 TB 9 576 TB 1440 TB 6 8,640 TB

说明:

  • 每个硬件供应商的驱动器大小为 1、2 或 4 TB。

  • 每个计算节点的物理数据存储 = (驱动器大小) * (每个计算节点 16 个磁盘)。 不包括镜像磁盘,因为它们用于冗余。

  • 每个机架的最大计算节点特定于硬件供应商。

  • 每个机架的物理最大数据存储 = (每个计算节点的物理数据存储) * (每个机架的最大计算节点数)。

  • 估计每个机架的最大用户数据存储 = (每个机架的物理最大数据存储) * (5:1 压缩比率为 5) * (日志和 tempDB 的 50%)。 这是对可以加载并存储在设备上的未压缩用户数据的保守估计。 这是一个估计值,不是由软件强制执行的。 实际用户数据存储取决于数据和配置。

  • 特定于各硬件供应商的最大机架数

  • 每个设备的估计最大数据存储 = (每个机架估计的最大数据存储) * (最大机架数)。 这是对可以在完全构建的设备上加载和存储的用户数据的总计大小的保守估计。