你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

Azure NetApp 文件中具有冷访问权限的标准存储

使用具有冷存储的 AzureNetApp 文件标准存储,可以将非活动数据配置为从 Azure NetApp 文件标准服务级别存储(热存储层)移动到 Azure 存储帐户(冷存储层)。 启用冷访问后,非活动数据块会从卷和卷的快照移到冷层,从而节省成本。

大多数冷数据都与非结构化数据相关联。 在许多存储环境中,它可能占总存储容量的 50% 以上。 与生产力软件、已完成项目和旧数据集关联的不经常访问的数据对高性能存储的使用效率低下。

Azure NetApp 文件支持三种可在容量池级别配置的服务级别(标准、高级和超高性能)。 冷存储仅是标准服务级别的附加服务。

下图说明了具有已启用冷存储的卷的应用程序。

冷访问分层图显示冷卷移至冷层。

在初始写入中,数据块被分配一个“暖”温度值(在图中为红色数据块)并存在于“热”存储层上。 当数据驻留在卷上时,温度扫描会监视每个块的活动。 当数据块处于非活动状态时,温度扫描会降低该块的值,直到其处于非活动状态达到冷却期中指定的天数为止。 冷却期可在 7 至 183 天之间;默认值为 31 天。 一旦标记为“冷”,分层扫描就会收集块并将它们打包成 4 MB 的对象,这些对象会完全透明地移动到 Azure 存储。 对于应用程序和用户来说,那些冷块仍然显示为联机状态。 分层数据显示为联机状态,并且通过从冷存储层进行透明和自动检索,继续使用户和应用程序使用。

Default(除非另外配置冷访问检索策略),冷存储层上再次随机读取的数据块将变为“热”并移回热存储层。 标记为“”后,数据块将再次接受温度扫描。 但是,对冷存储层中的非活动数据进行大量顺序读取(例如索引和防病毒扫描)不会使数据“变暖”,也不会触发非活动数据移回热存储层。

元数据永远不会变冷,并且始终保留在热存储层中。 因此,元数据密集型工作负载(例如芯片设计、VCS 和主目录等高文件计数环境)的活动不会受到分层的影响。

支持的区域

以下区域支持具有冷存储的标准存储:

  • 澳大利亚中部
  • 澳大利亚中部 2
  • 澳大利亚东部
  • 澳大利亚东南部
  • 巴西南部
  • 巴西东南部
  • 加拿大中部
  • 加拿大东部
  • 印度中部
  • 美国中部
  • 东亚
  • 美国东部
  • 美国东部 2
  • 法国中部
  • 德国北部
  • 德国中西部
  • 以色列中部
  • 日本东部
  • 日本西部
  • 韩国中部
  • 韩国南部
  • 美国中北部
  • 北欧
  • 挪威东部
  • 挪威西部
  • 卡塔尔中部
  • 南非北部
  • 美国中南部
  • 印度南部
  • 东南亚
  • 瑞士北部
  • 瑞士西部
  • 瑞典中部
  • 阿联酋中部
  • 阿拉伯联合酋长国北部
  • 英国南部
  • 英国西部
  • US Gov 亚利桑那州
  • US Gov 德克萨斯州
  • US Gov 弗吉尼亚州
  • 西欧
  • 美国西部
  • 美国西部 2
  • 美国西部 3

冷存储对数据的影响

本节介绍持续时间较长、规模较大的数据集的升温测试。 它显示了一个数据集的示例场景,其中 100% 的数据位于冷存储层,以及它如何随着时间的推移而变暖。

通常,随机访问的数据作为工作集的一部分(读取、修改和写入)开始。 当数据失去相关性时,它就会变“冷”,并最终被划分到冷存储层。

冷数据可能再次变热。 整个工作集作为冷数据启动的情况并不常见,但确实存在一些这样的场景,例如审计、年终处理、季末处理、诉讼和年底许可审查。

此场景提供对 100% 冷数据集变暖性能行为的见解。 无论是一小部分还是整个数据集,这种见解都适用。

4K 随机读取测试

本部分介绍对 160 个文件(总计 10 TB 数据)进行的 4k 随机读取测试。

安装

容量池大小:100 TB 容量池
卷分配的容量:100 TB 卷
工作数据集:10 TB
服务级别:具有冷存储的标准存储
卷计数/大小:1
客户端计数:四个标准 8 秒客户端
操作系统:RHEL 8.3
装载选项:rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard

方法

该测试通过 FIO 设置,对 160 个文件(总计 10 TB 数据)运行 4k 随机读取测试。 FIO 配置为随机读取整个工作数据集中的每个块。 (作为测试的一部分,它可以多次读取任何块,而不是每个块接触一次)。 该脚本每 5 分钟调用一次,然后收集性能数据点。 随机读取块时,会将其移动到热存储层。

该测试有一个很大的数据集,并从最坏情况下过期时间最长的数据(所有缓存均已转储)开始运行了几天。 已移除 X 轴的时间分量,因为重新预热的总时间因数据集大小而异。 该曲线可能以天、小时、分钟甚至秒为单位,具体取决于数据集。

结果

下图显示了在 10 TB 工作数据集上运行超过 2.5 天的测试,该数据集已 100% 冷却并清除缓冲区(绝对最坏情况下的过期数据)。

此图显示冷访问读取 IOPS 变暖冷却层、长持续时间和 10 TB 工作集。Y 轴标题为 IOPS,范围为 0 到 140,000,增量为 20,000。X 轴的标题为“随时间变化的行为”。绘制读取 IOP 的折线图大致平坦,到 X 轴最右三分之一处呈指数增长。

64k 顺序读取测试

安装

容量池大小:100 TB 容量池
卷分配的容量:100 TB 卷
工作数据集:10 TB
服务级别:具有冷存储的标准存储
卷计数/大小:1
客户端计数:一个大型客户端
操作系统:RHEL 8.3
装载选项:rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard

方法

顺序读取的块不会重新加热到热存储层。 但是,由于高速缓存,小规模的数据集的性能可能会有所改进(不保证性能变化)。

该测试提供以下数据点:

  • 100% 热存储层数据集
  • 100% 冷存储层数据集

本次测试运行了 30 分钟,以获得稳定的性能数据。

结果

下表汇总了测试结果:

64-k 顺序 读取吞吐量
热数据 1,683 MB/s
冷数据 899 MB/s

测试结论

从冷存储层读取的数据的性能受到了影响。 如果正确调整冷却时间,性能可能根本不会受到影响。 你可能几乎没有冷存储层访问权限,而 30 天的时间窗口非常为数据保温。

应该避免块在热存储层和冷存储层之间变动的情况。 例如,将数据的工作负载设置为冷却 7 天,并且每 11 天随机读取大部分数据集。

总之,如果工作集是可预测的,则可以通过将不经常访问的数据块移至冷存储层来节省成本。 冷却前 7 到 30 天的等待期为工作集提供了一个大的时间窗口,这些工作集在休眠后很少被访问,或者在访问时不需要热存储层速度。

指标

冷存储提供了一些性能指标,可用于了解每个卷的使用模式:

  • 卷冷存储层大小
  • 卷冷存储层数据读取大小
  • 卷冷存储层数据写入大小

计费

可以为新创建的、使用标准服务级别的容量池启用卷级别的分层。 计费方式取决于以下因素:

  • 标准服务级别中的容量
  • 容量池中的未分配容量
  • 冷存储层中的容量(通过为标准容量池中的卷启用分层)
  • 热存储层和冷存储层之间的网络传输费率由 Blob 存储上的交易成本(GETPUT 请求)之上的标记以及热存储层之间任一方向的专用链接传输决定。

对于未分层到冷存储层的数据,标准容量池的计费计算采用热存储层费率;这包括容量池内未分配的容量。 为卷启用分层时,冷存储层中的容量将采用冷存储层的费率,剩余容量将采用热存储层的费率。 冷存储层的费率低于热存储层的费率。

账单结构示例

假设你创建了一个 4 TiB 标准容量池。 账单结构为整个 4 TiB 采用标准容量层费率。

在容量池中创建卷并开始将数据分层到冷存储层时,以下场景说明了适用的账单结构:

  • 假设你创建了三个卷,每个卷 1 TiB。 没有在卷级别启用分层。 账单计算方式如下:

    • 3 TiB 已分配容量按热存储层费率计费
    • 1 TiB 未分配容量按热存储层费率计费
    • 按冷存储层费率计费的容量为零
    • 热存储层和冷存储层之间零网络传输的费率由 Blob 存储上的交易成本(GETPUT)之上的标记以及热存储层之间任一方向的专用链接传输决定。
  • 假设你创建了四个卷,每个卷 1 TiB。 每个卷在热存储层上有 0.25 TiB 的卷容量,在冷存储层上有 0.75 TiB 的卷容量。 账单计算方式如下:

    • 1 TiB 容量按热存储层费率计费
    • 3 TiB 容量按冷存储层费率计费
    • 热存储层和冷存储层之间网络传输的费率由 Blob 存储上的交易成本(GETPUT)之上的标记以及热存储层之间任一方向的专用链接传输决定。
  • 假设你创建了两个卷,每个卷 1 TiB。 每个卷在热存储层上有 0.25 TiB 的卷容量,在冷存储层上有 0.75 TiB 的卷容量。 账单计算方式如下:

    • 0.5 TiB 容量按热存储层费率计费
    • 2 TiB 未分配容量按热存储层费率计费
    • 1.5 TiB 容量按冷存储层费率计费
    • 热存储层和冷存储层之间网络传输的费率由 Blob 存储上的交易成本(GETPUT)之上的标记以及热存储层之间任一方向的专用链接传输决定。
  • 假设你创建了一个 1 TiB 的卷。 该卷在热存储层上有 0.25 TiB 的卷容量,在冷存储层上有 0.75 TiB 的卷容量。 账单计算方式如下:

    • 0.25 TiB 容量按热存储层费率计费
    • 0.75 TiB 容量按冷存储层费率计费
    • 热存储层和冷存储层之间网络传输的费率由 Blob 存储上的交易成本(GETPUT)之上的标记以及热存储层之间任一方向的专用链接传输决定。

不同冷却期的成本计算示例

本部分介绍不同冷却期的存储和网络传输成本示例。

在这些示例中,假设:

  • 热存储层的存储成本为 0.000202 美元/GiB/小时。 冷存储层的存储成本为 0.000082 美元/GiB/小时。
  • 网络传输成本(包括来自冷存储层的读取或写入活动)为 0.020000 美元/GiB。
  • 你有一个已启用冷存储的 5 TiB 容量池。
  • 容量池中有 1 TiB 未分配容量
  • 你有一个已启用冷存储的 4-TiB 卷。
  • 冷却期结束后,4 TiB 中的 3 TiB 已移至冷却层。
  • 你每月从冷存储层读取或写入 20% 的数据。
  • 每个月有 30 天(730 小时)。 所以,每天是 730/30 小时。

重要

  • 这些计算只能用作参考估计,不能用于验证账单金额的准确性。
  • 示例中考虑的费率适用于示例区域,并且可能与预期部署区域不同。
  • 如果从冷存储层读取数据或向冷存储层写入数据,将导致热存储层和冷存储层的数据分布百分比发生变化。 本文中的计算展示热存储层和冷存储层中的初始百分比分布,而不是向冷存储层移入/从中移出在 20% 的数据之后的百分比分布。

注意

以下示例在容量池中包含 1 TiB 未分配空间,以显示启用冷存储时如何对未分配空间进行计费。 为了最大限度地节省成本,应减小容量池大小以消除未分配的池容量。

示例 1:冷却期设置为 7 天

第一个月的存储费用为:

成本 说明 计算
第 1~30 天(30 天)的未分配存储成本 1 TiB 未分配存储 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
第 1~7 天(七天)的存储成本 4 TiB 活动数据(热存储层) 4 TiB x 1024 x 7 days x 730/30 hrs. x $0.000202/GiB/hr. = $140.93
第 8~30 天(23 天)的存储成本 1 TiB 活动数据(热存储层)

3 TiB 非活动数据(冷存储层)
1 TiB x 1024 x 23 days x 730/30 hrs. x $0.000202/GiB/hr. = $115.77

3 TiB x 1024 x 23 days x 730/30 hrs. x $0.000082/GiB/hr. = $140.98
网络传输成本 将非活动数据移到冷存储层

20% 的数据从冷存储层读取/写入
3 TiB x 1024 x $0.020000/GiB = $61.44

3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
第一个月总计 $622.41

第二个月及后续月份的每月存储费用为:

成本 说明 计算
30 天的存储成本 1 TiB 未分配存储

1 TiB 活动数据(热存储层)

3 TiB 非活动数据(冷存储层)
1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00

1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00

3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
网络传输成本 20% 的数据从冷存储层读取/写入 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
第二个月及后续每月总计 $498.18

前六个月节省的成本:

  • 没有冷存储的成本:5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
  • 有冷存储的成本:First month + Second month + … + Sixth month = $622.41 + (5x $498.18) = $3,113.31
  • 使用冷存储节省的成本:31.27%

前 12 个月的节省额:

  • 没有冷存储的成本:5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
  • 有冷存储的成本:First month + Second month + … + twelfth month = $622.41 + (11 x $498.18) = $6,102.39
  • 使用冷存储节省的成本:32.64%

示例 2:冷却期设置为 35 天

全部 5 TiB 都是第一个月的活动数据(位于热存储层)。 第一个月的存储费用为:5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00

第二个月的存储费用为:

成本 说明 计算
第 1~30 天(30 天)的未分配存储成本 1 TiB 未分配存储 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
第 1~5 天(5 天)的存储成本 4 TiB 活动数据(热存储层) 4 TiB x 1024 x 5 days x 730/30 hrs. x $0.000202/GiB/hr. = $100.67
第 6~30 天(25 天)的存储成本 1 TiB 活动数据(热存储层)

3 TiB 非活动数据(冷存储层)
1 TiB x 1024 x 25 days x 730/30 hrs. x $0.000202/GiB/hr. = $125.83

3 TiB x 1024 x 25 days x 730/30 hrs. x $0.000082/GiB/hr. = $153.24
网络传输成本 将非活动数据移到冷存储层

20% 的数据从冷存储层读取/写入
3 TiB x 1024 x $0.020000 /GiB = $61.44

3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
第二个月总计 $604.47

第三个月及后续月份的每月存储费用为:

成本 说明 计算
30 天的存储成本 1 TiB 未分配存储

1 TiB 活动数据(热存储层)

3 TiB 非活动数据(冷存储层)
1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00

1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00

3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
网络传输成本 20% 的数据从冷存储层读取/写入 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
第三个月及后续每月总计 $498.18

前六个月节省的成本:

  • 没有冷存储的成本:5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
  • 有冷存储的成本:First month + Second month + … + Sixth month = $755.00 + $604.47 + (4 x $498.18) = $3,352.19
  • 使用冷存储节省的成本:25.99%

前 12 个月的节省额:

  • 没有冷存储的成本:5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
  • 有冷存储的成本:First month + Second month + … + twelfth month = $755.00 + $604.47 + (10 x $498.18) = $6,341.27
  • 使用冷存储节省的成本:30.00%

示例 3:冷却期设置为 63 天

全部 5 TiB 都是前二个月的活动数据(位于热存储层)。 第一个月和第二个月的每月存储费用为:5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00

第三个月的存储费用为:

成本 说明 计算
第 1~30 天(30 天)的未分配存储成本 1 TiB 未分配存储 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
第 1~3 天(3 天)的存储成本 4 TiB 活动数据(热存储层) 4 TiB x 1024 x 3 days x 730/30 hrs. x $0.000202/GiB/hr. = $60.40
第 4~30 天(27 天)的存储成本 1 TiB 活动数据(热存储层)

3 TiB 非活动数据(冷存储层)
1 TiB x 1024 x 27 days x 730/30 hrs. x $0.000202/GiB/hr. = $135.90

3 TiB x 1024 x 27 days x 730/30 hrs. x $0.000082/GiB/hr. = $165.50
网络传输成本 将非活动数据移到冷存储层

20% 的数据从冷存储层读取/写入
3 TiB x 1024 x $0.020000/GiB = $61.44

3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
第三个月总计 $586.52

第四个月及后续月份的每月存储费用为:

成本 说明 计算
30 天的存储成本 1 TiB 未分配存储

1 TiB 活动数据(热存储层)

3 TiB 非活动数据(冷存储层)
1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00

1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00

3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
网络传输成本 20% 的数据从冷存储层读取/写入 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
第四个月及后续每月总计 $498.18

前六个月节省的成本:

  • 没有冷存储的成本:5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
  • 有冷存储的成本:First month + Second month + … + Sixth month = (2 x $755.00) + $586.52 + (3 x $498.18) = $3,591.06
  • 使用冷存储节省的成本:20.73%

前 12 个月的节省额:

  • 没有冷存储的成本:5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
  • 有冷存储的成本:First month + Second month + … + twelfth month = (2 x $755.00) + $586.52 + (9 x $498.18) = $6,580.14
  • 使用冷存储节省的成本:27.37%

提示

可以使用 Azure NetApp 文件标准存储与冷访问成本估算器以交互方式估算成本节省,具体取决于可更改的输入参数。

后续步骤