SQL Server 并行数据仓库(PDW)使用暂存数据库在加载过程中临时存储数据。 默认情况下,SQL Server PDW 使用目标数据库作为临时数据库,这可能会导致表碎片。 若要减少表碎片,可以创建用户定义的过渡数据库。 或者,当回滚加载失败不是一个问题时,可以使用 fastappend 加载模式,通过跳过临时表,直接加载到目标表中来提高性能。
暂存数据库基础知识
临时数据库是用户创建的 PDW 数据库,在将数据加载到设备时临时存储数据。 为加载指定临时数据库时,设备首先将数据复制到临时数据库,然后将临时数据库中的临时表中的数据复制到目标数据库中的永久表。
如果未为加载指定临时数据库,Analytics Platform System (PDW)会在目标数据库中创建临时表,并使用它们将加载的数据插入永久目标表中之前存储已加载的数据。
当负载使用 fastappend 模式时,Analytics Platform System (PDW) 会完全跳过使用临时表,并将数据直接追加到目标表。 fastappend 模式可改善 ELT 方案的加载性能,其中数据从应用程序的角度加载到被视为临时表的表中。 例如,ELT 流程可以将数据加载到临时表中,通过清理和去重来处理数据,然后将数据插入目标事实表。 在这种情况下,PDW 不必先将数据加载到内部临时表中,然后再将数据插入应用程序的临时表。 fastappend 模式可避免额外的加载步骤,这显著提高了负载性能。 若要使用 fastappend 模式,必须使用多事务模式,这意味着从失败或中止的加载中恢复必须由您自己的加载进程来处理。
暂存数据库优势
暂存数据库的主要优点是减少表碎片。 如果未使用临时数据库,数据将加载到目标数据库中的临时表中。 在目标数据库中创建和删除临时表时,临时表和永久表的页面将交错。 随着时间的推移,表碎片化发生并降低性能表现。 相比之下,临时数据库可确保在单独的文件空间中创建和删除临时表,而不是永久表。
临时数据库表结构
每个数据库表的存储结构取决于目标表。
对于加载到堆或聚簇列存储索引中,临时表是一个堆。
对于加载到行存储聚集索引中的情况,临时表也是行存储聚集索引。
Permissions
需要对临时数据库具有 CREATE 权限(用于创建临时表)。
创建过渡数据库的最佳做法
每个设备只能有一个过渡数据库。 所有加载作业均可共享过渡数据库,以供所有目标数据库使用。
临时数据库的大小根据客户需求而定。 最初,首次填充设备时,过渡数据库应足够大,以适应初始加载作业。 这些负载作业往往很大,因为多个负载可以同时发生。 初始加载作业完成后,系统处于生产状态,每个负载作业的大小可能更小。 负载较小时,可以减小暂存数据库的大小,以适应较小的负载大小。 若要减小大小,可以删除暂存数据库,并使用较小的分配再次创建该数据库,也可以使用 ALTER DATABASE 该语句。
创建暂存数据库时,请使用以下准则。
每个计算节点的复制表大小应是同时加载的所有复制表的估计大小。 大小通常为 25-30 GB。
每个设备的分布式表大小应为将同时加载的所有分布式表的估计大小。
日志大小通常类似于复制的表大小。
Examples
A. 创建过渡数据库
以下示例创建一个过渡数据库 Stagedb,用于设备上的所有负载。 假设你估计五个复制表,每个表的大小为 5 GB,将同时加载。 由于并发操作,至少分配 25 GB 用于复制大小。 假设你估计六个大小为 100、200、400、500、500 和 550 GB 的分布式表将同时加载。 此并发导致分配用于分布式表的空间至少为 2250 GB。
CREATE DATABASE Stagedb
WITH (
AUTOGROW = ON,
REPLICATED_SIZE = 25 GB,
DISTRIBUTED_SIZE = 2250 GB,
LOG_SIZE = 25 GB
);