获取并配置Parallel Data Warehouse的加载服务器

本文介绍了如何获取并配置作为非一体机 Windows 系统的加载服务器,以便向并行数据仓库(PDW)提交数据加载作业。

Basics

加载服务器:

  • 不一定非得是单一服务器。 你可以使用多个加载服务器并发加载。

  • 你的IT团队负责提供和管理服务器。 你可能已经有一台或一台服务器可以用来加载数据到PDW。

  • 安装在您自有的非设备机架中。 你不能把它放在分析平台系统设备里。

  • 通过设备InfiniBand网络或以太网连接到设备。 为获得更佳性能,请使用 InfiniBand。

  • 归属于您自己的客户域,而不是设备域。 客户域与设备域之间没有信任关系。

步骤1:确定容量需求

将加载系统设计为一个或多个执行并发加载的加载服务器。 每个加载服务器不必只专注于加载,只要它能满足工作负载的性能和存储需求即可。

加载服务器的系统需求几乎完全取决于你自己的工作负载。 使用 装载服务器容量规划工作表 来帮助确定您的容量需求。

步骤2:获取服务器

既然你更清楚了容量需求,就规划你需要购买或配置的服务器和网络组件。 将以下要求列表纳入购买计划,然后购买服务器或预配现有服务器。

软件要求

支持的操作系统:

  • Windows Server 2012、Windows Server 2012 R2 或更高版本。 这些操作系统需要FDR网络适配器。

  • Windows Server 2008 R2。 该操作系统需要 DDR 网络适配器。

服务器必须使用 en-US 本地区域才能使用 dwloader 命令行加载工具。 DWloader不支持其他地区。

Windows Server 2012 和 Windows Server 2012 R2 的网络需求

虽然InfiniBand不是加载的必需,但它是加载服务器时推荐的连接类型。 为了获得最佳性能,建议使用 Windows Server 2012 或 Windows Server 2012 R2,以及 FDR InfiniBand 网络适配器,将加载服务器连接到设备 InfiniBand 网络。

若要为 Windows Server 2012 或 Windows Server 2012 R2 的 InfiniBand 连接做好准备:

  1. 计划将服务器安装到足够靠近设备的机架,以便你可以将其连接到设备 InfiniBand 交换机。 有关Mellanox Technologies关于InfiniBand的更多信息,请参阅白皮书 《InfiniBand介绍》。

  2. 购买 Mellanox ConnectX-3 FDR InfiniBand 单端口或双端口网络适配器。 建议购买具有两个端口的网络适配器,以提高数据传输期间的容错性。 高可用性需要两个端口网络适配器。

  3. 为双端口卡购买两根 FDR InfiniBand 电缆,或为单个端口卡购买一根 FDR InfiniBand 电缆。 FDR InfiniBand 电缆将加载服务器连接到设备 InfiniBand 网络。 电缆长度取决于加载服务器与设备 InfiniBand 开关之间的距离,具体取决于你的环境。

步骤3:将服务器连接到InfiniBand网络

使用以下步骤将加载服务器连接到 InfiniBand 网络。 如果服务器不使用 InfiniBand 网络,可以跳过这一步。

  1. 将服务器安装到足够靠近设备的机架,以便你可以将其连接到设备 InfiniBand 网络。

  2. 将 InfiniBand Mellanox ConnectX-3 FDR InfiniBand 网络适配器安装到加载服务器。

  3. 使用 FDR 电缆将 InfiniBand 网络适配器连接到第一个设备机架中的两个 InfiniBand 交换机之一。

  4. 为 InfiniBand 网络适配器安装并配置相应的 Windows 驱动程序。

    • OpenFabrics 联盟是一个由 InfiniBand 厂商组成的行业联盟,负责开发 Windows 的 InfiniBand 驱动程序。 你的InfiniBand网络适配器可能包含正确的驱动。 如果不行,你可以从 www.openfabrics.org下载驱动。
  5. 配置网络适配器的 InfiniBand 和 DNS 设置。 有关配置说明,请参见 配置InfiniBand网络适配器。

步骤4:安装装载工具

你可以从Microsoft 下载中心下载客户端工具。

要安装dwloader,请从客户端工具运行dwloader安装程序。

如果你打算用集成服务加载,你需要安装集成服务和集成服务的目的地适配器。 适配器可以在客户端工具中提供。

步骤5:开始装载

现在你可以开始加载数据了。 有关详细信息,请参见:

  1. dwloader 命令行加载工具

  2. 载荷概述

性能

为了在 Windows Server 2012 及更高版本中获得最佳加载性能,请开启即时文件初始化。 当数据被覆盖时,操作系统不会用零覆盖现有数据。 如果这个设置存在安全风险,因为磁盘上仍有之前的数据,请关闭即时文件初始化。

安全通知

由于要加载的数据不存储在设备上,你的IT团队负责管理数据加载的所有安全方面。 例如,这项职责包括管理加载数据的安全、用于存储加载的服务器安全,以及连接加载服务器与 SQL Server PDW 设备的网络基础设施的安全。

Important

尤其重要的是要保护每个使用 dwloader 命令行加载工具的加载服务器。 当dwloader加载数据时,首先与控制节点进行身份验证。 认证成功后,它会通过数据通道直接将数据从加载服务器传输到计算节点。 证书验证不会在每个加载服务器与每个计算节点之间的握手中进行。 这一过程会使计算节点在加载过程中,其每个数据通道都暴露于潜在的中间人攻击之下。 这些攻击可能导致数据被篡改和信息泄露。

为了降低数据的安全风险,请遵循以下建议:

  • 指定一个专门用于向PDW加载数据的Windows账户。 仅授予此账户对加载位置的权限,不要授予其他任何权限。

  • 指定一个PDW用户拥有加载数据的权限。 根据你的安全需求,你可以为每个数据库设置一个特定用户。

  • 加载服务器上的操作可以接受 UNC 路径,以便从受信任内部网络之外提取数据。 网络上的攻击者或具备影响名称解析能力的攻击者可以拦截或修改发送到SQL Server PDW的数据。 该漏洞存在篡改和信息泄露的风险。 为防止篡改,要求对连接进行签名。 为降低此风险,请在加载服务器的安全设置\本地策略\安全选项中设置以下组策略选项:Microsoft 网络客户端:数字签名通信(始终):启用

  • 关闭Windows Server 2012及更高版本的即时文件初始化功能。 该设置是在性能与安全性之间做出权衡,如性能部分所述。 你需要根据自己的安全需求决定哪种方式最好。