获取和配置 Parallel Data Warehouse 的加载服务器

本文介绍如何获取加载服务器并将其配置为非设备 Windows 系统,以便将数据加载提交到 Parallel Data Warehouse (PDW)。

基础知识

加载服务器:

  • 不必是单个服务器。 可以使用多个加载服务器并发加载。

  • 由你自己的 IT 团队提供和管理。 你可能已有可用于将数据加载到 PDW 的一个服务器或多个服务器。

  • 位于你自己的非设备机架中,不能放置在 Analytics Platform System 设备中。

  • 通过设备 InfiniBand 网络或通过以太网连接到设备。 为了提升性能,我们建议使用 InfiniBand。

  • 位于自己的客户域,而不是设备域中。 客户域与设备域之间没有信任关系。

步骤 1:确定容量要求

加载系统可以设计为执行并发加载的一个或多个加载服务器。 只要每个加载服务器处理工作负载的性能和存储要求,它就不必专用于备份。

加载服务器的系统要求几乎完全取决于你自己的工作负载。 使用加载服务器容量计划工作表来帮助确定容量要求。

步骤 2:获取服务器

现在,你更好地了解了容量要求,可以计划购买或预配所需的服务器和网络组件。 将以下要求列表纳入购买计划,然后购买服务器或预配现有服务器。

软件要求

支持的操作系统:

  • Windows Server 2012、Windows Server 2012 R2 或更高版本。 这些操作系统需要 FDR 网络适配器。

  • Windows Server 2008 R2。 此 OS 需要 DDR 网络适配器。

服务器必须使用 EN-US 区域设置才能使用 dwloader 命令行加载工具。 dwloader 不支持其他区域设置。

Windows Server 2012 和 Windows Server 2012 R2 的联网要求

虽然加载不需要,但建议将 InfiniBand 作为加载服务器的连接类型。 为了获得最佳性能,请使用 Windows Server 2012 或 Windows Server 2012 R2 以及 FDR InfiniBand 网络适配器将加载服务器连接到设备 InfiniBand 网络。

要准备 Windows Server 2012 或 Windows Server 2012 R2 InfiniBand 连接:

  1. 计划将服务器安装到足够靠近设备的机架,以便你可以将其连接到设备 InfiniBand 交换机。 有关 Mellanox Technologies 的 InfiniBand 的详细信息,请参阅白皮书《InfiniBand 简介》。

  2. 购买 Mellanox ConnectX-3 FDR InfiniBand 单端口或双端口网络适配器。 建议购买具有两个端口的网络适配器,以便在数据传输期间进行容错。 高可用性需要两端口网络适配器。

  3. 为双端口卡购买 2 根 FDR InfiniBand 电缆,或者为单个端口卡购买 1 根 FDR InfiniBand 电缆。 FDR InfiniBand 电缆将加载服务器连接到设备 InfiniBand 网络。 电缆长度取决于加载服务器与设备 InfiniBand 交换机之间的距离,具体取决于你的环境。

步骤 3:将服务器连接到 InfiniBand 网络

使用以下步骤将加载服务器连接到 InfiniBand 网络。 如果服务器未使用 InfiniBand 网络,请跳过此步骤。

  1. 将服务器安装到足够靠近设备的机架,以便你可以将其连接到设备 InfiniBand 网络。

  2. 将 InfiniBand Mellanox ConnectX-3 FDR InfiniBand 网络适配器安装到加载服务器。

  3. 使用 FDR 电缆将 InfiniBand 网络适配器连接到第一个设备机架中的两个 InfiniBand 交换机之一。

  4. 为 InfiniBand 网络适配器安装并配置适当的 Windows 驱动程序。

    • 适用于 Windows 的 InfiniBand 驱动程序由 OpenFabrics Alliance 开发,它是 InfiniBand 供应商的行业联盟。 正确的驱动程序可能已与 InfiniBand 网络适配器一起分发。 否则,可以从 www.openfabrics.org 下载驱动程序。
  5. 配置网络适配器的 InfiniBand 和 DNS 设置。 有关配置说明,请参阅配置 InfiniBand 网络适配器

步骤 4:安装加载工具

客户端工具可以从 Microsoft 下载中心下载。

要安装 dwloader,请从客户端工具运行 dwloader 安装。

如果计划使用集成服务进行加载,则需要安装集成服务和集成服务目标适配器。 适配器在客户端工具中可用。

步骤 5:开始加载

现在可以开始加载数据了。 有关详细信息,请参阅:

  1. dwloader 命令行加载工具

  2. 日志概述

性能

要在 Windows Server 2012 及更高版本上获得最佳加载性能,请开启即时文件初始化,以便在数据被覆盖时,操作系统不会用零覆盖现有数据。 如果存在安全风险,因为磁盘上仍然存在以前的数据,请确保关闭即时文件初始化。

安全通知

由于要加载的数据未存储在设备上,IT 团队负责管理数据加载安全的各个方面。 例如,这包括管理加载数据的安全、用于存储加载的服务器的安全和将加载服务器连接到 SQL Server PDW 设备的网络基础结构的安全。

重要

保护将使用 dwloader 命令行加载工具的每个加载服务器尤其重要。 当 dwloader 加载数据时,它首先使用控制节点进行身份验证,然后在成功进行身份验证后,通过数据信道将数据从加载服务器直接移动到计算节点。 在每个加载服务器和每个计算节点的握手期间,不会进行证书验证。 这会使计算节点在加载时暴露于每个数据信道上的潜在中间人攻击。 这些攻击可能导致数据被篡改和/或信息泄露。

为了降低数据的安全风险,我们建议执行以下操作:

  • 指定一个仅用于将数据加载到 PDW 的 Windows 帐户。 仅允许此帐户访问加载位置,不要授予对其他位置的访问权限。

  • 指定一个有权加载数据的 PDW 用户。 根据安全要求,每个数据库可以有一个特定的用户。

  • 加载服务器上的操作可以接受从中拉取受信任内部网络外部的数据的 UNC 路径。 网络上的攻击者或能够影响名称解析的攻击者可以截获或修改发送到 SQL Server PDW 的数据。 这会带来篡改和信息泄露风险。 应通过要求对连接进行签名来缓解篡改。 为了帮助缓解此风险,请在加载服务器上的“安全设置\本地策略\安全选项”中设置以下组策略选项:“Microsoft 网络客户端:对通信进行数字签名(始终):已启用”

  • 在 Windows Server 2012 及更高版本上关闭即时文件初始化。 这是性能和安全性之间的权衡,如“性能”部分所述。 需要根据安全要求决定最佳选择。