你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

迁移 StorSimple 1200 到 Azure 文件同步

StorSimple 1200 系列是在本地数据中心运行的虚拟设备。 可以将此设备中的数据迁移到 Azure 文件同步环境。 Azure 文件同步是 StorSimple 设备可迁移到的、默认的、策略性的长期 Azure 服务。 本文提供成功迁移到 Azure 文件同步所需的背景知识和迁移步骤。

注意

StorSimple 服务(包括适用于 8000 和 1200 系列的 StorSimple 设备管理器以及 StorSimple 数据管理器)已终止支持。 对 StorSimple 的支持终止已在 2019 年发布在 Microsoft 生命周期策略Azure 通讯页上。 通过电子邮件发送了附加通知,并将其发布到了 Azure 门户和 StorSimple 概述中。 要获得更多详细信息,请联系 Microsoft 支持部门

适用于

文件共享类型 SMB NFS
标准文件共享 (GPv2)、LRS/ZRS 是 否
标准文件共享 (GPv2)、GRS/GZRS 是 否
高级文件共享 (FileStorage)、LRS/ZRS 是 否

Azure 文件同步

Azure 文件同步是一种 Microsoft 云服务,基于两个主要组件:

  • 文件同步和云分层。
  • 作为 Azure 中的原生存储的文件共享,可通过多个协议(例如 SMB 和文件 REST)访问。 Azure 文件共享相当于 Windows Server 上的文件共享,后者可作为网络驱动器进行本机装载。 它支持重要的文件保真度特性,如属性、权限和时间戳。 与 StorSimple 不同的是,无需使用应用程序/服务来解释存储在云中的文件和文件夹。 对于在云中存储常规用途文件服务器数据以及部分应用程序数据来说,它是理想的方法,具有灵活性。

本文重点介绍迁移步骤。 如果要在迁移之前详细了解 Azure 文件同步,我们建议阅读以下文章:

迁移目标

目标是保证生产数据的完整性并保证可用性。 要满足后一项要求,需将停机时间尽量缩短,使之不会超过或者只略微超过例行维护时段。

StorSimple 1200 迁移到 Azure 文件同步的路径

运行 Azure 文件同步代理需要本地 Windows Server。 Windows Server 可以使用的最低版本为 2012 R2 服务器,但最好为 Windows Server 2019。

有多种备用迁移路径,如果要记录所有这些路径,并说明它们与本文中建议作为最佳做法的路线相比应承担的风险或不足的原因,文章将会过长,因此不会全部说明。

本文后面的步骤迁移路线概述。

上图描述了对应于本文各部分的步骤。

步骤 1:预配本地 Windows Server 和存储

  1. 以虚拟机或物理服务器的形式创建 Windows Server 2019(最低为 2012R2)。 也支持 Windows Server 故障转移群集。
  2. 预配或添加直接连接存储(DAS 与 NAS 相对,后者不受支持)。 Windows Server 存储的大小必须等于或大于虚拟 StorSimple 1200 设备的可用容量的大小。

步骤 2:配置 Windows Server 存储

在此步骤中,将 StorSimple 存储结构(卷和共享)映射到 Windows Server 存储结构。 如果你计划对存储结构进行更改(即卷的数量、数据文件夹与卷的关联或当前 SMB/NFS 共享之上或之下的子文件夹结构),现在就是考虑这些更改的时间。 在配置 Azure 文件同步后更改文件和文件夹结构非常麻烦,应避免这样做。 本文假设你执行的是 1:1 映射,因此在按照本文中的步骤操作时,必须考虑映射更改。

  • 在 Windows Server 系统卷上,任何生产数据不得终止。 系统卷不支持云分层。 但是,迁移以及持续操作(如 StorSimple 替换操作)需要此功能。
  • 在 Windows Server 上预配与 StorSimple 1200 虚拟设备相同数量的卷。
  • 配置所需的任何 Windows Server 角色、功能和设置。 建议你选择加入 Windows Server 更新以使你的操作系统保持安全和最新。 同样,我们建议选择 Microsoft 更新以使 Microsoft 应用程序保持最新,包括 Azure 文件同步代理。
  • 阅读以下步骤之前,请不要配置任何文件夹或共享。

步骤 3:部署第一个 Azure 文件同步云资源

要完成此步骤,你需要 Azure 订阅凭据。

为 Azure 文件同步配置的核心资源称为存储同步服务。 建议只为当前或将来同步同一组文件的所有服务器部署一项存储同步服务。 仅当有不同的服务器组,且这些服务器永不交换数据时,才创建多项存储同步服务。 例如,你可能有一些绝不会同步同一个 Azure 文件共享的服务器。 否则,最佳做法是使用一项存储同步服务。

为存储同步服务选择一个离你的位置最近的 Azure 区域。 所有其他云资源必须部署在同一区域中。 若要简化管理,请在订阅中创建一个包含同步和存储资源的新资源组。

有关详细信息,请参阅有关部署 Azure 文件同步的文章中关于部署存储同步服务的部分。请严格按照这部分内容操作。 后续步骤中有这篇文章其他部分的链接。

步骤 4:将本地卷和文件夹结构与 Azure 文件同步和 Azure 文件共享资源匹配

在此步骤中,你将决定需要多少个 Azure 文件共享。 单个 Windows Server 实例(或群集)可以同步最多 30 个 Azure 文件共享。

卷上可能有更多文件夹当前作为 SMB 共享在本地共享给用户和应用。 描述此场景的最简单方法是设想 1:1 映射到 Azure 文件共享的本地共享。 如果共享数目够小,即单个 Windows Server 实例低于 30 个时,建议使用 1:1 映射。

如果共享数目超过 30 个,通常不需要将本地共享 1:1 映射到 Azure 文件共享。 请考虑以下选项。

共享分组

例如,如果人力资源 (HR) 部门有 15 个共享,则可以考虑将所有 HR 数据存储在一个 Azure 文件共享中。 将多个本地共享存储在一个 Azure 文件共享中不会阻止你在本地 Windows Server 实例上创建常规的 15 个 SMB 共享。 这只是意味着将这 15 个共享的根文件夹组织为公用文件夹下的子文件夹。 然后将此公用文件夹同步到 Azure 文件共享。 这样,这组本地共享便只需要云中的单个 Azure 文件共享。

卷同步

Azure 文件同步支持将卷的根同步到 Azure 文件共享。 如果同步卷根,则所有子文件夹和文件都会转到相同的 Azure 文件共享。

同步卷的根并非总是最佳选项。 同步多个位置有很多好处。 例如,这样做可帮助降低每个同步范围的项目数。 我们测试了 Azure 文件共享和 Azure 文件同步,每个共享有 1 亿个项目(文件和文件夹)。 但是,在单个共享中,最好试着将数目控制在 2000 万或 3000 万以下。 使用较少数量的项目设置 Azure 文件同步不只是对文件同步有利。在下面这些场景中,项目数量较少的优势也是显而易见的:

  • 对云内容的初始扫描可以更快地完成,这会减少命名空间出现在启用 Azure 文件同步的服务器上的等待时间。
  • 从 Azure 文件共享快照进行云端还原会更快。
  • 本地服务器的灾难恢复可以显著提高速度。
  • 可以更快地检测和同步在 Azure 文件共享中直接进行的更改(在同步之外)。

提示

如果你不知道你有多少个文件和文件夹,请使用 JAM Software GmbH 提供的 TreeSize 工具来确认。

部署映射的结构化方法

在稍后的步骤中部署云存储之前,请务必在本地文件夹与 Azure 文件共享之间创建映射。 此映射会告知,你要预配哪些 Azure 文件同步“同步组”资源以及具体数量。 同步组会将 Azure 文件共享和服务器上的文件夹关联在一起,并建立同步连接。

若要确定需要多少个 Azure 文件共享,请参考以下限制和最佳做法。 这样做有助于优化映射。

  • 安装了 Azure 文件同步代理的服务器可与最多 30 个 Azure 文件共享同步。

  • Azure 文件共享部署在存储帐户中。 这样安排会使存储帐户成为 IOPS 和吞吐量等性能指标的缩放目标。

    部署 Azure 文件共享时,应注意存储帐户的 IOPS 限制。 理想情况下,应该将文件共享按 1:1 与存储帐户映射。 但由于组织和 Azure 同时施加各种限制和制约,不一定始终能够实现这种映射。 如果无法在一个存储帐户中只部署一个文件共享,可考虑哪些共享会非常活跃和哪些将不会那么活跃,以确保不会将使用率最高的文件共享放置在同一存储帐户中。

    如果计划将应用提升到将在本机使用 Azure 文件共享的 Azure,则可能需要提高 Azure 文件共享的性能。 如果现在甚至以后都可以这样使用,最好在其自己的存储帐户中创建一个标准 Azure 文件共享。

  • 每个 Azure 区域的每个订阅的存储帐户限制为 250 个。

提示

考虑到这一点,通常需要将卷上的多个顶级文件夹分组到一个新的公用根目录中。 随后将这个新的根目录以及分组到其中的所有文件夹都同步到单个 Azure 文件共享。 此方法使你可以维持在每台服务器 30 个 Azure 文件共享同步的限制范围内。

在公用根下进行这种分组不会对数据访问产生影响。 你的 ACL 将保持原样。 只需要调整你在本地服务器文件夹上的任何共享路径(如 SMB 或 NFS 共享),现在你已将这些文件夹更改为公用根。 无其他更改。

重要

Azure 文件同步最重要的缩放矢量是需要同步的项目数(文件和文件夹)。 如需更多详细信息,请参阅 Azure 文件同步缩放目标

最佳实践是使每个同步范围的项目数保持较低。 这是在将文件夹映射到 Azure 文件共享时要考虑的重要因素。 Azure 文件同步对每个共享使用 1 亿个项目(文件和文件夹)进行测试。 但是,在单个共享中,最好将项目数控制在 2000 万或 3000 万以下。 如果开始超过这些数量,请将命名空间拆分为多个共享。 如果一直大致低于这些数量,则可以继续将多个本地共享分组到相同 Azure 文件共享中。 这种做法可为你提供增长空间。

在这种情况下,可能能够以逻辑方式将一组文件夹同步到相同的 Azure 文件共享(使用前面提到的新的公用根文件夹方法)。 但是,重新分组文件夹使它们同步到两个(而不是一个)Azure 文件共享中可能会更好。 可以使用此方法使每个文件共享的文件和文件夹数在服务器间保持平衡。 还可以拆分本地共享并在更多的本地服务器上同步,从而增加每个额外服务器再同步 30 个 Azure 文件共享的能力。

常见文件同步方案和注意事项

# 同步方案 支持 注意事项(或限制) 解决方案(或解决方法)
1 将包含多个磁盘/卷和多个共享的文件服务器同步到同一目标 Azure 文件共享(合并) 目标 Azure 文件共享(云终结点)仅支持与一个同步组同步。

同步组仅支持在每个已注册服务器上使用一个服务器终结点。
1) 首先将一个磁盘(其根卷)同步到目标 Azure 文件共享。 从最大的磁盘/卷开始将有助于满足本地存储要求。 配置云分层以将所有数据分层到云,从而释放文件服务器磁盘上的空间。 将其他卷/共享中的数据移到正在同步的当前卷。 继续逐个执行这些步骤,直到所有数据已分层到云/完成迁移。
2) 每次以一个根卷(磁盘)为目标。 使用云分层将所有数据分层到目标 Azure 文件共享。 从同步组中删除服务器终结点,使用下一个根卷/磁盘重新创建终结点,执行同步,然后重复该过程。 注意:可能需要重新安装代理。
3) 建议使用多个目标 Azure 文件共享(根据性能要求使用相同或不同的存储帐户)
2 将包含单个卷和多个共享的文件服务器同步到同一目标 Azure 文件共享(合并) 在同步到同一目标 Azure 文件共享的每个注册服务器上不能有多个服务器终结点(同上) 同步包含多个共享或顶级文件夹的卷的根目录。 有关详细信息,请参阅共享分组概念卷同步
3 将包含多个共享和/或卷的文件服务器同步到单个存储帐户下的多个 Azure 文件共享(1:1 共享映射) 单个 Windows Server 实例(或群集)可以同步最多 30 个 Azure 文件共享。

存储帐户是性能缩放目标。 IOPS 和吞吐量在文件共享之间共享。

将每个同步组的项数保持在每个共享包含 1 亿个项(文件和文件夹)以内。 理想情况下,最好在每个共享中包含不超过 2 千万到 3 千万个项。
1) 使用多个同步组(同步组数量 = 要同步到的 Azure 文件共享数量)。
2) 在此方案中,每次只能同步 30 个共享。 如果该文件服务器上的共享数超过 30 个,请使用共享分组概念卷同步来减少源上的根目录或顶级文件夹数量。
3) 使用本地的其他文件同步服务器并将数据拆分/移到这些服务器,以解决源 Windows 服务器上的限制。
4 将包含多个共享和/或卷的文件服务器同步到其他存储帐户下的多个 Azure 文件共享(1:1 共享映射) 单个 Windows Server 实例(或群集)最多可以同步 30 个 Azure 文件共享(相同或不同的存储帐户)。

将每个同步组的项数保持在每个共享包含 1 亿个项(文件和文件夹)以内。 理想情况下,最好在每个共享中包含不超过 2 千万到 3 千万个项。
方法同上
5 将包含单个根卷或共享的多个文件服务器同步到同一目标 Azure 文件共享(合并) 同步组不能使用已在另一个同步组中配置的云终结点(Azure 文件共享)。

尽管同步组可以在不同的文件服务器上具有服务器终结点,但文件不能不同。
请遵循上述方案 #1 中的指导,并注意每次以一个文件服务器为目标的附加要点。

创建映射表

显示映射表的示例的关系图。下载以下文件以体验并使用此图像的内容。

使用前面的信息来确定所需的 Azure 文件共享数目,以及现有数据的哪些部分最终会出现在哪个 Azure 文件共享中。

创建一个表来记录你的想法,这样你就可以在需要时进行参考。 保持井然有序非常重要,因为当你同时预配许多 Azure 资源时,可能会很容易丢失映射计划的详细信息。 下载以下 Excel 文件用作模板,以帮助创建映射。


用于设置下载上下文的 Excel 图标。 下载命名空间映射模板。

步骤 5:预配 Azure 文件共享

Azure 文件共享存储在云中的 Azure 存储帐户中。 此处还需遵守另外一个性能注意事项适。

如果共享的活跃度很高(共享由多个用户和/或应用程序使用),则两个 Azure 文件共享就可能达到存储帐户的性能限制。

最佳做法是在部署存储帐户时,让每个存储帐户都有一个文件共享。 如果你有存档共享或预计文件共享的日常活跃度较低,可将多个 Azure 文件共享加入同一存储帐户。

相对于 Azure 文件同步,这些注意事项更适用于通过 Azure VM 进行的直接云访问。如果计划只在这些共享上使用 Azure 文件同步,则可以将多个文件共享分组到一个 Azure 存储帐户中。

如果已创建共享列表,应将每个共享映射到它所在的存储帐户。

在上一阶段中,你确定了适当数量的共享。 在此步骤中,你具有存储帐户到文件共享的映射。 现在,可部署适当数量的 Azure 存储帐户,其中包含相应数量的 Azure 文件共享。

请确保每个存储帐户的区域相同,并且与已部署的存储同步服务资源的区域相匹配。

注意

如果创建的 Azure 文件共享具有 100 TiB 的限制,则该共享只能使用本地冗余存储或区域冗余存储冗余选项。 使用 100 TiB 的文件共享之前,应考虑自己的存储冗余需求。

默认情况下,将创建具有 5 TiB 限制的 Azure 文件共享。 按照创建 Azure 文件共享中的步骤创建大型文件共享。

部署存储帐户时,还要考虑一个问题,那就是 Azure 存储的冗余。 请参阅 Azure 存储冗余选项

资源的名称也很重要。 例如,如果将 HR 部门的多个共享归入一个 Azure 存储帐户中,则应适当地命名存储帐户。 同样,命名 Azure 文件共享时,应使用与本地对应项所用名称类似的名称。

存储帐户设置

可以对存储帐户进行许多配置。 应将以下清单用于配置存储帐户。 例如,你可以在迁移完成后更改网络配置。

  • 大型文件共享:已启用 - 大型文件共享可提高性能,并使共享中的存储容量最高可达 100TiB。
  • 防火墙和虚拟网络:已禁用 - 不要配置任何 IP 限制或限制存储帐户对特定 VNET 的访问。 在迁移过程中使用存储帐户的公共终结点。 必须允许来自 Azure VM 的所有 IP 地址。 迁移后,最好在存储帐户上配置任何防火墙规则。
  • 专用终结点:支持 - 可以启用专用终结点,但使用公共终结点进行迁移,并且必须保持公共终结点可用。

步骤 6:配置 Windows Server 目标文件夹

在前面的步骤中,你已考虑了确定同步拓扑组件的所有特性。 现在,准备好服务器来接收要上传的文件。

创建“所有”文件夹,将每个文件夹同步到其自己的 Azure 文件共享。 务必遵循前面所述的文件夹结构。 例如,如果决定将多个本地 SMB 共享一起同步到单个 Azure 文件共享中,则需要将其放在卷上的通用根文件夹下。 立即在卷上创建此目标根文件夹。

你预配的 Azure 文件共享的数量应等于你在此步骤中创建的文件夹数 + 要在根级别同步的卷数量。

步骤 7:部署 Azure 文件同步代理

在本部分中,你将在 Windows Server 实例上安装 Azure 文件同步代理。

部署指南说明了需要关闭“Internet Explorer 增强的安全性配置”。 此安全措施不适用于 Azure 文件同步。将其关闭后,可以对 Azure 进行身份验证,而不会出现任何问题。

打开 PowerShell。 使用以下命令安装所需的 PowerShell 模块。 请确保按照提示安装完整的模块和 NuGet 提供程序。

Install-Module -Name Az -AllowClobber
Install-Module -Name Az.StorageSync

如果从服务器访问 Internet 时遇到任何问题,现在可以解决这些问题。 Azure 文件同步使用与 Internet 的任何可用网络连接。 还支持要求代理服务器访问 Internet。 可以立即配置计算机范围的代理,也可以在代理安装期间指定仅由 Azure 文件同步使用的代理。

如果配置代理意味着需要为服务器打开防火墙,那么这种方法可能适合你。 服务器安装结束时,在完成服务器注册后,会有一个网络连接报表精确显示所选区域中 Azure 文件同步需要与之通信的 Azure 中的终结点 URL。 该报告还会告诉你需要进行通信的原因。 可以使用该报告将服务器上的防火墙锁定到特定的 URL。

还可以采用相对保守的方法,就是不完全打开防火墙。 可以改为限制服务器与更高级别的 DNS 命名空间进行通信。 有关详细信息,请参阅 Azure 文件同步代理和防火墙设置。 遵循自己的网络最佳做法。

在服务器安装向导结束时,将打开一个服务器注册向导。 从一开始将服务器注册到存储同步服务的 Azure 资源。

部署指南中详细地介绍了这些步骤,其中包含要首先安装的 PowerShell 模块:Azure 文件同步代理安装

使用最新的代理。 可以从 Microsoft 下载中心下载:Azure 文件同步代理

成功安装并注册服务器后,可以确认是否已成功完成此步骤。 转到 Azure 门户中的存储同步服务资源。 在左侧菜单中,转到“已注册的服务器”。 你将看到你的服务器已在此处列出。

步骤 8:配置同步

此步骤将前面步骤中在 Windows Server 实例中设置的所有资源和文件夹绑定在一起。

  1. 登录 Azure 门户
  2. 找到你的存储同步服务资源。
  3. 在每个 Azure 文件共享的存储同步服务资源中创建一个新的同步组。 在 Azure 文件同步术语中,Azure 文件共享是你在创建同步组时所述的同步拓扑中的云终结点。 在创建同步组时,为它提供一个熟悉的名称,便于你识别在那里同步的是哪组文件。 请确保引用具有匹配名称的 Azure 文件共享。
  4. 创建同步组后,该同步组的行会显示在同步组列表中。 选择名称(链接)可显示同步组的内容。 你将在“云终结点”下看到你的 Azure 文件共享。
  5. 找到“添加服务器终结点”按钮。 你在本地服务器上预配的文件夹将成为此服务器终结点的路径。

警告

确保启用云分层! 如果本地服务器没有足够的空间来存储 StorSimple 云存储中的数据的总大小,则这是必需的。 将分层策略(它暂时用于迁移)设置为 99% 的卷可用空间。

针对需要配置同步的所有 Azure 文件共享/服务器位置,重复执行相关步骤来创建同步组并添加匹配的服务器文件夹作为服务器终结点。

步骤 9:复制文件

基本迁移方法是通过 RoboCopy 从 StorSimple 虚拟设备迁移到 Windows Server,并使用 Azure 文件同步来同步到 Azure 文件共享。

运行首次本地复制,以复制到 Windows Server 目标文件夹:

  • 确定虚拟 StorSimple 设备上的第一个位置。
  • 标识已配置 Azure 文件同步的 Windows Server 上的匹配文件夹。
  • 开始使用 RoboCopy 进行复制

以下 RoboCopy 命令将文件从 StorSimple Azure 存储撤回到本地 StorSimple,然后将其移到 Windows Server 目标文件夹。 Windows Server 会将其同步到 Azure 文件共享。 当本地 Windows Server 卷变满时,将启动云分层,并对已成功同步的文件进行分层。 云分层将生成足够的空间,以便继续从 StorSimple 虚拟设备进行复制。 云分层每小时检查一次,以查看已同步的内容,并释放磁盘空间来使卷可用空间达到 99%。

robocopy <SourcePath> <Dest.Path> /MT:20 /R:2 /W:1 /B /MIR /IT /COPY:DATSO /DCOPY:DAT /NP /NFL /NDL /XD "System Volume Information" /UNILOG:<FilePathAndName> 
开关 含义
/MT:n 允许 Robocopy 以多线程方式运行。 n 的默认值为 8。 最大线程数为 128 个。 尽管较高的线程计数有助于使可用带宽饱和,但并不意味着线程越多,迁移就越快。 对 Azure 文件存储的测试表明,在 8 和 20 之间会体现出初始复制运行的均衡性能。 后续的 /MIR 运行会逐步受到可用计算与可用网络带宽的影响。 对于后续的运行,请让你的线程计数值尽量与处理器核心计数和每个核心的线程计数匹配。 考虑是否需要为生产服务器可能具有的其他任务预留核心。 通过 Azure 文件存储进行的测试表明,线程多达 64 个也可以获得良好的性能,但前提是处理器可以同时使它们保持活动状态。
/R:n 第一次尝试复制失败的文件的最大重试计数。 在运行中文件复制永久失败之前,Robocopy 会尝试 n 次。 你可以优化运行的性能:如果你认为是超时问题导致了过去的失败,请选择值 2 或 3。 这在 WAN 链接上可能更常见。 如果你认为文件复制失败是因为它正在被使用,请选择“不重试”或值 1。 如果在几秒钟后重试,可能没有足够的时间让文件的使用中状态发生变化。 使文件保持打开状态的用户或应用可能需要数小时的时间。 在这种情况下,接受文件未能复制,然后在计划的一次后续 Robocopy 运行中捕获该文件,最终可能会成功复制文件。 这有助于使当前运行更快完成,而不会因多次重试而延长,最终在超过重试超时时间之后,由于文件仍处于打开状态而导致大量复制失败。
/W:n 指定在尝试复制上一次复制尝试未成功的文件之前 Robocopy 等待的时间。 n 是两次重试之间的等待间隔(秒)。 /W:n 通常与 /R:n 一起使用。
/B 在备份应用程序会使用的同一模式下运行 Robocopy。 此开关允许 Robocopy 移动当前用户无权访问的文件。 备份开关依赖于在管理员提升控制台或 PowerShell 窗口中运行 Robocopy 命令。 如果对 Azure 文件存储使用 Robocopy,请确保使用存储帐户访问密钥与域标识装载 Azure 文件共享。 如果不这样做,错误消息可能不会直观地引导你解决问题。
/MIR (将源镜像映射到目标)使 Robocpy 只复制源和目标之间的增量。 将复制空子目录。 将复制目标上已更改或不存在的项(文件或文件夹)。 将从目标上清除(删除)目标上存在但源上没有的项。 使用此开关时,要使源和目标文件夹结构完全匹配。 “匹配”表示从正确的源和文件夹级别复制到目标上的匹配文件夹级别。 只有这样,才能成功完成“追赶”复制。 当源和目标不匹配时,使用 /MIR 将导致大规模删除和重新复制。
/IT 确保在某些镜像方案中保留保真度。
例如,如果在两个 RoboCopy 运行之间,文件遇到 ACL 更改和属性更新的情况,它将被标记为“隐藏”。 如果没有 /IT,RoboCopy 可能会遗漏 ACL 更改,并且不会将其传输到目标位置。
/COPY:[copyflags] 文件副本的保真度。 默认值:/COPY:DAT。 复制标志:D= 数据,A= 属性,T= 时间戳,S= 安全性 = NTFS ACL,O= 所有者信息,U= 审核信息D。 审核信息无法存储在 Azure 文件共享中。
/DCOPY:[copyflags] 目录副本的保真度。 默认值:/DCOPY:DA。 复制标记:D = 数据,A = 属性,T = 时间戳。
/NP 指定不显示每个文件和文件夹的复制进度。 显示进度会明显降低复制性能。
/NFL 指定不记录文件名。 提高复制性能。
/NDL 指定不记录目录名。 提高复制性能。
/XD 指定要排除的目录。 在卷的根目录上运行 Robocopy 时,请考虑排除隐藏的 System Volume Information 文件夹。 如果根据设计使用了它,其中的所有信息都特定于此确切系统上的确切卷,并且可按需重新生成。 复制此信息在云中或者将数据复制回另一个 Windows 卷时不会有任何帮助。 留下此内容不应被视为数据丢失。
/UNILOG:<file name> 将状态以 Unicode 形式写入日志文件。 (覆盖现有日志。)
/L 仅适用于测试运行仅列出文件。 它们不会被复制,也不会被删除,并且也不会有时间戳。 通常与 /TEE 配合使用以获得控制台输出。 可能需要删除示例脚本中的标志(例如 /NP/NFL/NDL),才能正确记录测试结果。
/LFSM 仅适用于具有分层存储的目标。 当目标为远程 SMB 共享位置时则不受支持。
指定 Robocopy 在“低可用空间模式”下运行。此开关仅对具有分层存储且可能会在 Robocopy 完成之前耗尽本地容量的目标有用。 它是专门为启用 Azure 文件同步云分层的目标而添加的。 它可独立于 Azure 文件同步使用。在此模式下,每当文件复制会导致目标卷的可用空间低于“下限”值时,Robocopy 都会暂停。 可通过标志的 /LFSM:n 形式指定此值。 参数 n 在基数 2 nKBnMBnGB 中指定。 如果指定的 /LFSM 没有明确的下限值,则下限将设置为目标卷大小的 10%。 低可用空间模式与 /MT/EFSRAW/ZB 不兼容。 Windows Server 2022 中添加了对 /B 的支持。 请参阅下面的 Windows Server 2022 和 RoboCopy LFSM 部分了解详细信息,包括有关相关 bug 和解决方法的详细信息。
/Z 谨慎使用在重启模式下复制文件。 只有在不稳定的网络环境下,才建议使用此开关。 由于额外的日志记录,此开关会明显降低复制性能。
/ZB 谨慎使用使用重启模式。 如果访问被拒绝,此选项将使用备份模式。 由于检查点,此选项会明显降低复制性能。

重要

建议使用 Windows Server 2022。 使用 Windows Server 2019 时,请确保使用最新的修补程序级别或者至少安装了 OS 更新 KB5005103。 它包含适用于某些 Robocopy 方案的重要修补程序。

首次运行 RoboCopy 命令时,用户和应用程序仍访问 StorSimple 文件和文件夹,并可能更改这些文件。 有可能出现这种情况:RoboCopy 处理了一个目录并移至下一个目录,然后源位置 (StorSimple) 中的用户添加、更改或删除了一个此时不会在当前 RoboCopy 运行中处理的文件。 没有问题。

第一次运行是将大量数据移动回本地,然后移动到 Windows Server,并通过 Azure 文件同步备份到云中。此操作可能需要很长时间,具体取决于:

  • 下载带宽
  • StorSimple 云服务的撤回速度
  • 上传带宽
  • 需要任一服务处理的项(文件和文件夹)的数量

在初始运行完成后,再次运行该命令。

第二次将会更快完成,因为只需要传输自上次运行后发生的更改。 这些更改可能是 StorSimple 的本地更改,因为它们是最新的。 这会进一步缩短时间,因为降低了从云撤回的需求。 在这第二次运行期间,仍可能会累积新的更改。

重复此过程,直到你对完成所需的时间是可接受的停机时间这一点感到满意。

如果你认为停机时间可接受,并且你已准备好使 StorSimple 位置脱机,则立即执行此操作:例如,删除 SMB 共享,以便没有用户可以访问该文件夹,或采取任何其他合适的步骤来防止 StorSimple 上此文件夹中的内容发生更改。

运行最后一轮 RoboCopy。 它将选取可能已丢失的任何更改。 这最后一步所花费的时间取决于 RoboCopy 扫描的速度。 可通过测量上一轮运行所用的时间来估算时间(相当于故障时间)。

在 Windows Server 文件夹上创建一个共享,并根据需要调整 DFS-N 部署来指向该文件夹。 请务必设置与 StorSimple SMB 共享上相同的共享级别权限。

你已将共享/共享组迁移到公共根或卷中。 (具体取决于你所映射并决定需要存储到同一 Azure 文件共享的内容。)

你可以尝试并行运行其中的几个副本。 建议一次处理一个 Azure 文件共享的范围。

警告

将所有数据从 StorSimple 移动到 Windows Server 并完成迁移后:返回到 Azure 门户中的所有同步组,并将云分层卷的可用空间百分比值调整为更适合缓存利用率的值,例如 20%

云分层卷中的可用空间策略作用于可能有多个服务器终结点从中同步的卷级别。 如果你忘记了调整哪怕一个服务器终结点上的可用空间,同步也将继续应用最严格的规则,并尝试将可用磁盘空间保留为 99%,从而使本地缓存无法按预期运行。 除非你的目标是为仅包含极少访问的存档数据的卷提供命名空间。

疑难解答

最可能遇到的问题是在 Windows Server 端运行 RoboCopy 命令失败并出现“卷已满”消息。 如果是这样,下载速度可能比上传速度快。 云分层每小时进行一次,以从本地 Windows Server 磁盘撤出已同步的内容。

让同步继续进行并让云分层释放磁盘空间。 可以在 Windows Server 上的文件资源管理器中观察进度。

当 Windows Server 有足够的可用容量时,重新运行该命令可以解决此问题。 遇到这种情况时,不会有任何中断,可以放心地继续操作。 再次运行该命令只会带来不便。

还可能会遇到其他 Azure 文件同步问题。 如果发生这种情况,请参阅Azure 文件同步故障排除指南

给定 RoboCopy 运行的速度和成功率将取决于以下几个因素:

  • 源和目标存储上的 IOPS
  • 源和目标之间的可用网络带宽
  • 快速处理命名空间中的文件和文件夹的能力
  • RoboCopy 运行之间的更改数
  • 需要复制的文件的大小和数量

IOPS 和带宽注意事项

在此类别中,你需要考虑源存储、目标存储以及连接这两者的网络的能力 。 可能的最大吞吐量由这三个组成部分中的最慢者决定。 请确保将网络基础结构配置为支持最佳传输速度来达到其最佳性能。

注意

尽管最理想的结果通常是尽可能快地复制,但还要考虑将本地网络和 NAS 设备用于其他(通常是业务关键的)任务。

当存在迁移可能独占可用资源的风险时,尽可能快地复制可能不可取。

  • 请考虑在你的环境中最适合运行迁移的时间:白天、非工作时间或周末。
  • 还请考虑在 Windows Server 上设立网络 QoS 来限制 RoboCopy 速度。
  • 避免迁移工具不必要的工作。

RoboCopy 可通过指定 /IPG:n 开关来插入数据包间延迟,其中 n 是 RoboCopy 数据包之间的时间间隔(以毫秒为单位)。 使用此开关有助于避免 IO 受限设备和拥堵网络链路上的资源独占。

/IPG:n 无法用于将带宽限制精确到特定 Mbps。 请改用 Windows Server 网络 QoS。 RoboCopy 完全依靠 SMB 协议来满足各项网络需求。 使用 SMB 导致 RoboCopy 无法影响网络吞吐量本身,但它可减慢其使用速度。

类似的思路也适用于在 NAS 上观察到的 IOPS。 NAS 卷上的群集大小、数据包大小和一系列其他因素都会影响 IOPS 观测值。 引入数据包间延迟通常是控制 NAS 上的负载的最简单方法。 测试多个值,例如从大约 20 毫秒 (n=20) 到该数字的倍数。 引入延迟后,可评估其他应用现在是否可按预期方式工作。 通过此优化策略,你可在环境中找到最佳的 RoboCopy 速度。

处理速度

RoboCopy 将遍历它指向的命名空间,并评估每个文件和文件夹是否适合复制。 在初始复制和追加复制期间将评估每个文件。 例如,对相同的源和目标存储位置重复运行 RoboCopy/MIR。 这些重复运行有助于最大程度地减少用户和应用的停机时间,同时提高迁移文件的总体成功率。

我们通常默认带宽是迁移过程中的最大限制因素,也可能的确如此。 但枚举命名空间的能力可能会影响复制的总时间,对于包含更小文件的更大命名空间来说,复制总时间甚至更长。 思考一下,假定所有其他变数都相同,与复制总大小为 1 TiB,但数量更少的更大文件相比,复制 1 TiB 的小文件所耗时间要长得多。 因此,如果要迁移大量小文件,则传输速度可能会很缓慢。 这是预期的行为。

导致这种差异的原因是遍历命名空间所需的处理能力。 RoboCopy 通过 /MT:n 参数支持多线程复制,其中 n 表示要使用的线程数。 因此,在专门为 RoboCopy 预配计算机时,请考虑处理器核心的数量及其与提供的线程计数的关系。 最常见的是每个核心两个线程。 计算机的核心和线程计数是一个重要的数据点,可决定应该指定的多线程值 /MT:n。 还应考虑计划在给定计算机上并行运行的 RoboCopy 作业的数目。

与更少的线程相比,线程更多可更快地复制 1-TiB 的小文件。 同时,对 1 TiB 更大文件投入额外资源可能不会产生成比例的效益。 如果线程数较高,则会尝试通过网络同时复制更多的大文件。 这种额外的网络活动增加了受吞吐量或存储 IOPS 限制的可能性。

在第一次 RoboCopy 到空目标或使用大量更改文件的差异运行期间,你可能会受到网络吞吐量的限制。 在初始运行时,以较高的线程数开始。 较高的线程数(甚至超过计算机上当前可用的线程)有助于使可用网络带宽饱和。 后续 /MIR 运行会逐渐受到处理项的影响。 差异运行中的更改越少,通过网络传输的数据就越少。 相比于通过网络链接来移动命名空间项,你的速度现在更取决于处理命名空间项的能力。 对于后续运行,请将线程计数值与处理器核心计数和每个核心的线程计数相匹配。 考虑是否需要为生产服务器可能具有的其他任务预留核心。

提示

经验法则:第一次运行 RoboCopy 时(将移动延迟较高的网络的大量数据),会受益于过度预配线程计数 (/MT:n)。 后续运行将复制较少的差异,更有可能从网络吞吐量受限转变为计算受限。 在这些情况下,通常最好将 RoboCopy 线程计数与计算机上实际可用的线程数相匹配。 在这种情况下,过度预配可能会导致处理器产生更多与情景相关的波动,从而可能会减慢复制速度。

避免不必要的工作

避免在命名空间中进行大规模更改。 例如,在目录之间移动文件、大规模更改属性或更改权限 (NTFS ACL)。 尤其是 ACL 更改可能会产生很大的影响,因为它们通常对文件夹层次结构中位置较低的文件具有级联更改效果。 可能产生如下后果:

  • 延长 RoboCopy 作业运行时,因为受 ACL 更改影响的每个文件和文件夹都需要更新
  • 重用先前移动的数据可能需要重新复制。 例如,如果在早先复制文件后文件夹结构发生更改,则需要复制更多数据。 RoboCopy 作业无法“回放”命名空间更改。 下一个作业必须清除先前传输到旧文件夹结构中的文件,然后再次将文件上传到新文件夹结构中。

另一个重要方面是有效使用 RoboCopy 工具。 借助推荐的 RoboCopy 脚本,你将创建一个日志文件来放置错误并保存该文件。 可能会发生复制错误,这是正常的。 这些错误通常使得必须运行多轮复制工具,例如 RoboCopy。 有一个初始运行,例如从 NAS 到 DataBox 或从服务器到 Azure 文件共享。 还会使用 /MIR 开关执行一次或多次额外运行,以捕获并重试未复制的文件。

应最好准备来针对给定的命名空间范围运行多轮 RoboCopy。 后续运行将更快完成,因为它们需要复制的内容更少,但会越来越多地受到命名空间的处理速度限制。 运行多轮复制时,可禁止 RoboCopy 尝试在给定的运行中过度复制所有内容来加快每一轮的速度。 这些 RoboCopy 开关可造成很大的差异:

  • /R:n n = 重试复制失败文件的频率
  • /W:n n = 两次重试之间需等待的秒数

/R:5 /W:5 是一个合理的设置,你可根据自己的喜好进行调整。 在本例中,失败的文件将重试 5 次,两次重试之间有 5 秒的等待时间。 如果文件仍无法复制,则下一个 RoboCopy 作业将重试。 通常,由于正在使用或超时问题而失败的文件最终可能会以这种方式成功复制。

Windows Server 2022 和 RoboCopy LFSM

RoboCopy 开关 /LFSM 可用于避免 RoboCopy 作业因“卷已满”错误而失败。 每当文件复制导致目标卷的可用空间低于“下限”值时,RoboCopy 都会暂停。

将 RoboCopy 与 Windows Server 2022 一起使用。 只有此版本的 RoboCopy 包含重要的 bug 修复和功能,它们使开关与大多数迁移中所需的其他标志兼容。 例如,与 /B 标志兼容。

/B 在备份应用程序会使用的同一模式下运行 RoboCopy。 通过此开关,RoboCopy 可移动当前用户无权操作的文件。

通常,RoboCopy 可以在源、目标或第三台计算机上运行。

重要

如果要使用 /LFSM,则必须在 Windows Server 2022 目标 Azure 文件同步服务器上运行 RoboCopy。

另请注意,对于 /LFSM,还必须使用本地路径(而不是 UNC 路径)作为目标。 例如,应使用 E:\Foldername 而不是像 \\ServerName\FolderName 这样的 UNC 路径作为目标路径。

注意

Windows Server 2022 上当前可用的 RoboCopy 版本存在一个 bug,这会导致暂停针对每个文件错误计数而进行计数。 请应用以下解决方法。

建议的 /R:2 /W:1 标志会增加文件因 /LFSM 所致暂停而失败的可能性。 在此示例中,因 /LFSM 所致暂停而在 3 次暂停后未复制的文件会错误地导致 RoboCopy 使该文件失败。 解决方法是为 /R:n/W:n 使用更高的值。 /R:10 /W:1800(每 30 分钟重试 10 次)是一个很好的例子。 这可以让 Azure 文件同步分层算法有时间在目标卷上创建空间。

此 bug 已修复,但修补程序尚未公开发布。 请查看此段落,了解修补程序的可用性及其部署方法。


注意

仍有疑问或问题?
我们随时为你提供帮助: Email address in one word: Azure Files migration at microsoft dot com

迁移内容:

Azure 文件同步内容: