Поделиться через


Миграция данных с запоминающего устройства, подключаемого к сети (NAS), в гибридное облачное развертывание с помощью Синхронизации файлов Azure

Эта статья о миграции — одна из нескольких публикаций с ключевыми словами "NAS" и "Синхронизация файлов Azure". Проверьте, относится ли эта статья к вашему сценарию.

  • Источник данных: запоминающее устройство, подключаемое к сети (NAS)
  • Путь миграции: NAS ⇒ Windows Server ⇒ передача и синхронизация файлов с общими папками Azure
  • Локальное кэширование файлов: да, конечная цель — развертывание службы "Синхронизация файлов Azure".

Если ваш сценарий отличается, ознакомьтесь с таблицей руководств по миграции.

Синхронизация файлов Azure работает в расположениях direct Attached служба хранилища (DAS) и не поддерживает синхронизацию с расположениями сетевых служба хранилища (NAS). Этот факт делает миграцию файлов необходимыми, и в этой статье описано, как планирование и выполнение такой миграции.

Применяется к

Тип общей папки SMB NFS
Стандартные общие папки (GPv2), LRS/ZRS Yes No
Стандартные общие папки (GPv2), GRS/GZRS Yes No
Общие папки уровня "Премиум" (FileStorage), LRS/ZRS Yes No

Цели миграции

Цель заключается в переносе общих папок S МБ на (модуль) NAS на Windows Server, а затем использовать Синхронизация файлов Azure для гибридного развертывания облака. Как правило, необходимо выполнить миграцию таким образом, чтобы гарантировать целостность рабочих данных и ее доступность во время миграции. Последнее означает сведение времени простоя к минимуму, чтобы длительность миграции была равна стандартному периоду обслуживания или только немного превышала его.

Обзор миграции

Как упоминание в разделе "Миграция в S МБ общих папок Azure", важно использовать правильное средство копирования и подход. Устройство NAS предоставляет общие ресурсы SMB непосредственно в локальной сети. Для перемещения файлов можно использовать служба хранилища Azure Mover или RoboCopy.

Этап 1. Определение необходимого количества общих папок Azure

На этом шаге выполняется определение количества необходимых общих папок Azure. Один экземпляр Windows Server (или кластер) может синхронизировать до 30 общих папок Azure.

Тома могут содержать большее количество папок, к которым вы в настоящее время предоставляете локальный доступ как к общим папкам SMB пользователям и приложениям. Самый простой способ изобразить этот сценарий — представить локальную общую папку, которая имеет сопоставление 1:1 с общей папкой Azure. При наличии достаточно небольшого количества общих папок (менее 30) для одного экземпляра Windows Server рекомендуется использовать сопоставление 1:1.

Если используется более 30 общих папок, зачастую сопоставление 1:1 между локальной общей папкой и общей папкой Azure не является обязательным. Следуйте приведенным ниже рекомендациям.

Группирование общих папок

Например, если у отдела кадров (HR) 15 общих папок, возможно, стоит хранить все данные HR в одной общей папке Azure. Хранение нескольких локальных общих папок в одной общей папке Azure не мешает создать 15 обычных общих папок SMB на локальном экземпляре Windows Server. Это лишь означает, что корневые папки этих 15 общих папок должны представлять собой вложенные папки в составе общей папки. Затем выполняется синхронизация этой общей папки с общей папкой Azure. Таким образом, для этой группы локальных общих папок требуется только одна общая папка Azure в облаке.

Синхронизация томов

Синхронизация файлов Azure поддерживает синхронизацию корня тома с общей папкой Azure. При синхронизации корня тома все вложенные папки и файлы отправляются в одну и ту же общую папку Azure.

Синхронизация корня тома не всегда представляет собой лучшее решение. Синхронизация нескольких расположений имеет свои преимущества. Например, она позволяет сократить количество элементов в одной области синхронизации. Тестирование общих папок Azure и службы синхронизации файлов Azure выполняется при 100 миллионах элементов (файлов и папок) в одной общей папке. Однако рекомендуется использовать не более 20–30 миллионов элементов в одной общей папке. Настройка Синхронизации файлов Azure с меньшим количеством элементов выгодна не только для синхронизации файлов. Уменьшение количества элементов также полезно в перечисленных ниже сценариях.

  • Начальное сканирование содержимого облака может выполняться быстрее, что, в свою очередь, сократит время ожидания отображения пространства имен на сервере, где включена Синхронизация файлов Azure.
  • Восстановление на стороне облака из моментального снимка общей папки Azure будет выполняться быстрее.
  • Аварийное восстановление локального сервера может существенно ускориться.
  • Обнаружение и синхронизация изменений, внесенных непосредственно в общей папке Azure (за пределами области синхронизации), могут выполняться быстрее.

Совет

Если вы не знаете, сколько у вас файлов и папок, воспользуйтесь инструментом TreeSize от JAM Software GmbH.

Структурированный подход к сопоставлению развертывания

Перед развертыванием облачного хранилища на более позднем этапе необходимо создать сопоставление между локальными папками и общими папками Azure. Из этого сопоставления будет понятно, сколько ресурсов группы синхронизации Синхронизации файлов Azure и какие из них необходимо подготовить к работе. Группа синхронизации связывает общую папку Azure и папку на сервере и устанавливает соединение для синхронизации.

Чтобы решить, сколько общих папок Azure вам нужно, ознакомьтесь с приведенными ниже ограничениями и рекомендациями. Это поможет вам оптимизировать сопоставление.

  • Сервер, на котором установлен агент Синхронизации файлов Azure, может выполнить синхронизацию с 30 общими папками Azure.

  • Общая папка Azure развертывается в учетной записи хранения. Это делает учетную запись хранения целевым объектом масштабирования для таких показателей производительности, как операции ввода-вывода в секунду и пропускная способность.

    Обратите внимание на ограничения операций ввода-вывода в секунду учетной записи хранения при развертывании общих папок Azure. В идеале следует сопоставить общие папки 1:1 с учетными записями хранения. Однако это может быть не всегда возможно из-за различных ограничений и ограничений, как из вашей организации, так и из Azure. Если невозможно развернуть только одну общую папку в одной учетной записи хранения, рассмотрите, какие общие папки будут очень активными и какие общие папки будут менее активными, чтобы гарантировать, что самые горячие общие папки не помещают в одну учетную запись хранения вместе.

    Если вы планируете перенести в Azure приложение, которое будет использовать общую папку Azure в собственном коде, от общей папки Azure может потребоваться большая производительность. Если такой тип использования возможен (пусть даже в будущем), рекомендуется создать одну стандартную общую папку Azure в собственной учетной записи хранения.

  • Одна подписка в одном регионе Azure может содержать не более 250 учетных записей хранения.

Совет

При этом в томах зачастую требуется сгруппировать несколько папок верхнего уровня в общий новый корневой каталог. Затем выполняется синхронизация этого нового корневого каталога и всех папок, сгруппированных в него, в одну общую папку Azure. Эта методика позволяет не превышать ограничения по количеству синхронизаций общих папок Azure на одном сервере (не более 30).

Такое группирование в общем корне не влияет на доступ к данным. Списки управления доступом остаются неизменными. Вам потребуется лишь скорректировать все пути к общим папкам (например, к общим папкам SMB или NFS) в локальных папках сервера, которые теперь имеют общий корень. Больше ничего не меняется.

Важно!

Самое важное направление масштабирования для Синхронизации файлов Azure — число элементов (файлов и папок), которые необходимо синхронизировать. Дополнительные сведения см. в статье Целевые показатели масштабируемости службы синхронизации файлов Azure.

В одной области синхронизации рекомендуется использовать небольшое количество элементов. Это важный фактор, который следует учитывать при сопоставлении папок с общими папками Azure. Тестирование службы синхронизации файлов Azure выполняется при 100 миллионах элементов (файлов и папок) в одной общей папке. Однако, как правило, рекомендуется использовать не более 20–30 миллионов элементов в одной общей папке. В случае превышения этих цифр разделите пространство имен на несколько общих папок. Если в общем и целом эти цифры не превышены, вы можете продолжить группирование локальных общих папок в одну и ту же общую папку Azure. Такая методика оставляет пространство для роста.

В вашей ситуации возможна логическая синхронизация набора папок с одной и той же общей папкой Azure (с использованием упомянутого выше подхода с новой общей корневой папкой). Тем не менее все равно рекомендуется перегруппировать папки так, чтобы они синхронизировались с двумя, а не с одной общей папкой Azure. Такой подход обеспечивает равномерное распределение файлов и папок по общим папкам на сервере. Вы также можете разделить локальные общие папки и выполнить синхронизацию с несколькими локальными серверами. Это дает возможность синхронизации с еще 30 общими папками Azure на каждом дополнительном сервере.

Распространенные сценарии синхронизации файлов и рекомендации

# Сценарий синхронизации Поддерживается Рекомендации (или ограничения) Решение (или обходное решение)
1 Файловый сервер с несколькими дисками и томами и несколькими общими ресурсами для одной целевой общей папки Azure (консолидация) No Целевая файловая папка Azure (конечная точка облака) поддерживает синхронизацию только с одной группой синхронизации.

Группа синхронизации поддерживает только одну конечную точку сервера на зарегистрированный сервер.
1. Начните с синхронизации одного диска (корневого тома) для целевого файлового ресурса Azure. Начиная с самого большого диска или тома, требования к хранилищу будут соответствовать локальным требованиям. Настройте распределение по уровням в облаке для распределения всех данных в облако, тем самым освобождая место на диске файлового сервера. Переместите данные из других томов или общих папок в текущий том, который синхронизируется. Продолжайте шаги по одному до тех пор, пока все данные не будут многоуровневы до облака или перенесены.
2) Нацелив один корневой том (диск) за раз. Используйте распределение по уровням облака для распределения всех данных для целевого файлового ресурса Azure. Удалите конечную точку сервера из группы синхронизации, повторно создайте конечную точку со следующим корневым томом или диском, синхронизацией и повторите процесс. Примечание. Может потребоваться повторная установка агента.
3. Рекомендуется использовать несколько целевых общих папок Azure (одну или другую учетную запись хранения на основе требований к производительности).
2 Файловый сервер с одним томом и несколькими общими ресурсами для одной целевой общей папки Azure (консолидация) Да Не удается синхронизировать несколько конечных точек сервера на зарегистрированный сервер, синхронизированный с одной целевой общей папкой Azure (аналогично приведенной выше). Синхронизировать корневой каталог тома, включающего несколько общих папок или папок верхнего уровня. Дополнительные сведения см. в разделе "Общие понятия группирования" и синхронизации томов.
3 Файловый сервер с несколькими общими папками и (или) томами для нескольких общих папок Azure в рамках одной учетной записи хранения (сопоставление общих папок 1:1) Да Один экземпляр Windows Server (или кластер) может синхронизировать до 30 общих папок Azure.

Учетная запись хранения — это целевой объект масштабирования для производительности. Операции ввода-вывода в секунду и пропускная способность получают общий доступ между общими файловыми ресурсами.

Сохраняйте количество элементов для каждой группы синхронизации в пределах 100 миллионов элементов (файлов и папок) на общую папку. В идеале лучше всего остаться ниже 20 или 30 миллионов на акцию.
1) Использование нескольких групп синхронизации (число групп синхронизации = количество общих папок Azure для синхронизации).
2) Синхронизировано только 30 общих папок в этом сценарии одновременно. Если на этом файловом сервере более 30 общих папок, используйте концепцию группирования общих ресурсов и синхронизацию томов, чтобы уменьшить количество корневых или верхних папок в источнике.
3) Использование дополнительных Синхронизация файлов серверов локальной среды и разделения и перемещения данных на эти серверы для обхода ограничений на исходном сервере Windows.
4 Файловый сервер с несколькими общими ресурсами и (или) томами для нескольких общих папок Azure в разных учетных записях хранения (сопоставление общих папок 1:1) Да Один экземпляр Windows Server (или кластер) может синхронизировать до 30 общих папок Azure (одной или другой учетной записи хранения).

Сохраняйте количество элементов для каждой группы синхронизации в пределах 100 миллионов элементов (файлов и папок) на общую папку. В идеале лучше всего остаться ниже 20 или 30 миллионов на акцию.
Тот же подход, что и выше
5 Несколько файловых серверов с одним (корневым томом или общим ресурсом) для одной целевой общей папки Azure (консолидация) No Группа синхронизации не может использовать облачную конечную точку (общую папку Azure), уже настроенную в другой группе синхронизации.

Хотя группа синхронизации может иметь конечные точки сервера на разных файловых серверах, файлы не могут отличаться.
Следуйте указаниям в сценарии 1 выше с дополнительным вниманием к тому, чтобы нацелить один файловый сервер одновременно.

Создание таблицы сопоставления

Diagram that shows an example of a mapping table. Download the following file to experience and use the content of this image.

Воспользуйтесь приведенной выше информацией, чтобы определить, сколько общих папок Azure вам нужно и какие элементы существующих данных в каких общих папках Azure окажутся.

Создайте таблицу, содержащую ваши идеи, и обращайтесь к ней при необходимости. Упорядоченность важна, поскольку при одновременной подготовке нескольких ресурсов Azure можно потерять подробности плана сопоставления. Скачайте следующий файл Excel, чтобы использовать его в качестве шаблона для создания сопоставления.


Excel icon that sets the context for the download. Скачайте шаблон сопоставления пространства имен.

Этап 2. Подготовка подходящего локального сервера Windows Server

  • Создайте виртуальную машину Windows Server 2022 или Windows Server 2019 или разверните физический сервер. Отказоустойчивый кластер Windows Server также поддерживается.

  • Подготовка или добавление прямых подключенных служба хранилища (DAS по сравнению с NAS, которая не поддерживается).

    Объем подготовленного хранилища может быть меньше, чем то, что вы используете в настоящее время на (модуль) NAS. Для этого выбора конфигурации также требуется использовать функцию уровня облака Синхронизация файлов Azure. Однако при копировании файлов из большего пространства NAS на меньший том Windows Server на более поздний этап вам потребуется работать в пакетах:

    1. перемещение набора файлов, который помещается на диск;
    2. Разрешить синхронизацию файлов и взаимодействие по уровням в облаке
    3. когда на томе выделено дополнительное свободное пространство, перейти к следующему пакету файлов. Или изучите команду RoboCopy в разделе RoboCopy в этой статье для использования нового коммутатора /LFSM. Использование /LFSM может значительно упростить задания RoboCopy, но оно несовместимо с некоторыми другими коммутаторами RoboCopy, от которые могут зависеть. Используйте параметр /LFSM, только если назначением миграции является локальное хранилище. Он не поддерживается, если назначением является удаленная общая папка SMB.

    Этот подход к пакетной обработке можно избежать, выделив на сервере Windows Server пространство, эквивалентное пространству, занимаемому файлами на устройстве NAS. Рассмотрите возможность дедупликации на устройстве NAS или в Windows. Если вы не хотите окончательно перемещать такой большой объем данных на сервер Windows Server, можно уменьшить размер тома после миграции и до настройки политик распределения по уровням облака. Это создает меньший локальный кэш файловых ресурсов Azure.

Конфигурация ресурсов (вычислений и ОЗУ) развертываемого Windows Server зависит, главным образом, от количества элементов (файлов и папок), которые будут синхронизироваться. При наличии каких-либо проблем рекомендуется использовать более высокую конфигурацию производительности.

Узнайте, как масштабировать сервер Windows с учетом количества элементов (файлов и папок), которые необходимо синхронизировать.

Примечание.

В статье, ссылка на которую была представлена ранее, содержится таблица с диапазоном памяти (ОЗУ) сервера. Можно ориентироваться на меньшее значение для вашего сервера, но при этом начальная синхронизация может занять значительно больше времени.

Этап 3. Развертывание облачного ресурса Синхронизации файлов Azure

На этом шаге вам понадобятся учетные данные подписки Azure.

Основной ресурс, который необходимо настроить для службы Синхронизации файлов Azure, называется службой синхронизации хранилища. Рекомендуется развертывать только одну службу для всех серверов, которые выполняют синхронизацию одного и того же набора файлов сейчас или в будущем. Создавать несколько служб синхронизации хранилища следует, только если имеются отдельные наборы серверов, которые ни в коем случае не должны обмениваться данными. Например, у вас могут быть серверы, которые ни в коем случае не должны выполнять синхронизацию одной и той же общей папки Azure. В противном случае рекомендуется использовать одну службу синхронизации хранилища.

Выберите для службы синхронизации хранилища регион Azure, находящийся ближе к вашему расположению. Все остальные облачные ресурсы должны развертываться в той же группе ресурсов. Чтобы упростить управление, создайте в подписке новую группу ресурсов, в которой будут храниться ресурсы для синхронизации и хранилища.

Дополнительные сведения см. в разделе о развертывании службы синхронизации хранилища статьи о развертывании службы Синхронизации файлов Azure. Вам понадобится только этот раздел статьи. На следующих этапах будут приведены ссылки на другие разделы статьи.

Этап 4. Развертывание ресурсов хранилища Azure

На этом этапе просмотрите таблицу сопоставления из этапа 1 и используйте ее для подсчета правильного числа учетных записей хранения Azure и файловых ресурсов в них.

Общая папка Azure хранится в облаке в учетной записи хранения Azure. Здесь применяется еще один уровень рекомендаций по производительности.

При наличии очень активных общих папок (общих папок, используемых несколькими пользователями и (или) приложениями) производительность двух общих папок Azure может достичь предельного значения для учетной записи хранения.

Рекомендуется развертывать учетные записи хранения с одной общей папкой в каждой. Использовать несколько общих папок Azure в одной учетной записи хранения можно в том случае, если у вас имеются архивные общие папки или же уровень повседневной активности в них будет низким.

Эти рекомендации, скорее, касаются прямого облачного доступа (через виртуальную машину Azure), чем службы "Синхронизация файлов Azure". Если вы планируете использовать службу "Синхронизация файлов Azure" только в этих общих папках, группирование нескольких файлов в одну учетную запись хранения Azure вполне подойдет.

Если вы составили список общих папок, сопоставьте каждую из них с учетной записью хранения, в которой она будет размещаться.

На предыдущем этапе вы определили соответствующее количество общих папок. На данном этапе вы создали сопоставление учетных записей хранения с общими папками. Теперь разверните соответствующее количество учетных записей хранения Azure, содержащих соответствующее количество общих папок Azure.

Проследите за тем, чтобы все учетные записи хранения относились к одному региону, совпадающему с регионом уже развернутого ресурса службы синхронизации хранилища.

Внимание

Если вы создадите общую папку Azure с ограничением в 100 ТиБ, она сможет использовать только параметры избыточности "Локально избыточное хранилище" или "Хранилище, избыточное между зонами". Рассмотрите потребности в избыточности хранилища перед использованием 100 общих папок TiB.

По умолчанию общие папки Azure создаются с ограничением в 5 ТиБ. Инструкции по созданию больших общих папок см. в статье Создание файлового ресурса Azure.

Еще один вопрос, который следует учитывать при развертывании учетной записи хранения, — избыточность службы хранилища Azure. См. статью Варианты избыточности хранилища Azure.

Имена ресурсов также важны. Например, при группировании нескольких общих папок для отдела кадров в учетную запись хранения Azure учетной записи хранения следует присвоить соответствующее имя. Точно так же общим папкам Azure следует присваивать имена, аналогичные тем, которые используются для локальных экземпляров.

Этап 5. Развертывание агента Синхронизации файлов Azure

В этом разделе вам предстоит установить агент Синхронизации файлов Azure на экземпляре Windows Server.

Руководство по развертыванию объясняет необходимость отключения конфигурации усиленной безопасности Internet Explorer. Эта мера безопасности неприменима к Синхронизации файлов Azure. Ее отключение позволяет выполнять проверку подлинности в Azure без каких бы то ни было проблем.

Откройте средство PowerShell. Установите необходимые модули PowerShell с помощью следующих команд. При появлении соответствующего запроса обязательно установите полный модуль и поставщик NuGet.

Install-Module -Name Az -AllowClobber
Install-Module -Name Az.StorageSync

Если на вашем сервере возникают проблемы с подключением к Интернету, настало время их устранить. Служба Синхронизации файлов Azure использует любое доступное сетевое подключение к Интернету. Требование к наличию прокси-сервера для подключения к Интернету также поддерживается. Вы можете настроить прокси-сервер на уровне компьютера сейчас или задать прокси-сервер, который будет использоваться только службой Синхронизации файлов Azure, во время установки агента.

Если настройка прокси-сервера означает, что для этого сервера необходимо открыть брандмауэры, такой подход может оказаться приемлемым. В конце установки сервера после завершения его регистрации отчет о подключении к сети будет содержать точные URL-адреса конечных точек в Azure, с которыми служба Синхронизации файлов Azure должна выполнять обмен данными в выбранном регионе. Отчет также содержит причину, по которой требуется обмен данными. Отчет можно использовать для блокировки брандмауэров этого сервера по конкретным URL-адресам.

Можно также придерживаться более консервативного подхода, при котором широкое открытие брандмауэров не выполняется. Вместо этого можно установить для сервера ограничение, допускающее обмен данными только с пространствами имен DNS более высокого уровня. Дополнительные сведения см. в разделе Параметры прокси-сервера и брандмауэра Синхронизации файлов Azure. Следуйте собственным лучшим методикам реализации сети.

По окончании работы мастера установки сервера откроется мастер регистрации сервера. Зарегистрируйте сервер в ресурсе Azure службы синхронизации хранилища, упомянутой ранее.

Эти действия подробно описаны в руководстве по развертыванию, включающем модули PowerShell, которые следует установить в первую очередь: Установка агента Синхронизации файлов Azure.

Используйте последнюю версию агента. Его можно скачать в Центре загрузки Майкрософт: Агент Синхронизации файлов Azure.

После успешной установки и регистрации сервера можно проверить, успешно ли завершен этот шаг. Перейдите к ресурсу службы синхронизации хранилища на портале Azure. В меню слева выберите пункт Зарегистрированные серверы. Сервер появится в списке.

Этап 6. Настройка службы Синхронизации файлов Azure на сервере Windows Server

Зарегистрированный локальный сервер Windows Server должен быть готов к работе и подключен к Интернету для этого процесса.

На этом этапе выполняется связывание всех ресурсов и папок, настроенных на экземпляре Windows Server в ходе выполнения предыдущих этапов.

  1. Войдите на портал Azure.
  2. Найдите ресурс службы синхронизации хранилища.
  3. Создайте новую группу синхронизации в ресурсе службы синхронизации хранилища для каждой общей папки Azure. В терминологии Синхронизации файлов Azure общая папка Azure станет облачной конечной точкой в топологии синхронизации, которую вы описываете при создании группы синхронизации. При создании группы синхронизации присвойте ей знакомое имя, чтобы определить, какой набор файлов будет здесь синхронизироваться. Убедитесь, что вы ссылаетесь на общую папку Azure с таким же именем.
  4. После создания группы синхронизации в списке групп синхронизации появится строка для нее. Выберите имя (ссылку), чтобы показать содержимое группы синхронизации. Общая папка Azure появится в разделе Облачные конечные точки.
  5. Найдите кнопку Добавить конечную точку сервера. Подготовленная вами папка на локальном сервере станет путем для этой конечной точки сервера.

Важно!

Распределение по уровням в облаке — это функция Синхронизации файлов Azure, которая позволяет выделять локальному серверу меньший объем хранилища, чем объем ресурсов в облаке, но при этом использовать полное пространство имен. Локальные интересные (горячие) данные также кэшируются локально для быстрой производительности доступа. Распределение по уровням облака — это дополнительная функция Синхронизации файлов Azure для конечной точки сервера.

Предупреждение

Если вы подготовили на томах Windows Server хранилище размером меньше объема данных, используемых на устройстве NAS, распределение по уровням облака является обязательным. Если вы не включите распределение по уровням в облаке, сервер не освободит место для хранения всех файлов. Настройте для временной политики распределения, предназначенной для миграции, 99 % свободного места на томе. После завершения миграции обязательно вернитесь к параметрам распределения по уровням в облаке и задайте более долгосрочный уровень.

Повторите шаги создания группы синхронизации и добавления соответствующей папки сервера в качестве конечной точки сервера для всех общих папок Azure или расположений серверов, которые необходимо настроить для синхронизации.

После создания всех конечных точек сервера синхронизация начнет работать. Вы можете создать тестовый файл и увидеть, как он синхронизируется из расположения на сервере с подключенной общей папкой Azure (описанной в облачной конечной точке в группе синхронизации).

Оба расположения, папки сервера и общие папки Azure, в противном случае пустые и ожидающие данные в любом расположении. На следующем шаге вы начнете копировать файлы в Windows Server для Синхронизация файлов Azure, чтобы переместить их в облако. Если вы включили распределение по уровням в облаке, сервер начнет распределять файлы по уровням, если место на локальных томах закончилось.

Этап 7. Копирование данных с помощью служба хранилища Azure Mover или RoboCopy

Теперь вы можете использовать служба хранилища Azure Mover или RoboCopy для копирования данных из NAS (модуль) в Windows Server и использовать Синхронизация файлов Azure для перемещения данных в общие папки Azure. В этом руководстве используется RoboCopy для первоначальной копии. Чтобы использовать вместо этого служба хранилища Azure Mover, см. раздел "Миграция на S МБ общие папки Azure с помощью служба хранилища Azure Mover".

Запустите первое локальное копирование в целевой папке Windows Server:

  • Определите первое расположение на устройстве NAS.
  • Определите соответствующую папку на Сервере Windows Server, которая уже Синхронизация файлов Azure настроена на нем.
  • Запустите копию.

Следующая команда RoboCopy копирует файлы из хранилища NAS в целевую папку Windows Server. Сервер Windows Server будет синхронизировать ее с общими папками Azure.

Если вы подготовили на сервере Windows Server меньше места, чем занимают файлы на устройстве NAS, значит, вы настроили распределение по уровням в облаке. По мере заполнения локального тома Windows Server будет запущено распределение по уровням облака, и файлы, которые были успешно синхронизированы, будут распределены по уровням. Распределение по уровням облака создаст достаточно места для продолжения копирования с устройства NAS. Распределение по уровням в облаке выполняется один раз в час, чтобы понять, что было синхронизировано, и освободить 99 % места на томе.

Возможно, RoboCopy перемещает файлы быстрее, чем можно синхронизировать с облаком и уровнем локально, поэтому не требует места на локальном диске. В этом случае RoboCopy завершится ошибкой. Мы рекомендуем работать с общими папками в последовательности, которая предотвращает это, например, не запуская задания копирования для всех общих папок одновременно или только перемещая общие папки, которые соответствуют текущему объему свободного места на Windows Server.

robocopy <SourcePath> <Dest.Path> /MT:20 /R:2 /W:1 /B /MIR /IT /COPY:DATSO /DCOPY:DAT /NP /NFL /NDL /XD "System Volume Information" /UNILOG:<FilePathAndName> 
Коммутатор Значение
/MT:n Разрешает выполнение Robocopy в многопоточном режиме. По умолчанию параметр n имеет значение 8. Максимум — 128 потоков. Хотя большое количество потоков помогает повысить доступную пропускную способность, это не означает, что ваша миграция всегда будет выполняться быстрее. Тесты с Файлами Azure демонстрируют, что использование диапазона от 8 до 20 потоков обеспечивает сбалансированную производительность для выполнения исходного копирования. На последующие запуски /MIR влияют доступные вычислительные ресурсы и доступная полоса пропускания. Для последующих запусков указываемое количество потоков нужно привести в соответствие с числом ядер процессора и количеством потоков, приходящихся на каждое ядро. Определите, нужно ли зарезервировать ядра для других задач рабочего сервера. Тесты с Файлы Azure показали, что до 64 потоков дают хорошую производительность, но только если процессоры могут поддерживать их в то же время.
/R:n Максимальное число повторных попыток для файла, который не удалось скопировать с первого раза. Robocopy повторит попытку определенное количество раз (n), после чего объявит невозможность скопировать этот файл во время этого выполнения. Вы можете оптимизировать производительность выполнения: выберите значение "2" или "3", если вы считаете, что проблемы с истечением времени ожидания вызывали сбои в прошлом. Это может быть типичной проблемой для связи по каналам WAN. Выберите вариант "Без повторных попыток" или значение "1", если вы считаете, что файл не удалось скопировать, так как он активно использовался. Повторная попытка через несколько секунд не всегда позволяет дождаться изменения состояния использования для файла. Возможно, пользователям или приложениям, которые удерживают этот файл открытым, потребуется больше времени. Если вы просто зафиксируете, что файл не был скопирован, и вернетесь к нему в одном из следующих запланированных запусков Robocopy, это может позволить успешно его скопировать. В этом случае текущее выполнение завершится быстрее, без затрат времени на повторные попытки, которые все равно в большинстве случаев завершаются сбоем копирования из-за того, что файлы остаются открытыми по истечении времени ожидания повторных попыток.
/W:n Указывает время ожидания Robocopy перед попыткой копирования файла, который не был успешно скопирован во время предыдущей попытки. n — это количество секунд ожидания между повторными попытками. /W:n часто используется вместе с /R:n.
/B Выполняет команду Robocopy в том же режиме, что и приложение резервного копирования. Этот параметр позволяет Robocopy перемещать файлы, для которых у текущего пользователя нет разрешений. Параметр резервного копирования зависит от выполнения команды Robocopy в консоли с повышенными привилегиями администратора или в окне PowerShell. Если вы используете Robocopy с Файлами Azure, убедитесь, что вы подключаете общую папку Azure с помощью ключа доступа к учетной записи хранения, а не удостоверения домена. В противном случае сообщения об ошибках могут не позволить найти очевидное решение проблемы.
/MIR (Зеркалирование источника в целевом объекте.) Позволяет Robocopy скопировать только изменения между исходным и целевым объектом. Будут скопированы пустые подкаталоги. Элементы (файлы или папки), которые были изменены или не существуют в целевой папке, будут скопированы. Элементы, которые существуют в назначении, но не в источнике, будут удалены из целевого объекта. При использовании этого параметра структуры исходной и целевой папок должны соответствовать друг другу. Соответствие означает, что вы выполняете копирование с правильного уровня источника и папки на соответствующий уровень папки в целевом объекте. Только тогда зеркальное копирование будет успешным. Если объекты источника и назначения не совпадают, использование /MIR приведет к увеличению числа операций удаления и повторного копирования.
/IT Обеспечивает сохранение точности данных в определенных зеркальных сценариях.
Например, если в файле происходит изменение ACL и между двумя выполнениями Robocopy обновляется атрибут, он помечается как скрытый. Без параметра /IT команда Robocopy может упустить изменение ACL и не передать его в целевое расположение.
/COPY:[copyflags] Точность копирования файла. По умолчанию: /COPY:DAT. Флаги копирования: D = данные, A = атрибуты, T = метки времени, S = безопасность = NTFS ACL, O = информация о владельце, U = данные аудита. Данные аудита не могут храниться в общей папке Azure.
/DCOPY:[copyflags] Точность для копии каталогов. По умолчанию: /DCOPY:DA. Флаги копирования: D = данные, A = атрибуты, T = метки времени.
/NP Указывает, что ход копирования каждого файла и папки не отображается. Отображение хода выполнения значительно снижает производительность копирования.
/NFL Указывает, что имена файлов не регистрируются. Улучшается производительность копирования.
/NDL Указывает, что имена каталогов не регистрируются. Улучшается производительность копирования.
/XD Указывает исключаемые каталоги. При выполнении Robocopy в корне тома рассмотрите возможность исключения скрытой папки System Volume Information. Если она используется по назначению, вся информация в ней относится к конкретному тому в этой конкретной системе и может быть легко восстановлена ​​по требованию. Копирование этой информации не принесет никакой пользы ни в облаке, ни при последующем копировании обратно на другой том Windows. Отказ от хранения этого содержимого не должен считаться потерей данных.
/UNILOG:<file name> Записывает состояние в файл журнала в формате Юникод. (Перезаписывает существующий журнал.)
/L Только для тестового запуска
Для файлов только выводится список. Они не копируются, не удаляются, и в них не добавляются мети времени. Зачастую используется вместе с /TEE для вывода консоли. Флаги из примера скрипта (такие как /NP, /NFL и /NDL) потребуется удалить, чтобы добиться обеспечить надлежащее документирование результатов теста.
/LFSM Только для целевых объектов с многоуровневым хранилищем. Не поддерживается, если назначение является удаленным ресурсом S МБ.
Указывает, что Robocopy работает в "режиме низкого свободного пространства". Этот параметр полезен только для целевых объектов с многоуровневыми хранилищами, которые могут выйти из локальной емкости до завершения Robocopy. Он был добавлен специально для использования с целевым объектом, для которого установлено распределение по уровням в облаке в Синхронизации файлов Azure. Его можно использовать независимо от Синхронизации файлов Azure. В этом режиме средство Robocopy будет приостановлено всякий раз, когда копирование файла приведет к тому, что свободное место на целевом томе опустится ниже предельного значения. Это значение может быть задано в форме /LFSM:n флага. Параметр n указывается в системе отсчета с базой 2: nKB, nMB или nGB. Если параметр /LFSM указан без явного значения floor, для него устанавливается значение 10 процентов от размера целевого тома. Режим нехватки свободного места несовместим с /MT, /EFSRAW или /ZB. Поддержка /B была добавлена в Windows Server 2022. Дополнительные сведения о связанных ошибках и обходных решениях см. в разделе о Windows Server 2022 и RoboCopy LFSM ниже.
/Z Используйте его с осторожностью
Копирует файлы в режиме перезапуска. Этот параметр рекомендуется использовать только в нестабильной сетевой среде. Он значительно сокращает производительность копирования из-за дополнительных записей в журнал.
/ZB Используйте его с осторожностью
Использует режим перезапуска. Если доступ запрещен, то для этого параметра используется режим резервного копирования. Этот параметр значительно сокращает производительность копирования из-за дополнительных контрольных точек.

Важно!

Мы рекомендуем использовать Windows Server 2022. При использовании Windows Server 2019 убедитесь, что установлено последнее исправление или хотя бы обновление ОС KB5005103. Оно содержит важные исправления для определенных сценариев Robocopy.

Этап 8. Прямая миграция пользователя

При первом запуске команды RoboCopy пользователи и приложения по-прежнему получают доступ к файлам на NAS и могут их изменить. Возможно, что RoboCopy обработал каталог, переходит к следующему, а затем пользователь в исходном расположении (NAS) добавляет, изменяет или удаляет файл, который теперь не будет обработан в этом текущем запуске RoboCopy. Это поведение является ожидаемым.

Первый сеанс направлен на перемещение большого объема данных на сервер Windows Server и в облако с помощью Синхронизации файлов Azure. Первое копирование может занять много времени, в зависимости от следующих факторов:

  • пропускная способность загрузки;
  • пропускная способность отправки;
  • скорость локальной сети и количество оптимальных потоков RoboCopy;
  • количество элементов (файлов и папок), которые должны обрабатываться RoboCopy и Синхронизация файлов Azure

После завершения начального сеанса выполните команду еще раз.

Второй раз она завершится быстрее, так как средству нужно лишь передать изменения, произошедшие с момента последнего запуска. Во время этого второго запуска новые изменения по-прежнему могут накапливаться.

Повторите этот процесс, пока вы не будете удовлетворены тем, что время, затраченное на завершение RoboCopy для определенного расположения, находится в допустимом окне простоя.

При анализе допустимого времени простоя необходимо прекратить доступ пользователей к общим папкам на основе NAS. Это можно сделать любым способом, который не позволит пользователям изменять структуру и содержимое файлов и папок. Например, можно указать в DFS-Namespace несуществующее расположение или изменить корневой список ACL в общей папке.

Запустите RoboCopy последний раз. Оно обнаружит все изменения, которые могли быть пропущены. Сколько времени занимает последний шаг, зависит от скорости сканирования RoboCopy. Вы можете оценить время (равное времени простоя), измерив длительность предыдущего запуска.

Создайте общую папку в папке на сервере Windows Server и, если возможно, настройте развертывание DFS-N, чтобы оно указывало на нее. Не забудьте установить те же разрешения на уровне общего ресурса, что и в общем SMB-ресурсе NAS. Если у вас есть присоединенный к домену корпоративный домен NAS, идентификаторы пользователей будут автоматически совпадать, так как пользователи существуют в Active Directory и RoboCopy копирует файлы и метаданные в полной точности. Если вы применяли локальных пользователей на устройстве NAS, потребуется повторно создать их в качестве локальных пользователей Windows Server и сопоставить существующие идентификаторы безопасности, которые средство RoboCopy переместило на сервер Windows Server, с идентификаторами безопасности новых локальных пользователей Windows Server.

На этом миграция общей папки или группы общих папок в общий корневой каталог или том завершена. (В зависимости от сопоставления с этапа 1)

Можно попытаться выполнить несколько операций копирования параллельно. Рекомендуется обрабатывать по одной общей папке Azure за раз.

Предупреждение

После перемещения всех данных из NAS на Windows Server и миграции выполняется: вернитесь ко всем группам синхронизации в портал Azure и измените значение процента свободного места на уровне облака, чтобы лучше подходить для использования кэша, например 20 %.

Политика свободного места на томе для распределения по уровням в облаке действует на уровне тома и поддерживает синхронизацию нескольких конечных точек сервера. Если вы забыли настроить свободное пространство даже на одной конечной точке сервера, синхронизация будет продолжать применять самое строгое правило и пытаться сохранить свободное место на диске 99 %, что делает локальный кэш не работает так, как вы можете ожидать. Если вы не хотите использовать только пространство имен для тома, который содержит только редкий доступ, архивные данные и резервируете остальное пространство хранилища для другого сценария.

Устранение неполадок

Наиболее вероятной проблемой является то, что команда RoboCopy завершается ошибкой "Полный том" на стороне Windows Server. Распределение по уровням в облаке выполняется один раз в час — при этом перемещается содержимое с локального диска сервера Windows, которое было синхронизировано. Его цель — достигнуть 99 % свободного места на томе.

Позвольте синхронизации продолжить выполнение, а функции распределения по уровням облака — освободить место на диске. За этим можно наблюдать в проводнике на сервере Windows Server.

Когда на сервере Windows Server будет достаточно свободного места, повторно выполните команду, чтобы устранить проблему. При возникновении этой ситуации не происходит ничего критичного, и вы можете спокойно работать дальше. Необходимость выполнения команды — единственное последствие в этом случае.

Сведения об устранении неполадок службы "Синхронизация файлов Azure" см. по ссылке в следующем разделе.

Следующие шаги

В следующих статьях описаны варианты развертывания, рекомендации и действия по устранению неполадок.