Руководство по Копирование данных в Azure Data Box Heavy через NFS

  • Статья

В этом руководстве объясняется, как подключиться и скопировать данные с главного компьютера на устройство Azure Data Box Heavy с помощью локального пользовательского веб-интерфейса.

В этом руководстве описано следующее:

  • Предварительные требования
  • подключение к Azure Data Box Heavy;
  • копирование данных в Data Box Heavy.

Предварительные требования

Перед тем как начать, убедитесь в следующем.

  1. Вы завершили руководство Настройка Azure Data Box Heavy.
  2. Вы получили устройство Data Box Heavy (состояние заказа на портале — Доставлено).
  3. У вас есть главный компьютер с данными, которые необходимо скопировать в Data Box Heavy. На главном компьютере должно быть следующее ПО:
    • поддерживаемая операционная система;
    • Компьютер должен быть подключен к высокоскоростной сети. Чтобы ускорить копирование, можно параллельно использовать два подключения 40 GbE (по одному на каждый узел). Если у вас нет доступного подключения на 40 GbE, мы рекомендуем использовать хотя бы два подключения 10 GbE (по одному на каждый узел).

подключение к Azure Data Box Heavy;

В зависимости от выбранной учетной записи хранения Data Box Heavy создает перечисленные ниже ресурсы.

  • До трех общих папок для каждой связанной учетной записи хранения (GPv1 и GPv2).
  • Одна общая папка для хранилища класса Premium.
  • Одна общая папка для учетной записи хранения BLOB-объектов.

Эти общие папки создаются на обоих узлах устройства.

В общих папках блочных и страничных BLOB-объектов:

  • сущности первого уровня являются контейнерами;
  • сущности второго уровня являются большими двоичными объектами.

В общих папках для Файлов Azure:

  • сущности первого уровня являются общими папками;
  • сущности второго уровня являются файлами.

В следующей таблице приведен UNC-путь к общим папкам в Azure Data Box Heavy и URL-адрес службы хранилища Azure, куда отправляются данные. Конечный URL-адрес службы хранилища Azure может быть производным от UNC-пути к общей папке.

Память UNC-путь
Блочные BLOB-объекты Azure
  • UNC-путь к общим папкам: //<DeviceIPAddress>/<StorageAccountName_BlockBlob>/<ContainerName>/files/a.txt
  • URL-адрес службы хранилища Azure: https://<StorageAccountName>.blob.core.windows.net/<ContainerName>/files/a.txt
    		•
    Страничные BLOB-объекты Azure
  • UNC-путь к общим папкам: //<DeviceIPAddres>/<StorageAccountName_PageBlob>/<ContainerName>/files/a.txt
  • URL-адрес службы хранилища Azure: https://<StorageAccountName>.blob.core.windows.net/<ContainerName>/files/a.txt
    		•
    Файлы Azure
  • UNC-путь к общим папкам: //<DeviceIPAddres>/<StorageAccountName_AzFile>/<ShareName>/files/a.txt
  • URL-адрес службы хранилища Azure: https://<StorageAccountName>.file.core.windows.net/<ShareName>/files/a.txt
    		•

    Если вы используете главный компьютер с ОС Linux, то выполните указанные ниже действия, чтобы настроить устройство для доступа к NFS-клиентам.

    1. Укажите IP-адреса клиентов, которым разрешен доступ к общей папке. В локальном пользовательском веб-интерфейсе перейдите на страницу Подключение и копирование. В разделе Параметры NFS щелкните Клиентский доступ NFS.

      Настройка клиентского доступа NFS 1

    2. Укажите IP-адрес NFS-клиента и щелкните Добавить. Вы можете настроить доступ для нескольких NFS-клиентов, выполнив это действие для каждого клиента. Нажмите кнопку ОК.

      Настройка клиентского доступа NFS 2

    3. Убедитесь, что на главном компьютере с ОС Linux установлен NFS-клиент поддерживаемой версии. Используйте версию, подходящую для используемого вами дистрибутива ОС Linux.

    4. После установки NFS-клиента подключите общую папку NFS на устройстве Data Box, выполнив указанную ниже команду.

      sudo mount <Data Box Heavy device IP>:/<NFS share on Data Box Heavy device> <Path to the folder on local Linux computer>

      В примере ниже показано, как подключиться к общей папке Data Box Heavy через NFS. IP-адрес устройства Data Box Heavy — 10.161.23.130, общая папка Mystoracct_Blob подключена в виртуальной машине ubuntuVM, а точка подключения называется /home/databoxheavyubuntuhost/databoxheavy.

      sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxheavyubuntuhost/databoxheavy

      Для клиентов Mac необходимо добавить дополнительный параметр следующим образом:

      sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxheavyubuntuhost/databoxheavy

      Всегда создавайте отдельную папку для файлов, которые вы собираетесь скопировать в общую папку. Папка, созданная в общих папках блочных и страничных BLOB-объектов, представляет собой контейнер, куда передаются данные в виде больших двоичных объектов. Вы не можете копировать файлы напрямую в корневую папку в учетной записи хранения.

    копирование данных в Data Box Heavy.

    После подключения к общим папкам Data Box Heavy можно скопировать данные. Прежде чем начать копирование данных, ознакомьтесь со следующими моментами.

    • Убедитесь, что вы собираетесь копировать данные в общие папки, предназначенные для используемого вами формата данных. Например, данные блочного BLOB-объекта необходимо копировать в общую папку для блочных BLOB-объектов. Скопируйте виртуальные жесткие диски в страничные BLOB-объекты. Если формат данных не соответствует общей папке, то на следующем этапе вам не удастся отправить данные в Azure.

    • При копировании данных убедитесь, что размер данных соответствует ограничениям на размер, указанным в статье об ограничениях для службы хранилища Azure и Data Box Heavy.

    • Если данные, отправляемые Data Box Heavy, одновременно отправляются другими приложениями за пределами устройства, это может привести к сбоям заданий отправки и повреждению данных.

    • Рекомендуем не использовать протоколы SMB и NFS одновременно либо копировать одни и те же данные в одно и то же конечное расположение в Azure. В таких случаях невозможно предсказать окончательный результат.

    • Всегда создавайте отдельную папку для файлов, которые вы собираетесь скопировать в общую папку. Папка, созданная в общих папках блочных и страничных BLOB-объектов, представляет собой контейнер, куда передаются данные в виде больших двоичных объектов. Вы не можете копировать файлы напрямую в корневую папку в учетной записи хранения.

    • При приеме имен каталогов и файлов с учетом регистра из общей папки NFS в NFS на устройстве Data Box Heavy:

      • регистр в имени сохраняется;
      • регистр в файлах не учитывается.

      Например, при копировании SampleFile.txt и Samplefile.Txt на устройство регистр в имени сохранится, но второй файл перезапишет первый, так как они считаются одним и тем же файлом.

    Если у вас главный компьютер с ОС Linux, используйте программу копирования, аналогичную Robocopy. Вот некоторые программы, доступные в ОС Linux: rsync, FreeFileSync, Unison, Ultracopier.

    Команда cp — один из лучших способов копировать каталоги. Дополнительные сведения об использовании команды см. на страницах руководства команды cp.

    При копировании при помощи rsync с использованием нескольких потоков следуйте указанным ниже рекомендациям.

    • Установите пакет CIFS Utils или NFS Utils (в зависимости от того, какая файловая система используется в клиенте с ОС Linux).

      sudo apt-get install cifs-utils

      sudo apt-get install nfs-utils

    • Установите программу Rsync и Parallel (в зависимости от версии используемого дистрибутива ОС Linux).

      sudo apt-get install rsync

      sudo apt-get install parallel

    • Создайте точку подключения.

      sudo mkdir /mnt/databoxheavy

    • Подключите том.

      sudo mount -t NFS4 //Databox-heavy-IP-Address/share_name /mnt/databoxheavy

    • Сделайте зеркальное отражение структуры каталогов.

      rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databoxheavy

    • Скопируйте файлы.

      cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databoxheavy/{}

      где j указывает количество параллелизации, X — число параллельных копий.

      Рекомендуем начать работу с 16 параллельных копий и увеличить количество потоков в зависимости от доступных ресурсов.

    Важно!

    Не поддерживаются следующие типы файлов Linux: символьные ссылки, символьные файлы, блочные файлы, сокеты и каналы. Эти типы файлов приведут к сбоям на этапе Подготовка к отправке.

    Откройте папку назначения для просмотра и проверки скопированных файлов. Если в процессе копирования возникли ошибки, скачайте файл с ошибками для устранения неполадок. См. подробнее о просмотре журналов ошибок во время копирования данных в Data Box Heavy. См. подробный список ошибок во время копирования данных в руководстве по устранению неполадок с Azure Data Box Heavy.

    Чтобы обеспечить целостность данных, при копировании данных система вычисляет их контрольные суммы. По завершении копирования проверьте использованное и свободное место на устройстве.

    Проверка свободного и использованного места на панели мониторинга

    Дальнейшие действия

    Из этого руководства вы узнали следующие сведения об Azure Data Box Heavy:

    • Предварительные требования
    • подключение к Azure Data Box Heavy;
    • копирование данных в Data Box Heavy.

    Перейдите к следующему руководству, чтобы узнать, как отправить свой Data Box обратно в корпорацию Майкрософт.

    Отправка Azure Data Box Heavy в Майкрософт