Руководство. Копирование данных на диск Microsoft Azure Data Box и проверка

2025-04-03

Внимание

Azure Data Box теперь поддерживает назначение уровня доступа на уровне блоба. Действия, содержащиеся в этом руководстве, отражают обновленный процесс копирования данных и предназначены для блочных блобов.

Назначение уровня доступа не поддерживается при копировании данных с помощью Data Box Split Copy Tool. Если для вашего варианта использования требуется назначение уровня доступа, выполните действия, содержащиеся в разделе "Копирование данных на диски ", чтобы скопировать данные на соответствующий уровень доступа с помощью служебной программы Robocopy.

Сведения о том, как определить соответствующий уровень доступа для данных блочного BLOB-объекта, см. в разделе "Определение соответствующих уровней доступа для блочных BLOB-объектов".

Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.

Внимание

Эта статья ссылается на CentOS, дистрибутив Linux, поддержка которого прекращена. Пожалуйста, рассмотрите возможность использования и планирования соответствующим образом.

В этом руководстве описывается копирование данных с хост-компьютера и создание контрольных сумм с целью проверки целостности данных.

В этом руководстве описано следующее:

Определение соответствующих уровней доступа для блочных BLOB-объектов
Копирование данных на диск Data Box
Проверка данных

Предварительные условия

Перед тем как начать, убедитесь в следующем.

Вы завершили руководство по установке и настройке диска Azure Data Box.
Диски разблокированы и подключены к клиентскому компьютеру.
Клиентский компьютер, используемый для копирования данных на диски, выполняет поддерживаемую операционную систему.
Предполагаемый тип хранилища для данных соответствует поддерживаемым типам хранилища.
Вы ознакомились с ограничениями управляемых дисков в ограничениях размеров объектов Azure.

Определите подходящие уровни доступа для блобов блочного типа.

Внимание

Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.

Служба Azure Storage позволяет хранить данные блоковых BLOB-объектов на нескольких уровнях доступа в пределах одной и той же учетной записи хранения. Эта возможность позволяет упорядочивать и хранить данные более эффективно на основе частоты доступа. В следующей таблице содержатся сведения и рекомендации по уровням доступа Хранилища Azure.

Уровень	Рекомендация	Лучшие практики
Горячий	Полезно для часто используемых или изменяемых данных в Интернете. Этот уровень имеет самые высокие затраты на хранение, но самые низкие затраты на доступ.	Данные на этом уровне должны находиться в регулярном и активном использовании.
Круто	Полезно для доступа к интернет-данным или редко изменяемых. Этот уровень имеет более низкие затраты на хранение и более высокие затраты на доступ, чем горячий уровень.	Данные на этом уровне должны храниться не менее 30 дней.
Холодный	Полезно для данных в интернете, к которым редко обращаются или которые иногда изменяют, но при этом требуется быстрое извлечение. Этот уровень имеет более низкие затраты на хранение и более высокие затраты на доступ, чем холодный уровень.	Данные на этом уровне должны храниться не менее 90 дней.
Архив	Полезно для офлайн-данных, которые редко используются и имеют низкие требования к задержке.	Данные на этом уровне должны храниться не менее 180 дней. Данные, удаленные из архивного уровня в течение 180 дней, подлежат досрочному удалению.

Дополнительные сведения о уровнях доступа к BLOB-объектам см. в разделе "Уровни доступа" для данных BLOB-объектов. Для более подробных рекомендаций см. Лучшие практики использования уровней доступа к BLOB-объектам.

Данные блок-объектов можно переместить на соответствующий уровень доступа, скопировав их в соответствующую папку на диске Data Box. Этот процесс подробно рассматривается в разделе "Копирование данных на диски ".

Копирование данных на диски

Перед копированием данных на диски, ознакомьтесь со следующими рекомендациями.

Вы несете ответственность за копирование локальных данных в общую папку, соответствующую соответствующему формату данных. Например, скопируйте данные блочных BLOB-объектов в общую папку BlockBlob . Скопируйте VHD в хранилище PageBlob. Если локальный формат данных не соответствует соответствующей папке выбранного типа хранилища, передача данных в Azure завершается сбоем на следующем шаге.
Невозможно скопировать данные непосредственно в корневую папку общего ресурса. Вместо этого создайте папку в соответствующей общей папке и скопируйте в нее данные.
- Папки, расположенные в корне общего ресурса PageBlob, соответствуют контейнерам в вашей учетной записи хранения. Новый контейнер создается для любой папки, имя которой не соответствует существующему контейнеру в вашей учетной записи хранения.
- Папки, расположенные в корневом каталоге AzFile, соответствуют общим папкам Azure. Для любой папки создается новый файловый ресурс, имя которого не соответствует существующему файловому ресурсу в вашей учетной записи.
- Корневой уровень общей папки BlockBlob содержит одну папку, соответствующую каждому уровню доступа. При копировании данных в общую папку BlockBlob создайте вложенную папку в папке верхнего уровня, соответствующую требуемому уровню доступа. Как и в общем ресурсе PageBlob , для любой папки создается новый контейнер, имя которого не соответствует существующему контейнеру. Данные в контейнере копируются на уровень иерархии, соответствующий главному родительскому элементу вложенной папки.
  
  Контейнер также создается для любой папки, размещенной в корневом каталоге общей папки BlockBlob, и данные, содержащиеся в нем, копируются на уровень доступа по умолчанию контейнера. Чтобы убедиться, что данные копируются на нужный уровень доступа, не создавайте папки на корневом уровне.
Внимание

Данные, загруженные в архивный уровень, остаются недоступными и их необходимо восстановить для чтения или изменения. Данные, скопированные на архивный уровень, должны оставаться не менее 180 дней или подлежат досрочному удалению. Уровень архива не поддерживается для учетных записей ZRS, GZRS или RA-GZRS.
При копировании данных убедитесь, что размер данных соответствует ограничениям размера, описанным в статье о хранилище Azure и ограничениях диска Data Box.
Не отключайте шифрование BitLocker на дисках Data Box. Отключение шифрования BitLocker приводит к сбою отправки после возврата дисков. Отключение BitLocker также оставляет диски в разблокированном состоянии, создавая проблемы безопасности.
Чтобы сохранить метаданные, такие как списки управления доступом, метки времени и атрибуты файлов при передаче данных в Azure Files, следуйте рекомендациям из статьи Сохранение списков управления доступом к файлам, атрибутов и меток времени с помощью Azure Data Box Disk.
Если вы одновременно используете и Диск Data Box, и другие приложения для отправки данных, это может привести к сбою заданий и повреждению данных.

Внимание

Если при создании заказа вы указали управляемые диски в качестве одного из назначений для хранения данных, то действуют условия, приведенные в следующем разделе.
Убедитесь, что виртуальные жесткие диски (VHD), отправленные в предварительно созданные папки, имеют уникальные имена в группах ресурсов. Управляемые диски должны иметь уникальные имена в пределах группы ресурсов и всех предварительно созданных папок на диске Data Box. Если вы используете несколько дисков Data Box, имена управляемых дисков должны быть уникальными для всех папок и дисков. При обнаружении виртуальных жестких дисков с повторяющимися именами только один преобразуется в управляемый диск с таким именем. Остальные виртуальные жесткие диски отправляются в качестве страничных блобов в учетную запись промежуточного хранилища.
Всегда копируйте VHD в одну из предварительно созданных папок. Виртуальные жесткие диски, размещенные вне этих папок или в папке, созданной вами, загружаются в учетные записи хранилища Azure в качестве страничных(blob) объектов вместо управляемых дисков.
Для создания управляемых дисков можно загружать только фиксированные виртуальные диски. Динамические виртуальные жесткие диски, разностные виртуальные жесткие диски и VHDX-файлы не поддерживаются.
Средства разделения копирования и проверки Data Box Disk, DataBoxDiskSplitCopy.exe и DataBoxDiskValidation.cmd, сообщают о сбоях при обработке длинных путей. Эти сбои часто возникают, если длинные пути не включены в клиенте, а пути копирования данных и имена файлов превышают 256 символов. Чтобы избежать этих сбоев, следуйте инструкциям в статье о включении длинных путей на клиенте Windows.

Внимание

Интегрированная среда сценариев PowerShell (ISE) не поддерживается для Data Box Disk Tools.

Выполните следующие действия для подключения и копирования данных с компьютера на диск Data Box.

Просмотрите содержимое разблокированного диска. Список предварительно созданных папок и подпапок на накопителе зависит от параметров, которые вы выбираете при размещении заказа на диск Data Box. Создание дополнительных папок не допускается, так как копирование данных в созданную пользователем папку приводит к сбоям отправки.

Выбранное целевое хранилище	Тип учетной записи хранения	Тип учетной записи промежуточного хранения	Папки и вложенные папки
учетная запись хранения	GPv1 или GPv2	Неприменимо	Блоб-блок (BlockBlob) Архив холод Круто горячий PageBlob AzureFile
учетная запись хранения	Учетная запись Blob-хранилища	Неприменимо	Блоб-блок (BlockBlob) Архив холод Круто горячий
Управляемые диски	Неприменимо	GPv1 или GPv2	ManagedDisk PremiumSSD StandardSSD StandardHDD
учетная запись хранения Управляемые диски	GPv1 или GPv2	GPv1 или GPv2	Блоб-блок (BlockBlob) Архив холод Круто горячий PageBlob AzureFile ManagedDisk PremiumSSD StandardSSD StandardHDD
Учетная запись хранения Управляемые диски	Учетная запись хранения больших двоичных объектов	GPv1 или GPv2	Блоб-блок (BlockBlob) Архив холод Круто горячий ManagedDisk PremiumSSD StandardSSD StandardHDD

На следующем снимка экрана показан порядок, в котором указана учетная запись хранения GPv2 и уровень архива:

Скопируйте данные VHD или VHDX в папку PageBlob . Все файлы, скопированные в папку PageBlob, перемещаются в контейнер по умолчанию $root в учетной записи службы хранения Azure. Контейнер создается для каждой подпапки в папке PageBlob в учетной записи хранения Azure.

Скопируйте данные для размещения в файловых ресурсах Azure в подпапку в папке AzureFile. Все файлы, скопированные в папку AzureFile , копируются в виде файлов в контейнер типа databox-format-[GUID]по умолчанию, например databox-azurefile-7ee19cfb3304122d940461783e97bf7b4290a1d7.

Невозможно скопировать файлы непосредственно в корневую папку BlockBlob. В корневой папке вы найдете вложенную папку, соответствующую каждому из доступных уровней доступа. Чтобы скопировать данные BLOB-объектов, сначала необходимо выбрать папку, соответствующую одному из уровней доступа. Затем создайте вложенную папку в папке этого уровня для хранения данных. Наконец, скопируйте данные в только что созданную вложенную папку. Новый вложенный каталог представляет собой контейнер, созданный в учетной записи хранения во время процесса приема. Ваши данные загружаются в этот контейнер в виде блобов. Как и в общем ресурсе AzureFile, создается новый контейнер хранилища BLOB-объектов для каждой вложенной папки, расположенной в корневой папке BlockBlob. Данные в этих папках сохраняются в соответствии с уровнем доступа учетной записи хранения по умолчанию.

Прежде чем копировать данные, необходимо переместить все файлы и папки, существующие в корневом каталоге, в другую папку.

Внимание

Все контейнеры, большие двоичные объекты и названия файлов должны соответствовать соглашениям об именовании Azure. Если не следовать этим правилам, произойдет сбой передачи данных в Azure.
При копировании файлов убедитесь, что файлы не превышают 4,7 ТиБ для блочных BLOB-объектов, 8 ТиБ для страничных BLOB-объектов и 1 ТиБ для Файлы Azure.

Для копирования данных можно использовать функции перетаскивания в Проводнике. Также можно использовать любое средство SMB для копирования файлов, например Robocopy.

Одним из преимуществ использования средства копирования файлов является возможность инициировать несколько заданий копирования, как в следующем примере с помощью средства Robocopy:

Robocopy <source> <destination> * /MT:64 /E /R:1 /W:1 /NFL /NDL /FFT /Log:c:\RobocopyLog.txt

Примечание.

Параметры, используемые в этом примере, основаны на среде, используемой во время внутреннего тестирования. Ваши параметры и значения, скорее всего, отличаются.

Параметры и опции для команды используются следующим образом:

Параметры/Опции	Описание
Источник	Указание пути к исходному каталогу.
Назначение	Укажите путь к целевому каталогу.
/E	Копирует подкаталоги, включая пустые каталоги.
/MT[:n]	Создает копии с несколькими потоками, используя n потоков, где n является целым числом от 1 до 128. Значение по умолчанию для n равно 8.
/R: <n>	Указание количества повторных попыток для неудавшихся копий. Значение n по умолчанию равно 1 000 000 повторных попыток.
/W: <n>	Указание времени ожидания между повторными попытками в секундах. Значение по умолчанию n равно 30 и эквивалентно времени ожидания 30 секунд.
/NFL	Указывает, что имена файлов не регистрируются.
/NDL	Указывает, что имена каталогов не регистрируются.
/FFT	Предполагает время FAT-файла с точностью разрешения в два секунды.
/Log:<файл журнала>	Записывает выходные данные состояния в файл журнала. Любой существующий файл журнала перезаписан.

Можно использовать несколько дисков параллельно с несколькими заданиями, выполняемыми на каждом диске. Помните, что повторяющиеся имена файлов перезаписываются или приводят к ошибке копирования.

Проверьте статус копирования, когда задание находится в процессе выполнения. Ниже приведен пример выходных данных команды Robocopy для копирования файлов на диск Data Box.


C:\Users>robocopy
-------------------------------------------------------------------------------
   ROBOCOPY     ::     Robust File Copy for Windows
-------------------------------------------------------------------------------

   Started : Thursday, March 8, 2018 2:34:53 PM
      Simple Usage :: ROBOCOPY source destination /MIR

            source :: Source Directory (drive:\path or \\server\share\path).
       destination :: Destination Dir  (drive:\path or \\server\share\path).
              /MIR :: Mirror a complete directory tree.

  For more usage information run ROBOCOPY /?    

  ****  /MIR can DELETE files as well as copy them !

C:\Users>Robocopy C:\Repository\guides \\10.126.76.172\AzFileUL\templates /MT:64 /E /R:1 /W:1 /FFT 
-------------------------------------------------------------------------------
   ROBOCOPY     ::     Robust File Copy for Windows
-------------------------------------------------------------------------------

   Started : Thursday, March 8, 2018 2:34:58 PM
    Source : C:\Repository\guides\
      Dest : \\10.126.76.172\devicemanagertest1_AzFile\templates\

     Files : *.*

   Options : *.* /DCOPY:DA /COPY:DAT /MT:8 /R:1000000 /W:30

 ------------------------------------------------------------------------------

 100%    New File    206    C:\Repository\guides\article-metadata.md
 100%    New File    209    C:\Repository\guides\content-channel-guidance.md
 100%    New File    732    C:\Repository\guides\index.md
 100%    New File    199    C:\Repository\guides\pr-criteria.md
 100%    New File    178    C:\Repository\guides\pull-request-co.md
 100%    New File    250    C:\Repository\guides\pull-request-ete.md
 100%    New File    174    C:\Repository\guides\create-images-markdown.md
 100%    New File    197    C:\Repository\guides\create-links-markdown.md
 100%    New File    184    C:\Repository\guides\create-tables-markdown.md
 100%    New File    208    C:\Repository\guides\custom-markdown-extensions.md
 100%    New File    210    C:\Repository\guides\file-names-and-locations.md
 100%    New File    234    C:\Repository\guides\git-commands-for-master.md
 100%    New File    186    C:\Repository\guides\release-branches.md
 100%    New File    240    C:\Repository\guides\retire-or-rename-an-article.md
 100%    New File    215    C:\Repository\guides\style-and-voice.md
 100%    New File    212    C:\Repository\guides\syntax-highlighting-markdown.md
 100%    New File    207    C:\Repository\guides\tools-and-setup.md
 ------------------------------------------------------------------------------

                Total    Copied   Skipped  Mismatch    FAILED    Extras
     Dirs :         1         1         1         0         0         0
    Files :        17        17         0         0         0         0
    Bytes :     3.9 k     3.9 k         0         0         0         0
    Times :   0:00:05   0:00:00                       0:00:00   0:00:00

    Speed :                5620 Bytes/sec.
    Speed :               0.321 MegaBytes/min.
    Ended : Thursday, August 31, 2023 2:34:59 PM

Чтобы оптимизировать производительность, при копировании данных используйте указанные ниже параметры robocopy.

Платформа	В основном небольшие файлы < 512 КБ	Главным образом файлы среднего размера (от 512 КБ до 1 МБ)	В основном большие файлы > 1 МБ
Диск Data Box	4 сеанса Robocopy* 16 потоков на сеанс	2 сеанса Robocopy* 16 потоков на сеанс	2 сеанса Robocopy* 16 потоков на сеанс

* Каждый сеанс Robocopy может иметь не более 7000 каталогов и 150 миллионов файлов.

Дополнительные сведения о команде Robocopy см. в статье о Robocopy и нескольких примерах .

Откройте целевую папку, а затем просмотрите и проверьте скопированные файлы. При наличии ошибок во время копирования скачайте файлы журналов для устранения неполадок. Выходные данные команды robocopy указывают расположение файлов журнала.

Разделение данных и их копирование на диски

Средство Data Box Split Copy помогает разделить и скопировать данные на несколько дисков Azure Data Box. Средство доступно только для использования на компьютере с Windows. Эта необязательная процедура полезна при наличии большого набора данных, который необходимо разделить и скопировать на несколько дисков.

Внимание

Инструмент "Data Box Split Copy" также может проверять ваши данные. Во время использования инструмента Data Box Split Copy для копирования данных вы можете пропустить шаг Проверка данных.

Инструмент Data Box Split Copy не поддерживается с управляемыми дисками.

Скачайте инструмент Data Box Split Copy на компьютер с Windows и извлеките его в локальную папку. Это средство входит в набор инструментов Data Box Disk для Windows.
Откройте Проводник файлов. Запишите источник данных и буквы дисков, назначенные Диску Data Box.
Определите исходные данные для копирования. Так, в нашем примере:
- Были идентифицированы следующие данные блочного BLOB-объекта.
- Были идентифицированы данные блоба страницы.
Перейдите в папку, в которой извлекается программное обеспечение и найдите SampleConfig.json файл. Этот файл — это файл, доступный только для чтения, который можно изменить и сохранить.
Измените файл SampleConfig.json.
- Укажите имя задания. Папка с этим именем создается на диске Data Box. Имя также используется для создания контейнера в учетной записи хранения Azure, связанной с этими дисками. Имя задания должно соответствовать соглашениям об именовании контейнеров Azure.
- Укажите исходный путь, запишите формат пути в файле SampleConfigFile.json.
- Введите буквы дисков, соответствующие целевым дискам. Данные взяты из исходного пути и копируются на нескольких дисках.
- Укажите путь для файлов журналов. По умолчанию файлы журналов отправляются в каталог, где .exe находится файл.
- Чтобы проверить формат этого файла, перейдите в JSONlint.
- Сохраните файл как ConfigFile.json.
Запустите окно командной строки с повышенными привилегиями и выполните DataBoxDiskSplitCopy.exe, используя следующую команду.
```
DataBoxDiskSplitCopy.exe PrepImport /config:ConfigFile.json
```
При появлении запроса нажмите любую клавишу, чтобы продолжить работу средства.
После разделения и копирования набора данных отображается сводка инструмента Split Copy, как это показано в следующем примере выходных данных.
Убедитесь, что данные правильно разделены по целевым дискам.

Проверьте содержимое H: диска и убедитесь, что создаются две вложенные папки, соответствующие данным формата блочного BLOB-объекта и страничного BLOB-объекта.
Если сеанс копирования завершается сбоем, используйте следующую команду, чтобы восстановить и возобновить работу:

DataBoxDiskSplitCopy.exe PrepImport /config:ConfigFile.json /ResumeSession

Если при использовании средства разделения копирования возникают ошибки, выполните действия, описанные в статье об ошибках средства разделения копирования .

Внимание

Инструмент Data Box Split Copy также проверяет ваши данные. Во время использования инструмента Data Box Split Copy для копирования данных вы можете пропустить шаг Проверка данных. Средство разделения копирования не поддерживается с управляемыми дисками.

Проверка данных

Если для копирования данных не использовалось средство разделения данных Data Box, необходимо проверить данные. Проверьте данные, выполнив следующие действия для каждого диска Data Box. Если во время проверки возникают ошибки, выполните действия, описанные в статье об устранении ошибок проверки.

Выполните DataBoxDiskValidation.cmd проверку контрольной суммы в папке DataBoxDiskImport диска. Это средство доступно только для среды Windows. Пользователям Linux необходимо убедиться, что исходные данные, скопированные на диск, соответствуют предварительным требованиям Azure Data Box.
При появлении запроса выберите соответствующий параметр проверки. Мы рекомендуем всегда проверять файлы и создавать контрольные суммы с помощью варианта 2. Выйдите из командного окна после завершения скрипта. Время, необходимое для завершения проверки, зависит от размера данных. Средство уведомляет вас об ошибках, возникших во время проверки и создания контрольной суммы, и предоставляет ссылку на журналы ошибок.
Совет
- Сбросьте инструмент между двумя запусками.
- Процесс контрольной суммы может занять больше времени, если у вас есть большой набор данных, содержащий множество файлов, которые занимают относительно мало емкости хранилища. Если вы проверяете файлы и пропускаете создание контрольной суммы, перед удалением любых копий следует независимо проверить целостность данных на диске Data Box. Эта проверка в идеале включает создание контрольных сумм.