Руководство по копированию данных в Azure Data Box Heavy через S МБ

Статья
04/04/2024

Копирование данных в Azure Data Box Heavy

Внимание

Azure Data Box теперь поддерживает назначение уровня доступа на уровне BLOB-объектов. Действия, содержащиеся в этом руководстве, отражают обновленный процесс копирования данных и зависят от блочных BLOB-объектов.

Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.

В этом руководстве объясняется, как подключиться к главному компьютеру и скопировать данные с него с помощью локального пользовательского веб-интерфейса.

В этом руководстве описано следующее:

подключение к Azure Data Box Heavy;
копирование данных в Data Box Heavy.

Данные можно скопировать с исходного сервера в Data Box с помощью SMB, NFS, REST, службы копирования данных или же скопировать их на управляемые диски.

В каждом случае убедитесь, что имена общих папок, имена папок и размер данных соответствуют рекомендациям, описанным в ограничениях службы служба хранилища Azure и Data Box Heavy.

Необходимые компоненты

Перед тем как начать, убедитесь в следующем.

В этом руководстве описано, как настроить Azure Data Box Heavy.
Вы получаете data Box Heavy и что состояние заказа на портале доставлено.
У вас есть главный компьютер с данными, которые необходимо скопировать в Data Box Heavy. Компьютер узла должен:
- поддерживаемая операционная система;
- Компьютер должен быть подключен к высокоскоростной сети. Чтобы ускорить копирование, можно параллельно использовать два подключения 40 GbE (по одному на каждый узел). Если у вас нет доступного подключения на 40 GbE, мы рекомендуем использовать хотя бы два подключения 10 GbE (по одному на каждый узел).

Подключение к Azure Data Box Heavy

В зависимости от выбранной учетной записи хранения Data Box Heavy создает перечисленные ниже ресурсы.

До трех общих папок для каждой связанной учетной записи хранения (GPv1 и GPv2).
Одна общая папка для хранилища класса Premium.
Одна общая папка для учетной записи хранения BLOB-объектов, содержащая одну папку для каждого из четырех уровней доступа.

В следующей таблице указаны имена общих папок Data Box, к которым можно подключиться, и тип данных, отправленных в целевую учетную запись хранения. Он также определяет иерархию общих папок и каталогов, в которые копируются исходные данные.

Тип хранилища	Имя общего ресурса	Сущность первого уровня	Сущность второго уровня	Сущность третьего уровня
Блочный BLOB-объект	<storageAccountName>_BlockBlob	<\accessTier>	<\containerName>	<\blockBlob>
Страничный BLOB-объект	<\storageAccountName>_PageBlob	<\containerName>	<\pageBlob>
Хранилище файлов	<\storageAccountName>_AzFile	<\fileShareName>	<\Файл>

Файлы нельзя копировать непосредственно в корневую папку общего ресурса Data Box. Вместо этого создайте папки в общей папке Data Box в зависимости от варианта использования.

Блочные BLOB-объекты поддерживают назначение уровней доступа на уровне файла. При копировании файлов в общую папку блочных BLOB-объектов рекомендуется добавить новые вложенные папки в соответствующий уровень доступа. После создания новых вложенных папок продолжайте добавлять файлы в каждую вложенную папку соответствующим образом.

Новый контейнер создается для любой папки, размещенной в корневом каталоге блочного общей папки BLOB-объектов. Любой файл в этой папке копируется на уровень доступа учетной записи хранения по умолчанию в виде блочного BLOB-объекта.

Дополнительные сведения о уровнях доступа к BLOB-объектам см. в разделе "Уровни доступа" для данных BLOB-объектов. Дополнительные сведения о рекомендациях уровня доступа см. в рекомендациях по использованию уровней доступа к BLOB-объектам.

В следующей таблице показан UNC-путь к общим папкам в Data Box и соответствующий URL-адрес пути служба хранилища Azure, в который передаются данные. Конечный URL-адрес службы хранилища Azure может быть производным от UNC-пути к общей папке.

Типы служб хранилища Azure	Общие папки Data Box
Блочные BLOB-объекты Azure	UNC-путь к общим папкам: `\\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt` URL-адрес службы хранилища Azure: `https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt`
Страничные BLOB-объекты Azure	UNC-путь к общим папкам: `\\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd` URL-адрес службы хранилища Azure: `https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd`
Файлы Azure	UNC-путь к общим папкам: `\\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt` URL-адрес службы хранилища Azure: `https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt`

Инструкции по подключению с помощью клиента Windows и клиента Linux отличаются.

Примечание.

Выполните те же действия, чтобы подключиться к обоим узлам устройства в параллельном режиме.

Подключение в Windows

Если вы используете главный компьютер с Windows Server, для подключения к Data Box Heavy выполните указанные ниже действия.

В первую очередь необходимо выполнить проверку подлинности и начать сеанс. Перейдите на страницу Подключение и копирование. Чтобы получить учетные данные для доступа к общим папкам, связанным с вашей учетной записью хранения, щелкните Получить учетные данные.
В диалоговом окне "Доступ к общей папке и копирование данных" скопируйте имя пользователя и пароль, соответствующие необходимой общей папке. Щелкните OK.
Чтобы получить доступ к общим папкам, связанным с вашей учетной записью хранения (databoxe2etest в следующем примере) на главном компьютере, откройте окно командной строки. В командной строке введите:

net use \\<IP address of the device>\<share name> /u:<user name for the share>

В зависимости от формата ваших данных, пути к общей папке могут быть следующими:
- Блочный BLOB-объект Azure — \\10.100.10.100\databoxe2etest_BlockBlob.
- Страничный BLOB-объект Azure — \\10.100.10.100\databoxe2etest_PageBlob.
- Файлы Azure — \\10.100.10.100\databoxe2etest_AzFile.
При отображении соответствующего запроса введите пароль для общей папки. Следующий пример можно использовать для подключения к общей папке BlockBlob в Data Box с IP-адресом 10.100.100.100.
```
net use \\10.100.10.100\databoxe2etest_BlockBlob /u:databoxe2etest
Enter the password for 'databoxe2etest' to connect to '10.100.10.100':
The command completed successfully.
```
Нажмите клавиши WINDOWS+R. В окне Выполнить введите \\<device IP address>. Нажмите кнопку ОК, чтобы открыть проводник.

Должны отобразиться папки, в том числе общие. Обратите внимание, что в этом примере используется общая папка BlockBlob . Соответственно, существуют четыре папки, представляющие четыре доступных уровня доступа. Эти папки недоступны в других общих папках.

Всегда создавайте отдельную папку для файлов, которые вы собираетесь скопировать в общую папку. Вы не можете копировать файлы напрямую в корневую папку в учетной записи хранения. Все папки, созданные в общей папке PageBlob , представляют контейнеры, в которые передаются данные в виде BLOB-объектов. Аналогичным образом все вложенные папки, созданные в папках, представляющих уровни доступа в общей папке BlockBlob , также представляют контейнер хранилища BLOB-объектов. Папки, созданные в общей папке AzFile , представляют общие папки.

Папки, созданные в корнеобщей папки BlockBlob , будут созданы в виде контейнеров BLOB-объектов. Уровень доступа этого контейнера наследуется от учетной записи хранения.

Подключение в Linux

Если вы используете клиент Linux, вставьте общий ресурс SMB с помощью следующей команды.

sudo mount -t nfs -o vers=2.1 10.126.76.172:/databoxe2etest_BlockBlob /home/databoxubuntuhost/databox

Параметр vers указывает версию SMB, которую поддерживает ваш узел Linux. Вставьте необходимую версию в указанную выше команду.

Версии SMB, которые поддерживает Data Box Heavy, см. в разделе Поддерживаемые файловые системы для клиентов Linux

копирование данных в Data Box Heavy.

После подключения к общим папкам Data Box Heavy можно скопировать данные.

Рекомендации по копированию

Прежде чем начать копирование данных, ознакомьтесь со следующими моментами.

Убедитесь, что вы собираетесь копировать данные в общие папки, предназначенные для используемого вами формата данных. Например, данные блочного BLOB-объекта необходимо копировать в общую папку для блочных BLOB-объектов. Скопируйте файлы виртуальных жестких дисков в страничные BLOB-объекты.

Если формат данных не соответствует общей папке, то на следующем этапе вам не удастся отправить данные в Azure.
При копировании данных убедитесь, что размер данных не превышает ограничения для Azure Data Box Heavy.
Если данные, отправляемые Data Box Heavy, одновременно отправляются другими приложениями за пределами устройства, это может привести к сбоям заданий отправки и повреждению данных.
Мы рекомендуем следующее:
- Не используйте протоколы SMB и NFS одновременно.
- Скопируйте одни и те же данные в одно и то же конечное расположение в Azure.
В таких случаях невозможно предсказать окончательный результат.
Всегда создавайте отдельную папку для файлов, которые вы собираетесь скопировать в общую папку. Папка, созданная в общих папках блочных и страничных BLOB-объектов, представляет собой контейнер, куда передаются данные в виде больших двоичных объектов. Вы не можете копировать файлы напрямую в корневую папку в учетной записи хранения.

После подключения к общей папке SMB начните копирование данных.

Кроме того, для копирования данных можно использовать любое средство для копирования файлов, совместимое с протоколом SMB, например Robocopy. С помощью средства Robocopy можно запустить несколько заданий копирования. Используйте следующую команду:

robocopy <Source> <Target> * /e /r:3 /w:60 /is /nfl /ndl /np /MT:32 or 64 /fft /Log+:<LogFile>

Атрибуты команды описаны в таблице ниже.

Атрибут	Description
/e	Копирование подкаталогов, включая пустые каталоги.
/r:	Указание количества повторных попыток для неудавшихся копий.
/w:	Указание времени ожидания между повторными попытками в секундах.
/is	Включает одни и те же файлы.
/nfl	Указывает, что имена файлов не регистрируются.
/ndl	Указывает, что имена каталогов не регистрируются.
/np	Указывает, что не нужно отображать ход выполнения операции копирования (количество копируемых файлов или каталогов). Отображение хода выполнения значительно снижает производительность.
/MT	Использование многопоточности; рекомендуется использовать 32 или 64 потока. Этот параметр не используется при работе с зашифрованными файлами. Вам может потребоваться отделить зашифрованные файлы от незашифрованных. Копирование с использованием одного потока значительно снижает производительность.
/fft	Используется для уменьшения степени детализации меток времени при работе с любыми файловыми системами.
/b	Копирует файлы в режиме резервного копирования.
/z	Копирует файлы в режиме перезапуска. Используйте этот параметр, если среда нестабильна. Этот параметр уменьшает пропускную способность из-за внесения дополнительных сведений в журналы.
/zb	Использует режим перезапуска. Если доступ запрещен, то для этого параметра используется режим резервного копирования. Этот параметр уменьшает пропускную способность из-за создания контрольных точек.
/efsraw	Копирование всех зашифрованных файлов в режиме необработанных данных в файловой системе EFS. Используется только при работе с зашифрованными файлами.
log+:<LogFile>	Добавление выходных данных в существующий файл журнала.

Ниже приведен пример выходных данных команды Robocopy для копирования файлов на диск Data Box Heavy.

C:\Users>Robocopy C:\Git\azure-docs-pr\contributor-guide \\10.100.10.100\devicemanagertest1_AzFile\templates /MT:24
-------------------------------------------------------------------------------
    ROBOCOPY     ::     Robust File Copy for Windows
-------------------------------------------------------------------------------
    Started : Thursday, April 4, 2019 2:34:58 PM
    Source : C:\Git\azure-docs-pr\contributor-guide\
    Dest : \\10.100.10.100\devicemanagertest1_AzFile\templates\
    Files : *.*
    Options : *.* /DCOPY:DA /COPY:DAT /MT:24 /R:5 /W:60
------------------------------------------------------------------------------

100%        New File                 206        C:\Git\azure-docs-pr\contributor-guide\article-metadata.md
100%        New File                 209        C:\Git\azure-docs-pr\contributor-guide\content-channel-guidance.md
100%        New File                 732        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-index.md
100%        New File                 199        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pr-criteria.md
            New File                 178        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-co100%  .md
            New File                 250        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-et100%  e.md
100%        New File                 174        C:\Git\azure-docs-pr\contributor-guide\create-images-markdown.md
100%        New File                 197        C:\Git\azure-docs-pr\contributor-guide\create-links-markdown.md
100%        New File                 184        C:\Git\azure-docs-pr\contributor-guide\create-tables-markdown.md
100%        New File                 208        C:\Git\azure-docs-pr\contributor-guide\custom-markdown-extensions.md
100%        New File                 210        C:\Git\azure-docs-pr\contributor-guide\file-names-and-locations.md
100%        New File                 234        C:\Git\azure-docs-pr\contributor-guide\git-commands-for-master.md
100%        New File                 186        C:\Git\azure-docs-pr\contributor-guide\release-branches.md
100%        New File                 240        C:\Git\azure-docs-pr\contributor-guide\retire-or-rename-an-article.md
100%        New File                 215        C:\Git\azure-docs-pr\contributor-guide\style-and-voice.md
100%        New File                 212        C:\Git\azure-docs-pr\contributor-guide\syntax-highlighting-markdown.md
100%        New File                 207        C:\Git\azure-docs-pr\contributor-guide\tools-and-setup.md
------------------------------------------------------------------------------

                Total    Copied   Skipped  Mismatch    FAILED    Extras
    Dirs :         1         1         1         0         0         0
    Files :        17        17         0         0         0         0
    Bytes :     3.9 k     3.9 k         0         0         0         0          
C:\Users>

Чтобы оптимизировать производительность, при копировании данных используйте указанные ниже параметры robocopy. (Приведенные ниже значения представляют лучшие варианты.)

Платформа	В основном небольшие файлы < 512 КБ	Главным образом файлы среднего размера (от 512 КБ до 1 МБ)	В основном большие файлы > 1 МБ
Data Box Heavy	6 сеансов Robocopy 24 потока на сеансы	6 сеансов Robocopy 16 потоков на сеансы	6 сеансов Robocopy 16 потоков на сеансы

Дополнительные сведения о команде Robocopy см. в статье Robocopy и несколько примеров.

Откройте папку назначения для просмотра и проверки скопированных файлов.
При копировании данных:
- проверяются имена, размеры и формат файлов в соответствии с ограничениями для хранилища и объектов Azure, а также соглашении об именовании контейнеров и файлов Azure.
- автоматически вычисляются контрольные суммы для обеспечения целостности данных.
Если в процессе копирования возникли ошибки, скачайте файл с ошибками для устранения неполадок. Выберите значок со стрелкой, чтобы скачать файлы с ошибками.

См. подробнее о просмотре журналов ошибок во время копирования данных в Data Box Heavy. См. подробный список ошибок во время копирования данных в руководстве по устранению неполадок с Azure Data Box Heavy.
Открытие файла с ошибками в Блокноте Следующий файл с ошибками содержит сведения о несоответствии размера данных.

Для страничного BLOB-объекта данные не должны превышать 512 байт. Удаление этих данных устраняет проблему, как показано на следующем снимке экрана.
После завершения копирования перейдите на страницу Просмотр панели мониторинга. Проверьте использованное и свободное место на устройстве.

Повторите описанные выше шаги, чтобы скопировать данные на второй узел устройства.

Следующие шаги

Из этого руководства вы узнали следующие сведения об Azure Data Box Heavy:

подключение к Azure Data Box Heavy;
копирование данных в Data Box Heavy.

Перейдите к следующему руководству, чтобы узнать, как отправить Data Box Heavy в Майкрософт.

Отправка Azure Data Box Heavy в Майкрософт

копировать данные по протоколу SMB;

При использовании узла Windows подключитесь к общим папкам SMB с помощью такой команды:

\\<IP address of your device>\ShareName
Учетные данные для доступа к общему ресурсу можно узнать на странице Connect & copy (Подключение и копирование) в локальном пользовательском веб-интерфейсе Data Box.
Для копирования данных в общие папки можно использовать любое средство копирования файлов, совместимое с протоколом SMB, например Robocopy.

Пошаговые инструкции см. в руководстве по копированию данных в Azure Data Box через S МБ.

копировать данные по протоколу NFS.

При использовании узла NFS выполните следующую команду, чтобы подключить общие папки NFS:

sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>
Учетные данные для доступа к общему ресурсу можно узнать на странице Подключение и копирование в локальном пользовательском веб-интерфейсе Data Box Heavy.
Используйте команду cp или rsync для копирования данных.
Повторите описанные шаги, чтобы подключиться ко второму узлу Data Box Heavy и скопировать данные на него.

Пошаговые инструкции см. в руководстве по копированию данных в Azure Data Box с помощью NFS.

Копирование данных с помощью REST

Чтобы скопировать данные, используя хранилище BLOB-объектов службы Data Box и интерфейсы REST API, выполните подключение по протоколу HTTP или HTTPS.
Для копирования данных в хранилище BLOB-объектов службы Data Box можно использовать AzCopy.
Повторите описанные шаги, чтобы подключиться ко второму узлу Data Box Heavy и скопировать данные на него.

Пошаговые инструкции см. в руководстве по копированию данных в хранилище BLOB-объектов Azure Data Box с помощью REST API.

Копирование данных с помощью службы копирования данных

Чтобы скопировать данные с помощью службы копирования данных, необходимо создать задание. В локальном веб-интерфейсе Data Box Heavy перейдите к разделу "Управление > созданием данных > копирования".
Укажите параметры и создайте задание.
Повторите описанные шаги, чтобы подключиться ко второму узлу Data Box Heavy и скопировать данные на него.

Пошаговые инструкции см. в руководстве. Использование службы копирования данных для копирования данных в Azure Data Box Heavy.

Копирование данных на управляемые диски

При заказе устройства Data Box Heavy необходимо указать управляемые диски в качестве целевого хранилища данных.
Вы можете подключиться к Data Box Heavy через общие папки SMB или NFS.
Затем можно скопировать данные с помощью средств SMB или NFS.
Повторите описанные шаги, чтобы подключиться ко второму узлу Data Box Heavy и скопировать данные на него.

Пошаговые инструкции см. в руководстве . Использование Data Box Heavy для импорта данных в качестве управляемых дисков в Azure.