Руководство по копированию данных в Azure Data Box с помощью SMB

Маңызды

Azure Data Box теперь поддерживает назначение уровня доступа на уровне BLOB. Шаги, описанные в этом руководстве, отражают обновленный процесс копирования данных и конкретны для блочных BLOB-объектов.

Сведения о том, как определить соответствующий уровень доступа для данных блочного BLOB-объекта, см. в разделе "Определение соответствующих уровней доступа для блочных BLOB-объектов". Выполните действия, содержащиеся в разделе "Копирование данных в Azure Data Box ", чтобы скопировать данные на соответствующий уровень доступа.

Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.

В этом руководстве объясняется, как подключиться к главному компьютеру и скопировать данные с него с помощью локального пользовательского веб-интерфейса.

В этом руководстве описано следующее:

• Предварительные условия
• Подключение к Data Box
• Определение соответствующих уровней доступа для блочных BLOB-объектов
• Копирование данных в Data Box

Предварительные условия

Перед тем как начать, убедитесь в следующем.

1. Вы выполнили руководство: Настройка Azure Data Box.
2. Вы получили Data Box. Состояние заказа на портале — Доставлено.
3. У вас есть главный компьютер с данными, которые необходимо скопировать в Data Box. Компьютер хоста должен:
   • Запустите поддерживаемую операционную систему.
   • Компьютер должен быть подключен к высокоскоростной сети. Настоятельно рекомендуем использовать хотя бы одно соединение Ethernet со скоростью передачи данных 10 Гбит/с. Если подключение 10 ГбE недоступно, используйте канал передачи данных 1 ГбE, но это влияет на скорость копирования.

Перед тем как начать, убедитесь в следующем.

1. Вы выполнили руководство: Настройка Azure Data Box.
2. Вы получили Data Box. Состояние заказа на портале — Доставлено.
3. У вас есть главный компьютер с данными, которые необходимо скопировать в Data Box. Компьютер хоста должен:
   • Запустите поддерживаемую операционную систему.
   • Компьютер должен быть подключен к высокоскоростной сети. Настоятельно рекомендуется иметь по крайней мере одно подключение 100 ГбE. Если подключение 100-GbE недоступно, используйте канал передачи данных 10-GbE или 1-GbE, но скорость копирования будет снижена.

Подключение к Data Box

В зависимости от выбранной учетной записи хранения Data Box создает указанные ниже ресурсы.

• До трех акций для каждой связанной учетной записи хранения для GPv1 и GPv2.
• Одна доля на премиальное хранилище.
• Одна общая папка для учетной записи хранения BLOB-объектов, содержащая одну папку для каждого из четырех уровней доступа.

В следующей таблице указаны имена общих папок Data Box, к которым можно подключиться, и тип данных, загружаемых в целевой аккаунт хранения. Он также определяет иерархию общих папок и каталогов, в которые копируются исходные данные.

Тип хранилища	Имя сетевого ресурса	Сущность первого уровня	Сущность второго уровня	Сущность третьего уровня
Блочный БЛОБ	<storageAccountName>_BlockBlob	<\уровень_доступа>	<\containerName>	<\blockBlob>
BLOB-объект страницы	<\storageAccountName>_PageBlob	<\containerName>	<\pageBlob>
Хранилище файлов	<\storageAccountName>_AzFile	<\fileShareName>	<\файл>

Файлы нельзя копировать непосредственно в корневую папку какого-либо общего ресурса Data Box. Вместо этого создайте папки в общей папке Data Box в зависимости от варианта использования.

Блочные блобы поддерживают присвоение уровней доступа на уровне файла. При копировании файлов в облако блочных BLOB-объектов рекомендуется добавлять новые вложенные папки в соответствующий уровень доступа. После создания новых вложенных папок продолжайте добавлять файлы в каждую вложенную папку соответствующим образом.

Новый контейнер создается для любой папки, находящейся в корневом каталоге области блочных BLOB-объектов. Любой файл в этой папке копируется на уровень доступа по умолчанию учетной записи хранения в виде блочного объекта BLOB.

Дополнительные сведения о уровнях доступа к BLOB-объектам см. в разделе "Уровни доступа" для данных BLOB-объектов. Для более подробной информации о лучших практиках работы с уровнями доступа см. раздел Лучшие практики использования уровней доступа к BLOB-объектам.

В следующей таблице показан путь UNC к общим папкам в «Data Box» и соответствующий URL-адрес пути в хранилище Azure, в который загружаются данные. Конечный URL-адрес хранилища Azure можно получить из UNC-пути к общей папке.

Типы служб хранилища Azure	Общие ресурсы Data Box
Блочные блобы Azure	UNC-путь к общим папкам: \\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt URL-адрес службы хранилища Azure: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt
Страничные BLOB-объекты Azure	UNC-путь к общим папкам: \\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd URL-адрес службы хранилища Azure: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd
Файлы Azure	UNC-путь к общим папкам: \\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt URL-адрес службы хранилища Azure: https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt

Если вы используете главный компьютер с ОС Windows Server, для подключения к Data Box выполните указанные ниже действия.

1. В первую очередь необходимо выполнить проверку подлинности и начать сеанс. Перейдите на страницу Подключение и копирование. Выберите SMB, чтобы получить учетные данные для доступа к общим папкам, связанным с вашей учетной записью хранения.

   

2. В диалоговом окне "Доступ к общей папке и копирование данных" скопируйте имя пользователя и пароль, соответствующие необходимой общей папке. Затем выберите OK.

   

3. В следующем примере используется пример учетной записи хранения с именем utsac1. Чтобы получить доступ к общим папкам, связанным с учетной записью хранения, с главного компьютера откройте командное окно. В командной строке введите:

   net use \\<DeviceIPAddress>\<share name> /u:<IP address of the device>\<user name for the share>

   В зависимости от формата ваших данных, пути к общей папке могут быть следующими:

   • Блочный BLOB-объект Azure — \\<DeviceIPAddress>\utsac1_BlockBlob.
   • Страничный BLOB-объект Azure — \\<DeviceIPAddress>\utsac1_PageBlob.
   • Файлы Azure — \\<DeviceIPAddress>\utsac1_AzFile.

4. Когда вас попросят, введите пароль для доступа к ресурсу. Если пароль включает специальные знаки, добавьте двойные кавычки перед ним и после него. Следующий пример демонстрирует подключение к сетевому ресурсу с помощью указанной выше команды.

   C:\Users\Databoxuser>net use \\<DeviceIPAddress>\utSAC1_202006051000_BlockBlob /u:<DeviceIPAddress>\testuser1
   Enter the password for 'testuser1' to connect to '<DeviceIPAddress>': "ab1c2def$3g45%6h7i&j8kl9012345"
   The command completed successfully.
   

5. Нажмите клавиши WINDOWS+R. В окне Выполнить введите \\<DeviceIPAddress>. Нажмите кнопку ОК, чтобы открыть проводник.

   

   Теперь вы должны видеть общие ресурсы в виде папок.

   

   Маңызды

   Файлы нельзя копировать непосредственно в корневую папку учетной записи хранения. В корневой папке учетной записи хранения блочных BLOB-объектов вы найдете папку, соответствующую каждому из доступных уровней доступа.

   Чтобы скопировать данные в Azure Data Box, необходимо сначала выбрать папку, соответствующую одному из уровней доступа. Затем создайте вложенную папку в папке этого уровня для хранения данных. Наконец, скопируйте ваши данные в недавно созданную вложенную папку. Ваша новая подпапка представляет контейнер, созданный в учетной записи хранения во время загрузки. Ваши данные загружаются в этот контейнер в виде BLOB-объектов.

Если вы используете клиент Linux, подключите общий ресурс SMB с помощью следующей команды. Значение vers параметра определяет версию SMB, которую поддерживает узел Linux. Вставьте соответствующую версию в приведенную примерную команду. Список версий SMB, поддерживаемых Data Box, см. в статье "Поддерживаемые файловые системы для клиентов Linux".

sudo mount -t cifs -o vers=2.1 10.126.76.138:/utsac1_BlockBlob /home/databoxubuntuhost/databox

Определение соответствующих уровней доступа для блочных BLOB-объектов

Маңызды

Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.

Azure Storage позволяет хранить данные блочных BLOB-объектов в нескольких уровнях доступа в одной учетной записи хранения. Эта возможность позволяет упорядочивать и хранить данные более эффективно на основе частоты доступа. В следующей таблице содержатся сведения и рекомендации по уровням доступа Azure хранилища.

Уровень	Рекомендация	Лучшие практики
горячий	Полезно для часто используемых или изменяемых данных в Интернете. Этот уровень отличается самыми высокими затратами на хранение, но наименьшими затратами на доступ.	Данные на этом уровне должны находиться в регулярном и активном использовании.
Круто	Полезно для доступа к интернет-данным или редко изменяемых. Этот уровень имеет более низкие затраты на хранение и более высокие затраты на доступ, чем горячий уровень.	Данные на этом уровне должны храниться не менее 30 дней.
холодный	Полезно для интернет-данных, к которым доступ или изменения требуются редко, но при этом необходимо быстрое извлечение. Этот уровень имеет более низкие затраты на хранение и более высокие затраты на доступ, чем холодный уровень.	Данные на этом уровне должны храниться не менее 90 дней.
Архив	Полезно для автономных данных, к которым редко обращаются, и которые имеют более низкие требования к задержке.	Данные на этом уровне должны храниться не менее 180 дней. Данные, удаленные из архивного уровня в течение 180 дней, подлежат досрочному удалению.

Дополнительные сведения о уровнях доступа к BLOB-объектам см. в разделе "Уровни доступа" для данных BLOB-объектов. Более подробные рекомендации см. в разделе Лучшие практики использования уровней доступа к BLOB-объектам.

Данные блочных blobs можно переместить на соответствующий уровень доступа, скопировав их в соответствующую папку в Data Box. Этот процесс подробно рассматривается в разделе "Копирование данных в Azure Data Box ".

Копирование данных в Data Box

После подключения к одному или нескольким общим папкам Data Box следующим шагом является копирование данных. Перед началом копирования данных рассмотрите следующие ограничения:

• Убедитесь, что данные копируются в общую папку, соответствующую требуемому формату данных. Например, скопируйте данные блочных BLOB-объектов в общую папку для блочных BLOB-объектов. Скопируйте виртуальные жесткие диски в хранилище page Blob. Если формат данных не соответствует подходящему типу ресурса общего доступа, отправка данных в Azure не удается на следующем этапе.
• При копировании данных в общие папки AzFile или PageBlob сначала создайте папку в корне общей папки, а затем скопируйте файлы в ту папку.
• При копировании данных в общую папку BlockBlob создайте вложенную папку в требуемом уровне доступа, а затем скопируйте данные в только что созданную вложенную папку. Вложенная папка представляет собой контейнер, в который загружаются данные в виде объектов BLOB. Файлы нельзя копировать непосредственно в корневую папку общего ресурса.
• При копировании данных убедитесь, что их размер соответствует ограничениям размера, указанным в статье Ограничения размера для учетной записи хранения Azure.
• Если вы хотите сохранить метаданные (списки управления доступом, метки времени и атрибуты файлов) при передаче данных в Файлы Azure, следуйте инструкциям из статьи Сохранение файловых списков управления доступом, атрибутов и меток времени с помощью Azure Data Box.
• Одновременная загрузка с помощью Data Box и другого приложения, не относящегося к Data Box, может привести к неудачам заданий загрузки и повреждению данных.
• Если для копирования данных используются протоколы SMB и NFS, рекомендуется:
  • Использовать разные учетные записи хранения для SMB и NFS.
  • Не копируйте те же данные в одно и то же место назначения в Azure с помощью SMB и NFS. В таких случаях невозможно предсказать окончательный результат.
  • Хотя параллельное копирование через SMB и NFS может работать, мы не советуем делать это, так могут возникать ошибки из-за действий человека. Дождитесь завершения копирования данных через SMB, прежде чем начать копирование данных через NFS.

Маңызды

Убедитесь, что вы сохраняете копию исходных данных, пока не сможете подтвердить, что данные скопированы в служба хранилища Azure.

После подключения к общей папке SMB начните копирование данных. Кроме того, для копирования данных можно использовать любое средство для копирования файлов, совместимое с протоколом SMB, например Robocopy. С помощью средства Robocopy можно запустить несколько заданий копирования. Используйте следующую команду:

robocopy <Source> <Target> * /e /r:3 /w:60 /is /nfl /ndl /np /MT:32 or 64 /fft /B /Log+:<LogFile>

Атрибуты команды описаны в таблице ниже.

Атрибут	Описание
/e	Копирует подкаталоги, включая пустые директории.
/r:	Указание количества повторных попыток для неудавшихся копий.
/w:	Указание времени ожидания между повторными попытками в секундах.
/is	Включает одни и те же файлы.
/nfl	Указывает, что имена файлов не регистрируются.
/ndl	Указывает, что имена каталогов не регистрируются.
/np	Указывает, что ход выполнения операции копирования (количество файлов или каталогов, скопированных до сих пор) не будет отображаться. Отображение хода выполнения значительно снижает производительность.
/MT	Использование многопоточности; рекомендуется использовать 32 или 64 потока. Этот параметр не используется при работе с зашифрованными файлами. Возможно, потребуется разделить зашифрованные и незашифрованные файлы. Копирование в однопоточном режиме значительно снижает производительность.
/fft	Используется для уменьшения степени детализации меток времени при работе с любыми файловыми системами.
/B	Копирует файлы в режиме резервного копирования.
/z	Копирует файлы в режиме перезапуска; используйте этот параметр, если среда нестабильна. Этот параметр уменьшает пропускную способность из-за внесения дополнительных сведений в журналы.
/zb	Использует режим перезапуска. Если доступ запрещен, то для этого параметра используется режим резервного копирования. Этот параметр уменьшает пропускную способность из-за создания контрольных точек.
/efsraw	Копирует все зашифрованные файлы в необработанном режиме EFS. Используется только при работе с зашифрованными файлами.
log+:<LogFile>	Добавление выходных данных в существующий файл журнала.

Ниже приведен пример выходных данных команды robocopy для копирования файлов в Data Box.

C:\Users>robocopy

    -------------------------------------------------------------------------------
    ROBOCOPY     ::     Robust File Copy for Windows
    -------------------------------------------------------------------------------

        Started : Thursday, March 8, 2018 2:34:53 PM
        Simple Usage :: ROBOCOPY source destination /MIR

        source :: Source Directory (drive:\path or \\server\share\path).
        destination :: Destination Dir  (drive:\path or \\server\share\path).
                /MIR :: Mirror a complete directory tree.

    For more usage information run ROBOCOPY /?

    ****  /MIR can DELETE files as well as copy them !

C:\Users>Robocopy C:\Git\azure-docs-pr\contributor-guide \\10.126.76.172\devicemanagertest1_AzFile\templates /MT:32

    -------------------------------------------------------------------------------
    ROBOCOPY     ::     Robust File Copy for Windows
    -------------------------------------------------------------------------------

        Started : Thursday, March 8, 2018 2:34:58 PM
        Source : C:\Git\azure-docs-pr\contributor-guide\
            Dest : \\10.126.76.172\devicemanagertest1_AzFile\templates\

        Files : *.*

        Options : *.* /DCOPY:DA /COPY:DAT /MT:32 /R:5 /W:60

    ------------------------------------------------------------------------------

    100%        New File                 206        C:\Git\azure-docs-pr\contributor-guide\article-metadata.md
    100%        New File                 209        C:\Git\azure-docs-pr\contributor-guide\content-channel-guidance.md
    100%        New File                 732        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-index.md
    100%        New File                 199        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pr-criteria.md
                New File                 178        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-co100%  .md
                New File                 250        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-et100%  e.md
    100%        New File                 174        C:\Git\azure-docs-pr\contributor-guide\create-images-markdown.md
    100%        New File                 197        C:\Git\azure-docs-pr\contributor-guide\create-links-markdown.md
    100%        New File                 184        C:\Git\azure-docs-pr\contributor-guide\create-tables-markdown.md
    100%        New File                 208        C:\Git\azure-docs-pr\contributor-guide\custom-markdown-extensions.md
    100%        New File                 210        C:\Git\azure-docs-pr\contributor-guide\file-names-and-locations.md
    100%        New File                 234        C:\Git\azure-docs-pr\contributor-guide\git-commands-for-master.md
    100%        New File                 186        C:\Git\azure-docs-pr\contributor-guide\release-branches.md
    100%        New File                 240        C:\Git\azure-docs-pr\contributor-guide\retire-or-rename-an-article.md
    100%        New File                 215        C:\Git\azure-docs-pr\contributor-guide\style-and-voice.md
    100%        New File                 212        C:\Git\azure-docs-pr\contributor-guide\syntax-highlighting-markdown.md
    100%        New File                 207        C:\Git\azure-docs-pr\contributor-guide\tools-and-setup.md
    ------------------------------------------------------------------------------

                Total    Copied   Skipped  Mismatch    FAILED    Extras
    Dirs :         1         1         1         0         0         0
    Files :        17        17         0         0         0         0
    Bytes :     3.9 k     3.9 k         0         0         0         0
C:\Users>

Более конкретные сценарии, например использование robocopy для перечисления, копирования или удаления файлов в Data Box, см. в разделе Использование robocopy для перечисления, копирования и изменения файлов в Data Box.

Чтобы оптимизировать производительность, при копировании данных используйте указанные ниже параметры robocopy.

Платформа	В основном небольшие файлы < 512 КБ	В основном средние файлы 512 КБ — 1 МБ	В основном большие файлы > 1 МБ
Коробка данных	2 сеанса Robocopy 16 потоков на сеанс	3 сеансы Robocopy 16 потоков на сеанс	2 сеанса Robocopy 24 потока на сеанс

Дополнительные сведения о команде Robocopy см. в статье Robocopy и несколько примеров.

Уведомления отображаются во время процесса копирования для выявления ошибок.

Выберите Скачать список ошибок.

Откройте список, чтобы просмотреть подробные сведения об ошибке, и выберите соответствующий URL-адрес, чтобы просмотреть рекомендуемое решение.

Дополнительные сведения см. в разделе Просмотр журналов ошибок во время копирования данных в Data Box. Подробный список ошибок во время копирования данных см. в статье об устранении неполадок, связанных с Azure Data Box.

Чтобы обеспечить целостность данных, контрольная сумма вычисляется по мере копирования данных. По завершении копирования проверьте использованное и свободное место на устройстве.

Следующие шаги

В этом руководстве были освещены следующие темы относительно Azure Data Box.

• Предварительные условия
• Подключение к Data Box
• Копирование данных в Data Box

Перейдите к следующему уроку, чтобы узнать, как отправить свой Data Box обратно в Microsoft.

Отправка Azure Data Box в корпорацию Майкрософт