Руководство. Копирование данных в хранилище BLOB-объектов Azure Data Box с помощью REST API

  • Статья

Внимание

Эта статья ссылается на CentOS, дистрибутив Linux, который приближается к состоянию конца жизни (EOL). Пожалуйста, рассмотрите возможность использования и планирования соответствующим образом. Дополнительные сведения см. в руководстве centOS End Of Life.

В этом руководстве описываются процедуры по подключению к хранилищу BLOB-объектов Azure Data Box через REST API по протоколу HTTP или HTTPS. Рассматриваются также шаги после подключения, необходимые для копирования данных в хранилище BLOB-объектов Data Box.

В этом руководстве описано следующее:

  • Необходимые компоненты
  • Подключение к хранилищу BLOB-объектов Data Box по протоколу HTTP или HTTPS.
  • копирование данных в Data Box Heavy.

Необходимые компоненты

Перед тем как начать, убедитесь в следующем.

  1. Вы завершили руководство. Настройка Azure Data Box Heavy.
  2. Вы получили устройство Data Box Heavy (состояние заказа на портале — Доставлено).
  3. Вы проверили системные требования для хранилища BLOB-объектов Data Box и знакомы с поддерживаемыми версиями API, пакетов SDK и инструментов.
  4. У вас есть доступ к главному компьютеру с данными, которые необходимо скопировать в Data Box Heavy. Хост-компьютер должен
    • поддерживаемая операционная система;
    • Компьютер должен быть подключен к высокоскоростной сети. Чтобы ускорить копирование, можно параллельно использовать два подключения 40 GbE (по одному на каждый узел). Если у вас нет доступного подключения на 40 GbE, мы рекомендуем использовать хотя бы два подключения 10 GbE (по одному на каждый узел).
  5. Скачайте AzCopy 7.1.0 на главный компьютер. Вы используете AzCopy для копирования данных в хранилище BLOB-объектов Azure Data Box с главного компьютера.

Подключение по протоколу HTTP или HTTPS

Вы можете подключиться к хранилищу BLOB-объектов Data Box по протоколу HTTP или HTTPS.

  • HTTPS — это безопасный и рекомендуемый способ подключения к хранилищу BLOB-объектов Data Box.
  • Протокол HTTP используется при подключении через доверенные сети.

Подключение к хранилищу BLOB-объектов Data Box по протоколам HTTP и HTTPS происходит по-разному.

Подключение по протоколу HTTP

Для подключения к REST API хранилища BLOB-объектов Data Box по протоколу HTTP необходимо выполнить следующие действия:

  • добавить IP-адрес устройства и конечную точку службы BLOB-объектов к удаленному узлу;
  • настроить стороннее программное обеспечение и проверить подключение.

Каждое из этих действий описано в следующих разделах.

Внимание

Для Data Box Heavy необходимо повторить все описанные выше действия, чтобы подключиться ко второму узлу.

Добавление IP-адреса устройства и конечной точки службы BLOB-объектов

  1. Войдите на устройство Data Box. Убедитесь, что оно разблокировано.

    Снимок экрана: панель мониторинга, на которой для устройства отображается состояние

  2. Перейдите к Задать сетевые интерфейсы. Запишите IP-адрес устройства для сетевого интерфейса, используемого для подключения к клиенту.

    Снимок экрана: область

  3. Перейдите в пункт меню Подключиться и копировать и щелкните Rest.

    Снимок экрана: область

  4. В диалоговом окне Доступ к учетной записи хранения и отправка данных скопируйте конечную точку службы BLOB-объектов.

    Снимок экрана: диалоговое окно

  5. Откройте Блокнот от имени администратора, а затем откройте файл hosts, расположенный в C:\Windows\System32\Drivers\etc.

  6. Добавьте следующую запись в ваш файл hosts: <device IP address> <Blob service endpoint>

  7. Для ссылки используйте следующее изображение. Сохраните файл hosts.

    Снимок экрана: документ в Блокноте с добавленным IP-адресом и конечной точкой службы BLOB-объектов.

Настройка партнерского программного обеспечения и проверка подключения

Настройте программное обеспечение партнера, чтобы подключиться к клиенту. Для подключения к программному обеспечению партнера обычно требуются следующие сведения (могут отличаться), собранные на Подключение и на странице копирования локального веб-интерфейса на предыдущем шаге:

  • Storage account name
  • Ключ доступа
  • Конечная точка службы BLOB-объектов

Чтобы убедиться, что подключение установлено успешно, используйте Обозреватель службы хранилища для подключения к учетной записи внешнего хранилища. Если у вас нет Обозреватель службы хранилища, необходимо скачать и установить.

При первом использовании Обозреватель службы хранилища необходимо выполнить следующие действия:

  1. На верхней панели команд перейдите в раздел "Изменить > целевой объект Azure Stack".

    Снимок экрана: в меню

  2. Перезапустите Обозреватель службы хранилища, чтобы изменения вступили в силу.

    Снимок экрана: кнопка

Чтобы подключится к учетной записи хранения и проверить подключения, выполните следующие действия.

  1. В Обозревателе службы хранилища откройте диалоговое окно Подключиться к службе хранилища Azure. В диалоговом окне Подключение к службе хранилища Azure выберите Использовать имя и ключ учетной записи хранения.

    Снимок экрана: диалоговое окно подключения к службе хранилища Azure с выделенным вариантом

  2. Введите ваше Имя учетной записи и Ключ учетной записи (значение ключа 1 на странице Подключиться и копировать в локальном пользовательском веб-интерфейсе). Для домена конечных точек хранилища выберите Другие (ввести ниже) и вставьте конечную точку службы больших двоичных объектов, как показано ниже. Установите флажок для параметра Использовать HTTP только в случае передачи через http. Не устанавливайте этот флажок при использовании https. Выберите Далее.

    Снимок экрана: диалоговое окно подключения с помощью имени и ключа с введенными значениями.

  3. Проверьте сведения в диалоговом окне Сводка подключения. Нажмите Подключиться.

    Снимок экрана: диалоговое окно сводки подключения с выделенной кнопкой

  4. Успешно добавленная учетная запись отображается в левой области Обозревателя службы хранилища, а к ее имени будет добавлен текст (Внешняя, Другая). Щелкните Контейнеры больших двоичных объектов, чтобы просмотреть контейнер.

    Снимок экрана: меню Explorer с выбранным пунктом

Подключение по протоколу HTTPS

Для подключения к REST API хранилища BLOB-объектов Azure по протоколу HTTP необходимо выполнить следующие действия:

  • скачать сертификат на портале Azure;
  • импортировать сертификат на клиенте или удаленном узле;
  • добавить IP-адрес устройства и конечную точку службы BLOB-объектов к клиенту или удаленному узлу;
  • настроить стороннее программное обеспечение и проверить подключение.

Каждое из этих действий описано в следующих разделах.

Внимание

Для Data Box Heavy необходимо повторить все описанные выше действия, чтобы подключиться ко второму узлу.

Скачивание сертификата

Скачайте сертификат с помощью портала Azure.

  1. Войдите на портал Azure.

  2. Перейдите к заказу Data Box и перейдите к общим > сведениям об устройстве.

  3. В разделе Учетные данные устройства перейдите к API доступа к устройству. Щелкните элемент Загрузить. Это действие скачивает <имя> заказа.cer файл сертификата. Сохраните этот файл. Этот сертификат следует установить на компьютере клиента или узла, который будет использоваться для подключения к устройству.

    Скачивание сертификата с помощью портала Azure

Импорт сертификата

Для доступа к хранилищу BLOB-объектов Data Box через протокол HTTPS требуется TLS/SSL-сертификат для устройства. Этот сертификат предоставляется клиентскому приложению по-разному в зависимости от приложения, операционной системы и дистрибутива. Некоторые приложения получают доступ к сертификату после его импорта в хранилище сертификатов системы, в других приложениях не используется этот механизм.

В этом разделе описаны особенности доступа к сертификату для некоторых приложений. Дополнительные сведения для других приложений см. в документации по этим приложениям и используемой операционной системе.

Выполните следующие действия, чтобы импортировать файл .cer в корневое хранилище клиента Windows или Linux. В системе Windows для импорта и установки сертификата можно использовать Windows PowerShell или пользовательский интерфейс Windows Server.

Использование Windows PowerShell

  1. Запустите сеанс Windows PowerShell от имени администратора.

  2. В командной строке введите:

    Import-Certificate -FilePath C:\temp\localuihttps.cer -CertStoreLocation Cert:\LocalMachine\Root

Использование пользовательского интерфейса Windows Server

  1. Щелкните правой кнопкой мыши файл .cer и выберите Установить сертификат. Запустится мастер импорта сертификатов.

  2. В качестве Расположения хранилища выберите Локальный компьютер, а затем нажмите кнопку Далее.

    Импорт сертификата с помощью PowerShell

  3. Выберите Поместить все сертификаты в следующее хранилище, затем нажмите кнопку Обзор. Перейдите в корневое хранилище удаленного узла и нажмите кнопку Далее.

    Импорт сертификата с помощью PowerShell (2)

  4. Нажмите кнопку Готово. Появится сообщение о том, что импорт успешно выполнен.

    Импорт сертификата с помощью PowerShell (3)

Использование системы Linux

Метод импорта сертификата зависит от дистрибутива.

Внимание

Для Data Box Heavy необходимо повторить все описанные выше действия, чтобы подключиться ко второму узлу.

В некоторых дистрибутивах, например Ubuntu и Debian, используется команда update-ca-certificates.

  • Переименуйте файл сертификата с кодировкой Base64, чтобы у него было расширение .crt, а затем скопируйте его в расположение /usr/local/share/ca-certificates directory.
  • Выполните команду update-ca-certificates.

В последних версиях RHEL, Fedora и CentOS используется команда update-ca-trust.

  • Скопируйте файл сертификата в каталог /etc/pki/ca-trust/source/anchors.
  • Запустите update-ca-trust.

Дополнительные сведения см. в документации по своему дистрибутиву.

Добавление IP-адреса устройства и конечной точки службы BLOB-объектов

Выполните те же действия для добавления IP-адреса устройства и конечной точки службы BLOB-объектов, что и при подключении по протоколу HTTP.

Настройка партнерского программного обеспечения и проверка подключения

Выполните шаги для настройки партнерского программного обеспечения, которые вы выполняли при подключении по протоколу HTTP. Единственное отличие — не устанавливайте флажок для использования HTTP.

копирование данных в Data Box Heavy.

После подключения к хранилищу BLOB-объектов Data Box можно скопировать данные. Прежде чем копировать данные, ознакомьтесь со следующими моментами.

  • При копировании данных убедитесь, что размер данных соответствует ограничениям на размер, указанным в статье об ограничениях для службы хранилища Azure и Data Box Heavy.
  • Если данные, отправляемые Data Box Heavy, одновременно отправляются другими приложениями за пределами устройства, это может привести к сбоям заданий отправки и повреждению данных.

В этом руководстве AzCopy используется для копирования данных в хранилище BLOB-объектов Data Box. Вы также можете использовать Обозреватель службы хранилища Azure (если вы предпочитаете средство с графическим пользовательским интерфейсом) или партнерское программное обеспечение для копирования данных.

Процедура копирования включает в себя следующие действия:

  • Создание контейнера
  • Отправка содержимого папки в хранилище BLOB-объектов Data Box
  • Отправка измененных файлов в хранилище BLOB-объектов Data Box

В следующих разделах каждый этап рассматривается более подробно.

Внимание

Для Data Box Heavy необходимо повторить все описанные выше действия, чтобы скопировать данные на второй узел.

Создание контейнера

Первый шаг — создать контейнер, потому что большие двоичные объекты должны всегда передаваться в контейнер. Контейнеры упорядочивают группы больших двоичных объектов аналогично организации файлов в папках на компьютере. Чтобы создать контейнер больших двоичных объектов, сделайте следующее.

  1. Откройте обозреватель службы хранилищ.

  2. В левой области разверните учетную запись хранения, в которой собираетесь создать контейнер больших двоичных объектов.

  3. Щелкните правой кнопкой мыши Контейнеры больших двоичных объектов и выберите в контекстном меню Создать контейнер BLOB-объектов.

    Контекстное меню для создания контейнеров BLOB-объектов

  4. Под папкой Контейнеры больших двоичных объектов отобразится текстовое поле. Введите имя контейнера больших двоичных объектов. В разделе о создании контейнера и настройке разрешений см. сведения о правилах и ограничениях для именования контейнеров больших двоичных объектов.

  5. Нажмите клавишу ВВОД, чтобы создать контейнер больших двоичных объектов, или ESC для отмены. После успешного создания контейнера больших двоичных объектов он отобразится в папке Контейнеры больших двоичных объектов выбранной учетной записи хранения.

    Контейнер больших двоичных объектов создан

Отправка содержимого папки в хранилище BLOB-объектов Data Box

С помощью AzCopy вы можете передать все файлы из определенной папки в Windows или Linux в хранилище BLOB-объектов. Чтобы передать все большие двоичные объекты, содержащиеся в папке, введите следующую команду AzCopy:

Linux

azcopy \
    --source /mnt/myfolder \
    --destination https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/files/ \
    --dest-key <key> \
    --recursive

Windows

AzCopy /Source:C:\myfolder /Dest:https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/files/ /DestKey:<key> /S

Вместо <key> укажите ключ учетной записи. Чтобы получить ключ учетной записи, перейдите к учетной записи хранения на портале Azure. Перейдите к Параметры > ключам Access, выберите ключ и вставьте его в команду AzCopy.

Если указанный контейнер назначения не существует, AzCopy создаст его и передаст в него файл. В качестве исходного пути укажите путь к нужному каталогу данных, а в URL-адресе назначения замените data-box-storage-account-name именем учетной записи хранения, связанной с вашим Data Box.

Чтобы рекурсивно передать все содержимое определенного каталога в хранилище больших двоичных объектов, укажите параметр --recursive (для Linux) или /S (для Windows). При запуске с этими параметрами AzCopy передает все вложенные папки и файлы.

Отправка измененных файлов в хранилище BLOB-объектов Data Box

Используйте AzCopy для передачи файлов с учетом времени их последнего изменения. Чтобы проверить этот режим, измените или создайте несколько тестовых файлов в исходном каталоге. Чтобы отправить только те файлы, которые обновлены или добавлены, укажите параметр --exclude-older (для Linux) или /XO (для Windows) в команде AzCopy.

Если вы хотите скопировать только те ресурсы, которые существуют в папке источника и отсутствуют в целевой папке, укажите параметры --exclude-older и --exclude-newer (для Linux) или /XO и /XN (для Windows) в команде AzCopy. AzCopy передаст только обновленные данные, учитывая отметки времени файлов.

Linux

azcopy \
--source /mnt/myfolder \
--destination https://data-box-heavy-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/files/ \
--dest-key <key> \
--recursive \
--exclude-older

Windows

AzCopy /Source:C:\myfolder /Dest:https://data-box-heavy-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/files/ /DestKey:<key> /S /XO

При возникновении ошибки во время копирования или подключения см. статью Troubleshoot issues related to Azure Data Box Blob storage (Устранение неполадок в хранилище BLOB-объектов службы Data Box).

Следующий шаг — подготовка устройства к отправке.

Следующие шаги

В этом руководстве были освещены следующие темы относительно Azure Data Box.

  • Необходимые компоненты
  • Подключение к хранилищу BLOB-объектов Data Box по протоколу HTTP или HTTPS.
  • копирование данных в Data Box Heavy.

Перейдите к следующему руководству, чтобы узнать, как отправить свой Data Box обратно в корпорацию Майкрософт.

Отправка Azure Data Box Heavy в Майкрософт