Прочитать на английском

Поделиться через

Руководство. Использование REST API для копирования данных в хранилище BLOB-объектов Azure Data Box

  • Статья

Внимание!

Эта статья ссылается на CentOS, дистрибутив Linux, который является состоянием "Конец жизни" (EOL). Пожалуйста, рассмотрите возможность использования и планирования соответствующим образом. Дополнительные сведения см. в руководстве centOS End Of Life.

В этом руководстве описываются процедуры по подключению к хранилищу BLOB-объектов Azure Data Box через REST API по протоколу HTTP или HTTPS. Рассматриваются также шаги после подключения, необходимые для копирования данных в хранилище BLOB-объектов Data Box и подготовки Data Box к отправке.

В этом руководстве описано следующее:

  • Необходимые компоненты
  • Подключение к хранилищу BLOB-объектов Data Box по протоколу HTTP или HTTPS.
  • Копирование данных в Data Box

Необходимые компоненты

Перед тем как начать, убедитесь в следующем.

  1. В этом руководстве описано, как настроить Azure Data Box.
  2. Вы получаете Data Box и состояние заказа на портале доставлено.
  3. Вы просматриваете системные требования к хранилищу BLOB-объектов Data Box и знакомы с поддерживаемыми версиями API, пакетов SDK и средств.
  4. У вас есть доступ к узлому компьютеру с данными, которые требуется скопировать в Data Box. Компьютер узла должен:
    • поддерживаемая операционная система;
    • Компьютер должен быть подключен к высокоскоростной сети. Настоятельно рекомендуем использовать хотя бы одно соединение Ethernet со скоростью передачи данных 10 Гбит/с. Вы можете использовать ссылку данных 1 ГбE, если подключение 10 ГбE недоступно, хотя скорость копирования влияет.
  5. Скачайте AzCopy V10 на хост-компьютере. AzCopy используется для копирования данных в хранилище BLOB-объектов Azure Data Box с хост-компьютера.

Подключение по протоколу HTTP или HTTPS

Вы можете подключиться к хранилищу BLOB-объектов Data Box по протоколу HTTP или HTTPS.

  • HTTPS — это безопасный и рекомендуемый способ подключения к хранилищу BLOB-объектов Data Box.
  • Протокол HTTP используется при подключении через доверенные сети.

Подключение к хранилищу BLOB-объектов Data Box по протоколам HTTP и HTTPS происходит по-разному.

Подключение по протоколу HTTP

Для подключения к REST API хранилища BLOB-объектов Data Box по протоколу HTTP необходимо выполнить следующие действия:

  • добавить IP-адрес устройства и конечную точку службы BLOB-объектов к удаленному узлу;
  • Настройка программного обеспечения партнера и проверка подключения

Каждое из этих действий описано в следующих разделах.

Добавление IP-адреса устройства и конечной точки службы BLOB-объектов

  1. Войдите на устройство Data Box. Убедитесь, что оно разблокировано.

    Снимок экрана: панель мониторинга, на которой для устройства отображается состояние

  2. Перейдите к Задать сетевые интерфейсы. Запишите IP-адрес устройства для сетевого интерфейса, используемого для подключения к клиенту.

    Снимок экрана: область

  3. Перейдите в пункт меню Подключиться и копировать и щелкните Rest.

    Снимок экрана: область

  4. В диалоговом окне Доступ к учетной записи хранения и отправка данных скопируйте конечную точку службы BLOB-объектов.

    Снимок экрана: диалоговое окно

  5. Откройте Блокнот от имени администратора, а затем откройте файл hosts, расположенный в C:\Windows\System32\Drivers\etc.

  6. Добавьте следующую запись в ваш файл hosts: <device IP address> <Blob service endpoint>

  7. Для ссылки используйте следующее изображение. Сохраните файл hosts.

    Снимок экрана: документ в Блокноте с добавленным IP-адресом и конечной точкой службы BLOB-объектов.

Проверка подключения и настройка партнерского программного обеспечения

Настройте программное обеспечение партнера, чтобы подключиться к клиенту. Для подключения к программному обеспечению партнера обычно требуются следующие сведения (могут отличаться), собранные на странице Подключения и копирования локального веб-интерфейса на предыдущем шаге:

  • Storage account name
  • Ключ доступа
  • Конечная точка службы BLOB-объектов

Чтобы убедиться, что подключение установлено успешно, используйте Обозреватель службы хранилища для подключения к учетной записи внешнего хранилища. Если у вас нет Обозреватель службы хранилища, необходимо скачать и установить.

При первом использовании Обозреватель службы хранилища необходимо выполнить следующие действия:

  1. На верхней панели команд перейдите в раздел "Изменить > целевой объект Azure Stack".

    Снимок экрана: в меню

  2. Перезапустите Обозреватель службы хранилища, чтобы изменения вступили в силу.

    Снимок экрана: кнопка

Чтобы подключится к учетной записи хранения и проверить подключения, выполните следующие действия.

  1. В Обозревателе службы хранилища откройте диалоговое окно Подключиться к службе хранилища Azure. В диалоговом окне Подключение к службе хранилища Azure выберите Использовать имя и ключ учетной записи хранения.

    Снимок экрана: диалоговое окно подключения к службе хранилища Azure с выделенным вариантом

  2. Введите ваше Имя учетной записи и Ключ учетной записи (значение ключа 1 на странице Подключиться и копировать в локальном пользовательском веб-интерфейсе). Для домена конечных точек хранилища выберите Другие (ввести ниже) и вставьте конечную точку службы больших двоичных объектов, как показано ниже. Установите флажок для параметра Использовать HTTP только в случае передачи через http. Не устанавливайте этот флажок при использовании https. Выберите Далее.

    Снимок экрана: диалоговое окно подключения с помощью имени и ключа с введенными значениями.

  3. Проверьте сведения в диалоговом окне Сводка подключения. Нажмите Подключиться.

    Снимок экрана: диалоговое окно сводки подключения с выделенной кнопкой

  4. Успешно добавленная учетная запись отображается в левой области Обозревателя службы хранилища, а к ее имени будет добавлен текст (Внешняя, Другая). Щелкните Контейнеры больших двоичных объектов, чтобы просмотреть контейнер.

    Снимок экрана: меню Explorer с выбранным пунктом

Подключение по протоколу HTTPS

Для подключения к REST API хранилища BLOB-объектов Azure по протоколу HTTP необходимо выполнить следующие действия:

  • Скачайте сертификат из портал Azure. Этот сертификат используется для подключения к веб-интерфейсу и REST API хранилища BLOB-объектов Azure.
  • Импортируйте сертификат на клиент или удаленный узел.
  • Добавьте ip-адрес устройства и конечную точку службы BLOB-объектов в клиент или удаленный узел.
  • Настройте партнерское программное обеспечение и проверьте подключение.

Каждое из этих действий описано в следующих разделах.

Скачивание сертификата

Скачайте сертификат с помощью портала Azure.

  1. Войдите на портал Azure.

  2. Перейдите к заказу Data Box и перейдите к общим > сведениям об устройстве.

  3. В разделе Учетные данные устройства перейдите к API доступа к устройству. Выберите Скачать. Это действие скачивает <имя> заказа.cer файл сертификата. Сохраните этот файл и установите его на клиентском или хост-компьютере, используемом для подключения к устройству.

    Скачивание сертификата с помощью портала Azure

Импорт сертификата

Для доступа к хранилищу BLOB-объектов Data Box через протокол HTTPS требуется TLS/SSL-сертификат для устройства. Этот сертификат предоставляется клиентскому приложению по-разному в зависимости от приложения, операционной системы и дистрибутива. Некоторые приложения могут получить доступ к сертификату после импорта в хранилище сертификатов системы, а другие приложения не используют этот механизм.

В этом разделе описаны особенности доступа к сертификату для некоторых приложений. Дополнительные сведения о других приложениях см. в документации по приложению и используемой операционной системе.

Выполните следующие действия, чтобы импортировать файл .cer в корневое хранилище клиента Windows или Linux. В системе Windows для импорта и установки сертификата можно использовать Windows PowerShell или пользовательский интерфейс Windows Server.

Использование Windows PowerShell

  1. Запустите сеанс Windows PowerShell от имени администратора.

  2. В командной строке введите:

    Import-Certificate -FilePath C:\temp\localuihttps.cer -CertStoreLocation Cert:\LocalMachine\Root

Использование пользовательского интерфейса Windows Server

  1. Щелкните правой кнопкой мыши файл .cer и выберите Установить сертификат. Запустится мастер импорта сертификатов.

  2. В качестве расположения хранилища выберите локальный компьютер, а затем нажмите кнопку Далее.

    Мастер импорта сертификатов, Windows Server

  3. Выберите Поместить все сертификаты в следующее хранилище и нажмите кнопку Обзор. Перейдите в корневое хранилище удаленного узла и нажмите кнопку "Далее".

    Мастер импорта сертификатов, хранилище сертификатов

  4. Выберите Готово. Появится сообщение о том, что импорт успешно выполнен.

    Мастер импорта сертификатов, завершение импорта

Использование системы Linux

Метод импорта сертификата зависит от дистрибутива.

В некоторых дистрибутивах, например Ubuntu и Debian, используется команда update-ca-certificates.

  • Переименуйте файл сертификата с кодировкой Base64, чтобы у него было расширение .crt, а затем скопируйте его в расположение /usr/local/share/ca-certificates directory.
  • Выполните команду update-ca-certificates.

В последних версиях RHEL, Fedora и CentOS используется команда update-ca-trust.

  • Скопируйте файл сертификата в каталог /etc/pki/ca-trust/source/anchors.
  • Запустите update-ca-trust.

Дополнительные сведения см. в документации по своему дистрибутиву.

Добавление IP-адреса устройства и конечной точки службы BLOB-объектов

Выполните те же действия для добавления IP-адреса устройства и конечной точки службы BLOB-объектов, что и при подключении по протоколу HTTP.

Настройка партнерского программного обеспечения и проверка подключения

Выполните шаги для настройки партнерского программного обеспечения, которые вы выполняли при подключении по протоколу HTTP. Единственное отличие — не устанавливайте флажок для использования HTTP.

Копирование данных в Data Box

После подключения одного или нескольких общих папок Data Box следующим шагом является копирование данных. Прежде чем инициировать операции копирования данных, рассмотрите следующие ограничения:

  • При копировании данных убедитесь, что размер данных соответствует ограничениям на размер, указанным в статье Ограничения для службы хранилища Azure и Data Box.
  • Одновременные отправки Data Box и другого приложения, отличного от Data Box, могут привести к сбоям заданий отправки и повреждению данных.

Важно!

Убедитесь, что вы сохраняете копию исходных данных, пока не сможете подтвердить, что данные скопированы в служба хранилища Azure.

В этом руководстве AzCopy используется для копирования данных в хранилище BLOB-объектов Data Box. Если вы предпочитаете инструмент на основе графического интерфейса, вы также можете использовать обозреватель служба хранилища Azure или другое программное обеспечение партнера для копирования данных.

Процедура копирования включает в себя следующие действия:

  • Создание контейнера
  • Отправка содержимого папки в хранилище BLOB-объектов Data Box
  • Отправка измененных файлов в хранилище BLOB-объектов Data Box

В следующих разделах каждый этап рассматривается более подробно.

Создание контейнера

Первый шаг — создать контейнер, потому что большие двоичные объекты должны всегда передаваться в контейнер. Контейнеры упорядочивают группы больших двоичных объектов аналогично организации файлов в папках на компьютере. Чтобы создать контейнер больших двоичных объектов, сделайте следующее.

  1. Откройте обозреватель службы хранилищ.

  2. В левой области разверните учетную запись хранения, в которой собираетесь создать контейнер больших двоичных объектов.

  3. Щелкните правой кнопкой мыши Контейнеры больших двоичных объектов и выберите в контекстном меню Создать контейнер BLOB-объектов.

    Контекстное меню контейнера BLOB-объектов, пункт для создания контейнера BLOB-объектов

  4. Под папкой Контейнеры больших двоичных объектов отобразится текстовое поле. Введите имя контейнера больших двоичных объектов. В разделе о создании контейнера и настройке разрешений см. сведения о правилах и ограничениях для именования контейнеров больших двоичных объектов.

  5. Нажмите клавишу ВВОД, чтобы создать контейнер больших двоичных объектов, или ESC для отмены. После успешного создания контейнер BLOB-объектов отображается в папке контейнеров больших двоичных объектов выбранной учетной записи хранения.

    Контейнер больших двоичных объектов создан

Отправка содержимого папки в хранилище BLOB-объектов Data Box

Используйте AzCopy для отправки всех файлов в папку в хранилище BLOB-объектов в Windows или Linux. Чтобы передать все большие двоичные объекты, содержащиеся в папке, введите следующую команду AzCopy:

Linux

azcopy \
    --source /mnt/myfolder \
    --destination https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/ \
    --dest-key <key> \
    --recursive

Windows

AzCopy /Source:C:\myfolder /Dest:https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/ /DestKey:<key> /S

Вместо <key> укажите ключ учетной записи. Ключ учетной записи можно получить в портал Azure, перейдя к учетной записи хранения. Выберите "Параметры > доступа", выберите ключ, а затем скопируйте и вставьте значение в команду AzCopy.

Если указанный целевой контейнер не существует, AzCopy создает его и отправляет в него файл. В качестве исходного пути укажите путь к нужному каталогу данных, а в URL-адресе назначения замените data-box-storage-account-name именем учетной записи хранения, связанной с вашим Data Box.

Чтобы отправить содержимое указанного каталога в хранилище BLOB-объектов рекурсивно, укажите --recursive параметр для Linux или /S параметр для Windows. При запуске с этими параметрами AzCopy передает все вложенные папки и файлы.

Отправка измененных файлов в хранилище BLOB-объектов Data Box

Можно также использовать AzCopy для отправки файлов в зависимости от времени последнего изменения. Чтобы отправить только обновленные или новые файлы, добавьте --exclude-older параметр для Linux или /XO параметр для параметра Windows в команду AzCopy.

Если вы хотите скопировать только ресурсы в локальном источнике, который не существует в целевом месте, укажите как --exclude-older параметры для Linux, /XO так и --exclude-newer /XN параметры для Windows в команде AzCopy. AzCopy отправляет только обновленные данные, как определено его меткой времени.

Linux

azcopy \
--source /mnt/myfolder \
--destination https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/ \
--dest-key <key> \
--recursive \
--exclude-older

Windows

AzCopy /Source:C:\myfolder /Dest:https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/ /DestKey:<key> /S /XO

При возникновении ошибки во время копирования или подключения см. статью Troubleshoot issues related to Azure Data Box Blob storage (Устранение неполадок в хранилище BLOB-объектов службы Data Box).

Следующим шагом является подготовка устройства к отправке.

Следующие шаги

В этом руководстве были освещены следующие темы относительно Azure Data Box.

  • Необходимые условия для копирования данных в хранилище BLOB-объектов Azure Data Box с помощью REST API
  • Подключение к хранилищу BLOB-объектов Data Box через http или https
  • Копирование данных в Data Box

Перейдите к следующему руководству, чтобы узнать, как отправить свой Data Box обратно в корпорацию Майкрософт.

Отправка Azure Data Box в корпорацию Майкрософт