Руководство: Использование REST API-интерфейсов для копирования данных в хранилище блоб-данных Azure Data Box

Внимание

Эта статья ссылается на CentOS, дистрибутив Linux, поддержка которого прекращена. Пожалуйста, рассмотрите возможность использования и планирования соответствующим образом. Дополнительные сведения см. в руководстве centOS End Of Life.

В этом руководстве описываются процедуры по подключению к хранилищу BLOB-объектов Azure Data Box через REST API по протоколу HTTP или HTTPS. Рассматриваются также шаги после подключения, необходимые для копирования данных в хранилище BLOB-объектов Data Box и подготовки Data Box к отправке.

В этом руководстве описано следующее:

• Требования
• Подключение к хранилищу BLOB-объектов Data Box по протоколу HTTP или HTTPS.
• Копирование данных в Data Box

Предварительные условия

Перед тем как начать, убедитесь в следующем.

1. Вы выполнили руководство: Настройка Azure Data Box.
2. Вы получили Data Box. Состояние заказа на портале — Доставлено.
3. Вы просматриваете системные требования к хранилищу BLOB-объектов Data Box и знакомы с поддерживаемыми версиями API, пакетов SDK и средств.
4. У вас есть главный компьютер с данными, которые необходимо скопировать в Data Box. Ваш хост-компьютер должен соответствовать следующим требованиям:
   • Запустите поддерживаемую операционную систему.
   • Компьютер должен быть подключен к высокоскоростной сети. Настоятельно рекомендуем использовать хотя бы одно соединение Ethernet со скоростью передачи данных 10 Гбит/с. Если подключение 10 ГбE недоступно, используйте канал передачи данных 1 ГбE, но это влияет на скорость копирования.
5. Скачайте AzCopy V10 на хост-компьютере. AzCopy используется для копирования данных в хранилище BLOB-объектов Azure Data Box с хост-компьютера.

Перед тем как начать, убедитесь в следующем.

1. Вы выполнили руководство: Настройка Azure Data Box.
2. Вы получили Data Box. Состояние заказа на портале — Доставлено.
3. Вы просматриваете системные требования к хранилищу BLOB-объектов Data Box и знакомы с поддерживаемыми версиями API, пакетов SDK и средств.
4. У вас есть главный компьютер с данными, которые необходимо скопировать в Data Box. Ваш хост-компьютер должен:
   • Запустите поддерживаемую операционную систему.
   • Компьютер должен быть подключен к высокоскоростной сети. Настоятельно рекомендуется иметь по крайней мере одно подключение 100 ГбE. Если подключение 100-GbE недоступно, используйте канал передачи данных 10-GbE или 1-GbE, но скорость копирования будет снижена.
5. Скачайте AzCopy V10 на хост-компьютере. AzCopy используется для копирования данных в хранилище BLOB-объектов Azure Data Box с хост-компьютера.

Подключение по протоколу HTTP или HTTPS

Вы можете подключиться к хранилищу BLOB-объектов Data Box по протоколу HTTP или HTTPS.

• HTTPS — это безопасный и рекомендуемый способ подключения к хранилищу BLOB-объектов Data Box.
• Протокол HTTP используется при подключении через доверенные сети.

Подключение к хранилищу BLOB-объектов Data Box по протоколам HTTP и HTTPS происходит по-разному.

Подключение по протоколу HTTP

Для подключения к REST API хранилища BLOB-объектов Data Box по протоколу HTTP необходимо выполнить следующие действия:

• Добавить IP-адрес устройства и конечную точку службы объектов BLOB к удаленному узлу.
• Настройка программного обеспечения партнера и проверка подключения

Каждое из этих действий описано в следующих разделах.

Добавить IP-адрес устройства и конечную точку блоб-объекта

1. Войдите на устройство Data Box. Убедитесь, что оно разблокировано.

   

2. Перейдите к Задать сетевые интерфейсы. Запишите IP-адрес устройства для сетевого интерфейса, используемого для подключения к клиенту.

   

3. Перейдите в пункт меню Подключиться и копировать и щелкните Rest.

   

4. В диалоговом окне Доступ к учетной записи хранения и загрузка данных скопируйте конечную точку службы BLOB.

   

5. Откройте Блокнот от имени администратора, а затем откройте файл hosts, расположенный в C:\Windows\System32\Drivers\etc.

6. Добавьте следующую запись в ваш файл hosts: <device IP address> <Blob service endpoint>

7. Для ссылки используйте следующее изображение. Сохраните файл hosts.

   

Проверка подключения и настройка партнерского программного обеспечения

Настройте программное обеспечение партнера, чтобы подключиться к клиенту. Для подключения к программному обеспечению партнера обычно требуются следующие сведения (могут отличаться), собранные на странице Подключения и копирования локального веб-интерфейса на предыдущем шаге:

• Имя учетной записи хранилища
• Ключ доступа
• Конечная точка службы BLOB

Чтобы убедиться, что подключение установлено успешно, используйте Обозреватель службы хранилища для подключения к учетной записи внешнего хранилища. Если у вас нет Storage Explorer, его необходимо скачать и установить.

Когда вы используете Обозреватель хранилища в первый раз, вам необходимо выполнить следующие действия:

1. На верхней панели команд перейдите в раздел "Изменить > целевой объект Azure Stack".

   

2. Перезапустите Обозреватель службы хранилища, чтобы изменения вступили в силу.

   

Чтобы подключиться к учетной записи хранилища и проверить подключение, выполните следующие действия.

1. В Обозревателе службы хранилища откройте диалоговое окно Подключиться к службе хранилища Azure. В диалоговом окне Подключение к службе хранилища Azure выберите Использовать имя и ключ учетной записи хранения.

   

2. Введите ваше Имя учетной записи и Ключ учетной записи (значение ключа 1 на странице Подключиться и копировать в локальном пользовательском веб-интерфейсе). Для домена конечных точек хранилища выберите Другие (ввести ниже) и укажите конечную точку службы BLOB, как указано ниже. Установите флажок для параметра Использовать HTTP только в случае передачи через http. Не устанавливайте этот флажок при использовании https. Выберите Далее.

   

3. Проверьте сведения в диалоговом окне Сводка подключения. Нажмите Подключиться.

   

4. Успешно добавленная учетная запись отображается в левой панели Обозревателя хранилища данных, и к её названию добавляется (Внешняя, Другая). Щелкните Контейнеры BLOB, чтобы просмотреть контейнер.

   

Подключение по протоколу HTTPS

Для подключения к REST API хранилища BLOB-объектов Azure по протоколу HTTP необходимо выполнить следующие действия:

• Скачайте сертификат из портал Azure. Этот сертификат используется для подключения к веб-интерфейсу и REST API хранилища объектов Azure Blob.
• Импортируйте сертификат на клиент или удаленный узел.
• Добавьте IP-адрес устройства и конечную точку службы BLOB на клиент или удаленный хост.
• Настройте партнерское программное обеспечение и проверьте подключение.

Каждое из этих действий описано в следующих разделах.

Скачивание сертификата

Скачайте сертификат с помощью портала Azure.

1. Войдите на портал Azure.

2. Перейдите к заказу Data Box и перейдите к общим > сведениям об устройстве.

3. В разделе Учетные данные устройства перейдите к API доступа к устройству. Выберите Скачать. Это действие загружает файл сертификата <вашего заказа>.cer. Сохраните этот файл и установите его на клиентском или хост-компьютере, используемом для подключения к устройству.

   

Сертификат на импорт

Для доступа к хранилищу BLOB-объектов Data Box через протокол HTTPS требуется TLS/SSL-сертификат для устройства. Этот сертификат предоставляется клиентскому приложению по-разному в зависимости от приложения, операционной системы и дистрибутива. Некоторые приложения могут получить доступ к сертификату после импорта в хранилище сертификатов системы, а другие приложения не используют этот механизм.

В этом разделе указана конкретная информация для некоторых приложений. Дополнительные сведения о других приложениях см. в документации по приложению и используемой операционной системе.

Выполните следующие действия, чтобы импортировать файл .cer в корневое хранилище клиента Windows или Linux. В системе Windows для импорта и установки сертификата можно использовать Windows PowerShell или пользовательский интерфейс Windows Server.

Использование Windows PowerShell

1. Запустите сеанс Windows PowerShell от имени администратора.

2. В командной строке введите:

   Import-Certificate -FilePath C:\temp\localuihttps.cer -CertStoreLocation Cert:\LocalMachine\Root
   

Использование пользовательского интерфейса Windows Server

1. Щелкните правой кнопкой мыши файл .cer и выберите Установить сертификат. Запустится мастер импорта сертификатов.

2. В качестве расположения хранилища выберите локальный компьютер, а затем нажмите кнопку Далее.

   

3. Выберите Поместить все сертификаты в следующее хранилище и нажмите кнопку Обзор. Перейдите в корневое хранилище удаленного узла и нажмите кнопку "Далее".

   

4. Выберите Готово. Появится сообщение о том, что импорт успешно выполнен.

   

Использование системы Linux

Метод импорта сертификата зависит от дистрибутива.

В некоторых дистрибутивах, например Ubuntu и Debian, используется команда update-ca-certificates.

• Переименуйте файл сертификата с кодировкой Base64, чтобы у него было расширение .crt, а затем скопируйте его в расположение /usr/local/share/ca-certificates directory.
• Выполните команду update-ca-certificates.

В последних версиях RHEL, Fedora и CentOS используется команда update-ca-trust.

• Скопируйте файл сертификата в каталог /etc/pki/ca-trust/source/anchors.
• Запустите update-ca-trust.

Подробности см. в документации для вашего дистрибутива.

Добавьте IP-адрес устройства и конечную точку службы BLOB

Выполните те же действия для добавления IP-адреса устройства и конечной точки службы блоб-объектов при подключении по протоколу HTTP.

Настройка партнерского программного обеспечения и проверка подключения

Выполните шаги для настройки партнерского программного обеспечения, которые вы выполняли при подключении по протоколу HTTP. Единственное отличие — не устанавливайте флажок для использования HTTP.

Копирование данных в Data Box

После подключения одного или нескольких хранилищ данных Data Box следующим шагом является копирование данных. Прежде чем инициировать операции копирования данных, рассмотрите следующие ограничения:

• При копировании данных убедитесь, что размер данных соответствует ограничениям на размер, указанным в статье Ограничения для службы хранилища Azure и Data Box.
• Одновременные загрузки с использованием Data Box и другого приложения, не являющегося Data Box, могут привести к сбоям заданий загрузки и повреждению данных.

Внимание

Убедитесь, что вы сохраняете копию исходных данных, пока не сможете подтвердить, что данные скопированы в служба хранилища Azure.

В этом руководстве AzCopy используется для копирования данных в хранилище BLOB-объектов Data Box. Если вы предпочитаете инструмент с графическим интерфейсом, вы также можете использовать Обозреватель хранилища Azure или другое партнерское программное обеспечение для копирования данных.

Процедура копирования включает в себя следующие действия:

• Создание контейнера
• Отправка содержимого папки в хранилище BLOB-объектов Data Box
• Отправка измененных файлов в хранилище BLOB-объектов Data Box

В следующих разделах каждый этап рассматривается более подробно.

Создание контейнера

Первый шаг — создать контейнер, потому что объекты всегда загружаются в контейнер. Контейнеры организуют группы объектов (BLOB), как вы организуете файлы в папках на вашем компьютере. Следуйте этим шагам, чтобы создать контейнер BLOB.

1. Откройте обозреватель службы хранилищ.

2. В левой области разверните учетную запись хранения, где вы хотите создать контейнер BLOB.

3. Щелкните правой кнопкой мыши Контейнеры BLOB и выберите в контекстном меню Создать контейнер BLOB.

   

4. Под папкой Blob Containers появится текстовое поле. Введите имя для вашего контейнера BLOB. В разделе о создании контейнера и настройке разрешений см. сведения о правилах и ограничениях для именования контейнеров больших двоичных объектов.

5. Нажмите Enter, чтобы создать контейнер объектов BLOB, или Esc для отмены. После успешного создания контейнер BLOB отображается в папке BLOB-контейнеров выбранной учетной записи хранения.

   

Загрузите содержимое папки в хранилище BLOB-объектов Data Box

Используйте AzCopy для отправки всех файлов из папки в хранилище Blob на Windows или Linux. Чтобы передать все объекты (blobs) в папке, введите следующую команду AzCopy:

Linux

azcopy \
    --source /mnt/myfolder \
    --destination https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/ \
    --dest-key <key> \
    --recursive

Windows

AzCopy /Source:C:\myfolder /Dest:https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/ /DestKey:<key> /S

Вместо <key> укажите ключ учетной записи. Ключ учетной записи можно получить в портале Azure, перейдя к вашей учетной записи хранения. Выберите "Параметры > доступа", выберите ключ, а затем скопируйте и вставьте значение в команду AzCopy.

Если указанный целевой контейнер не существует, AzCopy создает его и отправляет в него файл. В качестве исходного пути укажите путь к нужному каталогу данных, а в URL-адресе назначения замените data-box-storage-account-name именем учетной записи хранения, связанной с вашим Data Box.

Чтобы отправить содержимое указанного каталога в хранилище BLOB-объектов рекурсивно, укажите --recursive параметр для Linux или /S параметр для Windows. При выполнении AzCopy с одним из этих параметров также загружаются все вложенные папки и их файлы.

Загрузка измененных файлов в объектное хранилище данных Data Box

Можно также использовать AzCopy для отправки файлов в зависимости от времени последнего изменения. Чтобы отправить только обновленные или новые файлы, добавьте --exclude-older параметр для Linux или /XO параметр для параметра Windows в команду AzCopy.

Если вы хотите скопировать только те ресурсы из вашего локального источника, которые отсутствуют в целевом месте назначения, укажите параметры --exclude-older и --exclude-newer для Linux или параметры /XO и /XN для Windows в команде AzCopy. AzCopy отправляет только обновленные данные, как определено его меткой времени.

Linux

azcopy \
--source /mnt/myfolder \
--destination https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/ \
--dest-key <key> \
--recursive \
--exclude-older

Windows

AzCopy /Source:C:\myfolder /Dest:https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/ /DestKey:<key> /S /XO

При возникновении ошибок во время подключения или копирования см. статью Устранение неполадок в хранилище Data Box Blob.

Следующим шагом является подготовка устройства к отправке.

Следующие шаги

В этом руководстве были освещены следующие темы относительно Azure Data Box.

• Необходимые условия для копирования данных в хранилище BLOB-объектов Azure Data Box с помощью REST API
• Подключение к хранилищу BLOB-объектов Data Box через http или https
• Копирование данных в Data Box

Перейдите к следующему руководству, чтобы узнать, как отправить свой Data Box обратно в корпорацию Майкрософт.

Отправка Azure Data Box в корпорацию Майкрософт