Руководство. Использование REST API для копирования данных в хранилище BLOB-объектов Azure Data Box

Внимание

Azure Data Box теперь поддерживает назначение уровня доступа на уровне BLOB-объектов. Действия, содержащиеся в этом руководстве, отражают обновленный процесс копирования данных и зависят от блочных BLOB-объектов.

Сведения о том, как определить соответствующий уровень доступа для данных блочного BLOB-объекта, см . в разделе "Определение соответствующих уровней доступа для блочных BLOB-объектов ". Выполните действия, содержащиеся в разделе "Копирование данных в Data Box ", чтобы скопировать данные на соответствующий уровень доступа.

Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.

Внимание

Эта статья ссылается на CentOS, дистрибутив Linux, который является состоянием "Конец жизни" (EOL). Пожалуйста, рассмотрите возможность использования и планирования соответствующим образом. Дополнительные сведения см. в руководстве centOS End Of Life.

В этом руководстве описываются процедуры по подключению к хранилищу BLOB-объектов Azure Data Box через REST API по протоколу HTTP или HTTPS. Рассматриваются также шаги после подключения, необходимые для копирования данных в хранилище BLOB-объектов Data Box и подготовки Data Box к отправке.

В этом руководстве описано следующее:

• Необходимые компоненты
• Подключение к хранилищу BLOB-объектов Data Box по протоколу HTTP или HTTPS.
• Копирование данных в Data Box

Необходимые компоненты

Перед тем как начать, убедитесь в следующем.

1. В этом руководстве описано, как настроить Azure Data Box.
2. Вы получаете Data Box и состояние заказа на портале доставлено.
3. Вы просматриваете системные требования к хранилищу BLOB-объектов Data Box и знакомы с поддерживаемыми версиями API, пакетов SDK и средств.
4. У вас есть доступ к узлому компьютеру с данными, которые требуется скопировать в Data Box. Компьютер узла должен:
   • поддерживаемая операционная система;
   • Компьютер должен быть подключен к высокоскоростной сети. Настоятельно рекомендуем использовать хотя бы одно соединение Ethernet со скоростью передачи данных 10 Гбит/с. Если такое соединение недоступно, можно использовать канал передачи данных 1 Гбит/с, но это повлияет на скорость копирования.
5. Скачайте AzCopy V10 на хост-компьютере. AzCopy используется для копирования данных в хранилище BLOB-объектов Azure Data Box с хост-компьютера.

Подключение по протоколу HTTP или HTTPS

Вы можете подключиться к хранилищу BLOB-объектов Data Box по протоколу HTTP или HTTPS.

• HTTPS — это безопасный и рекомендуемый способ подключения к хранилищу BLOB-объектов Data Box.
• Протокол HTTP используется при подключении через доверенные сети.

Подключение к хранилищу BLOB-объектов Data Box по протоколам HTTP и HTTPS происходит по-разному.

Подключение по протоколу HTTP

Для подключения к REST API хранилища BLOB-объектов Data Box по протоколу HTTP необходимо выполнить следующие действия:

• добавить IP-адрес устройства и конечную точку службы BLOB-объектов к удаленному узлу;
• Настройка программного обеспечения партнера и проверка подключения

Каждое из этих действий описано в следующих разделах.

Добавление IP-адреса устройства и конечной точки службы BLOB-объектов

1. Войдите на устройство Data Box. Убедитесь, что оно разблокировано.

   

2. Перейдите к Задать сетевые интерфейсы. Запишите IP-адрес устройства для сетевого интерфейса, используемого для подключения к клиенту.

   

3. Перейдите в пункт меню Подключиться и копировать и щелкните Rest.

   

4. В диалоговом окне Доступ к учетной записи хранения и отправка данных скопируйте конечную точку службы BLOB-объектов.

   

5. Откройте Блокнот от имени администратора, а затем откройте файл hosts, расположенный в C:\Windows\System32\Drivers\etc.

6. Добавьте следующую запись в ваш файл hosts: <device IP address> <Blob service endpoint>

7. Для ссылки используйте следующее изображение. Сохраните файл hosts.

   

Проверка подключения и настройка партнерского программного обеспечения

Настройте программное обеспечение партнера, чтобы подключиться к клиенту. Для подключения к программному обеспечению партнера обычно требуются следующие сведения (могут отличаться), собранные на странице Подключения и копирования локального веб-интерфейса на предыдущем шаге:

• Storage account name
• Ключ доступа
• Конечная точка службы BLOB-объектов

Чтобы убедиться, что подключение установлено успешно, используйте Обозреватель службы хранилища для подключения к учетной записи внешнего хранилища. Если у вас нет Обозреватель службы хранилища, необходимо скачать и установить.

При первом использовании Обозреватель службы хранилища необходимо выполнить следующие действия:

1. На верхней панели команд перейдите в раздел "Изменить > целевой объект Azure Stack".

   

2. Перезапустите Обозреватель службы хранилища, чтобы изменения вступили в силу.

   

Чтобы подключится к учетной записи хранения и проверить подключения, выполните следующие действия.

1. В Обозревателе службы хранилища откройте диалоговое окно Подключиться к службе хранилища Azure. В диалоговом окне Подключение к службе хранилища Azure выберите Использовать имя и ключ учетной записи хранения.

   

2. Введите ваше Имя учетной записи и Ключ учетной записи (значение ключа 1 на странице Подключиться и копировать в локальном пользовательском веб-интерфейсе). Для домена конечных точек хранилища выберите Другие (ввести ниже) и вставьте конечную точку службы больших двоичных объектов, как показано ниже. Установите флажок для параметра Использовать HTTP только в случае передачи через http. Не устанавливайте этот флажок при использовании https. Выберите Далее.

   

3. Проверьте сведения в диалоговом окне Сводка подключения. Нажмите Подключиться.

   

4. Успешно добавленная учетная запись отображается в левой области Обозревателя службы хранилища, а к ее имени будет добавлен текст (Внешняя, Другая). Щелкните Контейнеры больших двоичных объектов, чтобы просмотреть контейнер.

   

Подключение по протоколу HTTPS

Для подключения к REST API хранилища BLOB-объектов Azure по протоколу HTTP необходимо выполнить следующие действия:

• Скачайте сертификат из портал Azure. Этот сертификат используется для подключения к веб-интерфейсу и REST API хранилища BLOB-объектов Azure.
• Импортируйте сертификат на клиент или удаленный узел.
• Добавьте ip-адрес устройства и конечную точку службы BLOB-объектов в клиент или удаленный узел.
• Настройте партнерское программное обеспечение и проверьте подключение.

Каждое из этих действий описано в следующих разделах.

Скачивание сертификата

Скачайте сертификат с помощью портала Azure.

1. Войдите на портал Azure.

2. Перейдите к заказу Data Box и перейдите к общим > сведениям об устройстве.

3. В разделе Учетные данные устройства перейдите к API доступа к устройству. Щелкните Скачать. Это действие скачивает <имя> заказа.cer файл сертификата. Сохраните этот файл и установите его на клиентском или хост-компьютере, используемом для подключения к устройству.

   

Импорт сертификата

Для доступа к хранилищу BLOB-объектов Data Box через протокол HTTPS требуется TLS/SSL-сертификат для устройства. Этот сертификат предоставляется клиентскому приложению по-разному в зависимости от приложения, операционной системы и дистрибутива. Некоторые приложения могут получить доступ к сертификату после его импорта в хранилище сертификатов системы, а другие приложения не используют этот механизм.

В этом разделе описаны особенности доступа к сертификату для некоторых приложений. Дополнительные сведения о других приложениях см. в документации по приложению и используемой операционной системе.

Выполните следующие действия, чтобы импортировать файл .cer в корневое хранилище клиента Windows или Linux. В системе Windows для импорта и установки сертификата можно использовать Windows PowerShell или пользовательский интерфейс Windows Server.

Использование Windows PowerShell

1. Запустите сеанс Windows PowerShell от имени администратора.

2. В командной строке введите:

   Import-Certificate -FilePath C:\temp\localuihttps.cer -CertStoreLocation Cert:\LocalMachine\Root
   

Использование пользовательского интерфейса Windows Server

1. Щелкните правой кнопкой мыши файл .cer и выберите Установить сертификат. Запустится мастер импорта сертификатов.

2. В качестве расположения хранилища выберите локальный компьютер, а затем нажмите кнопку Далее.

   

3. Выберите Поместить все сертификаты в следующее хранилище и нажмите кнопку Обзор. Перейдите в корневое хранилище удаленного узла и нажмите кнопку "Далее".

   

4. Выберите Готово. Появится сообщение о том, что импорт успешно выполнен.

   

Использование системы Linux

Метод импорта сертификата зависит от дистрибутива.

В некоторых дистрибутивах, например Ubuntu и Debian, используется команда update-ca-certificates.

• Переименуйте файл сертификата с кодировкой Base64, чтобы у него было расширение .crt, а затем скопируйте его в расположение /usr/local/share/ca-certificates directory.
• Выполните команду update-ca-certificates.

В последних версиях RHEL, Fedora и CentOS используется команда update-ca-trust.

• Скопируйте файл сертификата в каталог /etc/pki/ca-trust/source/anchors.
• Запустите update-ca-trust.

Дополнительные сведения см. в документации по своему дистрибутиву.

Добавление IP-адреса устройства и конечной точки службы BLOB-объектов

Выполните те же действия для добавления IP-адреса устройства и конечной точки службы BLOB-объектов, что и при подключении по протоколу HTTP.

Настройка партнерского программного обеспечения и проверка подключения

Выполните шаги для настройки партнерского программного обеспечения, которые вы выполняли при подключении по протоколу HTTP. Единственное отличие — не устанавливайте флажок для использования HTTP.

Определение соответствующих уровней доступа для блочных BLOB-объектов

Внимание

Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.

служба хранилища Azure позволяет хранить данные блочных BLOB-объектов в нескольких уровнях доступа в одной учетной записи хранения. Эта возможность позволяет упорядочивать и хранить данные более эффективно на основе частоты доступа. В следующей таблице содержатся сведения и рекомендации по служба хранилища Azure уровням доступа.

Уровень	Рекомендация	Рекомендация
высокая	Полезно для частого доступа к данным в Интернете или изменения. Горячий уровень отличается самыми высокими затратами на хранение, но наименьшими затратами на доступ.	Данные на этом уровне должны находиться в регулярном и активном использовании.
Холодный	Полезно для доступа к интернет-данным или редко изменяемых. Этот уровень имеет более низкие затраты на хранение и более высокие затраты на доступ, чем горячий уровень.	Данные на этом уровне должны храниться не менее 30 дней.
низкая	Полезно для доступа к интернет-данным или изменениям редко, но по-прежнему требуется быстрое извлечение. Этот уровень имеет более низкие затраты на хранение и более высокие затраты на доступ, чем холодный уровень.	Данные на этом уровне должны храниться не менее 90 дней.
Архив	Полезно для автономных данных редко обращаться к данным и иметь более низкие требования к задержке.	Данные на этом уровне должны храниться не менее 180 дней. Данные, удаленные из архивного уровня в течение 180 дней, подлежат досрочному удалению.

Дополнительные сведения о уровнях доступа к BLOB-объектам см. в разделе "Уровни доступа" для данных BLOB-объектов. Дополнительные рекомендации см. в рекомендациях по использованию уровней доступа к BLOB-объектам.

Данные блочного большого двоичного объекта можно передать на соответствующий уровень доступа, скопировать его в соответствующую папку в Data Box. Этот процесс подробно рассматривается в разделе "Копирование данных в Azure Data Box ".

Копирование данных в Data Box

После подключения к одному или нескольким общим папкам Data Box следующим шагом является копирование данных. Перед началом копирования данных рассмотрите следующие ограничения:

• При копировании данных убедитесь, что размер данных соответствует ограничениям на размер, указанным в статье Ограничения для службы хранилища Azure и Data Box.
• Одновременные отправки Data Box и другого приложения, отличного от Data Box, могут привести к сбоям заданий отправки и повреждению данных.

Внимание

Убедитесь, что вы сохраняете копию исходных данных, пока не сможете подтвердить, что данные скопированы в служба хранилища Azure.

В этом руководстве AzCopy используется для копирования данных в хранилище BLOB-объектов Data Box. Если вы предпочитаете инструмент на основе графического интерфейса, вы также можете использовать обозреватель служба хранилища Azure или другое программное обеспечение партнера для копирования данных.

Процедура копирования включает в себя следующие действия:

• Создание контейнера
• Отправка содержимого папки в хранилище BLOB-объектов Data Box
• Отправка измененных файлов в хранилище BLOB-объектов Data Box

В следующих разделах каждый этап рассматривается более подробно.

Создание контейнера

Первый шаг — создать контейнер, потому что большие двоичные объекты должны всегда передаваться в контейнер. Контейнеры упорядочивают группы больших двоичных объектов аналогично организации файлов в папках на компьютере. Чтобы создать контейнер больших двоичных объектов, сделайте следующее.

1. Откройте обозреватель службы хранилищ.

2. В левой области разверните учетную запись хранения, в которой собираетесь создать контейнер больших двоичных объектов.

3. Щелкните правой кнопкой мыши Контейнеры больших двоичных объектов и выберите в контекстном меню Создать контейнер BLOB-объектов.

   

4. Под папкой Контейнеры больших двоичных объектов отобразится текстовое поле. Введите имя контейнера больших двоичных объектов. В разделе о создании контейнера и настройке разрешений см. сведения о правилах и ограничениях для именования контейнеров больших двоичных объектов.

5. Нажмите клавишу ВВОД, чтобы создать контейнер больших двоичных объектов, или ESC для отмены. После успешного создания контейнера BLOB-объектов он отображается в папке "Контейнеры BLOB-объектов " для выбранной учетной записи хранения.

   

Отправка содержимого папки в хранилище BLOB-объектов Data Box

Используйте AzCopy для отправки всех файлов в папку в хранилище BLOB-объектов в Windows или Linux. Чтобы передать все большие двоичные объекты, содержащиеся в папке, введите следующую команду AzCopy:

Linux

azcopy \
    --source /mnt/myfolder \
    --destination https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/ \
    --dest-key <key> \
    --recursive

Windows

AzCopy /Source:C:\myfolder /Dest:https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/ /DestKey:<key> /S

Вместо <key> укажите ключ учетной записи. Ключ учетной записи можно получить в портал Azure, перейдя к учетной записи хранения. Выберите "Параметры > доступа", выберите ключ, а затем скопируйте и вставьте значение в команду AzCopy.

Если указанный целевой контейнер не существует, AzCopy создает его и отправляет в него файл. В качестве исходного пути укажите путь к нужному каталогу данных, а в URL-адресе назначения замените data-box-storage-account-name именем учетной записи хранения, связанной с вашим Data Box.

Чтобы отправить содержимое указанного каталога в хранилище BLOB-объектов рекурсивно, укажите --recursive параметр для Linux или /S параметр для Windows. При запуске с этими параметрами AzCopy передает все вложенные папки и файлы.

Отправка измененных файлов в хранилище BLOB-объектов Data Box

Можно также использовать AzCopy для отправки файлов в зависимости от времени последнего изменения. Чтобы отправить только обновленные или новые файлы, добавьте --exclude-older параметр для Linux или /XO параметр для параметра Windows в команду AzCopy.

Если вы хотите скопировать только ресурсы в локальном источнике, который не существует в целевом месте, укажите как --exclude-older параметры для Linux, /XO так и --exclude-newer /XN параметры для Windows в команде AzCopy. AzCopy отправляет только обновленные данные, как определено его меткой времени.

Linux

azcopy \
--source /mnt/myfolder \
--destination https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/ \
--dest-key <key> \
--recursive \
--exclude-older

Windows

AzCopy /Source:C:\myfolder /Dest:https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/ /DestKey:<key> /S /XO

При возникновении ошибки во время копирования или подключения см. статью Troubleshoot issues related to Azure Data Box Blob storage (Устранение неполадок в хранилище BLOB-объектов службы Data Box).

Следующим шагом является подготовка устройства к отправке.

Следующие шаги

В этом руководстве были освещены следующие темы относительно Azure Data Box.

• Необходимые условия для копирования данных в хранилище BLOB-объектов Azure Data Box с помощью REST API
• Подключение к хранилищу BLOB-объектов Data Box через http или https
• Определение соответствующих уровней доступа для блочных BLOB-объектов
• Копирование данных в Data Box

Перейдите к следующему руководству, чтобы узнать, как отправить свой Data Box обратно в корпорацию Майкрософт.

Отправка Azure Data Box в корпорацию Майкрософт