Руководство. Импорт данных в Хранилище BLOB-объектов с помощью службы импорта и экспорта Azure

Эта статья содержит пошаговые инструкции по использованию службы "Импорт и экспорт Azure" для безопасного импорта больших объемов данных в хранилище BLOB-объектов Azure. Чтобы служба осуществила импорт данных в большие двоичные объекты Azure, нужно отправить в центр обработки данных Azure зашифрованные диски с данными.

В этом руководстве описано следующее:

• Предварительные требования для импорта данных в Хранилище BLOB-объектов Azure
• Шаг 1. Подготовка дисков
• Шаг 2. Создание задания импорта
• Шаг 3. Настройка ключа, управляемого клиентом (необязательно)
• Шаг 4. Отправка дисков
• Шаг 5. Указание данных об отслеживании для задания
• Шаг 6. Проверка передачи данных в Azure

Необходимые компоненты

Прежде чем создавать задание импорта для передачи данных в хранилище BLOB-объектов Azure, внимательно просмотрите и выполните описанные ниже предварительные требования для этой службы. Следует сделать:

• Активная подписка Azure, которую можно использовать для службы "Импорт и экспорт".
• Хотя бы одна учетная запись хранения Azure с контейнером хранилища. Просмотрите список поддерживаемых типов хранилища и учетных записей хранения для службы "Импорт и экспорт".
  • Сведения о создании учетной записи хранения см. в разделе Создание учетной записи хранения.
  • Сведения о создании контейнеров хранилища см. в разделе Создание контейнера хранилища.
• Обеспечьте наличие соответствующего количества дисков поддерживаемых типов.
• В вашей системе должна быть установлена ОС Windows поддерживаемой версии.
• Включить технологию BitLocker в системе Windows. Дополнительные сведения о включении BitLocker см. в этой статье.
• Скачайте текущий выпуск средства Azure импорт и экспорт версии 1 для больших двоичных объектов в системе Windows:
  1. Скачайте WAImportExport версии 1. Текущая версия — 1.5.0.300.
  2. Распакуйте содержимое в папку по умолчанию: WaImportExportV1. Например, C:\WaImportExportV1.

• Укажите допустимую учетную запись оператора и номер отслеживания для заказа:
  • Для заказа необходимо использовать перевозчик в списке имен перевозчика на вкладке "Доставка ". Если у вас нет учетной записи оператора, обратитесь к оператору, чтобы создать ее.
  • Учетная запись перевозчика должна быть допустимой, должна иметь баланс и должна иметь возможности возврата доставки. Корпорация Майкрософт использует выбранный оператор для возврата всех носителей хранилища.
  • Создайте номер отслеживания для задания импорта и экспорта в учетной записи оператора. Каждое задание должно иметь отдельный номер отслеживания. Несколько заданий с одинаковым номером отслеживания не поддерживаются.

Шаг 1. Подготовка дисков

На этом шаге создается файл журнала. В файле журнала хранятся основные сведения, например серийный номер диска, ключ шифрования и сведения об учетной записи хранения.

Выполните следующие действия для подготовки дисков.

1. Подключите свои диски к системе Windows с использованием соединителей SATA.

2. Создайте один том NTFS на каждом диске. Присвойте ему букву диска. Не используйте точки подключения.

3. Включите шифрование BitLocker в томе NTFS. Если используется система Windows Server, используйте инструкции из статьи о включении BitLocker в Windows Server 2012 R2.

4. Скопируйте данные в зашифрованный том. Используйте перетаскивание, программу Robocopy или аналогичное средство копирования. Файл журнала (JRN) создается в той же папке, где вы запустили средство.

   Если диск заблокирован и необходимо разблокировать его, то действия по разблокировке могут отличаться в зависимости от варианта использования.

   • Если вы добавили данные на предварительно зашифрованный диск (средство WAImportExport не использовалось для шифрования), используйте ключ BitLocker (числовой пароль, указанный вами) во всплывающем окне, чтобы разблокировать диск.

   • Если вы добавили данные на диск, который был зашифрован с помощью средства WAImportExport, используйте для разблокирования диска следующую команду:

     WAImportExport Unlock /bk:<BitLocker key (base 64 string) copied from journal (*.jrn*) file>

5. Откройте PowerShell или окно командной строки с правами администратора. Чтобы перейти в распакованную папку, выполните следующую команду:

   cd C:\WaImportExportV1

6. Чтобы получить ключ BitLocker диска, выполните следующую команду:

   manage-bde -protectors -get <DriveLetter>:

7. Чтобы подготовить диск, выполните следующую команду. В зависимости от размера данных подготовка диска может занять от нескольких часов до нескольких дней.

   ./WAImportExport.exe PrepImport /j:<journal file name> /id:session<session number> /t:<Drive letter> /bk:<BitLocker key> /srcdir:<Drive letter>:\ /dstdir:<Container name>/ /blobtype:<BlockBlob or PageBlob> /skipwrite
   

   Файл журнала создается в той же папке, где вы запустили средство. Также создаются два других файла: файл XML (папка, в которой выполняется средство) и файл drive-manifest.xml (папка, в которой хранятся данные).

   В следующей таблице описаны параметры, используемые в этой команде.

   Вариант	Описание
   /j:	Имя файла журнала с расширением .jrn. Файл журнала создается для каждого диска. Рекомендуем использовать в качестве имени файла журнала серийный номер диска.
   /id:	Идентификатор сеанса. Используйте уникальный номер сеанса для каждого экземпляра команды.
   /t:	Буква отправляемого диска. Например, диск D.
   /bk:	Ключ BitLocker для диска. Числовой пароль из выходных данных manage-bde -protectors -get D:
   /srcdir:	Буква отправляемого диска и :\. Например, D:\.
   /dstdir:	Имя целевого контейнера в службе хранилища Azure.
   /blobtype:	Этот параметр указывает тип больших двоичных объектов, в которые необходимо импортировать данные. Для блочных BLOB-объектов тип большого двоичного объекта и BlockBlob для страничных BLOB-объектов это PageBlob.
   /skipwrite:	Указывает, что для копирования новых данных не требуется, а существующие данные на диске должны быть подготовлены.
   /enablecontentmd5:	Параметр при включении гарантирует, что для каждого большого двоичного объекта будет вычисляться MD5 и устанавливаться как Content-md5 свойство. Используйте этот параметр, только если вы хотите использовать поле Content-md5 после передачи данных в Azure. Этот параметр не влияет на целостность данных проверка (которая происходит по умолчанию). Этот параметр увеличивает время, затрачиваемое на загрузку данных в облако.

   Примечание.

   • Если в целевом контейнере есть BLOB-объект с таким же именем, как у импортируемого BLOB-объекта, существующий BLOB-объект будет перезаписан импортированным BLOB-объектом. В более ранних версиях средства (до 1.5.0.300) импортированный BLOB-объект переименовывался по умолчанию, а параметр \Disposition позволял выбрать, что следует делать при импорте такого BLOB-объекта: переименовывать, перезаписывать или пропускать.
   • Если в клиенте нет длинных путей, а имя пути и файла в копии данных превышает 256 символов, средство WAImportExport сообщит о сбоях. Чтобы избежать такого сбоя, включите длинные пути на клиенте Windows.

8. Повторите предыдущий шаг для каждого диска, который необходимо отправить.

   Файл журнала с предоставленным именем создается при каждом запуске командной строки.

   Вместе с файлом журнала в той же папке, где находится средство, также создается файл <Journal file name>_DriveInfo_<Drive serial ID>.xml. Файл .xml используется вместо файла журнала при создании задания, если файл журнала слишком велик.

Внимание

• Не изменяйте файлы журнала или данные на дисках и не выполняйте переформатирование дисков после завершения их подготовки.
• Максимальный размер файла журнала, разрешенный порталом, составляет 2 МБ. Если размер файла журнала превышает это значение, возвращается ошибка.

Шаг 2. Создание задания импорта

Портал

Выполните следующие действия, чтобы заказать задание импорта в Azure импорт и экспорт задание с помощью портала.

1. Используйте учетные данные Microsoft Azure для входа по этому URL-адресу: https://portal.azure.com.

2. Выберите и создайте ресурс и найдите Azure Data Box. Выберите Azure Data Box.

   

3. Нажмите кнопку создания.

   

4. Чтобы приступить к работе с заказом на импорт, выберите следующие параметры:

   1. Выберите тип переноса импорта в Azure .
   2. Выберите подписку, используемую для задания импорт и экспорт.
   3. Выберите группу ресурсов.
   4. Выберите исходную страну или регион для задания.
   5. Выберите регион Назначения Azure для задания.
   6. Затем выберите Применить.

   

5. Нажмите кнопку "Выбрать" для задания импорт и экспорт.

   

6. В разделе Основные сведения:

   • Введите описательное имя задания. Вы будете использовать его для отслеживания хода выполнения заданий.
     • Имя должно содержать от 3 до 24 символов.
     • Имя должно содержать только буквы, цифры и дефисы.
     • Имя должно начинаться и заканчиваться буквой или цифрой.

   

   Нажмите кнопку "Далее": сведения о > задании, чтобы продолжить.

7. В разделе "Сведения о задании":

   1. Прежде чем идти дальше, убедитесь, что вы используете последнее средство WAImportExport. Средство используется для чтения отправленных файлов журнала. Чтобы обновить средство, можно использовать ссылку на скачивание.

      

   2. При необходимости измените целевой регион Azure для задания.

   3. Выберите одну или несколько учетных записей хранения, которые будут использоваться для задания. При необходимости можно создать новую учетную запись хранения.

   4. В разделе "Сведения о диске" нажмите кнопку "Копировать " для отправки каждого файла журнала, созданного на предыдущем шаге 1. Подготовка дисков. При отправке файла журнала отображается идентификатор диска.

      • В случае использования waimportexport.exe version1 необходимо передать один файл для каждого подготовленного диска.

      • Если файл журнала превышает 2 МБ, можно использовать <Journal file name>_DriveInfo_<Drive serial ID>.xmlфайл журнала, созданный вместе с файлом журнала.

        

   

8. В возврате доставки:

   1. Выберите перевозчика доставки из раскрывающегося списка для carrier. Расположение центра обработки данных Майкрософт для выбранного региона определяет, какие перевозчики доступны.

   2. Введите номер учетной записи оператора. Требуется номер учетной записи для допустимой учетной записи оператора.

   3. В области возвращаемого адреса нажмите кнопку +Добавить адрес и добавьте адрес для отправки.

      

      В колонке "Добавить адрес" можно добавить адрес или использовать существующий. После завершения полей адресов нажмите кнопку "Добавить адрес доставки".

      

   4. В области уведомлений введите адреса электронной почты для людей, которые вы хотите уведомить о ходе выполнения задания.

      Совет

      Вместо указания адреса электронной почты для одного пользователя укажите групповую электронную почту, чтобы убедиться, что вы получаете уведомления, даже если администратор покидает его.

   

   Нажмите кнопку "Рецензирование" и " Создать ", чтобы продолжить.

9. В разделе "Рецензирование и создание":

   1. Просмотрите сведения о условиях и конфиденциальности, а затем выберите проверка box, выполнив команду "Я признаю, что все предоставленные сведения являются правильными и согласны с условиями". Затем выполняется проверка.
   2. Просмотрите сведения о задании. Запишите имя задания и адрес доставки центра обработки данных Azure для отправки дисков обратно. Эта информация указывается позже на транспортной этикетке.
   3. Нажмите кнопку создания.

   

10. После создания задания появится следующее сообщение.

    

    Чтобы открыть обзор задания, выберите "Перейти к ресурсу".

    

Azure CLI

Выполните следующие действия, чтобы создать задание по импорту в Azure CLI.

Подготовка среды к работе с Azure CLI

• Используйте среду Bash в Azure Cloud Shell. Дополнительные сведения см . в кратком руководстве по Bash в Azure Cloud Shell.

  

• Если вы предпочитаете выполнять справочные команды CLI локально, установите Azure CLI. Если вы работаете в Windows или macOS, Azure CLI можно запустить в контейнере Docker. Дополнительные сведения см. в статье Как запустить Azure CLI в контейнере Docker.

  • Если вы используете локальную установку, выполните вход в Azure CLI с помощью команды az login. Чтобы выполнить аутентификацию, следуйте инструкциям в окне терминала. Сведения о других возможностях, доступных при входе, см. в статье Вход с помощью Azure CLI.

  • Установите расширение Azure CLI при первом использовании, когда появится соответствующий запрос. Дополнительные сведения о расширениях см. в статье Использование расширений с Azure CLI.

  • Выполните команду az version, чтобы узнать установленную версию и зависимые библиотеки. Чтобы обновиться до последней версии, выполните команду az upgrade.

Создание задания

1. Воспользуйтесь командой az extension add, чтобы добавить расширение az import-export:

   az extension add --name import-export
   

2. Вы можете использовать существующую группу ресурсов или создать ее. Чтобы создать группу ресурсов, выполните команду az group create.

   az group create --name myierg --location "West US"
   

3. Вы можете использовать существующую учетную запись хранения или создать ее. Чтобы создать учетную запись хранения, выполните команду az storage account create:

   az storage account create --resource-group myierg --name myssdocsstorage --https-only
   

4. Чтобы получить список мест, куда вы можете отправить диски, воспользуйтесь командой az import-export location list:

   az import-export location list
   

5. Воспользуйтесь командой az import-export location show для получения местоположения для вашего региона:

   az import-export location show --location "West US"
   

6. Выполните следующую команду az import-export create, чтобы создать задание импорта:

   az import-export create \
       --resource-group myierg \
       --name MyIEjob1 \
       --location "West US" \
       --backup-drive-manifest true \
       --diagnostics-path waimportexport \
       --drive-list bit-locker-key=439675-460165-128202-905124-487224-524332-851649-442187 \
           drive-header-hash= drive-id=AZ31BGB1 manifest-file=\\DriveManifest.xml \
           manifest-hash=69512026C1E8D4401816A2E5B8D7420D \
       --type Import \
       --log-level Verbose \
       --shipping-information recipient-name="Microsoft Azure Import/Export Service" \
           street-address1="3020 Coronado" city="Santa Clara" state-or-province=CA postal-code=98054 \
           country-or-region=USA phone=4083527600 \
       --return-address recipient-name="Gus Poland" street-address1="1020 Enterprise way" \
           city=Sunnyvale country-or-region=USA state-or-province=CA postal-code=94089 \
           email=gus@contoso.com phone=4085555555" \
       --return-shipping carrier-name=FedEx carrier-account-number=123456789 \
       --storage-account myssdocsstorage
   

   Совет

   Вместо указания адреса электронной почты для отдельного пользователя укажите электронную почту группы. Это гарантирует, что вы получите уведомления, даже если администратор уйдет.

7. Воспользуйтесь командой az import-export list, чтобы просмотреть все задания для группы ресурсов myierg:

   az import-export list --resource-group myierg
   

8. Чтобы обновить или отменить задание, выполните команду az import-export update:

   az import-export update --resource-group myierg --name MyIEjob1 --cancel-requested true
   

Azure PowerShell

Выполните следующие действия, чтобы создать задание импорта в Azure PowerShell.

Необходимые компоненты

• Если вы решили использовать Azure PowerShell локально:
  • Установите последнюю версию модуля Az PowerShell.
  • Подключитесь к учетной записи Azure с помощью командлета Connect-AzAccount.
• Если вы решили использовать Azure Cloud Shell:
  • Дополнительные сведения см. в статье Общие сведения об Azure Cloud Shell.

Внимание

Пока модуль Az.ImportExport PowerShell находится в предварительной версии, вы должны установить его отдельно с помощью командлета Install-Module. Как только этот модуль PowerShell станет общедоступным, он будет включен в один из будущих выпусков модуля Az PowerShell и по умолчанию встроен в Azure Cloud Shell.

Install-Module -Name Az.ImportExport

Создание задания

1. Вы можете использовать существующую группу ресурсов или создать ее. Для создания группы ресурсов запустите командлет New-AzResourceGroup:

   New-AzResourceGroup -Name myierg -Location westus
   

2. Вы можете использовать существующую учетную запись хранения или создать ее. Чтобы создать учетную запись хранения, запустите командлет New-AzStorageAccount:

   New-AzStorageAccount -ResourceGroupName myierg -AccountName myssdocsstorage -SkuName Standard_RAGRS -Location westus -EnableHttpsTrafficOnly $true
   

3. Для получения списка мест, куда можно отправить диски, используйте командлет Get-AzImportExportLocation:

   Get-AzImportExportLocation
   

4. Воспользуйтесь командлетом Get-AzImportExportLocation с параметром Name, чтобы получить местоположения для вашего региона:

   Get-AzImportExportLocation -Name westus
   

5. Выполните следующий пример New-AzImportExport, чтобы создать задание импорта:

   $driveList = @(@{
     DriveId = '9CA995BA'
     BitLockerKey = '439675-460165-128202-905124-487224-524332-851649-442187'
     ManifestFile = '\\DriveManifest.xml'
     ManifestHash = '69512026C1E8D4401816A2E5B8D7420D'
     DriveHeaderHash = 'AZ31BGB1'
   })
   
   $Params = @{
      ResourceGroupName = 'myierg'
      Name = 'MyIEjob1'
      Location = 'westus'
      BackupDriveManifest = $true
      DiagnosticsPath = 'waimportexport'
      DriveList = $driveList
      JobType = 'Import'
      LogLevel = 'Verbose'
      ShippingInformationRecipientName = 'Microsoft Azure Import/Export Service'
      ShippingInformationStreetAddress1 = '3020 Coronado'
      ShippingInformationCity = 'Santa Clara'
      ShippingInformationStateOrProvince = 'CA'
      ShippingInformationPostalCode = '98054'
      ShippingInformationCountryOrRegion = 'USA'
      ShippingInformationPhone = '4083527600'
      ReturnAddressRecipientName = 'Gus Poland'
      ReturnAddressStreetAddress1 = '1020 Enterprise way'
      ReturnAddressCity = 'Sunnyvale'
      ReturnAddressStateOrProvince = 'CA'
      ReturnAddressPostalCode = '94089'
      ReturnAddressCountryOrRegion = 'USA'
      ReturnAddressPhone = '4085555555'
      ReturnAddressEmail = 'gus@contoso.com'
      ReturnShippingCarrierName = 'FedEx'
      ReturnShippingCarrierAccountNumber = '123456789'
      StorageAccountId = '/subscriptions/<SubscriptionId>/resourceGroups/myierg/providers/Microsoft.Storage/storageAccounts/myssdocsstorage'
   }
   New-AzImportExport @Params
   

   Совет

   Вместо указания адреса электронной почты для отдельного пользователя укажите электронную почту группы. Это гарантирует, что вы получите уведомления, даже если администратор уйдет.

6. Воспользуйтесь командлетом Get-AzImportExport, чтобы просмотреть все задания для группы ресурсов myierg:

   Get-AzImportExport -ResourceGroupName myierg
   

7. Чтобы обновить задание или отменить задание, запустите командлет Update-AzImportExport:

   Update-AzImportExport -Name MyIEjob1 -ResourceGroupName myierg -CancelRequested
   

Шаг 3 (необязательно). Настройка управляемого клиентом ключа

Пропустите этот шаг и перейдите к следующему, если хотите использовать управляемый Майкрософт ключ для защиты ключей BitLocker для дисков. Чтобы настроить собственный ключ для защиты ключа BitLocker, следуйте инструкциям в статье Настройка управляемых клиентом ключей с помощью Azure Key Vault для импорта и экспорта Azure на портале Azure.

Шаг 4. Отправка дисков

Для отправки пакета в центр обработки данных Azure можно использовать службу FedEx, UPS или DHL. Если вы хотите использовать другого оператора связи, а не FedEx/DHL, свяжитесь с командой по операциям с Azure Data Box по адресу adbops@microsoft.com

• Укажите допустимый номер учетной записи оператора FedEx, UPS или DHL для возврата дисков корпорацией Майкрософт.
  • Номер учетной записи FedEx, UPS или DHL необходим для возврата жестких дисков из расположений в США и Европе,
    • а номер учетной записи DHL — из расположений в Азии и Австралии.
    • Если у вас нет номера учетной записи, создайте учетную запись оператора FedEx или DHL .
• При отправке пакетов должны соблюдаться условия обслуживания Мicrosoft Azure.
• Правильно упаковайте диски, чтобы избежать потенциальных повреждений и задержек в обработке. Следуйте приведенным ниже рекомендациям.
  • Обертывание дисков безопасно с помощью защитного пузырькового обертывания. Пузырьковая оболочка выступает в качестве амортизатора и защищает диск от воздействия во время транзита. Перед доставкой убедитесь, что весь диск тщательно покрыт и подушки.
  • Поместите завернутые диски в пеноотгрузчик. Пеноотгрузчик обеспечивает дополнительную защиту и безопасно сохраняет диск на месте во время транзита.

Шаг 5. Указание данных об отслеживании для задания

После отправки дисков вернитесь к заданию в портал Azure и заполните сведения об отслеживании.

Когда вы укажете сведения об отслеживании, состояние задания изменится на "Доставка" и вы не сможете его отменить. Вы можете отменить задание, только если оно находится в состоянии "Создание".

Внимание

Если номер отслеживания не обновляется в течение 2 недель с момента создания задания, срок действия задания истекает.

Портал

Чтобы завершить отслеживание задания, созданного на портале, сделайте следующее:

1. Откройте задание в портал Azure/.

2. В области обзора прокрутите вниз до сведений об отслеживании и заполните записи:

   1. Укажите значения параметров Оператор и Номер отслеживания.
   2. Убедитесь, что адрес отправлен правильно.
   3. Выберите проверка поле "Диски были отправлены в указанный выше упоминание адрес".
   4. По завершении нажмите кнопку "Обновить".

   

Ход выполнения задания можно отслеживать на панели обзора . Описание каждого состояния задания приведено в разделе Просмотр состояния задания.

Azure CLI

Если вы создали задание Azure импорт и экспорт с помощью Azure CLI, откройте задание в портал Azure для обновления сведений об отслеживании. Azure CLI и Azure PowerShell создают задания в классической службе Azure импорт и экспорт и поэтому создают ресурс Azure типа "импорт и экспорт задание".

Azure PowerShell

Если вы создали задание Azure импорт и экспорт с помощью Azure PowerShell, откройте задание в портал Azure для обновления сведений об отслеживании. Azure CLI и Azure PowerShell создают задания в классической службе Azure импорт и экспорт и поэтому создают ресурс Azure типа "импорт и экспорт задание".

Шаг 6. Проверка передачи данных в Azure

Отслеживайте задание до завершения, а затем убедитесь, что отправка выполнена успешно и все данные присутствуют.

Просмотрите сведения о копировании данных завершенного задания, чтобы найти журналы для каждого диска, включенного в задание:

• Используйте подробный журнал для проверки каждого успешно переданного файла.
• Используйте журнал копирования, чтобы найти источник каждой неудачной копии данных.

Дополнительные сведения см. в разделе "Просмотр журналов копирования" из импорта и экспорта.

После проверки передачи данных можно удалить локальные данные. Удалите локальные данные только после проверки успешности отправки.

Примечание.

Если любой путь и имя файла превышает 256 символов, а длинные пути не включены в клиенте, отправка данных завершится ошибкой. Чтобы избежать такого сбоя, включите длинные пути на клиенте Windows.

Следующие шаги

• Просмотр состояния задания и диска
• Проверка журналов копирования службы "Импорт и экспорт"