Руководство. Передача данных в Файлы Azure с помощью службы импорта и экспорта Azure

В этой статье содержатся пошаговые инструкции по использованию службы "Импорт и экспорт Azure" для безопасного импорта больших объемов данных в службу "Файлы Azure". Чтобы служба осуществила импорт данных, нужно отправить в центр обработки данных Azure поддерживаемые диски с данными.

Служба "Импорт и экспорт Azure" поддерживает только импорт файлов Azure в службу хранилища Azure. Экспорт Файлы Azure не поддерживается.

В этом руководстве описано следующее:

• Предварительные требования для импорта данных в Файлы Azure
• Шаг 1. Подготовка дисков
• Шаг 2. Создание задания импорта
• Шаг 3. Отправка дисков в центр обработки данных Azure
• Шаг 4. Указание данных об отслеживании для задания
• Шаг 5: Проверка передачи данных в Azure

Необходимые компоненты

Перед созданием задания импорта для передачи данных в службу "Файлы Azure" внимательно просмотрите и выполните описанные ниже предварительные требования. Следует сделать:

• Активная подписка Azure для использования со службой импорта и экспорта.
• Как минимум одна учетная запись хранения Azure. Просмотрите список поддерживаемых типов хранилища и учетных записей хранения для службы "Импорт и экспорт".
  • Настройте использование больших общих папок в учетной записи хранения. Если при импорте в Файлы Azure в общей папке не будет достаточно свободного места, операция копирования завершится сбоем, так как автоматическое разделение данных между несколькими общими папками Azure больше не поддерживается. Инструкции см. в разделе Настройка использования больших общих папок в учетной записи хранения.
  • Сведения о создании учетной записи хранения см. в статье Создание учетной записи хранения.
• Обеспечьте наличие соответствующего количества дисков поддерживаемых типов.
• В вашей системе должна быть установлена ОС Windows поддерживаемой версии.
• Скачайте текущий выпуск средства Azure импорт и экспорт версии 2 для файлов в системе Windows:
  1. Скачайте WAImportExport версии 2. Текущая версия — 2.2.0.300.
  2. Распакуйте содержимое в папку по умолчанию: WaImportExportV2. Например, C:\WaImportExportV2.
• Укажите допустимую учетную запись оператора и номер отслеживания для заказа:
  • Для заказа необходимо использовать перевозчик в списке имен перевозчика на вкладке "Доставка ". Если у вас нет учетной записи оператора, обратитесь к оператору, чтобы создать ее.
  • Учетная запись перевозчика должна быть допустимой, должна иметь баланс и должна иметь возможности возврата доставки. Корпорация Майкрософт использует выбранный оператор для возврата всех носителей хранилища.
  • Создайте номер отслеживания для задания импорта и экспорта в учетной записи оператора. Каждое задание должно иметь отдельный номер отслеживания. Несколько заданий с одинаковым номером отслеживания не поддерживаются.

Шаг 1. Подготовка дисков

На этом шаге создается файл журнала. В файле журнала хранятся основные сведения, например серийный номер диска, ключ шифрования и сведения об учетной записи хранения.

Для подготовки дисков выполните следующие действия.

1. Подключите свои диски к системе Windows с использованием соединителей SATA.

2. Создайте один том NTFS на каждом диске. Присвойте ему букву диска. Не используйте точки подключения.

3. Измените файл dataset.csv в корневой папке, где находится инструмент. В зависимости от того, что импортируется, — файл, папка или и то и другое, добавьте записи в файл dataset.csv, как показано в следующем примере.

   • Чтобы импортировать файл: В следующем примере данные для копирования находятся на диске F:. Файл MyFile1.txt копируется в корень папки MyAzureFileshare1. Если myAzureFileshare1 не существует, он создается в учетной записи служба хранилища Azure. Структура папок сохраняется.

         BasePath,DstItemPathOrPrefix,ItemType
         "F:\MyFolder1\MyFile1.txt","MyAzureFileshare1/MyFile1.txt",file
     

   • Импорт папки. Все файлы и папки, расположенные в MyFolder2, будут рекурсивно скопированы в общую папку. Структура папок сохраняется. Если в целевой папке есть файл с таким же именем, как у импортируемого файла, существующий файл будет перезаписан импортированным файлом.

         "F:\MyFolder2\","MyAzureFileshare1/",file
     

     Примечание.

     Параметр /Disposition, позволяющий выбрать, что делать при импорте файла, уже существующего в более ранних версиях средства, не поддерживается в Azure импорт и экспорт версии 2.2.0.300. В более ранних версиях средства импортированный файл с таким же именем, как у существующего файла, переименовывался по умолчанию.

     В одном файле можно сделать несколько записей, соответствующих импортируемым папкам или файлам.

         "F:\MyFolder1\MyFile1.txt","MyAzureFileshare1/MyFile1.txt",file
         "F:\MyFolder2\","MyAzureFileshare1/",file
     

4. Измените файл driveset.csv в корневой папке, где находится инструмент. Добавьте записи в файл driveset.csv, как показано в следующих примерах. Файл с набором дисков содержит список дисков и соответствующих букв дисков, чтобы средство могло правильно выбрать список дисков, которые будут подготовлены.

   В этом примере предполагается, что подключено два диска, а базовые тома NTFS G:\ и H:\ уже созданы. H:\ не зашифрован, а G: уже зашифрован. Средство форматирует и шифрует диск, на котором размещается только H:\ (а не G:).

   • Для диска, который не зашифрован: укажите шифрование , чтобы включить шифрование BitLocker на диске.

     DriveLetter,FormatOption,SilentOrPromptOnFormat,Encryption,ExistingBitLockerKey
     H,Format,SilentMode,Encrypt,
     

   • Для диска, который уже зашифрован: укажите AlreadyEncrypted и введите ключ BitLocker.

     DriveLetter,FormatOption,SilentOrPromptOnFormat,Encryption,ExistingBitLockerKey
     G,AlreadyFormatted,SilentMode,AlreadyEncrypted,060456-014509-132033-080300-252615-584177-672089-411631
     

     В тот же файл можно внести несколько записей, соответствующих нескольким дискам. Дополнительные сведения о подготовке CSV-файла набора дисков см. в этом разделе.

5. Используйте параметр PrepImport, чтобы скопировать и подготовить данные для диска. Для первого сеанса копирования каталогов и файлов в рамках нового сеанса копирования выполните следующую команду:

   .\WAImportExport.exe PrepImport /j:<JournalFile> /id:<SessionId> [/logdir:<LogDirectory>] [/silentmode] [/InitialDriveSet:<driveset.csv>]/DataSet:<dataset.csv>
   

   Ниже приведен пример импорта такого файла.

   .\WAImportExport.exe PrepImport /j:JournalTest.jrn /id:session#1 /InitialDriveSet:driveset.csv /DataSet:dataset.csv /logdir:C:\logs
   

   Примечание.

   Если в клиенте нет длинных путей, а имя пути и файла в копии данных превышает 256 символов, средство WAImportExport сообщит о сбоях. Чтобы избежать такого сбоя, включите длинные пути на клиенте Windows.

6. Файл журнала с именем, указанным с параметром /j:, создается при каждом запуске командной строки. Каждый подготовленный диск имеет файл журнала, который должен передаваться при создании задания импорта. Диски без файлов журнала не обрабатываются.

   Внимание

   Не изменяйте файлы журнала или данные на дисках и не выполняйте переформатирование дисков после завершения их подготовки.

Дополнительные примеры см. в примерах для файлов журнала.

Шаг 2. Создание задания импорта

Портал

Выполните следующие действия, чтобы заказать задание импорта в Azure импорт и экспорт задание с помощью портала.

1. Используйте учетные данные Microsoft Azure для входа по этому URL-адресу: https://portal.azure.com.

2. Выберите и создайте ресурс и найдите Azure Data Box. Выберите Azure Data Box.

   

3. Нажмите кнопку создания.

   

4. Чтобы приступить к работе с заказом на импорт, выберите следующие параметры:

   1. Выберите тип переноса импорта в Azure .
   2. Выберите подписку, используемую для задания импорт и экспорт.
   3. Выберите группу ресурсов.
   4. Выберите исходную страну или регион для задания.
   5. Выберите регион Назначения Azure для задания.
   6. Затем выберите Применить.

   

5. Нажмите кнопку "Выбрать" для задания импорт и экспорт.

   

6. В разделе Основные сведения:

   • Введите описательное имя задания. Вы будете использовать его для отслеживания хода выполнения заданий.
     • Имя должно содержать от 3 до 24 символов.
     • Имя должно содержать только буквы, цифры и дефисы.
     • Имя должно начинаться и заканчиваться буквой или цифрой.

   

   Нажмите кнопку "Далее": сведения о > задании, чтобы продолжить.

7. В разделе "Сведения о задании":

   1. Прежде чем идти дальше, убедитесь, что вы используете последнее средство WAImportExport. Средство используется для чтения отправленных файлов журнала. Чтобы обновить средство, можно использовать ссылку на скачивание.

      

   2. При необходимости измените целевой регион Azure для задания.

   3. Выберите одну или несколько учетных записей хранения, которые будут использоваться для задания. При необходимости можно создать новую учетную запись хранения.

   4. В разделе "Сведения о диске" нажмите кнопку "Копировать " для отправки каждого файла журнала, созданного на предыдущем шаге 1. Подготовка дисков. При отправке файла журнала отображается идентификатор диска.

      • В случае использования waimportexport.exe version1 необходимо передать один файл для каждого подготовленного диска.

      • Если файл журнала превышает 2 МБ, можно использовать <Journal file name>_DriveInfo_<Drive serial ID>.xmlфайл журнала, созданный вместе с файлом журнала.

        

   

8. В возврате доставки:

   1. Выберите перевозчика доставки из раскрывающегося списка для carrier. Расположение центра обработки данных Майкрософт для выбранного региона определяет, какие перевозчики доступны.

   2. Введите номер учетной записи оператора. Требуется номер учетной записи для допустимой учетной записи оператора.

   3. В области возвращаемого адреса нажмите кнопку +Добавить адрес и добавьте адрес для отправки.

      

      В колонке "Добавить адрес" можно добавить адрес или использовать существующий. После завершения полей адресов нажмите кнопку "Добавить адрес доставки".

      

   4. В области уведомлений введите адреса электронной почты для людей, которые вы хотите уведомить о ходе выполнения задания.

      Совет

      Вместо указания адреса электронной почты для одного пользователя укажите групповую электронную почту, чтобы убедиться, что вы получаете уведомления, даже если администратор покидает его.

   

   Нажмите кнопку "Рецензирование" и " Создать ", чтобы продолжить.

9. В разделе "Рецензирование и создание":

   1. Просмотрите сведения о условиях и конфиденциальности, а затем выберите проверка box, выполнив команду "Я признаю, что все предоставленные сведения являются правильными и согласны с условиями". Затем выполняется проверка.
   2. Просмотрите сведения о задании. Запишите имя задания и адрес доставки центра обработки данных Azure для отправки дисков обратно. Эта информация указывается позже на транспортной этикетке.
   3. Нажмите кнопку создания.

   

10. После создания задания появится следующее сообщение.

    

    Чтобы открыть обзор задания, выберите "Перейти к ресурсу".

    

Azure CLI

Выполните следующие действия, чтобы создать задание по импорту в Azure CLI.

Подготовка среды к работе с Azure CLI

• Используйте среду Bash в Azure Cloud Shell. Дополнительные сведения см . в кратком руководстве по Bash в Azure Cloud Shell.

  

• Если вы предпочитаете выполнять справочные команды CLI локально, установите Azure CLI. Если вы работаете в Windows или macOS, Azure CLI можно запустить в контейнере Docker. Дополнительные сведения см. в статье Как запустить Azure CLI в контейнере Docker.

  • Если вы используете локальную установку, выполните вход в Azure CLI с помощью команды az login. Чтобы выполнить аутентификацию, следуйте инструкциям в окне терминала. Сведения о других возможностях, доступных при входе, см. в статье Вход с помощью Azure CLI.

  • Установите расширение Azure CLI при первом использовании, когда появится соответствующий запрос. Дополнительные сведения о расширениях см. в статье Использование расширений с Azure CLI.

  • Выполните команду az version, чтобы узнать установленную версию и зависимые библиотеки. Чтобы обновиться до последней версии, выполните команду az upgrade.

Создание задания

1. Воспользуйтесь командой az extension add, чтобы добавить расширение az import-export:

   az extension add --name import-export
   

2. Вы можете использовать существующую группу ресурсов или создать ее. Чтобы создать группу ресурсов, выполните команду az group create.

   az group create --name myierg --location "West US"
   

3. Вы можете использовать существующую учетную запись хранения или создать ее. Чтобы создать учетную запись хранения, выполните команду az storage account create:

   az storage account create -resource-group myierg -name myssdocsstorage --https-only
   

4. Чтобы получить список мест, куда вы можете отправить диски, воспользуйтесь командой az import-export location list:

   az import-export location list
   

5. Воспользуйтесь командой az import-export location show для получения местоположения для вашего региона:

   az import-export location show --location "West US"
   

6. Выполните следующую команду az import-export create, чтобы создать задание импорта:

   az import-export create \
       --resource-group myierg \
       --name MyIEjob1 \
       --location "West US" \
       --backup-drive-manifest true \
       --diagnostics-path waimportexport \
       --drive-list bit-locker-key=439675-460165-128202-905124-487224-524332-851649-442187 \
           drive-header-hash= drive-id=AZ31BGB1 manifest-file=\\DriveManifest.xml \
           manifest-hash=69512026C1E8D4401816A2E5B8D7420D \
       --type Import \
       --log-level Verbose \
       --shipping-information recipient-name="Microsoft Azure Import/Export Service" \
           street-address1="3020 Coronado" city="Santa Clara" state-or-province=CA postal-code=98054 \
           country-or-region=USA phone=4083527600 \
       --return-address recipient-name="Gus Poland" street-address1="1020 Enterprise way" \
           city=Sunnyvale country-or-region=USA state-or-province=CA postal-code=94089 \
           email=gus@contoso.com phone=4085555555" \
       --return-shipping carrier-name=FedEx carrier-account-number=123456789 \
       --storage-account myssdocsstorage
   

   Совет

   Вместо указания адреса электронной почты для одного пользователя укажите групповую электронную почту, чтобы убедиться, что вы получаете уведомления, даже если администратор покидает его.

7. Воспользуйтесь командой az import-export list, чтобы просмотреть все задания для группы ресурсов myierg:

   az import-export list --resource-group myierg
   

8. Чтобы обновить или отменить задание, выполните команду az import-export update:

   az import-export update --resource-group myierg --name MyIEjob1 --cancel-requested true
   

Azure PowerShell

Выполните следующие действия, чтобы создать задание импорта в Azure PowerShell.

Необходимые компоненты

• Если вы решили использовать Azure PowerShell локально:
  • Установите последнюю версию модуля Az PowerShell.
  • Подключитесь к учетной записи Azure с помощью командлета Connect-AzAccount.
• Если вы решили использовать Azure Cloud Shell:
  • Дополнительные сведения см. в статье Общие сведения об Azure Cloud Shell.

Внимание

Пока модуль Az.ImportExport PowerShell находится в предварительной версии, вы должны установить его отдельно с помощью командлета Install-Module. Как только этот модуль PowerShell станет общедоступным, он будет включен в один из будущих выпусков модуля Az PowerShell и по умолчанию встроен в Azure Cloud Shell.

Install-Module -Name Az.ImportExport

Создание задания

1. Вы можете использовать существующую группу ресурсов или создать ее. Для создания группы ресурсов запустите командлет New-AzResourceGroup:

   New-AzResourceGroup -Name myierg -Location westus
   

2. Вы можете использовать существующую учетную запись хранения или создать ее. Чтобы создать учетную запись хранения, запустите командлет New-AzStorageAccount:

   New-AzStorageAccount -ResourceGroupName myierg -AccountName myssdocsstorage -SkuName Standard_RAGRS -Location westus -EnableHttpsTrafficOnly $true
   

3. Для получения списка мест, куда можно отправить диски, используйте командлет Get-AzImportExportLocation:

   Get-AzImportExportLocation
   

4. Воспользуйтесь командлетом Get-AzImportExportLocation с параметром Name, чтобы получить местоположения для вашего региона:

   Get-AzImportExportLocation -Name westus
   

5. Выполните следующий пример New-AzImportExport, чтобы создать задание импорта:

   $driveList = @(@{
     DriveId = '9CA995BA'
     BitLockerKey = '439675-460165-128202-905124-487224-524332-851649-442187'
     ManifestFile = '\\DriveManifest.xml'
     ManifestHash = '69512026C1E8D4401816A2E5B8D7420D'
     DriveHeaderHash = 'AZ31BGB1'
   })
   
   $Params = @{
      ResourceGroupName = 'myierg'
      Name = 'MyIEjob1'
      Location = 'westus'
      BackupDriveManifest = $true
      DiagnosticsPath = 'waimportexport'
      DriveList = $driveList
      JobType = 'Import'
      LogLevel = 'Verbose'
      ShippingInformationRecipientName = 'Microsoft Azure Import/Export Service'
      ShippingInformationStreetAddress1 = '3020 Coronado'
      ShippingInformationCity = 'Santa Clara'
      ShippingInformationStateOrProvince = 'CA'
      ShippingInformationPostalCode = '98054'
      ShippingInformationCountryOrRegion = 'USA'
      ShippingInformationPhone = '4083527600'
      ReturnAddressRecipientName = 'Gus Poland'
      ReturnAddressStreetAddress1 = '1020 Enterprise way'
      ReturnAddressCity = 'Sunnyvale'
      ReturnAddressStateOrProvince = 'CA'
      ReturnAddressPostalCode = '94089'
      ReturnAddressCountryOrRegion = 'USA'
      ReturnAddressPhone = '4085555555'
      ReturnAddressEmail = 'gus@contoso.com'
      ReturnShippingCarrierName = 'FedEx'
      ReturnShippingCarrierAccountNumber = '123456789'
      StorageAccountId = '/subscriptions/<SubscriptionId>/resourceGroups/myierg/providers/Microsoft.Storage/storageAccounts/myssdocsstorage'
   }
   New-AzImportExport @Params
   

   Совет

   Вместо указания адреса электронной почты для одного пользователя укажите групповую электронную почту, чтобы убедиться, что вы получаете уведомления, даже если администратор покидает его.

6. Воспользуйтесь командлетом Get-AzImportExport, чтобы просмотреть все задания для группы ресурсов myierg:

   Get-AzImportExport -ResourceGroupName myierg
   

7. Чтобы обновить задание или отменить задание, запустите командлет Update-AzImportExport:

   Update-AzImportExport -Name MyIEjob1 -ResourceGroupName myierg -CancelRequested
   

Шаг 3. Отправка дисков в центр обработки данных Azure

Для отправки пакета в центр обработки данных Azure можно использовать службу FedEx, UPS или DHL. Если вы хотите использовать другого оператора связи, а не FedEx/DHL, свяжитесь с командой по операциям с Azure Data Box по адресу adbops@microsoft.com

• Укажите допустимый номер учетной записи оператора FedEx, UPS или DHL для возврата дисков корпорацией Майкрософт.
  • Номер учетной записи FedEx, UPS или DHL необходим для возврата жестких дисков из расположений в США и Европе,
    • а номер учетной записи DHL — из расположений в Азии и Австралии.
    • Если у вас нет номера учетной записи, создайте учетную запись оператора FedEx или DHL .
• При отправке пакетов должны соблюдаться условия обслуживания Мicrosoft Azure.
• Правильно упаковайте диски, чтобы избежать потенциальных повреждений и задержек в обработке. Следуйте приведенным ниже рекомендациям.
  • Обертывание дисков безопасно с помощью защитного пузырькового обертывания. Пузырьковая оболочка выступает в качестве амортизатора и защищает диск от воздействия во время транзита. Перед доставкой убедитесь, что весь диск тщательно покрыт и подушки.
  • Поместите завернутые диски в пеноотгрузчик. Пеноотгрузчик обеспечивает дополнительную защиту и безопасно сохраняет диск на месте во время транзита.

Шаг 4. Указание данных об отслеживании для задания

После отправки дисков вернитесь к заданию в портал Azure и заполните сведения об отслеживании.

Когда вы укажете сведения об отслеживании, состояние задания изменится на "Доставка" и вы не сможете его отменить. Вы можете отменить задание, только если оно находится в состоянии "Создание".

Внимание

Если номер отслеживания не обновляется в течение 2 недель с момента создания задания, срок действия задания истекает.

Портал

Чтобы завершить отслеживание задания, созданного на портале, сделайте следующее:

1. Откройте задание в портал Azure/.

2. В области обзора прокрутите вниз до сведений об отслеживании и заполните записи:

   1. Укажите значения параметров Оператор и Номер отслеживания.
   2. Убедитесь, что адрес отправлен правильно.
   3. Выберите проверка поле "Диски были отправлены в указанный выше упоминание адрес".
   4. По завершении нажмите кнопку "Обновить".

   

Ход выполнения задания можно отслеживать на панели обзора . Описание каждого состояния задания приведено в разделе Просмотр состояния задания.

Azure CLI

Если вы создали задание Azure импорт и экспорт с помощью Azure CLI, откройте задание в портал Azure для обновления сведений об отслеживании. Azure CLI и Azure PowerShell создают задания в классической службе Azure импорт и экспорт и поэтому создают ресурс Azure типа "импорт и экспорт задание".

Azure PowerShell

Если вы создали задание Azure импорт и экспорт с помощью Azure PowerShell, откройте задание в портал Azure для обновления сведений об отслеживании. Azure CLI и Azure PowerShell создают задания в классической службе Azure импорт и экспорт и поэтому создают ресурс Azure типа "импорт и экспорт задание".

Шаг 5: Проверка передачи данных в Azure

Отслеживайте задание до завершения, а затем убедитесь, что отправка выполнена успешно и все данные присутствуют.

Просмотрите сведения о копировании данных завершенного задания, чтобы найти журналы для каждого диска, включенного в задание:

• Используйте подробный журнал для проверки каждого успешно переданного файла.
• Используйте журнал копирования, чтобы найти источник каждой неудачной копии данных.

Дополнительные сведения см. в разделе "Просмотр журналов копирования" из импорта и экспорта.

После проверки передачи данных можно удалить локальные данные. Удалите локальные данные только после проверки успешности отправки.

Примечание.

В последней версии службы импорта и экспорта Azure для файлов (2.2.0.300) данные больше не разделяются между несколькими общими папками Azure, если в общей папке недостаточно свободного места. Вместо этого происходит сбой копирования и вам приходит уведомление от службы поддержки. Вам нужно настроить использование больших общих папок в учетной записи хранения или переместить данные, чтобы освободить место в общей папке. Дополнительные сведения см. разделе Настройка использования больших общих папок в учетной записи хранения.

Примеры файлов журнала

Чтобы добавить дополнительные диски, создайте файл с набором дисков и выполните приведенную ниже команду.

Для последующих сеансов копирования на диски, отличные от указанных в файле InitialDriveset .csv, укажите новый файл набора дисков .csv и укажите его в качестве значения для параметра AdditionalDriveSet. Используйте то же имя файла журнала и укажите новый идентификатор сеанса. Формат CSV-файлов AdditionalDriveset и InitialDriveSet совпадает.

WAImportExport.exe PrepImport /j:<JournalFile> /id:<SessionId> /AdditionalDriveSet:<driveset.csv>

Ниже приведен пример импорта такого файла.

WAImportExport.exe PrepImport /j:JournalTest.jrn /id:session#3  /AdditionalDriveSet:driveset-2.csv

Чтобы добавить дополнительные данные в тот же файл с набором дисков, используйте команду PrepImport для последующих сеансов копирования и скопируйте дополнительные файлы или папки.

Для последующих сеансов копирования на те же жесткие диски, указанные в файле InitialDriveset.csv, укажите имя того же файла журнала и новый идентификатор сеанса. Указывать ключ учетной записи хранения не требуется.

WAImportExport PrepImport /j:<JournalFile> /id:<SessionId> /j:<JournalFile> /id:<SessionId> [/logdir:<LogDirectory>] DataSet:<dataset.csv>

Ниже приведен пример импорта такого файла.

WAImportExport.exe PrepImport /j:JournalTest.jrn /id:session#2  /DataSet:dataset-2.csv

Следующие шаги

• Просмотр состояния задания и диска
• Проверка журналов копирования службы "Импорт и экспорт"