Начало работы с миграцией BLOB-объектов между хранилищами с помощью механизма Azure Storage Mover

Функция миграции Azure в Azure storage Mover позволяет безопасно передавать большие наборы данных между контейнерами BLOB-объектов в разных учетных записях хранения Azure и регионах.

В этой статье описывается полный процесс настройки Storage Mover для переноса ваших данных между двумя BLOB-контейнерами. Процесс состоит из настройки конечных точек и создания и запуска задания миграции.

Предпосылки

Прежде чем начать, убедитесь, что у вас есть:

• Ресурс Storage Mover, развернут в вашей подписке на Azure.

Limits

Функция передачи данных между контейнерами Azure Blob в Mover для службы хранения Azure имеет следующие ограничения:

• Каждое задание миграции поддерживает передачу 500 миллионов объектов.
• Для каждой подписки поддерживается не более 10 параллельных заданий. Если вам нужно запустить более 10, создайте запрос на поддержку.
• Azure Storage Mover не поддерживает автоматическую реактивацию архивированных объектов. Перед миграцией необходимо восстановить данные, хранящиеся в архиве BLOB-объектов Azure. Инициируйте задания миграции только после полного восстановления данных.
• Миграция из одного контейнера в другой не позволяет выбрать один и тот же исходный и целевой конечный узел при создании того же задания на миграцию.
• Большие двоичные объекты (BLOB) не перемещаются, а копируются. Контейнер Blob продолжает существовать в его текущем расположении вместе с целевым расположением.

Настройка исходных и целевых конечных точек

В контексте службы перемещения хранилища Azure конечная точка — это ресурс, содержащий путь к исходному или целевому расположению и другим соответствующим сведениям. Определения заданий мувера хранилища используют конечные точки для определения исходных и целевых расположений для операций копирования.

Выполните действия, описанные в этом разделе, чтобы настроить источник контейнера BLOB-объектов Azure и целевые конечные точки. Чтобы узнать больше о конечных точках Azure Storage Mover, см. статью "Управление конечными точками Azure Storage Mover".

Настройка конечной точки источника данных в хранилище BLOB-объектов Azure

Портал Azure

1. Перейдите к вашему экземпляру Storage Mover в Azure.

2. В группе управления ресурсами в области навигации слева выберите конечные точки хранилища. Перейдите на вкладку "Исходные конечные точки" , а затем выберите "Добавить конечную точку ", чтобы открыть панель "Создать исходную конечную точку ".

3. В области Создать исходную конечную точку:

   • Выберите контейнер BLOB в качестве типа источника.

   • При необходимости укажите описание конечной точки в поле "Описание ".

   • Выберите подписку и учетную запись хранения в раскрывающихся списках соответствующих подписок и учетной записи хранения .

   • Выберите контейнер BLOB-объектов , который нужно перенести из раскрывающегося списка контейнеров BLOB-объектов .

   • При необходимости укажите описание конечной точки в поле "Описание ".

   • Убедитесь, что выбранные элементы верны и выберите "Создать ", чтобы создать конечную точку, как показано на следующем рисунке.

     

Azure PowerShell

Используйте команду New-AzStorageMoverAzStorageContainerEndpoint для создания конечной точки источника хранилища объектов Blob Azure.

New-AzStorageMoverAzStorageContainerEndpoint `
    -Name <String> `
    -ResourceGroupName <String> `
    -StorageMoverName <String> `
    -BlobContainerName <String> `
    -StorageAccountResourceId <String>

Параметры:

• Имя: имя конечной точки хранилища BLOB-объектов Azure.
• ResourceGroupName: имя группы ресурсов, содержащей ресурс Переместитель хранилища.
• StorageMoverName: имя ресурса Storage Mover.
• BlobContainerName: имя контейнера BLOB-объектов в учетной записи хранения, из которой требуется перенести данные.
• StorageAccountResourceId: идентификатор ресурса Azure учетной записи хранения, содержащей контейнер BLOB-объектов.

Example:

New-AzStorageMoverAzStorageContainerEndpoint `
    -Name "my-source-blob-endpoint" `
    -ResourceGroupName "c2c-pvt-ecy-rg" `
    -StorageMoverName "myStorageMover" `
    -BlobContainerName "migration-container" `
    -StorageAccountResourceId "/subscriptions/<subscription-id>/resourceGroups/c2c-pvt-ecy-rg/providers/Microsoft.Storage/storageAccounts/mystorageaccount"

Azure CLI

Используйте команду az storage-mover endpoint create-for-storage-container для создания конечной точки источника хранилища объектов Blob Azure.

az storage-mover endpoint create-for-storage-container \
    --container-name <String> \
    --endpoint-name <String> \
    --resource-group <String> \
    --storage-account-id <String> \
    --storage-mover-name <String> \

Параметры:

• container-name: имя контейнера BLOB, из которого требуется перенести данные.
• имя конечной точки: имя создаваемой конечной точки.
• группа ресурсов: имя группы ресурсов, содержащей ресурс Storage Mover.
• идентификатор учетной записи хранения: идентификатор ресурса Azure учетной записи хранения, содержащей контейнер BLOB-объектов.
• storage-mover-name: имя ресурса перемещатель хранилища.

Example:

az storage-mover endpoint create-for-storage-container \
    --container-name "migration-container" \
    --endpoint-name "my-source-blob-endpoint" \
    --resource-group "c2c-pvt-ecy-rg" \
    --storage-account-id "/subscriptions/<subscription-id>/resourceGroups/c2c-pvt-ecy-rg/providers/Microsoft.Storage/storageAccounts/mystorageaccount" \
    --storage-mover-name "myStorageMover"

Настройка целевой конечной точки хранилища BLOB-объектов Azure

Портал Azure

1. В группе управления ресурсами в области навигации слева выберите конечные точки хранилища. Перейдите на вкладку "Целевые конечные точки" , а затем выберите "Добавить конечную точку ", чтобы открыть панель "Создать целевую конечную точку ".

2. На панели создания целевой конечной точки:

   • Выберите подписку и учетную запись хранения в раскрывающихся списках соответствующих подписок и учетной записи хранения .

   • Выберите BLOB-контейнер в поле "Целевой тип".

   • Выберите контейнер Blob, в который хотите выполнить перенос, из раскрывающегося списка контейнеров Blob.

   • При необходимости укажите описание конечной точки в поле "Описание ".

   • Убедитесь, что выбранные элементы верны и выберите "Создать ", чтобы создать конечную точку, как показано на следующем рисунке.

     

Azure PowerShell

Используйте команду New-AzStorageMoverAzStorageContainerEndpoint, чтобы создать целевую точку хранилища Azure Blob:

New-AzStorageMoverAzStorageContainerEndpoint `
    -Name <String> `
    -ResourceGroupName <String> `
    -StorageMoverName <String> `
    -BlobContainerName <String> `
    -StorageAccountResourceId <String>

Параметры:

• Имя: имя конечной точки хранилища BLOB-объектов Azure.
• ResourceGroupName: имя группы ресурсов, содержащей ресурс Переместитель хранилища.
• StorageMoverName: имя ресурса Storage Mover.
• BlobContainerName: имя контейнера BLOB-объектов в учетной записи хранения, в которой требуется перенести данные.
• StorageAccountResourceId: идентификатор ресурса Azure учетной записи хранения, содержащей контейнер BLOB-объектов.

Example:

New-AzStorageMoverAzStorageContainerEndpoint `
    -Name "my-blob-endpoint" `
    -ResourceGroupName "c2c-pvt-ecy-rg" `
    -StorageMoverName "myStorageMover" `
    -BlobContainerName "migration-container" `
    -StorageAccountResourceId "/subscriptions/<subscription-id>/resourceGroups/c2c-pvt-ecy-rg/providers/Microsoft.Storage/storageAccounts/mystorageaccount"

Azure CLI

Используйте команду az storage-mover endpoint create-for-storage-container, чтобы создать целевую точку хранилища Azure Blob:

az storage-mover endpoint create-for-storage-container \
    --container-name <String> \
    --endpoint-name <String> \
    --resource-group <String> \
    --storage-account-id <String> \
    --storage-mover-name <String>

Параметры:

• container-name: имя контейнера, в котором необходимо перенести данные.
• имя конечной точки: имя создаваемой конечной точки.
• группа ресурсов: имя группы ресурсов, содержащей ресурс Storage Mover.
• идентификатор учетной записи хранения: идентификатор ресурса Azure учетной записи хранения, содержащей контейнер BLOB-объектов.
• storage-mover-name: имя ресурса перемещатель хранилища.

Example:

az storage-mover endpoint create-for-storage-container \
    --container-name "migration-container" \
    --endpoint-name "my-blob-endpoint" \
    --resource-group "c2c-pvt-ecy-rg" \
    --storage-account-id "/subscriptions/<subscription-id>/resourceGroups/c2c-pvt-ecy-rg/providers/Microsoft.Storage/storageAccounts/mystorageaccount" \
    --storage-mover-name "myStorageMover"

Назначение роли RBAC источнику и целевым конечным точкам

Портал Azure

При создании исходного или целевого конечного пункта хранилища Blob в Azure через портал Azure роль владельца данных Blob хранилища в RBAC автоматически назначается системно назначенному управляемому удостоверению конечной точки. Больше никаких действий не требуется.

Azure PowerShell

Назначьте роль RBAC владельца данных хранилища хранилища BLOB-объектов в исходном и целевом контейнере хранилища BLOB-объектов управляемому удостоверению конечной точки, назначаемой системой. Сначала получите идентификатор участника управляемой идентичности для целевой конечной точки с помощью команды Get-AzStorageMoverAzStorageContainerEndpoint.

$endpoint = Get-AzStorageMoverAzStorageContainerEndpoint `
    -ResourceGroupName <String> `
    -StorageMoverName <String> `
    -Name <String>

$principalId = $endpoint.Identity.PrincipalId

Затем используйте New-AzRoleAssignment команду, чтобы назначить роль:

New-AzRoleAssignment `
    -ObjectId <String> `
    -RoleDefinitionName "Storage Blob Data Owner" `
    -Scope <String>

Параметры:

• ObjectId: идентификатор объекта (principal ID) служебной управляемой идентичности целевой конечной точки.
• RoleDefinitionName: Установите значение "Владелец данных BLOB-объектов хранилища" для параметра.
• Область: Идентификатор ресурса Azure исходного или целевого контейнера хранилища BLOB.

Example:

# Get the source or target endpoint
$endpoint = Get-AzStorageMoverEndpoint `
    -ResourceGroupName "c2c-pvt-ecy-rg" `
    -StorageMoverName "myStorageMover" `
    -Name "my-blob-endpoint"

# Assign the RBAC role using the principal ID
New-AzRoleAssignment `
    -ObjectId $endpoint.Identity.PrincipalId `
    -RoleDefinitionName "Storage Blob Data Owner" `
    -Scope "/subscriptions/<subscription-id>/resourceGroups/c2c-pvt-ecy-rg/providers/Microsoft.Storage/storageAccounts/mystorageaccount/blobServices/default/containers/migration-container"

Azure CLI

Сначала получите идентификатор субъекта управляемого удостоверения исходной или целевой конечной точки с помощью команды az storage-mover endpoint show.

az storage-mover endpoint show \
    --resource-group <String> \
    --storage-mover-name <String> \
    --name <String> \
    --query identity.principalId \
    --output tsv

Затем используйте az role assignment create команду, чтобы назначить роль:

az role assignment create \
    --assignee-object-id <String> \
    --assignee-principal-type ServicePrincipal \
    --role "Storage Blob Data Owner" \
    --scope <String>

Параметры:

• assignee-object-id: Идентификатор объекта (идентификатор субъекта) назначенной системой управляемой удостоверенности целевой конечной точки.
• assignee-principal-type: задайте значение ServicePrincipal.
• роль: Установите значение "Владелец данных BLOB-объектов в хранилище".
• Scope: Идентификатор ресурса Azure для исходного или целевого контейнера Blob-хранилища.

Example:

# Get the principal ID
PRINCIPAL_ID=$(az storage-mover endpoint show \
    --resource-group "c2c-pvt-ecy-rg" \
    --storage-mover-name "myStorageMover" \
    --name "my-blob-endpoint" \
    --query identity.principalId \
    --output tsv)

# Assign the RBAC role using the principal ID
az role assignment create \
    --assignee-object-id $PRINCIPAL_ID \
    --assignee-principal-type ServicePrincipal \
    --role "Storage Blob Data Owner" \
    --scope "/subscriptions/<subscription-id>/resourceGroups/c2c-pvt-ecy-rg/providers/Microsoft.Storage/storageAccounts/mystorageaccount/blobServices/default/containers/migration-container"

Создание проекта миграции и определения заданий

После определения исходных и целевых конечных точек для миграции, необходимо создать проект миграции Storage Mover и конфигурацию задания.

С помощью проекта миграции можно упорядочить большие миграции в небольшие управляемые единицы, которые подходят для вашего варианта использования. Определение задания описывает ресурсы и параметры миграции для определенного набора операций копирования, выполняемых службой Storage Mover. К этим ресурсам относятся, например, исходные и целевые конечные точки, а также все параметры миграции, которые необходимо применить.

Выполните действия, описанные в этом разделе, чтобы создать проект миграции и запустить задание миграции.

Создание проекта

Портал Azure

1. Перейдите на вкладку обозревателя проектов в экземпляре Mover хранилища и выберите "Создать проект".

2. Введите значения в следующих полях:

   • Имя: понятное имя для проекта миграции.
   • Описание проекта: полезное описание проекта.

   Нажмите кнопку "Создать" , чтобы создать проект. Может потребоваться некоторое время, чтобы созданный проект появился в обозревателе проектов.

   

Azure PowerShell

New-AzStorageMoverProject Используйте команду для создания проекта миграции:

New-AzStorageMoverProject `
    -Name <String> `
    -ResourceGroupName <String> `
    -StorageMoverName <String>

Параметры:

• Имя: имя проекта миграции.
• ResourceGroupName: имя группы ресурсов, содержащей ресурс Переместитель хранилища.
• StorageMoverName: имя ресурса Storage Mover.

Example:

New-AzStorageMoverProject `
    -Name "my-migration-project" `
    -ResourceGroupName "c2c-pvt-ecy-rg" `
    -StorageMoverName "myStorageMover"

Azure CLI

az storage-mover project create Используйте команду для создания проекта миграции:

az storage-mover project create \
    --name <string> \
    --resource-group <string> \
    --storage-mover-name <string>

Параметры:

• --name: имя проекта миграции.
• --resource-group: имя группы ресурсов, содержащей ресурс Storage Mover.
• --storage-mover-name: имя ресурса Storage Mover.

Example:

az storage-mover project create \
    --name "my-migration-project" \
    --resource-group "c2c-pvt-ecy-rg" \
    --storage-mover-name "myStorageMover"

Создание определения задания и запуск задания

Портал Azure

1. Выберите проект после его появления и нажмите кнопку "Создать определение задания". Откроется страница "Создание задания миграции" на вкладке "Основы ". Укажите значения для следующих полей:

   • Имя: осмысленное имя для задания миграции.
   • Тип миграции: выберите Azure to Azure.

   

2. На вкладке "Источник " выберите параметр "Существующая конечная точка " для поля "Конечная точка ". Затем выберите существующую конечную точку в качестве исходной ссылки, чтобы открыть существующую панель конечных точек .

   

   Выберите конечную точку источника BLOB-объектов Azure, созданную в предыдущем разделе, и нажмите кнопку "Выбрать ", чтобы сохранить изменения.

   

3. На вкладке "Целевой " выберите параметр "Выбрать существующую ссылку на конечную точку " для поля целевой конечной точки . Затем выберите существующую конечную точку в качестве целевой ссылки, чтобы открыть существующую панель конечных точек .

   

   Затем выберите ссылку Выберите существующую конечную точку в качестве цели, чтобы открыть панель Выберите существующую целевую конечную точку. Выберите целевую конечную точку хранилища BLOB-объектов Azure, созданную в предыдущем разделе, и нажмите кнопку "Выбрать ", чтобы сохранить изменения. Убедитесь, что правильная целевая конечная точка отображается в поле существующей конечной точки , а затем нажмите кнопку "Далее ", чтобы перейти на вкладку "Параметры ".

   

4. На вкладке "Параметры" выберите "Отразить источник на цель" из раскрывающегося списка "Режим копирования". Убедитесь, что результаты миграции подходят для вашего варианта использования, а затем нажмите кнопку "Далее " и просмотрите параметры.

   

5. После подтверждения правильности параметров на вкладке "Рецензирование " выберите "Создать ", чтобы развернуть задание миграции. После начала развертывания задания вы перенаправляетесь в обозреватель проектов . После завершения задание появится в связанном проекте миграции.

   

Azure PowerShell

Неприменимо

Azure CLI

Неприменимо

Выполнение задания миграции

1. Перейдите на вкладку "Задания миграции ". На вкладке "Задания миграции " отображаются все задания миграции, созданные в ресурсе Mover хранилища, включая только что созданный. Чтобы новое задание миграции отображалось в списке, может занять некоторое время. При необходимости обновите страницу.

   

2. Выберите новое определение задания, чтобы просмотреть его сведения на вкладке "Свойства ". Нажмите кнопку "Пуск задания ", чтобы открыть область задания "Пуск " для задания миграции.

   

   

Запуск определения задания

Портал Azure

Неприменимо

Azure PowerShell

Start-AzStorageMoverJobDefinition Используйте команду для запуска задания миграции:

Start-AzStorageMoverJobDefinition `
    -JobDefinitionName <String> `
    -ProjectName <String> `
    -ResourceGroupName <String> `
    -StorageMoverName <String>

Параметры:

• JobDefinitionName: имя определения задания для запуска.
• Имя проекта: имя проекта, содержащего определение задания.
• ResourceGroupName: имя группы ресурсов, содержащей ресурс Переместитель хранилища.
• StorageMoverName: имя ресурса Storage Mover.

Example:

Start-AzStorageMoverJobDefinition `
    -JobDefinitionName "my-job-definition" `
    -ProjectName "my-migration-project" `
    -ResourceGroupName "c2c-pvt-ecy-rg" `
    -StorageMoverName "myStorageMover"

Azure CLI

az storage-mover job-definition start Используйте команду для запуска задания миграции:

az storage-mover job-definition start \
    --job-definition-name <string> \
    --project-name <string> \
    --resource-group <string> \
    --storage-mover-name <string>

Параметры:

• --job-definition-name: имя определения задания для запуска.
• --project-name: имя проекта, содержащего определение задания.
• --resource-group: имя группы ресурсов, содержащей ресурс Storage Mover.
• --storage-mover-name: имя ресурса Storage Mover.

Example:

az storage-mover job-definition start \
    --job-definition-name "my-job-definition" \
    --project-name "my-migration-project" \
    --resource-group "c2c-pvt-ecy-rg" \
    --storage-mover-name "myStorageMover"

Контроль за ходом миграции

При использовании Storage Mover для переноса данных в целевые объекты Azure отслеживайте операции копирования на наличие возможных проблем. На вкладке "Обзор миграции" отображаются данные об операциях во время миграции. Эти данные помогают отслеживать ход миграции, предоставляя текущее состояние и ключевые сведения, такие как ход выполнения, скорость и предполагаемое время завершения.

При настройке средство переноса данных Azure Storage также может предоставлять журналы копирования и журналы выполнения задач. Эти журналы особенно полезны, так как они позволяют отслеживать результат миграции выполнения заданий и отдельных файлов.

Выполните действия, описанные в этом разделе, чтобы отслеживать ход выполнения задачи миграции модуля перемещения данных. Дополнительные сведения о копировании и журналах заданий службы хранилища см. в статье "Как включить копирование и журналы заданий службы хранилища Azure".

1. Перейдите на вкладку "Задания миграции ".
2. Выберите задание для просмотра хода выполнения, скорости и предполагаемого времени завершения.
3. Выберите Журналы, чтобы проверить наличие ошибок или предупреждений.
4. После завершения миграции проверьте данные в хранилище BLOB-объектов Azure.

Проверка после миграции

Проверка данных после миграции гарантирует корректность данных и завершенность передачи из хранилища объектов Blob Azure. Этот процесс проверки проверяет целостность и согласованность данных путем сравнения перенесенных данных с теми же данными из источника. Вы также можете провести тесты принятия пользователей для дальнейшего подтверждения функциональности. Проверка помогает выявлять и устранять несоответствия, обеспечивая надежность перенесенных данных и соответствие бизнес-требованиям.

Выполните действия, описанные в этом разделе, чтобы завершить проверку вручную.

• Сравните исходное и целевое хранилище, чтобы убедиться, что все файлы передаются.
• Включите добавочную синхронизацию, если необходимо сохранить контейнеры BLOB-объектов Azure в синхронизации с течением времени.
• Удалите исходный контейнер BLOB-объектов Azure после завершения миграции и убедитесь, что он больше не нужен.

Устранение неполадок и поддержка

Устранение неполадок при миграции может включать ряд шагов, начиная от базовой диагностики до более расширенной обработки ошибок. Если возникают проблемы, начните устранять неполадки, выполнив следующие действия.

• Сбой задания миграции? Проверьте журналы сообщений об ошибках.
• Проблемы с разрешениями? Убедитесь, что роли Azure Arc и управления идентификацией и доступом (IAM) имеют правильный уровень доступа.

Связанный контент

В следующих статьях вы можете ознакомиться со службой Mover хранилища.

• Общие сведения о иерархии ресурсов Mover хранилища
• Развертывание ресурса Storage Mover
• Развертывание агента Перемещения хранилища