Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этой статье описано, как упростить миграцию с помощью портала Azure.
Примечание.
Azure Data Lake Storage Gen1 теперь выведена из эксплуатации. Ознакомьтесь с объявлением о прекращении работы здесь. Ресурсы Data Lake Storage первого поколения больше недоступны.
Вот видео, которое рассказывает вам больше об этом.
Главы:
00.37 . Введение
01:16 . Подготовка к миграции
07:15 - Копирование данных для миграции
17:40. Копирование и полная миграция
19:43 — завершение миграции
33:15 — после миграции
Прежде чем начать, ознакомьтесь с общим руководством по миграции с 1-го на 2-е поколение в разделе Рекомендации и шаблоны миграции для Azure Data Lake Storage.
Ваша учетная запись может не соответствовать требованиям для миграции через портал из-за определенных ограничений. Если на портале Azure кнопка Миграция данных для вашей учетной записи 1-го поколения неактивна, то при наличии плана поддержки вы можете отправить запрос в службу поддержки. Вы также можете получить ответы от экспертов сообщества в Microsoft Q&A.
Примечание.
Для простоты в этой статье термином 1-е поколение заменяется Azure Data Lake Storage 1-го поколения, а термином 2-е поколение — Azure Data Lake Storage 2-го поколения.
Шаг 1. Создание учетной записи хранения с возможностями 2-го поколения
Azure Data Lake Storage 2-го поколения не является выделенной учетной записью хранения или типом службы. Это набор возможностей, которые вы можете получить, включив иерархическое пространство имен в учетной записи хранения Azure. Сведения о создании учетной записи с возможностями 2-го поколения см. в статье Создание учетной записи хранения для использования с Azure Data Lake Storage 2-го поколения.
При создании учетной записи обязательно укажите для параметров следующие значения.
| Настройка | Значение |
|---|---|
| Имя учетной записи хранения | Любое требуемое имя. Это имя не обязательно должно совпадать с именем учетной записи 1-го поколения и может быть в любой подписке, которую вы выберете. |
| Местонахождение | Тот же регион, который используется учетной записью Data Lake Storage 1-го поколения |
| Репликация | LRS или ZRS |
| Минимальная версия TLS | 1.0 |
| NFS v3 | Отключено |
| Иерархическое пространство имен хранилища Azure Data Lake Storage Gen2 (предварительная версия) | Включен |
Примечание.
Средство миграции в портал Azure не перемещает параметры учетной записи. Поэтому после создания учетной записи необходимо вручную настроить такие параметры, как шифрование, сетевые брандмауэры и защита данных.
Внимание
Убедитесь, что вы используете новую учетную запись, которая раньше не использовалась. Не выполняйте миграцию в ранее использовавшуюся учетную запись и не используйте учетную запись, из которой были удалены контейнеры для очистки учетной записи.
Шаг 2. Проверка назначений ролей в управлении доступом на основе ролей Azure (Azure RBAC)
Для 2-го поколения убедитесь, что роль владельца данных BLOB-объектов хранилища была назначена удостоверению пользователя Microsoft Entra в области учетной записи хранения, родительской группы ресурсов или подписки.
Для Gen1 убедитесь, что роль владельца назначена идентификатору Microsoft Entra в рамках учетной записи Gen1, родительской группы ресурсов или подписки.
Шаг 3. Перенос рабочих нагрузок Azure Data Lake Analytics
Azure Data Lake Storage 2-го поколения не поддерживает Azure Data Lake Analytics. Использование Azure Data Lake Analytics будет прекращено 29 февраля 2024 года. Если вы попытаетесь использовать портал Azure для переноса учетной записи Azure Data Lake Storage 1-го поколения, используемой для Azure Data Lake Analytics, вы можете нарушить функционирование своих рабочих нагрузок Azure Data Lake Analytics. Прежде чем пытаться перенести учетную запись 1-го поколения, необходимо сначала перенести рабочие нагрузки Azure Data Lake Analytics в Azure Synapse Analytics или на другую поддерживаемую вычислительную платформу.
Дополнительные сведения см. в разделе Управление Azure Data Lake Analytics с помощью портала Azure.
Шаг 4. Подготовка учетной записи 1-го поколения
Имена файлов или каталогов, состоящие только из пробелов или вкладок, заканчивающиеся на ., содержащие :, или с несколькими последовательными косыми чертами (//), несовместимы с Gen2. Перед миграцией необходимо переименовать эти файлы или каталоги.
Для повышения производительности рекомендуется отложить миграцию по крайней мере десять дней с момента последней операции удаления. В учетной записи Gen1, удаленные файлы становятся мягко удаленными файлами, и сборщик мусора не удаляет их окончательно до истечения семи дней и потребуется несколько дополнительных дней для завершения очистки. Время очистки зависит от количества файлов. Все файлы, включая файлы, временно отмеченные как удаленные, обрабатываются во время миграции. Если вы ожидаете, пока сборщик мусора окончательно удалил удаленные файлы, время ожидания может улучшиться.
Шаг 5. Выполнение миграции
Прежде чем начать, изучите два приведенных ниже варианта миграции и решите, следует ли просто скопировать данные из 1-го во 2-е поколение (рекомендуется) или выполнить полную миграцию.
Вариант 1. Только копирование данных (рекомендуется). В этом случае данные копируются из 1-го поколения в 2-го поколения. По мере копирования данных учетная запись 1-го поколения становится доступной только для чтения. После копирования данных будут доступны учетные записи и 1-го, и 2-го поколения. Однако необходимо обновить приложения и вычислительные рабочие нагрузки, чтобы использовать новую конечную точку 2-го поколения.
Вариант 2. Выполнение полной миграции. В этом случае данные копируются из 1-го поколения в 2-го поколения. После копирования данных весь трафик из учетной записи 1-го поколения будет перенаправлен в учетную запись с поддержкой 2-го поколения. Перенаправленные запросы используют уровень совместимости 1-го поколения для перевода вызовов API 1-го поколения в эквиваленты 2-го поколения. Во время миграции учетная запись 1-го поколения становится доступной только для чтения. После завершения миграции учетная запись 1-го поколения будет недоступна.
Независимо от выбранного варианта, после переноса и проверки правильности функционирования всех рабочих нагрузок учетную запись 1-го поколения можно удалить.
Вариант 1. Копирование данных из 1-го во 2-е поколение
Чтобы начать, войдите на портал Azure.
Найдите учетную запись Data Lake Storage 1-го поколения и откройте обзор учетной записи.
Нажмите кнопку Перенести данные.
Выберите Копировать данные в новую учетную запись 2-го поколения.
Предоставьте корпорации Майкрософт согласие на выполнение переноса данных, установив флажок. Затем нажмите кнопку "Применить ".
Индикатор выполнения отображается вместе с сообщением о дополнительном статусе. Эти индикаторы можно использовать для оценки хода выполнения миграции. Так как время выполнения каждой задачи зависит, индикатор хода выполнения не будет продвигаться по согласованной скорости. Например, индикатор хода выполнения может быстро достичь 50 процентов, но потом может занять немного больше времени, чтобы завершить оставшиеся 50 процентов.
Внимание
Во время переноса данных учетная запись 1-го поколения становится доступной только для чтения, а учетная запись с поддержкой возможностей 2-го поколения отключена. После завершения миграции можно выполнять чтение и запись в обеих учетных записях.
Можно остановить миграцию в любой момент, нажав кнопку Остановить миграцию.
Вариант 2. Выполнение полной миграции
Чтобы начать, войдите на портал Azure.
Найдите учетную запись Data Lake Storage 1-го поколения и откройте обзор учетной записи.
Нажмите кнопку Перенести данные.
Выберите Выполнить миграцию в новую учетную запись 2-го поколения.
Предоставьте корпорации Майкрософт согласие на выполнение переноса данных, установив флажок. Затем нажмите кнопку "Применить ".
Индикатор выполнения отображается вместе с сообщением о подстатусе. Эти индикаторы можно использовать для оценки хода выполнения миграции. Так как время выполнения каждой задачи зависит, индикатор хода выполнения не будет продвигаться по согласованной скорости. Например, индикатор выполнения может быстро достигнуть 50 процентов, но затем требуется немного больше времени, чтобы завершить оставшиеся 50 процентов.
Внимание
Во время переноса данных учетная запись 1-го поколения становится доступной только для чтения, а учетная запись с поддержкой возможностей 2-го поколения отключается.
Кроме того, во время перенаправления URI 1-го поколения обе учетные записи отключаются.
После завершения миграции учетная запись 1-го поколения будет отключена. Данные в учетной записи 1-го поколения не будут доступны и будут удалены через 30 дней. Учетная запись 2-го поколения будет доступна для операций чтения и записи.
Можно остановить миграцию в любой момент, пока не будет выполнено перенаправление URI, нажав кнопку Остановить миграцию.
Шаг 6. Проверка завершения миграции
Если миграция завершена успешно, контейнер с именем 1-го поколения будет создан в учетной записи с поддержкой 2-го поколения, а все данные из учетной записи 1-го поколения будут скопированы в этот новый контейнер 1-го поколения. Чтобы найти данные по пути, который существовал на Gen1, необходимо добавить префикс gen1/ к тому же пути, чтобы получить к нему доступ на Gen2. Например, путь с именем FolderRoot/FolderChild/FileName.csv в учетной записи 1-го поколения будет доступен по пути gen1/FolderRoot/FolderChild/FileName.csv в учетной записи 2-го поколения. Имена контейнеров нельзя переименовать в учетной записи 2-го поколения, поэтому этот контейнер gen1 в учетной записи 2-го поколения нельзя переименовать после миграции. Но при необходимости данные можно скопировать в новый контейнер 2-го поколения.
Если миграция не завершена, появится сообщение, которое указывает, что миграция остановилась из-за несовместимости. Если вам потребуется помощь на следующем шаге, обратитесь к служба поддержки Майкрософт. Это сообщение может появиться, если учетная запись с поддержкой 2-го поколения ранее использовалась или когда файлы и каталоги в учетной записи 1-го поколения используют несовместимые соглашения об именовании.
Перед обращением в службу поддержки убедитесь, что вы используете новую созданную учетную запись хранения, которая не имеет истории использования. Избегайте миграции в ранее используемую учетную запись или учетную запись, в которой контейнеры были удалены, чтобы сделать учетную запись пустой. В вашей учетной записи Gen1 убедитесь, что вы переименуете все имена файлов или каталогов, которые содержат только пробелы или вкладки, заканчиваются на ., содержат : или содержат несколько косых черт (//).
Шаг 7. Перенос рабочих нагрузок и приложений
Настройте службы в рабочих нагрузках так, чтобы они указывали на конечную точку 2-го поколения. Ссылки на статьи, которые помогут вам настроить Azure Databricks, HDInsight и другие службы Azure для использования 2-го поколения, см. в статье Службы Azure, поддерживающие Azure Data Lake Storage 2-го поколения.
Обновите приложения для использования API 2-го поколения. См. следующие руководства:
Обновите скрипты для использования командлетов PowerShell Data Lake Storage 2-го поколения и команд Azure CLI.
Выполните поиск ссылок на URI, содержащих строку
adl://в файлах кода, записных книжках Databricks, файлах HQL Apache Hive или любом другом файле, используемом для рабочих процессов. Замените эти ссылки на URI 2-го поколения вашей новой учетной записи хранения. Например: универсальный код ресурса (URI) 1-го поколенияadl://mydatalakestore.azuredatalakestore.net/mydirectory/myfileможет превратиться вabfss://myfilesystem@mydatalakestore.dfs.core.windows.net/mydirectory/myfile.
Уровень совместимости 1-го поколения
Этот уровень пытается обеспечить совместимость приложений между 1-м и 2-м поколениями во время миграции, чтобы приложения могли продолжать использовать API-интерфейсы 1-го поколения для взаимодействия с данными в учетной записи с поддержкой 2-го поколения. Этот уровень имеет ограниченные функциональные возможности, и рекомендуется проверить рабочие нагрузки с помощью тестовых учетных записей, если этот подход используется в процессе миграции. Уровень совместимости реализуется на сервере, поэтому установка не требуется.
Внимание
Корпорация Майкрософт не рекомендует использовать эту возможность в качестве замены переноса рабочих нагрузок и приложений. Поддержка уровня совместимости 1-го поколения будет завершена после прекращения поддержки 1-го поколения 29 февраля 2024 года.
Чтобы свести к минимуму количество проблем на уровне совместимости, убедитесь, что пакеты SDK 1-го уровня используют следующие версии (или более поздние).
| Язык | Версия пакета SDK |
|---|---|
| .NET | 2.3.9 |
| Java | 1.1.21 |
| Python | 0.0.51 |
Следующие функциональные возможности не поддерживаются в этом уровне совместимости.
Параметр API ListStatus для записи ListBefore.
API ListStatus с более чем 4000 файлов без маркера продолжения.
Кодирование блоков для операций добавления.
Любые вызовы API, использующие
https://management.azure.com/как аудиторию для токенов Microsoft Entra.Имена файлов или каталогов только с пробелами или символами табуляции, заканчивающиеся на символ
., содержащие символ:или несколько последовательных косых черт (//).
Часто задаваемые вопросы
Сколько времени займет миграция?
Данные и метаданные переносятся параллельно. Общее время, необходимое для завершения миграции, равно тому, какой из этих двух процессов завершен последний.
В следующей таблице показана приблизительная скорость каждой задачи обработки миграции.
Примечание.
Эти оценки времени являются приблизительными и могут отличаться. Например, копирование большого количества небольших файлов может замедлить производительность.
| Задача обработки | Скорость |
|---|---|
| Копирование данных | 9 ТБ в час |
| Проверка данных | 9 миллионов файлов или папок в час |
| Копирование метаданных | 4 миллиона файлов или папок в час |
| Обработка метаданных | 25 миллионов файлов или папок в час |
| Дополнительная обработка метаданных (параметр копирования данных)1 | 50 миллионов файлов или папок в час |
1 Дополнительное время обработки метаданных применяется только при выборе параметра копирования данных в новую учетную запись 2-го поколения. Это время обработки не применяется, если выбрать вариант полной миграции на новую учетную запись 2-го поколения.
Пример. Обработка большого объема данных и метаданных
В этом примере предполагается 300 ТБ данных и 200 миллионов данных и элементов метаданных.
| Задача | Предполагаемое время |
|---|---|
| Копирование данных | 300 ТБ / 9 ТБ = 33,33 часа |
| Проверка данных | 200 млн / 9 млн = 22,22 часа |
| Общее время миграции данных | 33.33 + 22.2 = 55,55 часа |
| Копирование метаданных | 200 млн / 4 млн = 50 часов |
| Обработка метаданных | 200 млн / 25 млн = 8 часов |
| Дополнительная обработка метаданных — только опция копирования данных | 200 млн / 50 млн = 4 часа |
| Общее время миграции метаданных | 50 + 8 + 4 = 62 часа |
| Общее время выполнения миграции данных | 62 часа |
| Общее время выполнения полной миграции | 62 - 4 = 58 часов |
Пример. Обработка небольшого объема данных и метаданных
В этом примере предполагается, что 2 ТБ данных и 56 тысяч данных и элементов метаданных.
| Задача | Предполагаемое время |
|---|---|
| Копирование данных | (2 ТБ / 9 ТБ) * 60 минут = 13,3 минуты |
| Проверка данных | (56 000 / 9 млн) * 3600 секунд = 22,4 секунды |
| Общее время миграции данных | 13,3 минуты + 22,4 секунды = приблизительно 14 минут |
| Копирование метаданных | (56 000 / 4 млн) * 3600 секунд = около 51 секунд |
| Обработка метаданных | 56 000/ 25 миллионов = 8 секунд |
| Дополнительная обработка метаданных — только опция копирования данных | (56 000 / 50 миллионов) * 3600 секунд = 4 секунды |
| Общее время миграции метаданных | 51 + 8 + 4 = 63 секунды |
| Общее время выполнения миграции данных | 14 минут |
| Общее время выполнения полной миграции | 14 минут - 4 секунды = 13 минут и 56 секунд (приблизительно 14 минут) |
Сколько стоит перенос данных?
Нет затрат на использование средства миграции на основе портала, однако вы будете выставлены счета за использование служб Azure Data Lake 1-го поколения и 2-го поколения. Во время миграции данных вам будут выставлены счета за хранение данных и транзакции учетной записи Gen1.
После миграции, если вы выбрали вариант, который копирует только данные, вы будете выставлены счета за хранилище данных и транзакции для учетных записей Azure Data Lake 1-го поколения и 2-го поколения. Чтобы избежать выставления счетов за учетную запись 1-го поколения, удалите ее после обновления приложений, когда они начинают указывать на 2-го поколение. Если вы решили выполнить полную миграцию, вам будет выставлен счет только за хранилище данных и транзакции учетной записи, поддерживающей Gen2.
При предоставлении согласия я столкнулся с сообщением об ошибке Сбой инициирования миграции. Что следует делать дальше?
Убедитесь, что все учетные записи Azure Data Lake Analytics перенесены в Azure Synapse Analytics или на другую поддерживаемую вычислительную платформу. После переноса учетных записей Azure Data Lake Analytics повторите попытку предоставления согласия. Если проблема появится снова и у вас есть план поддержки, вы можете отправить запрос на поддержку. Вы также можете получить ответы от экспертов сообщества в Microsoft Q&A.
Можно ли вернуться к использованию учетной записи 1-го поколения после завершения миграции?
Если вы использовали Вариант 1. Копирование данных из 1-го во 2-е поколение, упомянутый выше, учетные записи 1-го и 2-го поколений будут доступны для операций чтения и записи после миграции. Однако если вы использовали Вариант 2. Выполнение полной миграции, то возврат к учетной записи 1-го поколения не поддерживается. В варианте 2 после завершения миграции данные в учетной записи 1-го поколения не будут доступны и будут удалены через 30 дней. Вы можете продолжать просматривать учетную запись 1-го поколения на портале Azure, а когда будете готовы, можете удалить учетную запись 1-го поколения.
Я хочу включить геоизбыточное хранилище (GRS) в учетной записи с поддержкой 2-го поколения. Как это сделать?
После завершения миграции и в вариантах "Копировать данные" и "Завершить миграцию" можно изменить параметр избыточности на GRS, если вы не планируете использовать уровень совместимости приложений. Совместимость приложений не будет работать с учетными записями, используюющими избыточность GRS.
1-е поколение не содержит контейнеров, а 2-е поколение их содержит. Чего мне ожидать?
При копировании данных в учетную запись с поддержкой возможностей 2-го поколения автоматически создается контейнер с именем Gen1. Названия контейнеров 2-го поколения не могут быть переименованы, поэтому данные после миграции можно при необходимости скопировать в новый контейнер в 2-м поколении.
Что следует учесть с точки зрения производительности миграции?
При копировании данных в учетную запись с поддержкой 2-го поколения на производительность влияют два фактора: количество файлов и объем метаданных. Например, на производительность миграции может повлиять большое количество небольших файлов.
Поддерживаются ли API файловой системы WebHDFS для учетной записи 2-го поколения после миграции?
API-интерфейсы файловой системы WebHDFS 1-го поколения будут поддерживаться в 2-м поколениях, но с определенными отклонениями, а только ограниченные функциональные возможности поддерживаются с помощью уровня совместимости. Клиенты должны планировать использование API-интерфейсов второго поколения для повышения производительности и улучшения функций.
Что происходит с моей учетной записью 1-го поколения после даты выхода на пенсию?
Учетная запись становится недоступной. Вы не сможете:
Управление учетной записью
Доступ к данным в учетной записи
Получение обновлений сервисов для API 1-го поколения, пакетов SDK или клиентских средств.
Доступ к поддержке клиентов 1-го поколения по телефону или по электронной почте
Посмотрите Требуется действие: Переход на Azure Data Lake Storage второго поколения к 29 февраля 2024 года.
Следующие шаги
- Информация о миграции в целом. Дополнительные сведения см. в статье о переходе с 1-го на 2-е поколение Azure Data Lake Storage.