Миграция Azure Data Lake Analytics в Azure Synapse Analytics
Data Lake Analytics Azure будет прекращена 29 февраля 2024 г. Дополнительные сведения см. в этом объявлении.
Если вы уже используете Data Lake Analytics Azure, вы можете создать план миграции для Azure Synapse Analytics для вашей организации.
Корпорация Майкрософт запустила Azure Synapse Analytics, которая направлена на объединение озер данных и хранилища данных для уникальной аналитики больших данных. Это поможет вам собрать и проанализировать данные для устранения неэффективности данных, а также поможет вашим командам работать вместе. Кроме того, интеграция Synapse с Машинным обучением Azure и Power BI позволит организациям получать аналитические сведения из своих данных и выполнять машинное обучение во всех интеллектуальных приложениях.
В этом документе показано, как осуществить миграцию с Azure Data Lake Analytics в Azure Synapse Analytics.
Рекомендуемый подход
- Шаг 1. Оценка готовности
- Шаг 2. Подготовка к миграции
- Шаг 3. Перенос данных и рабочих нагрузок приложений
- Шаг 4. Прямая миграция с Azure Data Lake Analytics в Azure Synapse Analytics
Шаг 1. Оценка готовности
Ознакомьтесь с Apache Spark в Azure Synapse Analytics и ознакомьтесь с основными различиями azure Data Lake Analytics и Spark в Azure Synapse Analytics.
Элемент Аналитика озера данных Azure Spark в Synapse Цены За единицу аналитики в час За виртуальное ядро в час Подсистема Аналитика озера данных Azure Apache Spark Язык программирования по умолчанию U-SQL T-SQL, Python, Scala, Spark SQL и .NET обозревателе решений Azure Data Lake Storage Хранилище BLOB-объектов Azure, Azure Data Lake Storage Изучите анкету для оценки миграции и примите во внимание возможные риски.
Шаг 2. Подготовка к миграции
Определите задания и данные, которые будут перенесены.
- Воспользуйтесь этой возможностью, чтобы очистить задания, которые больше не используются. Если вы не планируете выполнить одновременную миграцию всех заданий, воспользуйтесь этим временем для того, чтобы определить логические группы заданий, которые можно перенести поэтапно.
- Оцените объем данных и получите представление о формате данных Apache Spark. Просмотрите скрипты U-SQL, оцените усилия по перезаписи скриптов и изучите концепцию кода Apache Spark.
Определите влияние миграции на ваш бизнес. Например, решите, сможете ли вы позволить себе простой во время миграции.
Создайте план миграции.
Шаг 3. Перенос данных и рабочих нагрузок приложений
Перенесите данные из Azure Data Lake Storage 1-го поколения в Azure Data Lake Storage 2-го поколения.
Azure Data Lake Storage 1-го поколения выйдут на пенсию в феврале 2024 г., см. официальное объявление. Рекомендуется в первую очередь перенести данные в службу 2-го поколения. Изучите статью Основные сведения о форматах данных Apache Spark для разработчиков U-SQL и перенесите файл и данные, хранящиеся в таблицах U-SQL, чтобы сделать их доступными в Azure Synapse Analytics. Дополнительные сведения о руководстве по переносу можно найти здесь.Преобразуйте скрипты U-SQL в Spark. Ознакомьтесь со статьей Основные сведения о коде Apache Spark для разработчиков U-SQL, чтобы понять, как преобразовать скрипты U-SQL в Spark.
Преобразуйте или повторно создайте конвейеры оркестрации заданий для новой программы Spark.
Шаг 4. Прямая миграция с Azure Data Lake Analytics в Azure Synapse Analytics
Убедитесь в том, что приложения и рабочие нагрузки стабильно работают и после этого приступайте к использованию Azure Synapse Analytics для удовлетворения потребностей ваших бизнес-сценариев. Отключите все оставшиеся конвейеры, которые выполняются в Azure Data Lake Analytics, и снимите с учета учетные записи Azure Data Lake Analytics.
Анкета для оценки миграции
| Категория | Вопросы | Справочник |
|---|---|---|
| Оценка объема миграции | Сколько у вас учетных записей Azure Data Lake Analytics? Сколько конвейеров используется? Сколько скриптов U-SQL используется? | Чем больше данных и скриптов требуется перенести, чем больше UDO или UDF используется в скриптах, тем сложнее выполнить миграцию. Время и ресурсы, необходимые для миграции, должны быть тщательно спланированы в соответствии с масштабом проекта. |
| Источник данных | Каков объем источника данных? Какие виды форматов данных требуется обрабатывать? | Основные сведения о форматах данных Apache Spark для разработчиков U-SQL |
| Выходные данные | Будут ли выходные данные сохранены для дальнейшего использования? Если выходные данные сохранены в таблицах U-SQL, как их следует обрабатывать? | Если выходные данные будут использоваться довольно часто, и они сохранены в таблицах U-SQL, необходимо изменить скрипты и изменить формат выходных данных на формат данных, поддерживаемый Spark. |
| Перенос данных | Вы разработали план миграции хранилища? | Переход с 1-го на 2-е поколение Azure Data Lake Storage |
| Преобразование скриптов U-SQL | Вы используете UDO/UDF (.NET, Python и т. д.)? Если да, какой язык используется в UDO/UDF и есть ли проблемы с преобразованием во время преобразования? Используется ли в U-SQL федеративный запрос? | Основные сведения о коде Apache Spark для разработчиков U-SQL |