Планирование обновления Фабрика данных Azure до Fabric Data Factory

В этом руководстве рассматриваются стратегии обновления, критерии принятия решений и пошаговые подходы для переноса конвейеров Фабрика данных Azure (ADF) на Fabric Data Factory. Для лучших практик на уровне внедрения для каждого компонента обновления см. Лучшие практики обновления.

Зачем выполнять обновление

Переход с конвейеров ADF и Synapse на Fabric Data Factory — это больше, чем просто лифт-энд-шифт: это возможность упростить корпоративное управление, стандартизировать подходы и использовать новые возможности для совершенствования стратегии интеграции данных.

Fabric предлагает множество новых функций, в том числе:

Подробное сравнение см. в руководстве по сравнению фабрики данных Azure и Фабрики данных Fabric.

Критические архитектурные различия

Прежде чем обновиться с Фабрика данных Azure на Fabric Data Factory, рассмотрите эти ключевые архитектурные различия, которые обычно оказывают наибольшее влияние на планирование обновлений:

Категория Фабрика данных Azure Fabric Data Factory Влияние обновления
Настраиваемый код Настраиваемое действие активность пакетных заданий Azure Имя действия отличается, но поддерживает те же функции.
Dataflows Сопоставление потоков данных с использованием Spark Dataflow Gen2 поддерживает преобразования MDF (Mapping Поток данных) с выполнением на базе Spark. Преобразования MDF в настоящее время доступны в предварительной версии. Подходящие Фабрика данных Azure и Azure Synapse Analytics Mapping Data Flows можно перенести в MDF-трансформации в Dataflow Gen2, используя встроенный опыт миграции. Проверьте поддерживаемые коннекторы, трансформации, методы аутентификации и предварительные ограничения перед миграцией. Для неподдерживаемых сценариев переработайте процесс преобразования, используя Power Query в Dataflow Gen2, SQL Fabric Warehouse, записные книжки или другую возможность Fabric.
Наборы данных Отдельные объекты набора данных для повторного использования Свойства определяются в ходе выполнения действий При преобразовании из ADF в Fabric сведения о наборе данных содержатся в каждом действии.
Динамические подключения Свойства связанной службы могут быть динамическими с помощью параметров Свойства подключения не поддерживают динамические свойства, но действия конвейера могут использовать динамическое содержимое для объектов подключения Для решений на основе архитектуры на основе метаданных, использующих параметризованные подключения, параметризируйте объект подключения в Fabric.
глобальные параметры Глобальные параметры Библиотека переменных Fabric Существуют разные шаблоны внедрения и типы данных, хотя у нас есть руководство по обновлению.
Действия HDInsight Пять отдельных действий (Hive, Pig, MapReduce, Spark, Streaming) Одно действие HDInsight При преобразовании требуется только один тип действия, но поддерживаются все функциональные возможности.
Identity Управляемая идентичность Идентификация рабочего пространства Fabric Различные модели управления идентификацией, требуется подготовка для перехода.
Хранилище ключей Зрелая интеграция со всеми типами проверки подлинности Ограниченная интеграция с помощью Fabric Key Vault Reference Сравните в настоящее время поддерживаемые источники Key Vault и аутентификацию с существующими конфигурациями.
Выполнение конвейера Выполнение действия конвейера Вызов активности конвейера с типом подключения FabricDataPipeline Требования к имени действия и подключению изменяются при преобразовании.
Scheduling Один триггер для многих конвейеров или многих триггеров для каждого конвейера с централизованным управлением Одно расписание на конвейер или множество расписаний для каждого конвейера без повторного использования расписания или центрального концентратора В настоящее время для Fabric требуется управление расписанием для каждого конвейера.

Варианты обновления

Варианты обновления зависят от ваших ресурсов ADF и степени совпадения их функциональных возможностей. Возможные варианты:

Элементы Фабрики данных Azure в рабочей области Fabric

Добавьте существующий ADF в рабочее пространство Fabric, чтобы получить мгновенную видимость и управление при поэтапном обновлении. Этот подход идеально подходит для инвентаризации, назначения ответственных и параллельного тестирования, поскольку команды могут видеть конвейеры, организовывать их в рабочих областях Fabric и планировать переходы по каждому домену. Используйте элементы Фабрика данных Azure, чтобы каталогизировать существующие объекты, расставляя приоритеты для конвейеров с максимальной ценностью и минимальным риском, а также устанавливайте соглашения (правила именования, структуры папок, повторное использование подключений), которым могут следовать ваши скрипты преобразования и инструменты партнеров.

Подключение в Fabric выполняется с помощью типа элемента Фабрика данных Azure: Перенос Фабрика данных Azure в Fabric.

Обновление конвейеров Фабрика данных Azure с использованием встроенного опыта

Fabric предоставляет встроенный опыт обновления, ориентированный на оценку, который вы можете использовать для оценки и обновления конвейеров Фабрика данных Azure напрямую через пользовательский опыт Фабрика данных Azure и Fabric — без скриптов или кастомных инструментов. Этот интерфейс поможет вам:

  • Оценка готовности конвейера и операций непосредственно в Фабрика данных Azure.
  • Понимайте пробелы в совместимости перед обновлением.
  • Подключите Фабрика данных Azure к рабочей области Fabric для параллельной проверки.
  • Постепенно переносите поддерживаемые конвейеры в Fabric из подключенной фабрики данных.
  • Преобразуйте поддерживаемые потоки данных сопоставления в выбранных конвейерах в MDF-преобразования в Dataflow Gen2.
  • Планируйте устранение или переработку для элементов, требующих обновления, использующих неподдерживаемые возможности или которые скоро появятся.

Каждый пайплайн и каждое действие чётко классифицируются (Готово, Требуется проверка, Скоро будет доступно или Несовместимо), что помогает командам осознанно планировать обновления и проверять результаты перед переводом продуктивных нагрузок. Этот подход хорошо подходит для клиентов, желающих получить направленный, низкорисковый и постепенный путь обновления, при этом сохраняя видимость неподдерживаемых функций и следующих шагов. Пошаговые инструкции см. в статье об обновлении конвейеров Фабрика данных Azure до Fabric.

Встроенный процесс обновления также поддерживает подходящие конвейеры, содержащие Mapping Data Flows. Поддерживаемые потоки данных сопоставления обновляются до MDF-преобразований в Dataflow Gen2, сохраняя их логику трансформации и модель выполнения на основе Spark. Сейчас эта возможность доступна в предварительной версии. Для получения требований, ограничений и инструкций по обновлению см. раздел Upgrade Фабрика данных Azure Mapping Поток данных pipelines to Fabric.

Обновление вручную

Ручное обновление необходимо для сложных конвейеров с низким паритетом, но это также возможность модернизировать архитектуру и использовать интегрированные функции Fabric. Этот путь требует более предварительного планирования и разработки, но может дать долгосрочные преимущества в обслуживании, производительности и стоимости.

Для эффективного обновления следуйте следующим шагам:

  1. Оценка и инвентаризация: каталог всех активов ADF, включая конвейеры, наборы данных, связанные службы и среды выполнения интеграции. Определение зависимостей и шаблонов использования.
  2. Выявляйте дублирующиеся и неиспользованные элементы: очищайте неиспользованные или избыточные элементы в ADF для оптимизации обновления и интеграции данных.
  3. Выявляйте пробелы: используйте инструмент оценки конвейера и анализируйте паритет коннекторов и активности, чтобы выявить пробелы между вашими конвейерами ADF и Fabric и планируйте альтернативы.
  4. Ознакомьтесь с новыми функциями. Используйте руководство по принятию решений по перемещению данных и руководство по интеграции данных , чтобы решить, какие инструменты Fabric будут работать лучше всего для ваших потребностей.
  5. План: Ознакомьтесь с лучшими практиками обновления с учётом особенностей каждого вашего товара и рекомендациями по максимальному использованию улучшенных возможностей Fabric.
  6. Если вы используете глобальные параметры в ADF, планируйте обновить их до библиотек переменных Fabric. Подробные инструкции см. в статье "Преобразование глобальных параметров ADF в библиотеки переменных Fabric ".
  7. Переход с ADF: Рассмотрите добавление элемента Фабрика данных Azure в Microsoft Fabric в качестве первого шага при модернизации, обеспечив постепенный переход в рамках единой платформы.
  8. Расставьте приоритеты: Ранжуйте свои пайплайны по бизнес-воздействию, сложности и удобству обновления.
  9. Автоматизируйте там, где это возможно: используйте встроенный опыт обновления для постепенной оценки, обновления и проверки конвейеров перед перемещением производственных нагрузок. Дополнительные сведения см. в средстве обновления.
  10. Рассмотрите инструменты: Используйте эти инструменты, чтобы облегчить организацию досуга.
  11. Ручное обновление: Для сценариев, не поддерживаемых другими методами обновления, перестройте их в Fabric:
    1. Воссоздание подключений: настройте подключения в Fabric для замены связанных служб в ADF
    2. Повторное создание действий: Настройка действий в ваших конвейерах, замена неподдерживаемых действий альтернативами Fabric или использование действия Invoke в конвейере.
    3. Запланируйте и задайте триггеры: Воссоздайте расписания и триггеры событий в Fabric для сопоставления расписаний ADF
  12. Тщательно протестируйте: проверьте обновлённые конвейеры по ожидаемым результатам, эталонам производительности и требованиям к соответствию.

Примеры сценариев модернизации

Переход от ADF к Fabric может включать различные стратегии в зависимости от варианта использования. В этом разделе изложены распространённые пути и рекомендации по улучшению, которые помогут вам эффективно планировать.

Сценарий 1. Каналы и потоки данных ADF

Модернизируйте вашу ETL-среду, обновив конвейеры и потоки данных в Fabric. Планирование этих элементов:

  • Воссоздайте связанные сервисы как соединения Fabric или сопоставьте связанные сервисы с существующими соединениями Fabric в рамках встроенного процесса обновления.
  • Повторно создайте глобальные параметры в виде библиотек переменных.
  • Определите свойства набора данных непосредственно в действиях конвейера.
  • Замените SHIR (среды выполнения интеграции с локальным размещением) на OPDG (локальные шлюзы данных), а VNet IR — на шлюзы данных виртуальной сети.
  • Для подходящих конвейеров, содержащих Mapping Data Flows, используйте встроенную функцию обновления для обновления поддерживаемых Mapping Data Flows до MDF-преобразований в Dataflow Gen2.
  • Перед обновлением изучите ограничения преобразования MDF, поддерживаемые коннекторы, трансформации, методы аутентификации и требования к сети.
  • Для потоков данных сопоставления, использующих возможности, не поддерживаемые в текущей предварительной версии, исправьте неподдерживаемые компоненты или перепроектируйте преобразование, используя Power Query в Dataflow Gen2, Fabric Warehouse SQL, ноутбуки Spark или другую подходящую возможность Fabric.
  • Перестройте неподдерживаемые действия ADF с помощью альтернатив Fabric или действия конвейера Invoke. Неподдерживаемые действия включают:
    • Data Lake Analytics (U-SQL) — устаревшая служба Azure.
    • Действие проверки, которое можно перестроить с помощью Get Metadata, циклов конвейера и действий If.
    • Power Query полностью интегрирован в Fabric как потоки данных, где можно повторно использовать код M.
    • Активности Notebook, Jar и Python, которые можно заменить активностью Databricks в Fabric.
    • Активности Hive, Pig, MapReduce, Spark и Streaming, которые можно заменить на активность HDInsight в Fabric.

Для получения требований и пошаговых инструкций см. Обновление конвейеров Mapping Поток данных в Фабрика данных Azure до Fabric.

Например, ниже приведена страница конфигурации набора данных ADF с параметрами пути к файлу и сжатия:

Снимок экрана: страница конфигурации набора данных ADF.

И вот операция копирования для Data Factory в платформе Fabric, где сжатие и путь к файлам указаны непосредственно в операции:

Скриншот конфигурации сжатия для Fabric действие Copy.

Сценарий 2. ADF с CDC, SSIS и Airflow

Создайте заново CDC в виде элементов задания на копирование. Для Airflow скопируйте свои DAG в предложение Apache Airflow от Fabric. Выполните пакеты служб SSIS с помощью конвейеров ADF и вызовите их из Fabric.

Сценарий 3: Обновление конвейера с использованием встроенного опыта

Этот опыт, ориентированный на оценку, помогает оценить готовность, выявлять пробелы в совместимости и постепенно обновлять поддерживаемые конвейеры до Fabric Workspace — и всё это без скриптов.

Встроенная процедура обновления также поддерживает поддерживаемые конвейеры, содержащие Mapping Data Flows. Поддерживаемые потоки данных с отображением обновляются до MDF-преобразований в Dataflow Gen2, сохраняя их логику трансформации и модель выполнения на основе Spark. Сейчас эта возможность доступна в предварительной версии.

Дополнительные сведения можно найти здесь

Сценарий 4. Элементы ADF в рабочей области Fabric

Вы можете добавить целую фабрику ADF в рабочую область Fabric как интегрированный элемент. Это позволяет управлять фабриками данных ADF и объектами Fabric в одном интерфейсе. Пользовательский интерфейс ADF остается полностью доступным, позволяя отслеживать, управлять и изменять элементы фабрики ADF непосредственно из рабочей области Fabric. Однако выполнение конвейеров, действий и сред выполнения интеграции по-прежнему происходит в ваших ресурсах Azure.

Эта функция полезна для организаций, переходящих на Fabric, так как обеспечивает единый обзор ресурсов как ADF, так и Fabric, упрощая управление и планирование обновления.

Дополнительные сведения см. в разделе Перенос Фабрика данных Azure в среду Fabric.

Связанные материалы

  • Последнее обновление: