Миграция на фабрику данных в Microsoft Fabric
Фабрика данных в Microsoft Fabric объединяет Power Query и Фабрика данных Azure в современный интерфейс интеграции надежных данных, который позволяет специалистам по данным и бизнес-специалистам извлекать, загружать и преобразовывать данные для своей организации. Кроме того, мощные возможности оркестрации данных позволяют создавать простые сложные рабочие процессы данных, которые оркеструет шаги, необходимые для интеграции данных.
Основные понятия фабрики данных в Microsoft Fabric
Получение данных и преобразование. Поток данных 2-го поколения — это эволюция потоков данных в Power BI. Поток данных 2-го поколения перезагружается для использования вычислительных модулей Fabric для обработки и преобразования данных. Это позволяет им получать и преобразовывать данные в любом масштабе.
Оркестрация данных. Использование конвейеров данных, уже знакомых пользователям Фабрика данных Azure (ADF), Microsoft Fabric обеспечивает те же возможности оркестрации, которые предлагаются в ADF. В рамках выпуска ОБЩЕДОСТУПНОй версии Fabric конвейеры данных поддерживают большую часть действий, доступных в ADF.
См. этот список действий, которые являются частью конвейеров данных в Fabric.
Перемещение данных, готовое к работе предприятия. Независимо от того, является ли это небольшим перемещением данных или масштабируемым петабайтом, фабрика данных обеспечивает бессерверную и интеллектуальную платформу перемещения данных, которая позволяет надежно перемещать данные между различными источниками данных и назначениями данных. С поддержкой 170+ соединителей Фабрика данных в Microsoft Fabric позволяет перемещать данные между несколькими облаками, источниками данных в локальной среде и в виртуальных сетях (виртуальная сеть). Интеллектуальная оптимизация пропускной способности позволяет платформе перемещения данных автоматически обнаруживать размер вычислительных ресурсов, необходимых для перемещения данных.
Миграция из Фабрика данных Azure (ADF)
Чтобы клиенты могли обновляться до Microsoft Fabric с Фабрика данных Azure (ADF), мы поддерживаем следующие функции:
Действия конвейера данных. Мы поддерживаем большую часть действий, которые уже используются в ADF для фабрики данных в Fabric. Кроме того, мы добавили новые действия для уведомлений, например действия Teams и Outlook. См. этот список действий, доступных в Фабрике данных в Fabric.
Соединитель OneLake/Lakehouse в Фабрика данных Azure — для многих клиентов ADF теперь можно интегрировать с Microsoft Fabric и перенести данные в Fabric OneLake.
Фабрика данных Azure сопоставление потока данных с Fabric . Мы предоставляем это руководство для клиентов ADF, рассматривая создание новых преобразований данных в Fabric.
Кроме того, для клиентов, рассматривающих перенос потоков данных ADF в Fabric, можно применить пример кода из группы консультантов по клиентам Fabric (CAT) для преобразования потоков данных сопоставления в код Spark. Узнайте больше о сопоставлениях потоков данных с Microsoft Fabric.
В рамках стратегии создания фабрики данных в Microsoft Fabric мы работаем над предварительным просмотром следующих компонентов в Q2 CY2024:
- Подключение ADF в Fabric — эта функция позволит клиентам подключать существующий ADF в Microsoft Fabric. Все конвейеры ADF будут работать как есть и продолжать работать в Azure, позволяя изучить Fabric и разработать более комплексный план обновления.
- Обновление конвейеров ADF до Fabric — мы работаем с клиентами и сообществом, чтобы узнать, как лучше всего поддерживать обновления конвейеров данных из ADF в Fabric. В рамках этого мы предоставим возможности обновления, которые позволяют протестировать существующие конвейеры данных в Fabric с помощью подключения и обновления конвейеров данных.
Перенос потока данных Power BI 1-го поколения в поток данных 2-го поколения в Fabric
Поток данных 2-го поколения в Fabric предоставляет множество преимуществ и новых возможностей по сравнению с потоками данных (1-го поколения) в Power BI:
- Высокомасштабируемые данные получения (быстрое копирование)
- Преобразования высокомасштабируемых данных (с помощью подсистемы SQL Fabric Lakehouse)
- Дополнительные назначения выходных данных: база данных SQL Azure, Lakehouse, хранилище, SharePoint, базы данных KQL и многое другое
- Расширенный журнал обновлений и мониторинг
- Расширенные возможности разработки и публикации.
Мы рекомендуем клиентам начать пробовать поток данных 2-го поколения, чтобы повторно создать существующие сценарии потока данных 1-го поколения или попробовать новые. Ранние отзывы о потоке данных 2-го поколения помогут нам развивать и зрелые возможности продукта.
У клиентов есть несколько вариантов повторного создания потоков данных 1-го поколения в качестве потока данных 2-го поколения:
- Экспорт запросов потока данных 1-го поколения и их импорт в Dataflow 2-го поколения: теперь можно экспортировать запросы как в потоках данных, так и в интерфейсе разработки потока данных 2-го поколения и сохранять их в PQT-файлы, которые затем можно импортировать в Dataflow 2-го поколения. Дополнительные сведения см. в разделе "Использование функции шаблона экспорта".
- Скопируйте и вставьте в Power Query: если у вас есть поток данных в Power BI или Power Apps, вы можете скопировать запросы и вставить их в интерфейс редактирования артефакта потока данных 2-го поколения. Эта функция позволяет перенести поток данных в 2-е поколение, не перезаписывая запросы. Дополнительные сведения см. в разделе"Копирование и вставка существующих запросов потоков данных(1-го поколения").
Дополнительные сведения см. в следующей статье. Различия между потоком данных 1-го поколения и 2-го поколения