Комплексный сценарий фабрики данных: введение и архитектура
Это руководство поможет ускорить процесс оценки фабрики данных в Microsoft Fabric, предоставив пошаговые инструкции по полному сценарию интеграции данных в течение одного часа. К концу этого руководства вы узнаете о ценности и ключевых возможностях Фабрики данных и узнаете, как выполнить общий сценарий комплексной интеграции данных.
Важно!
Microsoft Fabric в настоящее время находится на этапе предварительной версии. Эти сведения относятся к предварительной версии продукта, который может быть существенно изменен перед выпуском. Корпорация Майкрософт не дает никаких гарантий, явных или подразумеваемых, в отношении предоставленной здесь информации. См. документацию по Фабрика данных Azure для службы в Azure.
Обзор. Зачем нужна фабрика данных в Microsoft Fabric?
Этот раздел поможет вам понять роль Структуры в целом и роль Фабрики данных в ней.
Общие сведения о ценности Microsoft Fabric
Microsoft Fabric предоставляет единый магазин для всех аналитических потребностей для каждого предприятия. Он охватывает полный спектр служб, включая перемещение данных, озеро данных, инжиниринг данных, интеграцию данных и обработку данных, аналитику в режиме реального времени и бизнес-аналитику. При использовании Fabric нет необходимости склеивать разные службы от нескольких поставщиков. Вместо этого ваши пользователи пользуются комплексным, высокоинтегрированным, единым и комплексным продуктом, который легко понять, подключить, создать и использовать.
Общие сведения о ценности Фабрики данных в Microsoft Fabric
Фабрика данных в Fabric сочетает простоту использования Power Query с масштабом и энергопотреблением Фабрика данных Azure. Он объединяет лучшее из обоих продуктов в единое взаимодействие. Цель состоит в том, чтобы убедиться, что Интеграция данных в фабрике хорошо работает как для разработчиков данных для граждан, так и для профессиональных разработчиков данных. Она обеспечивает подготовку и преобразование данных с поддержкой ИИ с низким уровнем кода, преобразование в петабайтовом масштабе, сотни соединителей с гибридным многооблачными подключениями. Purview обеспечивает управление, а также функции службы корпоративного уровня данных и операций, CI/CD, управление жизненным циклом приложений и мониторинг.
Введение. Основные сведения о трех ключевых компонентах фабрики данных
- Прием данных. Действие Copy в конвейерах позволяет перемещать данные в петабайтовом масштабе из сотен источников данных в Data Lakehouse для дальнейшей обработки.
- Преобразование и подготовка данных. Потоки данных 2-го поколения предоставляют интерфейс с низким уровнем кода для преобразования данных с помощью более 300 преобразований данных с возможностью загрузки преобразованных результатов в несколько назначений, таких как базы данных Azure SQL, Lakehouse и многое другое.
- Сквозная автоматизация потока интеграции. Конвейеры обеспечивают оркестрацию действий , включая действия копирования, потока данных, записной книжки и т. д. Это позволяет управлять всеми действиями в одном месте. Действия в конвейере можно объединить в цепочку для последовательной работы, или они могут работать независимо друг от друга в параллельном режиме.
В этом варианте использования комплексной интеграции данных вы узнаете:
- Прием данных с помощью действия копирования в конвейере
- Преобразование данных с помощью потока данных без кода или путем написания собственного кода для обработки данных с помощью действия скрипта или записной книжки
- Как автоматизировать весь поток комплексной интеграции данных с помощью конвейера с триггерами и действиями гибкого потока управления.
Архитектура
В течение следующих 50 минут вам будет поручено выполнить комплексный сценарий интеграции данных. Сюда входит прием необработанных данных из исходного хранилища в таблицу Bronze lakehouse, обработка всех данных, перемещение их в таблицу Gold данных Lakehouse, отправка сообщения электронной почты с уведомлением после завершения всех заданий и, наконец, настройка всего потока для выполнения по расписанию.
Сценарий состоит из трех модулей:
- Модуль 1. Создание конвейера с помощью фабрики данных для приема необработанных данных из хранилища BLOB-объектов в таблицу Bronze в data Lakehouse.
- Модуль 2. Преобразование данных с помощью потока данных в Фабрике данных для обработки необработанных данных из таблицы Bronze и их перемещения в таблицу Gold в Data Lakehouse.
- Модуль 3. Завершите первый путь интеграции данных , чтобы отправить сообщение электронной почты с уведомлением после завершения всех заданий и, наконец, настроить весь поток для запуска по расписанию.
Вы используете пример набора данных NYC-Taxi в качестве источника данных для руководства. По завершении вы сможете получить представление о ежедневных скидках на тарифы на такси за определенный период времени с помощью Фабрики данных в Microsoft Fabric.
Дальнейшие действия
В этом кратком руководстве по первой интеграции данных с помощью Фабрики данных в Microsoft Fabric вы узнали:
- Значение и роль Microsoft Fabric
- Значение и роль Фабрики данных в Fabric
- Ключевые компоненты Фабрики данных
- Что вы узнаете в этом руководстве
Перейдите к следующему разделу, чтобы создать конвейер данных.