Комплексный сценарий фабрики данных: введение и архитектура

Это руководство поможет ускорить процесс оценки фабрики данных в Microsoft Fabric, предоставив шаги для полного сценария интеграции данных в течение одного часа. В конце этого руководства вы узнаете о ценности и ключевых возможностях Фабрики данных и узнаете, как выполнить общий комплексный сценарий интеграции данных.

Сценарий делится на введение и три модуля:

• Введение в руководство и причины использования Data Factory в Microsoft Fabric.
• Модуль 1. Создание конвейера с Data Factory для погружения необработанных данных из хранилища blob-объектов в таблицу данных уровня бронза в Data Lakehouse.
• Модуль 2. Преобразование данных с помощью потока данных в Фабрике данных для обработки необработанных данных из бронзовой таблицы и перемещения в таблицу золотого уровня данных в Data Lakehouse.
• Модуль 3. Завершите первое путешествие по интеграции данных и отправьте сообщение электронной почты, чтобы уведомить вас после завершения всех заданий и, наконец, настройте весь поток для выполнения по расписанию.

Почему фабрика данных в Microsoft Fabric?

Microsoft Fabric предоставляет единую платформу для всех аналитических потребностей предприятия. Он охватывает спектр аналитики, включая перемещение данных, озера данных, проектирование данных, интеграцию данных, обработку и анализ данных в режиме реального времени и бизнес-аналитику. В Fabric нет необходимости объединять разные службы от нескольких поставщиков. Вместо этого пользователи наслаждаются комплексным продуктом, который легко понять, создать, подключить и работать.

Фабрика данных в Fabric объединяет простоту использования Power Query с масштабом и мощностью фабрики данных Azure. Он объединяет лучший из обоих продуктов в единый опыт. Цель состоит в том, чтобы разработчики и граждане, и профессиональные разработчики данных имели правильные средства интеграции данных. Фабрика данных предоставляет возможности подготовки и преобразования данных с поддержкой ИИ и низкокодовые решения, преобразования в масштабе петабайт, а также сотни коннекторов для гибридного и мультиоблачного подключения.

Три ключевых компонента фабрики данных

• Прием данных: Действие копирования в конвейерах (или автономное задание копирования) позволяет перемещать данные в масштабе петабайтов из сотен источников данных в ваш Lakehouse для дальнейшей обработки.
• Преобразование и подготовка данных: Dataflow Gen2 предоставляет интерфейс с низким объемом кода для преобразования данных, предлагая более 300 различных трансформаций. Результаты преобразования можно загружать в несколько мест назначения, таких как базы данных Azure SQL, Lakehouse и многое другое.
• Сквозная автоматизация: Конвейеры данных обеспечивают оркестрацию действий, которые включают копирование, поток данных, действия с записными книжками и прочие. Действия в конвейере можно объединить в цепочку для последовательной работы, или они могут работать независимо друг от друга. Весь поток интеграции данных выполняется автоматически и может отслеживаться в одном месте.

Архитектура учебника

В течение следующих 50 минут вы узнаете обо всех трех ключевых функциях Фабрики данных при завершении комплексного сценария интеграции данных.

Сценарий делится на три модуля:

• Модуль 1. Создание потока обработки данных с использованием Data Factory для приема необработанных данных из хранилища Blob в таблицу уровня 'бронза' в слое данных Data Lakehouse.
• Модуль 2. Преобразование данных с помощью потока данных в Data Factory для обработки необработанных данных из бронзовой таблицы и переноса их в таблицу золотого уровня данных в Data Lakehouse.
• Модуль 3. Завершите первое путешествие по интеграции данных и отправьте сообщение электронной почты, чтобы уведомить вас после завершения всех заданий и, наконец, настройте весь поток для выполнения по расписанию.

Вы используете пример набора данных NYC-Taxi в качестве источника данных для учебного пособия. После завершения вы сможете получить аналитические сведения о ежедневных скидках на тарифы на такси за определенный период времени с помощью Фабрики данных в Microsoft Fabric.

Следующий шаг

Перейдите к следующему разделу, чтобы создать конвейер.

модуль 1. Создание конвейера с помощью фабрики данных