Реализация архитектуры медальона с материализованными представлениями озера

В этом руководстве описано, как реализовать медальонную архитектуру, используя материализованные представления озера в Fabric lakehouse. В результате вы создаете автоматизированный поток преобразования данных из бронзового слоя в серебряный и далее в золотые слои. Это учебное пособие не является эталонной архитектурой, исчерпывающим руководством по функциям или рекомендацией по лучшим практикам.

Предпосылки

Прежде чем начать, выполните следующие предварительные требования:

1. Войдите в учетную запись Power BI или зарегистрируйтесь для пробной версии, если у вас нет.
2. Включите Microsoft Fabric в клиенте.
3. Создайте рабочую область с функцией Fabric.
4. Создайте Lakehouse с включенными схемами и назовите ее SalesLakehouse.

Эти предварительные требования применяются на протяжении всего этого руководства: рабочая область и SalesLakehouse необходимы на этапах работы с бронзовыми, серебряными и золотыми уровнями, а также при планировании и мониторинге.

Обзор сценария

В этом руководстве используется вымышленная розничная организация Contoso в качестве примера сценария. Компания Contoso упорядочивает данные о продажах в архитектуре медальона для улучшения результатов аналитики путем разделения данных на бронзовые (необработанные), серебряные (очищенные и обогащенные) и золотые (агрегированные и проанализированные) слои.

На следующей схеме представлены различные сущности в каждом слое архитектуры медальона в SalesLakehouse:

Ключевые сущности в сценарии

Следующие сущности соответствуют сущностям, показанным на схеме архитектуры медальона в предыдущем разделе.

• Заказы: эта сущность содержит сведения о каждом заказе клиента, например дата заказа, сведения о доставке, категория продукта и подкатегории. Аналитические сведения можно использовать для оптимизации стратегий доставки, выявления популярных категорий продуктов и улучшения управления заказами.

• Продажи: анализируя данные о продажах, Компания Contoso может оценивать ключевые метрики, такие как общий доход, маржа прибыли, приоритеты заказов и скидки. Корреляции между этими факторами обеспечивают более четкое понимание поведения покупки клиентов и эффективность стратегий скидок.

• Расположение: это фиксирует географическое измерение продаж и заказов, включая города, штаты, регионы и сегменты клиентов. Она помогает Компании Contoso определять высокопроизводительные регионы, решать низкопроизводительные области и персонализировать стратегии для конкретных сегментов клиентов.

• Агент: с подробными сведениями об управлении транзакциями, их комиссиями и данными о продажах Компания Contoso может оценить производительность отдельных агентов, повысить производительность лучших исполнителей и разработать эффективные структуры комиссии.

• Комиссии агентов: включение данных комиссии обеспечивает прозрачность и обеспечивает более эффективное управление затратами. Понимание корреляции между ставками комиссии и производительностью агента помогает уточнить системы стимулов.

Примеры данных и блокнотов

В этом руководстве используется пример набора данных из репозитория примеров Fabric. Перед продолжением скачайте полную tutorial папку.

Эти ресурсы используются для создания бронзового слоя сначала, а затем создания серебряных и золотых материализованных озерных представлений.

Скачаемая tutorial папка содержит следующее:

• Папки CSV: agent, , agent_commissionslocation, ordersи sales.
• Файл записной книжки: Notebook.

Создайте поток данных медальона

В этом разделе описано, как создать бронзовые, серебряные и золотые слои для архитектуры медальона в SalesLakehouse. Эти слои определяют поток данных на основе происхождения для материализованных представлений озера.

Ниже приведены шаги высокого уровня.

1. Бронзовый слой: прием необработанных данных в виде CSV-файлов в lakehouse. См. Создание бронзового уровня медальной архитектуры для аналитики продаж.
2. Уровни Silver и Gold: очистка и обработка данных для аналитики и отчетности с использованием материализованных представлений хранилища. См. статью "Создание серебряных и золотых слоев архитектуры медальона".

Далее в этом руководстве вы запланируете обновление для этой линейки, чтобы поток выполнялся автоматически.

Создание бронзового слоя медальной архитектуры анализа продаж

В этом разделе описано, как создать бронзовый слой, отправив содержимое скачаемой tutorial папки в SalesLakehouse. Эти файлы соответствуют сущностям, описанным ранее в этом руководстве.

1. В рабочей области откройте SalesLakehouse и перейдите в раздел "Файлы ".

2. Отправьте содержимое скачавшейся tutorial папки, сохранив структуру папок:

   • agent
   • agent_commissions
   • location
   • orders
   • sales

   После загрузки в разделе Файлы создается папка с именем tutorial, которая содержит эти вложенные папки.

3. Затем создайте ярлык на него из раздела Таблицы. Выберите ... рядом с разделом "Таблицы " и выберите "Создать ярлык схемы ", а затем Microsoft OneLake. Выберите SalesLakehouse из типов источников данных. Разверните раздел "Файлы" и выберите папку учебника и нажмите кнопку "Создать". Вы также можете использовать другие альтернативные варианты для получения данных в Lakehouse.

   

4. В разделе "Таблицы" переименуйте папку учебника как бронзовую.

Создание серебряных и золотых слоев архитектуры медальона

1. Из загруженной tutorial папки загрузите Notebook файл в ваше рабочее пространство.

   

2. Откройте отправленную записную книжку из SalesLakehouse. Дополнительные сведения см. в статье "Изучение данных Lakehouse с помощью записной книжки".

3. Запустите все ячейки записной книжки с помощью Spark SQL для создания материализованных представлений озера с ограничениями качества данных.

4. После успешного выполнения всех ячеек обновите SalesLakehouse, чтобы просмотреть новые материализованные представления озера в схемах серебра и золота.

   

Запланировать обновление

1. В SalesLakehouse откройте вкладку Материализованные представления и выберите Управление для открытия линейности.

   В представлении происхождения показан автогенерируемый граф зависимостей, где каждое зависимое материализованное озерное представление отображается как узел.

   

2. Выберите "Расписание " на ленте и выберите "Создать расписание " в области расписаний.

3. Включите расписание, укажите имя и выберите материализованные представления озера для обновления.

4. Задайте частоту расписания и нажмите кнопку "Применить".

5. Чтобы сразу же запустить расписание, нажмите кнопку "Запустить " в созданном расписании.

   

Мониторинг и устранение неполадок

1. На вкладке "Последние запуски" просмотрите состояния выполнения.

2. Выберите идентификатор запуска , чтобы открыть сведения для этого запуска.

   

3. На вкладке сведений о выполнении просмотрите правую панель сведений, а также нижнюю панель действий, чтобы проверить состояние выполнения.

4. Выберите материализованный узел представления озера в строке, чтобы просмотреть сведения о выполнении, его путь ABFS и ссылку на подробные журналы.

5. Если состояние узла сбой, просмотрите отображаемое сообщение об ошибке.

   

6. Выберите подробные журналы , чтобы открыть Центр мониторинга и просмотреть журналы ошибок Spark.

   

7. Перейдите на вкладку "Отчет о качестве данных " представлений "Материализованное озеро", чтобы создать или просмотреть автоматически созданный отчет о качестве данных.

Связанный контент

• Обзор представлений озера в материализованном виде в Microsoft Fabric
• Справочник по SQL Spark для материализованных представлений озера