документация по Инжиниринг данных в Microsoft Fabric

Проектирование данных в Microsoft Fabric позволяет пользователям разрабатывать, создавать и поддерживать инфраструктуру и системы, которые позволяют организациям собирать, хранить, обрабатывать и анализировать большие объемы данных.

О Инжиниринг данных

Общие сведения

• Что такое проектирование данных?
• Что такое lakehouse?
• Роли и разрешения рабочей области

Начало работы с Lakehouse

Начало работы

• Создание озера данных
• Навигация по обозревателе lakehouse

Практическое руководство

• Получение данных в Lakehouse с помощью записной книжки

Начало работы с записными книжками

Начало работы

• Записные книжки Microsoft Fabric

Практическое руководство

• Создание записных книжек и управление ими
• Изучение данных Lakehouse с помощью записной книжки
• Визуализация записных книжек
• Управление версиями и развертывание записных книжек
• Использование MSSparkUtils в записной книжке

API для GraphQL

Общие сведения

• Что такое API Fabric для GraphQL?

Начало работы

• Создание API для GraphQL и добавление данных

Практическое руководство

• Управление связями
• Подключение приложений
• Запрос нескольких источников данных

Delta Lake

Концепция

• Таблицы Lakehouse и Delta

Практическое руководство

• Оптимизация разностных данных и V-Order
• Загрузка в таблицы

Комплексное руководство по Lakehouse

Концепция

• Обзор сценария Lakehouse

Учебник

• Шаг 1. Создание рабочей области
• Шаг 2. Создание озера
• Шаг 3. Прием данных в Lakehouse
• Шаг 4. Преобразование данных в разностные таблицы
• Шаг 5. Создание отчета
• Шаг 6. Очистка ресурсов

Apache Spark

Концепция

• Определение задания Apache Spark
• Обзор мониторинга Spark
• Помощник по Apache Spark

Начало работы

• Создание определения задания Spark
• Создание определения задания Spark с помощью API Fabric
• Интеграция с определением задания Spark Git

Практическое руководство

• Планирование и запуск определения задания Spark
• Мониторинг приложения Spark
• Управление библиотеками Apache Spark
• Использование Fabric MSSparkUtils
• Настройка параметров емкости

Интеграция с VSCode

Практическое руководство

• Использование записных книжек из VS Code
• Использование записных книжек из VS Code с ресурсом
• Использование определений заданий Spark из VS Code
• Изучение lakehouse из VS Code
• Разработка записной книжки из веб-интерфейса VS Code

Начало работы с средой

Начало работы

• Среды Microsoft Fabric

Практическое руководство

• Управление вычислительными ресурсами Spark в средах
• Управление библиотеками в средах
• Интеграция и конвейер развертывания среды Git
• Управление средой с помощью общедоступных API
• Управление ресурсами в среде Fabric
• Перенос существующих библиотек рабочей области и свойств Spark в среду