документация по Инжиниринг данных в Microsoft Fabric

Проектирование данных в Microsoft Fabric позволяет пользователям разрабатывать, создавать и поддерживать инфраструктуру и системы, которые позволяют организациям собирать, хранить, обрабатывать и анализировать большие объемы данных.

О Инжиниринг данных

Обзор

• Что такое проектирование данных?
• Что такое lakehouse?

Концепция

• Таблицы Lakehouse и Delta
• Роли и разрешения рабочей области
• Выбор хранилища данных

Практическое руководство

• Оптимизация разностных данных и V-Order
• Загрузка в таблицы

Начало работы с Lakehouse

Начало работы

• Создание озера данных
• Навигация по обозревателе lakehouse

Практическое руководство

• Получение данных в Lakehouse с помощью записной книжки

Учебник

• Шаг 1. Создание рабочей области
• Шаг 2. Создание озера
• Шаг 3. Прием данных в Lakehouse
• Шаг 4. Преобразование данных в разностные таблицы
• Шаг 5. Создание отчета
• Шаг 6. Очистка ресурсов

Начало работы с записными книжками

Начало работы

• Создание и использование записных книжек

Практическое руководство

• Разработка и запуск записных книжек
• Изучение данных Lakehouse с помощью записной книжки
• Визуализация записных книжек
• Управление версиями и развертывание записных книжек
• Создание и запуск записных книжек T-SQL

Запрос с помощью API для GraphQL

Обзор

• Что такое API Fabric для GraphQL?

Начало работы

• Создание API для GraphQL и добавление данных

Практическое руководство

• Управление связями
• Подключение к приложениям
• Запрос нескольких источников данных
• Конвейеры управления версиями GraphQL и развертывания
• Мониторинг панели мониторинга и ведение журнала (предварительная версия)

Интеграция с VSCode

Концепция

• Что такое расширение VS Code для инженерии данных?

Практическое руководство

• Использование записных книжек из VS Code
• Использование образа контейнера из VS Code
• Использование определений заданий Spark из VS Code
• Изучение lakehouse из VS Code
• Разработка записной книжки из веб-интерфейса VS Code

Apache Spark для проектирования данных

Концепция

• Определение задания Apache Spark
• Что такое помощник Apache Spark?

Начало работы

• Создание определения задания Spark
• Создание определения задания Spark с помощью API Fabric
• Интеграция с определением задания Spark Git

Практическое руководство

• Планирование и запуск определения задания Spark
• Управление библиотеками Apache Spark
• Использование Fabric MSSparkUtils

Начало работы с средой

Начало работы

• Среды Microsoft Fabric

Практическое руководство

• Управление вычислительными ресурсами Spark в средах
• Управление библиотеками в средах
• Интеграция и конвейер развертывания среды Git
• Управление средой с помощью общедоступных API
• Управление библиотеками в среде, защищенной защитой исходящего доступа

Fabric Livy API

Обзор

• Что такое API Livy?

Начало работы

• Создание и запуск заданий Spark с помощью API Livy
• Отправка заданий сеанса API Livy
• Отправка пакетных заданий API Livy

Оптимизация с помощью представления "Материализованное озеро"

Обзор

• Что такое материализованные представления озера?

Начало работы

• Начало работы с материализованными представлениями озера
• Реализация архитектуры Medallion с материализованными представлениями озера
• Управление материализованными представлениями озера