Документация по инженерии данных Fabric

Проектирование данных Fabric позволяет пользователям разрабатывать, создавать и поддерживать инфраструктуру и системы, которые позволяют организациям собирать, хранить, обрабатывать и анализировать большие объемы данных.

Инженерия данных

Обзор

• Что такое Инжиниринг данных?
• Что такое lakehouse?

Концепция

• Таблицы Lakehouse и Delta
• Роли и разрешения рабочей области
• Выбор хранилища данных

Практическое руководство

• Оптимизация дельта-изменений и V-Order
• Загрузка в таблицы

Начало работы с Lakehouse

Начало работы

• Создание озера-хранилища
• Навигация в обозревателе Lakehouse

Практическое руководство

• Загрузка данных в озерохранилище, используя блокнот

Учебник

• Шаг 1. Создание рабочей области
• Шаг 2. Создание озера
• Шаг 3. Прием данных в Lakehouse
• Шаг 4. Преобразование данных в разностные таблицы
• Шаг 5. Создание семантической модели и создание отчета
• Шаг 6. Очистка ресурсов

Начало работы с записными книжками

Начало работы

• Создание и использование записных книжек

Практическое руководство

• Разработка и запуск блокнотов
• Изучение данных Lakehouse с помощью записной книжки
• Визуализация записных книжек
• Управление версиями и развертывание ноутбуков
• Создание и запуск записных книжек T-SQL

Запрос с помощью API для GraphQL

Обзор

• Что такое API Fabric для GraphQL?

Начало работы

• Создание API для GraphQL и добавление данных

Практическое руководство

• Управление связями
• Подключение к приложениям
• Запрос нескольких источников данных
• Конвейеры управления версиями GraphQL и развертывания
• Панель мониторинга и логирование (предварительная версия)

Интеграция с VSCode

Концепция

• Что такое расширение VS Code для инженерии данных?

Практическое руководство

• Использование записных книжек из VS Code
• Использование образа контейнера из VS Code
• Использование определений заданий Spark из VS Code
• Исследуйте платформу lakehouse в VS Code
• Разработка записной книжки из веб-интерфейса VS Code

Apache Spark для проектирования данных

Концепция

• Определение задания Apache Spark
• Что такое помощник Apache Spark?

Начало работы

• Создание определения задания Spark
• Создание определения задания Spark с помощью API Fabric
• Интеграция Git с определением задания Spark

Практическое руководство

• Планирование и запуск определения задания Spark
• Управление библиотеками Apache Spark
• Как использовать Fabric MSSparkUtils

Начало работы с средой

Начало работы

• Инфраструктурные среды

Практическое руководство

• Управление вычислительными ресурсами Spark в средах
• Управление библиотеками в средах
• Интеграция и конвейер развертывания среды Git
• Управление средой с помощью общедоступных API
• Управление библиотеками с ограниченным доступом к сети в Fabric

Fabric Livy API

Обзор

• Что такое API Livy?

Начало работы

• Создание и запуск заданий Spark с помощью API Livy
• Отправка заданий для сеансов API Livy
• Отправка пакетных заданий API Livy

Оптимизация с материализованными представлениями озера

Обзор

• Что такое материализованные представления озера?

Начало работы

• Начало работы с материализованными представлениями озера
• Реализация архитектуры медальона с материализованными представлениями озера
• Управление материализованными представлениями озера