Что такое проектирование данных в Microsoft Fabric?

Проектирование данных в Microsoft Fabric позволяет пользователям разрабатывать, создавать и поддерживать инфраструктуру и системы, которые позволяют организациям собирать, хранить, обрабатывать и анализировать большие объемы данных.

Microsoft Fabric предоставляет различные возможности проектирования данных, чтобы обеспечить доступность данных, хорошо организованную и высококачественную. Чтобы получить доступ к домашней странице инженерии данных, выберите Рабочие нагрузки в области навигации, а затем щелкните плитку Инженерия данных. На главной странице инженерии данных можно:

• Создание данных и управление ими с помощью lakehouse

• Проектирование конвейеров для копирования данных в lakehouse

• Использование определений заданий Spark для отправки задания пакетной или потоковой передачи в кластер Spark

• Использование записных книжек для записи кода для приема данных, подготовки и преобразования

  

Лейкхаус

Lakehouse — это архитектуры данных, которые позволяют организациям хранить структурированные и неструктурированные данные в одном расположении, используя различные инструменты и платформы для обработки и анализа данных. Эти средства и платформы могут включать запросы и аналитику на основе SQL, а также машинное обучение и другие методы расширенной аналитики.

Определение задания Apache Spark

Определения заданий Spark — это набор инструкций, определяющих выполнение задания в кластере Spark. Она содержит такие сведения, как источники входных и выходных данных, преобразования и параметры конфигурации для приложения Spark. Определение задания Spark позволяет отправлять пакетное или потоковое задание в кластер Spark, применять другую логику преобразования к данным, размещенным в lakehouse, вместе со многими другими вещами.

Записная книжка

Записные книжки — это интерактивная среда вычислений, которая позволяет пользователям создавать и совместно использовать документы, содержащие динамический код, уравнения, визуализации и текст повествования. Они позволяют пользователям писать и выполнять код на различных языках программирования, включая Python, R и Scala. Записные книжки можно использовать для приема данных, подготовки, анализа и других задач, связанных с данными.

Pipeline

Конвейеры — это ряд шагов, которые могут собирать, обрабатывать и преобразовывать данные из необработанной формы в формат, который можно использовать для анализа и принятия решений. Они являются критически важным компонентом проектирования данных, так как они предоставляют способ перемещения данных из источника в его назначение в надежный, масштабируемый и эффективный способ.

Вы можете использовать инженерию данных в Microsoft Fabric бесплатно при регистрации для пробной версии Fabric. Вы также можете приобрести емкость Microsoft Fabric или зарезервированную емкость Fabric.

Связанное содержимое

Начало работы с инженерией данных:

• Дополнительные сведения об озерных домах см. в статье Что такое озерный дом в Microsoft Fabric?
• Чтобы начать работу с lakehouse, см. статью Создание lakehouse в Microsoft Fabric.
• Дополнительные сведения об определениях заданий Apache Spark см. в статье Что такое определение задания Apache Spark?
• Сведения о начале работы с определением задания Apache Spark см. в статье Создание определения задания Apache Spark в Fabric.
• Дополнительные сведения о записных книжках см. в статье Создание и выполнение записной книжки.
• Для начала работы с действием копирования в рамках конвейера, см. статью Копирование данных с помощью действия копирования.