Поделиться через

Что такое lakehouse в Microsoft Fabric?

  • Статья

Microsoft Fabric Lakehouse — это платформа архитектуры данных для хранения, управления и анализа структурированных и неструктурированных данных в одном расположении. Это гибкое и масштабируемое решение, позволяющее организациям обрабатывать большие объемы данных с помощью различных средств и платформ для обработки и анализа этих данных. Он интегрируется с другими средствами управления данными и аналитики, чтобы обеспечить комплексное решение для проектирования и аналитики данных.

Gif of overall lakehouse experience.

Конечная точка аналитики SQL Lakehouse

Lakehouse создает уровень обслуживания, автоматически создав конечную точку аналитики SQL и семантику по умолчанию во время создания. Эта новая функция просмотра позволяет пользователю работать непосредственно над таблицами Delta в озере, чтобы обеспечить бесперебойный и быстрый интерфейс от приема данных до создания отчетов.

Важно отметить, что конечная точка аналитики SQL — это интерфейс только для чтения и не поддерживает полную область поверхности T-SQL хранилища транзакций.

Примечание.

В конечной точке аналитики SQL доступны только таблицы в разностном формате. Запросы к Parquet, CSV и другим форматам нельзя запрашивать с помощью конечной точки аналитики SQL. Если таблица не отображается, необходимо преобразовать ее в разностный формат.

Автоматическое обнаружение и регистрация таблиц

Автоматическое обнаружение и регистрация таблиц — это функция Lakehouse, которая предоставляет полностью управляемый файл для работы с инженерами данных и специалистами по обработке и анализу данных. Вы можете удалить файл в управляемую область Lakehouse, а система автоматически проверяет его для поддерживаемых структурированных форматов и регистрирует его в хранилище метаданных с необходимыми метаданными, такими как имена столбцов, форматы, сжатие и многое другое. (В настоящее время единственным поддерживаемым форматом является таблица Delta.) Затем можно ссылаться на файл в виде таблицы и использовать синтаксис SparkSQL для взаимодействия с данными.

Взаимодействие с элементом Lakehouse

Инженер по обработке данных может взаимодействовать с lakehouse и данными в лейкхаусе несколькими способами:

  • Обозреватель Lakehouse: Обозреватель является главной страницей взаимодействия Lakehouse. Вы можете загрузить данные в Lakehouse, изучить данные в Lakehouse с помощью обозревателя объектов, задать метки MIP и другие вещи. Узнайте больше о интерфейсе обозревателя: перейдите к обозревателе Fabric Lakehouse.

  • Записные книжки. Инженеры данных могут использовать записную книжку для записи кода для чтения, преобразования и записи непосредственно в Lakehouse в виде таблиц и (или) папок. Дополнительные сведения об использовании записных книжек для Lakehouse: изучите данные в lakehouse с помощью записной книжки и как использовать записную книжку для загрузки данных в lakehouse.

  • Конвейеры: инженеры данных могут использовать такие средства интеграции данных, как средство копирования конвейера, чтобы извлечь данные из других источников и приземлиться в Lakehouse. Дополнительные сведения об использовании действия копирования: копирование данных с помощью действия копирования.

  • Определения заданий Apache Spark. Инженеры данных могут разрабатывать надежные приложения и управлять выполнением скомпилированных заданий Spark в Java, Scala и Python. Дополнительные сведения о заданиях Spark: что такое определение задания Apache Spark?

  • Потоки данных 2-го поколения: инженеры данных могут использовать потоки данных 2-го поколения для приема и подготовки данных. Дополнительные сведения о загрузке данных с помощью потоков данных: создание первого потока данных для получения и преобразования данных.

Узнайте больше о различных способах загрузки данных в lakehouse: параметры для получения данных в Fabric Lakehouse.

Многозадачность с lakehouse

В многозадачном интерфейсе представлена структура вкладки браузера, которая позволяет открывать и переключаться между несколькими элементами, позволяя эффективно управлять хранилищем озера данных, чем когда-либо. Больше нет переключения между различными окнами или потерей отслеживания ваших задач. Lakehouse предоставляет расширенный многозадающий интерфейс, чтобы сделать процесс управления данными максимально эффективным и понятным для пользователей с помощью следующих возможностей:

  • Сохранение выполняемых операций. Вы можете отправить или запустить операцию загрузки данных на одной вкладке и проверка на другой задаче на другой вкладке. При использовании расширенной многофакторной обработки выполняемые операции не отменяются при переходе между вкладками. Вы можете сосредоточиться на работе без прерываний.

  • Сохраните контекст: выбранные объекты, таблицы данных или файлы остаются открытыми и легко доступными при переключении между вкладками. Контекст озера данных всегда находится под рукой.

  • Перезагрузить неблокирующий список: неблокирующий механизм перезагрузки для файлов и списков таблиц. Вы можете продолжать работать, пока список обновляется в фоновом режиме. Это гарантирует, что у вас есть последние данные, предоставляя вам непрерывный и непрерывный интерфейс.

  • Четко определенные уведомления: всплывающие уведомления указывают, из какого озера они приходят, что упрощает отслеживание изменений и обновлений в среде с несколькими задачами.

Доступный дизайн lakehouse

Специальные возможности всегда были главным приоритетом, чтобы Обеспечить инклюзивность и удобство использования Lakehouse для всех пользователей. Ниже приведены ключевые инициативы, которые мы реализовали до сих пор для поддержки специальных возможностей:

  • Совместимость средства чтения с экрана: вы можете легко работать с популярными средствами чтения с экрана, что позволяет пользователям с нарушениями зрения эффективно перемещаться и взаимодействовать с нашей платформой.

  • Текст переполняет адаптивный дизайн, который адаптируется к разным размерам экрана и ориентациям. Динамический поток текста и содержимого позволяет пользователям легко просматривать и взаимодействовать с нашим приложением на различных устройствах.

  • Навигация по клавиатуре: улучшенная навигация с помощью клавиатуры, позволяющая пользователям перемещаться по озеру, не опираясь на мышь, повышая удобство работы для тех, кто с ограниченными возможностями двигателя.

  • Альтернативный текст для изображений: все изображения теперь включают описательный замещающий текст, что позволяет средствам чтения с экрана передавать значимые сведения.

  • Поля форм и метки: все поля формы имеют связанные метки, упрощая ввод данных для всех, включая тех, кто использует средства чтения с экрана.

Связанный контент

В этом обзоре вы получите базовое представление о лейкхаусе. Перейдите к следующей статье, чтобы узнать, как создать и использовать собственный lakehouse: