Таблицы Lakehouse и Delta Lake

  • Статья

Microsoft Fabric Lakehouse — это платформа архитектуры данных для хранения, управления и анализа структурированных и неструктурированных данных в одном расположении. Чтобы обеспечить простой доступ к данным во всех вычислительных модулях в Microsoft Fabric, Delta Lake выбирается в качестве единого формата таблицы.

Сохранение данных в Lakehouse с помощью таких возможностей, как загрузка в таблицы или методы, описанные в разделе "Параметры" для получения данных в Fabric Lakehouse, все данные сохраняются в разностном формате.

Дополнительные сведения о формате таблицы Delta Lake см. по ссылкам в разделе "Дальнейшие действия".

Большие данные, Apache Spark и устаревшие форматы таблиц

Среда выполнения Microsoft Fabric для Apache Spark использует ту же основу, что и среда выполнения Azure Synapse Analytics для Apache Spark, но содержат ключевые различия, чтобы обеспечить более упрощенное поведение во всех ядрах в службе Microsoft Fabric. В Microsoft Fabric ключевые функции производительности включены по умолчанию. Расширенные пользователи Apache Spark могут отменить изменения конфигурации с предыдущими значениями, чтобы лучше соответствовать конкретным сценариям.

Microsoft Fabric Lakehouse и подсистема Apache Spark поддерживают все типы таблиц, управляемые и неуправляемые; сюда входят представления и обычные форматы таблиц Hive, отличные от Delta. Таблицы, определенные с помощью PARQUET, CSV, AVRO, JSON и любого совместимого формата файлов Apache Hive, работают должным образом.

Интерфейс пользовательского интерфейса обозревателя Lakehouse зависит от типа таблицы. В настоящее время обозреватель Lakehouse отображает только объекты таблицы.

Различия в конфигурации с Azure Synapse Analytics

В следующей таблице содержатся различия конфигурации между Azure Synapse Analytics и средой выполнения Microsoft Fabric для Apache Spark.

Конфигурация Apache Spark Значение Microsoft Fabric Значение Azure Synapse Analytics Примечания.
spark.sql.sources.default delta parquet Формат таблицы по умолчанию
spark.sql.parquet.vorder.enabled true Н/П Модуль записи V-Order
spark.sql.parquet.vorder.dictionaryPageSize 2 ГБ Н/П Ограничение размера страницы словаря для V-Order
spark.microsoft.delta.optimizeWrite.enabled true unset (false) Оптимизация записи

Автоматическое обнаружение таблиц

Обозреватель Lakehouse предоставляет дерево, как представление объектов в элементе Microsoft Fabric Lakehouse. Он имеет ключевую возможность обнаружения и отображения таблиц, описанных в репозитории метаданных и в хранилище OneLake. Ссылки на таблицы отображаются в Tables разделе пользовательского интерфейса Обозревателя Lakehouse. Автоматическое обнаружение также применяется к таблицам, определенным по сочетаниям клавиш OneLake.

Таблицы по сочетаниям клавиш

Microsoft Fabric Lakehouse поддерживает таблицы, определенные по сочетаниям клавиш OneLake, чтобы обеспечить максимальную совместимость и отсутствие перемещения данных. В следующей таблице приведены рекомендации по сценарию для каждого типа элемента при использовании сочетаний клавиш.

Назначение ярлыка Где создать ярлык Рекомендация
Таблица Delta Lake Раздел Tables Если в назначении присутствует несколько таблиц, создайте один ярлык для каждой таблицы.
Папки с файлами Раздел Files Используйте Apache Spark для использования назначения непосредственно с помощью относительных путей. Загрузите данные в собственные таблицы Delta Lakehouse для максимальной производительности.
Устаревшие таблицы Apache Hive Раздел Files Используйте Apache Spark для использования назначения непосредственно с помощью относительных путей или создания ссылки на каталог метаданных с помощью CREATE EXTERNAL TABLE синтаксиса. Загрузите данные в собственные таблицы Delta Lakehouse для максимальной производительности.

Загрузка в таблицы

Microsoft Fabric Lakehouse предоставляет удобный и продуктивный пользовательский интерфейс для упрощения загрузки данных в таблицы Delta. Функция "Загрузка в таблицы" позволяет визуальным элементам загружать общие форматы файлов в Delta, чтобы повысить производительность аналитических данных для всех пользователей. Дополнительные сведения о функции загрузки в таблицы см. в справочной документации по Lakehouse Load to Tables .

Оптимизация таблицы Delta Lake

Сохранение таблиц в форме для широкого область сценариев аналитики не является незначительным подвигом. Microsoft Fabric Lakehouse pro-active позволяет использовать важные параметры для минимизации распространенных проблем, связанных с таблицами больших данных, такими как сжатие и небольшие размеры файлов, а также для повышения производительности запросов. Тем не менее, существует множество сценариев, в которых эти параметры нуждаются в изменениях. В статье по оптимизации таблиц Delta Lake и V-Order рассматриваются некоторые ключевые сценарии и подробное руководство по эффективному обслуживанию таблиц Delta для обеспечения максимальной производительности.

Связанный контент