Ағылшын тілінде оқу

Бөлісу құралы:

Таблицы Lakehouse и Delta Lake

  • Мақала

Microsoft Fabric Lakehouse — это платформа архитектуры данных для хранения, управления и анализа структурированных и неструктурированных данных в одном расположении. Чтобы обеспечить простой доступ к данным во всех вычислительных модулях в Microsoft Fabric, Delta Lake выбирается в качестве единого формата таблицы.

Сохранение данных в Lakehouse с помощью таких возможностей, как загрузка в таблицы или методы, описанные в разделе «Опции для загрузки данных в Fabric Lakehouse», все данные сохраняются в Delta формате.

Дополнительные сведения о формате таблицы Delta Lake см. по ссылкам в разделе "Дальнейшие действия".

Большие данные, Apache Spark и устаревшие форматы таблиц

Среда выполнения Microsoft Fabric для Apache Spark использует ту же основу, что и среда выполнения Azure Synapse Analytics для Apache Spark, но содержит ключевые различия для обеспечения более упрощенного поведения во всех механизмах в службе Microsoft Fabric. В Microsoft Fabric ключевые функции производительности включены по умолчанию. Расширенные пользователи Apache Spark могут вернуть конфигурации к предыдущим значениям, чтобы лучше соответствовать конкретным сценариям.

Microsoft Fabric Lakehouse и подсистема Apache Spark поддерживают все типы таблиц, управляемые и неуправляемые; сюда входят представления и обычные форматы таблиц Hive, отличные от Delta. Таблицы, определенные с помощью PARQUET, CSV, AVRO, JSON и любого совместимого формата файлов Apache Hive, работают должным образом.

Интерфейс пользовательского интерфейса обозревателя Lakehouse зависит от типа таблицы. В настоящее время обозреватель Lakehouse отображает только объекты таблицы.

Различия в конфигурации с Azure Synapse Analytics

В следующей таблице содержатся различия конфигурации между Azure Synapse Analytics и средой выполнения Microsoft Fabric для Apache Spark.

Конфигурация Apache Spark Значение Microsoft Fabric Значение Azure Synapse Analytics Примечания.
spark.sql.sources.default дельта паркет Формат таблицы по умолчанию
spark.sql.parquet.vorder.default true Н/П Записывающее устройство V-Order
spark.sql.parquet.vorder.dictionaryPageSize 2 ГБ Н/П Ограничение размера страницы словаря для V-Order
spark.databricks.delta.optimizeWrite.enabled true unset (false) Оптимизация записи

Автоматическое обнаружение таблиц

Обозреватель Lakehouse предоставляет древовидное представление объектов в элементе Microsoft Fabric Lakehouse. Он имеет ключевую возможность обнаружения и отображения таблиц, описанных в репозитории метаданных и в хранилище OneLake. Ссылки на таблицы отображаются в Tables разделе пользовательского интерфейса Обозревателя Lakehouse. Автоматическое обнаружение также применяется к таблицам, определенным по сочетаниям клавиш OneLake.

Таблицы для сочетаний клавиш

Microsoft Fabric Lakehouse поддерживает таблицы, определенные по сочетаниям клавиш OneLake, чтобы обеспечить максимальную совместимость и отсутствие перемещения данных. В следующей таблице приведены рекомендации по сценарию для каждого типа элемента при использовании сочетаний клавиш.

Назначение ссылки Где можно создать ярлык Лучшие практики
Таблица Delta Lake Раздел Tables Если в назначении присутствует несколько таблиц, создайте один ярлык для каждой таблицы.
Папки с файлами Раздел Files Используйте Apache Spark для работы с местом назначения напрямую, используя относительные пути. Загрузите данные в собственные таблицы Delta Lakehouse для максимальной производительности.
Устаревшие таблицы Apache Hive Раздел Files Используйте Apache Spark для доступа к месту назначения непосредственно через относительные пути или создайте ссылку на каталог метаданных с помощью синтаксиса CREATE EXTERNAL TABLE. Загрузите данные в собственные таблицы Delta Lakehouse для максимальной производительности.

Загрузка в таблицы

Microsoft Fabric Lakehouse предоставляет удобный и продуктивный пользовательский интерфейс для упрощения загрузки данных в таблицы Delta. Функция "Загрузка в таблицы" позволяет визуальным элементам загружать общие форматы файлов в Delta, чтобы повысить производительность аналитических данных для всех пользователей. Чтобы более подробно ознакомиться с функцией загрузки в таблицы, прочитайте справочную документацию по Lakehouse Load to Tables.

Оптимизация таблицы Delta Lake

Поддержание таблиц в надлежащем состоянии для разнообразных аналитических сценариев — это нелегкая задача. Microsoft Fabric Lakehouse pro-active позволяет использовать важные параметры для минимизации распространенных проблем, связанных с таблицами больших данных, такими как сжатие и небольшие размеры файлов, а также для повышения производительности запросов. Тем не менее, существует множество сценариев, в которых эти параметры нуждаются в изменениях. В статье по оптимизации таблиц Delta Lake и V-Order рассматриваются некоторые ключевые сценарии и подробное руководство по эффективному обслуживанию таблиц Delta для обеспечения максимальной производительности.

Связанный контент