Таблицы Lakehouse и Delta Lake
Microsoft Fabric Lakehouse — это платформа архитектуры данных для хранения, управления и анализа структурированных и неструктурированных данных в одном расположении. Чтобы обеспечить простой доступ к данным во всех вычислительных модулях в Microsoft Fabric, Delta Lake выбирается в качестве единого формата таблицы.
Сохранение данных в Lakehouse с помощью таких возможностей, как загрузка в таблицы или методы, описанные в разделе "Параметры" для получения данных в Fabric Lakehouse, все данные сохраняются в разностном формате.
Дополнительные сведения о формате таблицы Delta Lake см. по ссылкам в разделе "Дальнейшие действия".
Большие данные, Apache Spark и устаревшие форматы таблиц
Среда выполнения Microsoft Fabric для Apache Spark использует ту же основу, что и среда выполнения Azure Synapse Analytics для Apache Spark, но содержат ключевые различия, чтобы обеспечить более упрощенное поведение во всех ядрах в службе Microsoft Fabric. В Microsoft Fabric ключевые функции производительности включены по умолчанию. Расширенные пользователи Apache Spark могут вернуть конфигурации к предыдущим значениям, чтобы лучше соответствовать конкретным сценариям.
Microsoft Fabric Lakehouse и подсистема Apache Spark поддерживают все типы таблиц, управляемые и неуправляемые; сюда входят представления и обычные форматы таблиц Hive, отличные от Delta. Таблицы, определенные с помощью PARQUET, CSV, AVRO, JSON и любого совместимого формата файлов Apache Hive, работают должным образом.
Интерфейс пользовательского интерфейса обозревателя Lakehouse зависит от типа таблицы. В настоящее время обозреватель Lakehouse отображает только объекты таблицы.
Различия в конфигурации с Azure Synapse Analytics
В следующей таблице содержатся различия конфигурации между Azure Synapse Analytics и средой выполнения Microsoft Fabric для Apache Spark.
| Конфигурация Apache Spark | Значение Microsoft Fabric | Значение Azure Synapse Analytics | Примечания. |
|---|---|---|---|
| spark.sql.sources.default | delta | parquet | Формат таблицы по умолчанию |
| spark.sql.parquet.vorder.enabled | true | Н/П | Модуль записи V-Order |
| spark.sql.parquet.vorder.dictionaryPageSize | 2 ГБ | Н/П | Ограничение размера страницы словаря для V-Order |
| spark.microsoft.delta.optimizeWrite.enabled | true | unset (false) | Оптимизация записи |
Автоматическое обнаружение таблиц
Обозреватель Lakehouse предоставляет дерево, как представление объектов в элементе Microsoft Fabric Lakehouse. Он имеет ключевую возможность обнаружения и отображения таблиц, описанных в репозитории метаданных и в хранилище OneLake. Ссылки на таблицы отображаются в Tables разделе пользовательского интерфейса Обозревателя Lakehouse. Автоматическое обнаружение также применяется к таблицам, определенным по сочетаниям клавиш OneLake.
Таблицы по сочетаниям клавиш
Microsoft Fabric Lakehouse поддерживает таблицы, определенные по сочетаниям клавиш OneLake, чтобы обеспечить максимальную совместимость и отсутствие перемещения данных. В следующей таблице приведены рекомендации по сценарию для каждого типа элемента при использовании сочетаний клавиш.
| Назначение ярлыка | Где создать ярлык | Рекомендация |
|---|---|---|
| Таблица Delta Lake | Раздел Tables |
Если в назначении присутствует несколько таблиц, создайте один ярлык для каждой таблицы. |
| Папки с файлами | Раздел Files |
Используйте Apache Spark для использования назначения непосредственно с помощью относительных путей. Загрузите данные в собственные таблицы Delta Lakehouse для максимальной производительности. |
| Устаревшие таблицы Apache Hive | Раздел Files |
Используйте Apache Spark для использования назначения непосредственно с помощью относительных путей или создания ссылки на каталог метаданных с помощью CREATE EXTERNAL TABLE синтаксиса. Загрузите данные в собственные таблицы Delta Lakehouse для максимальной производительности. |
Загрузка в таблицы
Microsoft Fabric Lakehouse предоставляет удобный и продуктивный пользовательский интерфейс для упрощения загрузки данных в таблицы Delta. Функция "Загрузка в таблицы" позволяет визуальным элементам загружать общие форматы файлов в Delta, чтобы повысить производительность аналитических данных для всех пользователей. Дополнительные сведения о функции загрузки в таблицы см. в справочной документации по Lakehouse Load to Tables .
Оптимизация таблицы Delta Lake
Сохранение таблиц в форме для широкой области сценариев аналитики не является незначительным подвигом. Microsoft Fabric Lakehouse pro-active позволяет использовать важные параметры для минимизации распространенных проблем, связанных с таблицами больших данных, такими как сжатие и небольшие размеры файлов, а также для повышения производительности запросов. Тем не менее, существует множество сценариев, в которых эти параметры нуждаются в изменениях. В статье по оптимизации таблиц Delta Lake и V-Order рассматриваются некоторые ключевые сценарии и подробное руководство по эффективному обслуживанию таблиц Delta для обеспечения максимальной производительности.