Поделиться через

Взаимодействие с форматом таблицы Delta Lake

  • Статья

В Microsoft Fabric формат таблицы Delta Lake является стандартным для аналитики. Delta Lake — это слой хранения с открытым исходным кодом, который обеспечивает транзакции ACID (атомарность, согласованность, изоляция, устойчивость) к большим данным и рабочим нагрузкам аналитики.

Все интерфейсы Fabric создают и используют таблицы Delta Lake, взаимодействие и унифицированный интерфейс продукта. Таблицы Delta Lake, созданные одним вычислительным ядром, например хранилищем данных Synapse или Synapse Spark, могут использоваться любым другим подсистемой, например Power BI. При приеме данных в Fabric Структура сохраняет ее в виде разностных таблиц по умолчанию. Вы можете легко интегрировать внешние данные, содержащие таблицы Delta Lake, с помощью сочетаний клавиш OneLake.

Функции Delta Lake и интерфейсы Fabric

Для обеспечения взаимодействия все возможности Fabric соответствуют возможностям Delta Lake и Fabric. Некоторые интерфейсы могут записывать только в таблицы Delta Lake, а другие могут читать из него.

  • Записи: хранилища данных, потоки событий и экспортированные семантические модели Power BI в OneLake
  • Читатели: конечная точка аналитики SQL и семантические модели прямого озера Power BI
  • Записи и читатели: среда выполнения Fabric Spark, потоки данных, конвейеры данных и базы данных язык запросов Kusto (KQL)

В следующей матрице показаны ключевые функции Delta Lake и их поддержка для каждой возможности Fabric.

Возможности Fabric Сопоставления столбцов на основе имен Векторы удаления Запись в порядке V Оптимизация таблиц и обслуживание Запись секций Чтение секций Возможности разностного средства чтения и записи и таблицы по умолчанию
Экспорт Delta Lake хранилища данных No Да Да Да No Да Читатель: 3
Писатель: 7
Векторы удаления
Конечная точка аналитики SQL No Да N/A (неприменимо) N/A (неприменимо) N/A (неприменимо) Да N/A (неприменимо)
Среда выполнения Spark Fabric 1.2 Да Да Да Да Да Да Читатель: 1
Писатель: 2
Среда выполнения Spark Fabric 1.1 Да No Да Да Да Да Читатель: 1
Писатель: 2
Потоки данных Да Да Да No Да Да Читатель: 1
Писатель: 2
Конвейеры данных No No Да Нет Да, перезапись только Да Читатель: 1
Писатель: 2
Семантические модели семантики озера Power BI Да Да N/A (неприменимо) N/A (неприменимо) N/A (неприменимо) Да N/A (неприменимо)
Экспорт семантических моделей Power BI в OneLake Да N/A (неприменимо) Да No Да N/A (неприменимо) Читатель: 2
Писатель: 5
Базы данных KQL Да Да No Нет* Да Да Читатель: 1
Писатель: 1
Потоки событий No No No No Да N/A (неприменимо) Читатель: 1
Писатель: 2

* Базы данных KQL предоставляют определенные возможности обслуживания таблиц, такие как хранение. Данные удаляются в конце периода хранения из OneLake. Дополнительные сведения см. в разделе "Одна логическая копия".

Примечание.

  • Структура по умолчанию не записывает сопоставления столбцов на основе имен. Интерфейс Fabric по умолчанию создает таблицы, совместимые со службой. Разностное озеро, созданное сторонними службами, может иметь несовместимые функции таблицы.
  • Некоторые интерфейсы Fabric не имеют унаследованных возможностей оптимизации таблиц и обслуживания, таких как bin-compaction, V-order, и очистка старых неотправляемых файлов. Чтобы обеспечить оптимальную настройку таблиц Delta Lake для аналитики, следуйте методам , описанным в разделе "Использование функции обслуживания таблиц" для управления разностными таблицами в Fabric для приема таблиц с помощью этих возможностей.

Текущие ограничения

В настоящее время Fabric не поддерживает следующие функции Delta Lake:

  • Сопоставление столбцов с помощью идентификаторов
  • Delta Lake 3.x Uniform
  • Delta Lake 3.x Liquid кластеризация
  • тип данных TIMESTAMP_NTZ
  • Записи столбцов удостоверений (собственная функция Databricks)
  • Delta Live Tables (собственная функция Databricks)

Связанный контент