Таблицы Azure Databricks

Azure Databricks предоставляет несколько типов таблиц и форматов хранилища для удовлетворения различных потребностей управления данными. В этом разделе рассматриваются управляемые, внешние и внешние таблицы, а также форматы хранилища Delta Lake и Apache Iceberg, которые поддерживают расширенные функции, такие как атомарность, согласованность, изоляция и устойчивость (ACID) и перемещение времени.

Основные понятия

Ознакомьтесь с основами интеграции типов таблиц, форматов хранения и каталога Unity.

Тема	Description
Основные понятия таблиц	Основные понятия и основные сведения о типах таблиц, форматах хранения и интеграции каталога Unity.

Типы таблиц

Изучите различные типы таблиц и их возможности для различных сценариев управления данными.

Тип таблицы	Description
Управляемые таблицы	Таблицы, в которых Azure Databricks управляет метаданными и файлами данных. Рекомендуется для новых таблиц с оптимизированной производительностью и хранилищем.
внешние таблицы	Таблицы, ссылающиеся на данные, хранящиеся во внешних системах хранения, при управлении метаданными в каталоге Unity.
Внешние таблицы	Таблицы только для чтения, представляющие данные во внешних системах, подключенных через Федерацию Lakehouse.

Форматы хранилища

Работа с открытыми форматами таблиц, предоставляющими расширенные возможности управления данными.

Формат	Description
Delta Lake	Формат хранилища по умолчанию, предоставляющий транзакции ACID, перемещение по времени и принудительное применение схемы для управляемых и внешних таблиц.
Apache Iceberg	Открытый формат таблицы для интеграции с экосистемой Айсберга, поддерживающий расширенное управление метаданными.

Управление таблицами

Настройте и оптимизируйте поведение таблицы, структуру и производительность.

Функция	Description
Ограничения таблиц	Определите и примените правила качества данных с ограничениями проверки, а не ограничениями NULL.
Принудительное применение схемы	Управление тем, как Azure Databricks обрабатывает изменения схемы и применение типов данных во время записи.
Секционирование таблиц	Упорядочение данных по ключам секции для повышения производительности запросов и управления данными.
Мониторинг размера таблицы	Мониторинг и анализ шаблонов использования и роста хранилища таблиц.
Преобразование внешних в управляемый	Перенос внешних таблиц в управляемые таблицы для повышения производительности и управления.
Обнаружение внешних секций	Автоматическое обнаружение и регистрация секций во внешних таблицах, хранящихся в облачном хранилище.