Таблицы и представления в Azure Databricks

В этой статье представлен обзор таблиц, представлений, потоковых таблиц и материализованных представлений в Azure Databricks.

Стол

Таблица — это структурированный набор данных, хранящийся в определенном расположении. Тип таблицы по умолчанию, созданный в Azure Databricks, — это управляемая таблица каталога Unity. Таблицы можно запрашивать и манипулировать с помощью команд SQL или API DataFrame, поддерживающих операции, такие как INSERT, UPDATE, DELETE, и MERGE INTO. См. таблицы Azure Databricks

Просмотреть

Представление — это виртуальная таблица, определяемая запросом, который не хранит данные и может представлять данные из одной или нескольких таблиц в определенном формате или абстракции. Представления полезны для упрощения сложных запросов, инкапсулирования бизнес-логики и обеспечения согласованного интерфейса базовых данных без дедупликации хранилища. См. Что такое вид?

Материализованное представление

Как и в представлении, материализованное представление определяется запросом. Однако, в отличие от представления, материализованное представление предварительно компютерирует и сохраняет результат запроса. Запросы могут выполняться быстрее на материализованных представлениях, чем на обычных представлениях, но требуют дополнительного пространства для хранения. С помощью Databricks SQL можно создавать и обновлять автономное материализованное представление или использовать декларативные конвейеры Lakeflow Spark для создания и обновления одного или нескольких материализованных представлений, потоковых таблиц и представлений. См. "Использование материализованных представлений в Databricks SQL" и Материализованные представления.

Потоковая таблица

Потоковая таблица — это тип управляемой таблицы в каталоге Unity, который включает обработку с помощью потоков для ее определения. С помощью Databricks SQL можно создавать и обновлять автономную потоковую таблицу или использовать декларативные конвейеры Lakeflow Spark для создания и обновления одной или нескольких потоковых таблиц, материализованных представлений и обычных представлений. См. «Использование потоковых таблиц в Databricks SQL» и «Потоковые таблицы».

Материализованное представление и потоковая таблица

Материализованные представления и таблицы потоковой передачи являются двумя общими объектами данных, используемыми для проектирования данных. Материализованные представления используют пакетную семантику, а потоковые таблицы используют потоковую семантику. Сравнение между пакетной и потоковой обработкой, а также рекомендации по выбору этих способов для рабочих процессов обработки данных, см. в статье "Пакетная и потоковая обработка данных в Azure Databricks".