Таблицы и представления в Azure Databricks

Таблицы, представления, материализованные представления и потоковые таблицы являются основными объектами данных для проектирования данных в Azure Databricks, каждый из которых имеет различные функции хранения и обновления.

Стол

Таблица — это структурированный набор данных, хранящийся в определенном расположении. Тип таблицы по умолчанию, созданный в Azure Databricks, — это управляемая таблица каталога Unity. Таблицы можно запрашивать и манипулировать с помощью команд SQL или API DataFrame, поддерживающих операции, такие как INSERT, UPDATE, DELETE, и MERGE INTO. См. таблицы Azure Databricks

Просмотреть

Представление — это виртуальная таблица, определяемая запросом, который не хранит данные и может представлять данные из одной или нескольких таблиц в определенном формате или абстракции. Представления полезны для упрощения сложных запросов, инкапсулирования бизнес-логики и обеспечения согласованного интерфейса базовых данных без дедупликации хранилища. См. Что такое вид?

Материализованное представление

Как и в представлении, материализованное представление определяется запросом. Однако, в отличие от представления, материализованное представление предварительно компютерирует и сохраняет результат запроса. Запросы могут выполняться быстрее на материализованных представлениях, чем на обычных представлениях, но требуют дополнительного пространства для хранения. Вы можете использовать Databricks SQL для создания и обновления автономного материализованного представления или использования конвейеров Lakeflow для создания и обновления одного или нескольких материализованных представлений, потоковых таблиц и представлений. См. раздел "Использование автономных материализованных представлений" и "Материализованные представления".

Потоковая таблица

Потоковая таблица — это тип управляемой таблицы в каталоге Unity, который включает обработку с помощью потоков для ее определения. С помощью Databricks SQL можно создавать и обновлять отдельную потоковую таблицу или использовать конвейеры Lakeflow для создания и обновления одной или нескольких потоковых таблиц, материализованных представлений и представлений. См. Использование автономных потоковых таблиц и Потоковые таблицы.

Материализованное представление и потоковая таблица

Материализованные представления и таблицы потоковой передачи являются двумя общими объектами данных, используемыми для проектирования данных. Материализованные представления используют пакетную семантику, а потоковые таблицы используют потоковую семантику. Сравнение между пакетной и потоковой обработкой, а также рекомендации по выбору этих способов для рабочих процессов обработки данных, см. в статье "Пакетная и потоковая обработка данных в Azure Databricks".