Доступ к материализованным представлениям и потоковым таблицам с помощью внешних систем

По умолчанию материализованные представления и потоковые таблицы недоступны для доступа из внешних систем. Azure Databricks предоставляет две функции, которые позволяют сделать наборы данных доступными для клиентов Delta Lake или Iceberg:

  • Внешний доступ к данным — Возможность доступа к внешним данным для управляемых конвейером и автономных материализированных представлений и потоковых таблиц публикует метаданные, ориентированные на внешние, что позволяет клиентам использовать API Unity Catalog или Iceberg REST без необходимости полного копирования данных или отдельного графика обновления. Клиенты должны использовать API каталога REST и поддерживать либо Delta Lake 4.0.0 или выше, либо спецификацию Iceberg V3.

    Для подробностей о внешнем доступе к данным для управляемых конвейером и автономных материализированных представлений и потоковых таблиц см. раздел «Включить внешний доступ к таблицам потока и материализированным представлениям».

  • Режим совместимости (общедоступная предварительная версия) — включение режима совместимости для набора данных создает версию данных только для чтения в выбранном расположении, которая должна обновляться при обновлении таблиц. Версия совместимости включает метаданные версии 1 для форматов Delta Lake и Iceberg вместе с копией данных только для чтения, позволяя получить доступ к более широкому спектру клиентов (включая клиентов, которые должны читать данные таблицы напрямую, а не через API) за счет задержки при обновлении данных и затратах на копирование данных.

    Дополнительные сведения о режиме совместимости см. в разделе "Режим совместимости".

Если ваши внешние клиенты поддерживают REST API, Azure Databricks рекомендует использовать внешний доступ к данным для предоставления этим клиентам доступа к материализованным представлениям или потоковым таблицам. Для более широкого спектра клиентов, особенно старых клиентов и других управляемых таблиц каталога Unity, используйте режим совместимости.

Capability Доступ к внешним данным Режим совместимости
Копирование данных Копирование данных не требуется. Требуется копирование данных.
Согласованность Согласованность операций чтения после записи. Внешние клиенты видят изменения, как только они происходят в наборе данных. Обновления происходят по расписанию. По умолчанию таблица совместимости обновляется почасово. Это можно задать для обновления сразу после изменения исходной таблицы, но она по-прежнему задерживается временем копирования данных.
Доступ Требуется доступ к "современному" REST API. Поддерживает API каталога Delta версии 4.0.0 и выше или API спецификации Iceberg v3 при условии поддержки векторов удаления. Совместимо со всеми клиентами Delta Lake или Iceberg.
Объект одной таблицы Материализованные представления и потоковые таблицы отображаются как управляемые таблицы с тем же именем, что и исходный набор данных для внешних клиентов. Таблицы совместимости отображаются как новая таблица в новом расположении для внешних клиентов.
Поддержка типа таблицы Поддерживает материализованные представления и таблицы потоков, управляемые конвейером Lakeflow или созданные как отдельные объекты. Поддерживает материализованные представления и потоковые таблицы, как управляемые конвейером Lakeflow, так и автономные, а также любые другие управляемые таблицы Unity Catalog.
Cost Стоимость обслуживания внешних метаданных является частью стоимости обновления для материализованного представления или потоковой таблицы. Обычно это менее 1% затрат и времени обновления. Большинство затрат на режим совместимости — это стоимость передачи устаревших данных в новое расположение.

Дополнительные ресурсы

  • Last updated on