Требования к автономным конвейерам

Для создания и обновления автономных материализованных представлений и потоковых таблиц требуется рабочая область с поддержкой бессерверных вычислений и Unity Catalog, а также либо хранилище SQL, либо ноутбук в бессерверной среде вычислений общего назначения.

Вы можете создавать и обновлять автономные материализованные представления и потоковые таблицы с помощью хранилища SQL. Чтобы отправить инструкции CREATE и REFRESH, используйте редактор SQL в пользовательском интерфейсе Azure Databricks, API SQL Databricks SQL CLI или API SQL Databricks SQL.

Вы также можете создавать и обновлять независимые материализованные представления и потоковые таблицы в записной книжке, выполняемой в бессерверной среде General Compute (Beta). См. записные книжки.

Общие требования

Следующие требования применяются ко всем автономным конвейерам.

Вам следует иметь:

Разрешения для создания или обновления

Владелец (пользователь, создающий таблицу), должен иметь следующие разрешения:

  • SELECT привилегии в базовых таблицах.
  • USE CATALOG и USE SCHEMA права доступа для каталога и схемы, содержащих исходные таблицы.
  • USE CATALOG и USE SCHEMA привилегии в целевом каталоге и схеме.
  • CREATE MATERIALIZED VIEW привилегии на схему, содержащую материализованное представление.
  • CREATE TABLE привилегия на схему, содержащую потоковую таблицу. Конвейеры, использующие устаревший режим публикации, также требуют наличия привилегии CREATE TABLE для материализованных представлений.

Чтобы обновить автономное материализованное представление или потоковую таблицу:

  • Вы должны находиться в рабочей области, в которой это было создано.
  • У вас должны быть права REFRESH на таблицу. Владельцы имеют эту привилегию неявно.

Требования к исходной таблице

Для инкрементного обновления материализованных представлений из таблиц Delta в исходных таблицах должно быть включено отслеживание строк.

Хранилища SQL

Чтобы создавать или обновлять автономные материализованные представления и потоковые таблицы с помощью хранилища SQL, необходимо иметь хранилище SQL уровня Pro или Serverless с поддержкой Unity Catalog.

  • Рабочая область должна находиться в регионе, поддерживающем бессерверные хранилища SQL.

Notebooks

Вы можете создавать и обновлять автономные материализованные представления и потоковые таблицы из записной книжки с бессерверными общими вычислениями.

Бессерверные общие вычисления

Important

Создание и обновление автономных материализованных представлений и потоковых таблиц из ноутбука в бессерверной среде вычислений общего назначения доступны в режиме Beta. Эта функция доступна во всех регионах, где поддерживаются бессерверные вычисления. См. раздел "Региональная доступность".

Вы можете создавать и обновлять автономные материализованные представления и потоковые таблицы из записной книжки, подключенной к бессерверным общим вычислениям. Этот вариант полезен, если нужно определять и запускать материализованные представления или потоковые таблицы вместе с другими рабочими процессами на базе ноутбуков без развертывания SQL-хранилища.

Сведения о том, как создавать и обновлять автономные материализованные представления и потоковые таблицы с помощью Python в блокноте, см. в статье Использование Python с автономными конвейерами.

Бессерверные общие требования к вычислительным ресурсам

  • Записная книжка, подключенная к бессерверным общим вычислениям.
  • Databricks Runtime 18.1 или более поздней версии. Интерактивные блокноты автоматически удовлетворяют этому требованию; задания, закреплённые за более старой версией, — нет.
  • Ваше рабочее пространство должно находиться в регионе, поддерживающем бессерверные вычисления.

Ограничения

  • Только владелец таблицы может обновить таблицу. Чтобы разрешить другому пользователю обновляться, измените владельца. См. Изменение владельца потоковой таблицы и изменение владельца материализованного представления.
  • Асинхронные обновления не поддерживаются. Вместо этого используйте синхронное обновление.
  • Канал предварительной версии не поддерживается. Таблицы, созданные на бессерверных общих вычислительных ресурсах, используют current канал.
  • Таблицу можно обновить только с помощью созданного типа вычислений. Таблица, созданная в хранилище SQL, должна обновляться в хранилище SQL, а таблица, созданная на бессерверных общих вычислительных ресурсах, должна обновляться на бессерверных общих вычислениях. Чтобы проверить тип вычислений, просмотрите таблицу в обозревателе каталогов.
  • Распределение затрат и контроль недоступны. Используйте SQL-хранилище, если вам нужно распределение затрат по таблицам.
  • Вертикальное автоматическое масштабирование при ошибках вне памяти недоступно.
  • Повторные попытки обновления схемы недоступны.
  • Выбор режима производительности при обновлении недоступен. См. раздел "Выбор режима производительности" для запланированных обновлений.

Note

В блокноте с бессерверными вычислениями общего назначения вы можете выполнять инструкции CREATE и REFRESH с помощью spark.sql или определить таблицу в Python с помощью декораторов pipelines. См. Использование Python с автономными конвейерами.

Требования к запросу

Чтобы запросить отдельное материализованное представление или потоковую таблицу, вы должны быть владельцем или иметь SELECT для таблицы, а также USE CATALOG и USE SCHEMA для её родительских объектов.

Необходимо использовать один из следующих вычислительных ресурсов:

  • Хранилище SQL
  • Интерфейсы конвейеров Lakeflow
  • Вычисление в стандартном режиме доступа (прежнее название — режим общего доступа)
  • Вычисление выделенного режима доступа (прежнее название — режим доступа с одним пользователем) в Databricks Runtime 15.4 или более поздней версии, если рабочая область включена для бессерверных вычислений. См. тонкое управление доступом на выделенных вычислительных ресурсах. Если вы являетесь владельцем, вы можете использовать вычислительный ресурс в режиме выделенного доступа с Databricks Runtime 14.3 или более поздней версии.

Для потоковых таблиц в Databricks Runtime 15.3 и более ранних версий можно использовать выделенные вычислительные ресурсы для выполнения запросов к потоковой таблице только в том случае, если вы являетесь её владельцем. Databricks Runtime версии 15.4 LTS и более поздние поддерживают выполнение запросов к таблицам, созданным конвейером, на выделенных вычислительных ресурсах, даже если вы не являетесь их владельцем. Вы можете взимать плату за бессерверные вычислительные ресурсы при использовании выделенных вычислений для выполнения операций фильтрации данных. См. тонкое управление доступом на выделенных вычислительных ресурсах.

Региональная доступность

Таблицы, созданные и обновленные с помощью хранилища SQL Databricks, доступны во всех регионах, поддерживающих бессерверные хранилища SQL Databricks.

Создание и обновление независимых материализованных представлений и потоковых таблиц на бессерверных вычислительных ресурсах общего назначения доступно во всех регионах, где поддерживаются бессерверные вычисления.

Список поддерживаемых регионов для обоих вариантов вычислений см. в разделе "Бессерверная доступность".

  • Last updated on