Требования к автономным конвейерам

Для создания и обновления автономных материализованных представлений и потоковых таблиц требуется рабочая область с поддержкой бессерверных вычислений и Unity Catalog, а также либо хранилище SQL, либо ноутбук в бессерверной среде вычислений общего назначения.

Вы можете создавать и обновлять автономные материализованные представления и потоковые таблицы с помощью хранилища SQL. Чтобы отправить инструкции CREATE и REFRESH, используйте редактор SQL в пользовательском интерфейсе Azure Databricks, API SQL Databricks SQL CLI или API SQL Databricks SQL.

Вы также можете создавать и обновлять автономные материализованные представления и потоковые таблицы из ноутбука, запущенного в бессерверной среде общего назначения. См. записные книжки.

Requirements

Следующие требования применяются ко всем автономным конвейерам.

Вам следует иметь:

Права на создание или обновление

Владелец (пользователь, создающий таблицу), должен иметь следующие разрешения:

  • SELECT привилегия на базовые таблицы.
  • USE CATALOG и USE SCHEMA привилегии для каталога и схемы, содержащих исходные таблицы.
  • USE CATALOG а USE SCHEMA также привилегии в целевых каталоге и схеме.
  • CREATE MATERIALIZED VIEW привилегия на схему, содержащую материализованный вид.
  • CREATE TABLE привилегия на схеме, содержащей таблицу потоков. Конвейеры, использующие устаревший режим публикации, также требуют наличия привилегии CREATE TABLE для материализованных представлений.

Чтобы обновить автономное материализованное представление или потоковую таблицу:

  • Вы должны находиться в рабочей области, в которой это было создано.
  • У вас должны быть права REFRESH на таблицу. Владельцы имеют эту привилегию неявно.

Требования к исходной таблице

Для инкрементного обновления материализованных представлений из таблиц Delta в исходных таблицах должно быть включено отслеживание строк.

Хранилища SQL

Для создания или обновления автономных материализованных представлений с помощью SQL-хранилища необходимо иметь SQL-хранилище Pro или бессерверное SQL-хранилище с поддержкой Unity Catalog. Для создания или обновления автономных потоковых таблиц можно использовать любое SQL-хранилище с Unity Catalog, включая классическое SQL-хранилище. См. типы хранилищ SQL.

  • Рабочая область должна находиться в регионе, поддерживающем бессерверные хранилища SQL.

Notebooks

Вы можете создавать и обновлять автономные материализованные представления и потоковые таблицы из записной книжки с бессерверными общими вычислениями.

Бессерверные общие вычисления

Вы можете создавать и обновлять автономные материализованные представления и потоковые таблицы из записной книжки, подключенной к бессерверным общим вычислениям. Этот вариант полезен, если нужно определять и запускать материализованные представления или потоковые таблицы вместе с другими рабочими процессами на базе ноутбуков без развертывания SQL-хранилища.

Сведения о том, как создавать и обновлять автономные материализованные представления и потоковые таблицы с помощью Python в блокноте, см. в статье Использование Python с автономными конвейерами.

Общие требования к вычислениям без сервера

  • Записная книжка, подключенная к бессерверным общим вычислениям.
  • Databricks Runtime 18.1 или более поздней версии. Интерактивные блокноты автоматически удовлетворяют этому требованию; задания, закреплённые за более старой версией, — нет.
  • Ваше рабочее пространство должно находиться в регионе, поддерживающем бессерверные вычисления.

Limitations

  • Только владелец таблицы может обновить таблицу. Чтобы разрешить другому пользователю обновляться, измените владельца. См. Изменение владельца потоковой таблицы и изменение владельца материализованного представления.
  • Асинхронные обновления не поддерживаются. Вместо этого используйте синхронное обновление.
  • Канал предварительной версии не поддерживается. Таблицы, созданные на бессерверных общих вычислительных ресурсах, используют current канал.
  • Таблицу можно обновить только с помощью созданного типа вычислений. Таблица, созданная в хранилище SQL, должна обновляться в хранилище SQL, а таблица, созданная на бессерверных общих вычислительных ресурсах, должна обновляться на бессерверных общих вычислениях. Чтобы проверить тип вычислений, просмотрите таблицу в обозревателе каталогов.
  • Распределение затрат и контроль недоступны. Используйте SQL-хранилище, если вам нужно распределение затрат по таблицам.
  • Вертикальное автоматическое масштабирование при ошибках вне памяти недоступно.
  • Повторные попытки обновления схемы недоступны.
  • Выбор режима производительности при обновлении недоступен. См. раздел "Выбор режима производительности" для запланированных обновлений.

Примечание.

В блокноте с бессерверными вычислениями общего назначения вы можете выполнять инструкции CREATE и REFRESH с помощью spark.sql или определить таблицу в Python с помощью декораторов pipelines. См. Использование Python с автономными конвейерами.

Требования к запросам

Чтобы запросить отдельное материализованное представление или потоковую таблицу, вы должны быть владельцем или иметь SELECT для таблицы, а также USE CATALOG и USE SCHEMA для её родительских объектов.

Необходимо использовать один из следующих вычислительных ресурсов:

  • Хранилище SQL
  • Интерфейсы конвейеров Lakeflow
  • Вычисление в стандартном режиме доступа (прежнее название — режим общего доступа)
  • Вычисление выделенного режима доступа (прежнее название — режим доступа с одним пользователем) в Databricks Runtime 15.4 или более поздней версии, если рабочая область включена для бессерверных вычислений. См. тонкое управление доступом на выделенных вычислительных ресурсах. Если вы являетесь владельцем, вы можете использовать вычислительный ресурс в режиме выделенного доступа с Databricks Runtime 14.3 или более поздней версии.

Для потоковых таблиц в Databricks Runtime 15.3 и более ранних версий можно использовать выделенные вычислительные ресурсы для выполнения запросов к потоковой таблице только в том случае, если вы являетесь её владельцем. Databricks Runtime версии 15.4 LTS и более поздние поддерживают выполнение запросов к таблицам, созданным конвейером, на выделенных вычислительных ресурсах, даже если вы не являетесь их владельцем. Вы можете взимать плату за бессерверные вычислительные ресурсы при использовании выделенных вычислений для выполнения операций фильтрации данных. См. тонкое управление доступом на выделенных вычислительных ресурсах.

Региональная доступность

Таблицы, созданные и обновленные с помощью хранилища SQL Databricks, доступны во всех регионах, поддерживающих бессерверные хранилища SQL Databricks.

Создание и обновление независимых материализованных представлений и потоковых таблиц на бессерверных вычислительных ресурсах общего назначения доступно во всех регионах, где поддерживаются бессерверные вычисления.

Список поддерживаемых регионов для обоих вариантов вычислений см. в разделе "Бессерверная доступность".

  • Последнее обновление: