Требования к выделенным вычислениям и ограничениям

На этой странице описываются требования и ограничения для выделенных вычислений. Большинство выделенных ограничений вычислений зависят от среды выполнения, так как поддержка функций была добавлена с течением времени.

Это важно

Сценарии и библиотеки init имеют разную поддержку в различных режимах доступа и версиях Среды выполнения Databricks. См. Где можно установить скрипты инициализации? и библиотеки, связанные с вычислениями.

Выделенные вычислительные ресурсы, назначенные группе, имеют дополнительные ограничения. См. ограничения для доступа к группам.

Поддержка мелкозернистого управления доступом

Тонкое управление доступом поддерживается для выделенных вычислительных ресурсов при соблюдении определенных требований:

• Рабочая область должна быть включена для бессерверных вычислений.
• Операции чтения поддерживаются в Databricks Runtime 15.4 LTS и выше.
• Операции записи поддерживаются в Databricks Runtime 16.3 и выше. См. Поддержка DDL, SHOW, DESCRIBE и других команд.

• Если рабочая область была развернута с брандмауэром или имеет ограничения исходящей сети, необходимо открыть порты 8443-8451, чтобы обеспечить точное управление доступом на выделенных вычислительных ресурсах. См. статью Развертывание Azure Databricks в виртуальной сети Azure (внедрение виртуальной сети).

Если выделенные вычислительные ресурсы выполняются в Databricks Runtime 15.3 или ниже:

• Невозможно получить доступ к таблице с фильтром строк или маской столбцов.
• Невозможно получить доступ к динамическим представлениям .
• Для того чтобы читать данные из любого представления, необходимо, чтобы у всех таблиц и представлений, на которые оно ссылается, был SELECT.

Требования к потоковому и материализованному представлению для выделенных вычислений

• Чтобы запросить таблицу, созданную другим пользователем с помощью конвейеров Lakeflow, включая потоковую таблицу и материализованное представление, рабочая область должна быть включена для бессерверных вычислений, и выделенные вычислительные ресурсы должны находиться в Databricks Runtime 15.4 или более поздней версии. См. Использование автономных потоковых таблиц и Использование автономных материализованных представлений.
• Асинхронное создание контрольных точек поддерживается в версиях Databricks Runtime 12.2 LTS и выше.
• Использование StreamingQueryListener для взаимодействия с объектами, управляемыми каталогом Unity, поддерживается в Databricks Runtime 15.1 и выше.
• Python foreachBatch не поддерживает ThreadPoolExecutor или многопоточное выполнение. Многопоточное выполнение может не вызывать ошибки, но может привести к повреждению данных или несогласованным результатам.

Функции, определённые пользователем

• Python UDF в Unity Catalog не поддерживаются в выделенных вычислительных ресурсах. Используйте бессерверные вычислительные ресурсы, вычислительные ресурсы со стандартным режимом доступа, бессерверное хранилище SQL или хранилище SQL Pro, либо конвейеры Lakeflow для запуска пользовательских функций Python (UDF) в Unity Catalog. См. пользовательские функции SQL и Python (UDF) в Unity Catalog.