Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Databricks автоматически обновляет управляемые таблицы каталога Unity, чтобы использовать рекомендуемые функции, которые обычно доступны, не требуя изменений кода или инструкций вручную ALTER TABLE . Автоматическое обновление проверяет совместимость клиентов перед включением новых функций.
Автоматическое обновление обеспечивает следующие преимущества:
- Уменьшите административные усилия, необходимые для проверки отдельных требований совместимости для каждой таблицы и сочетания функций в рабочих областях. Это особенно полезно, если у вас есть каталоги с тысячами таблиц.
- Автоматически получите последние улучшения производительности и надежности в управляемых таблицах.
- Безопасно обновляйте таблицы. Автоматическое обновление включает только функции после проверки совместимости рабочей нагрузки.
Дополнительные сведения о преимуществах, связанных с этими функциями, см. в статье "Автоматическое обновление": рекомендации по использованию таблиц Lakehouse.
Как работают автоматические обновления
Автоматическое обновление отслеживает шаблоны доступа к управляемым таблицам каталога Unity и использует окно наблюдения, чтобы убедиться, что шаблоны доступа совместимы перед включением любой функции. Окно наблюдения — 50 дней для обновлений в общедоступной предварительной версии и 100 дней для обновлений, доступных в целом. См. раздел "Поддерживаемые функции".
Автоматическое обновление использует бессерверные вычисления для обновления таблиц в фоновом режиме. Плата за этот процесс не взимается.
Схемы и таблицы
Поведение автоматического обновления зависит от того, является ли схема новой или уже существует при выпуске функции. При создании новой таблицы она наследует функции из свойств схемы по умолчанию. В следующей таблице описывается каждый случай:
| Схема | таблица | Behavior |
|---|---|---|
| New | New | Автоматические обновления задают значения по умолчанию на уровне схемы при создании, благодаря чему таблицы сразу наследуют все поддерживаемые функции. |
| Существующий | New | Автоматическое обновление включает функцию, только если все таблицы в схеме были доступны проверенными рабочими нагрузками во время предыдущего окна наблюдения. В противном случае, если одна неверифицированная рабочая нагрузка обращается к любой таблице в схеме, автоматическое обновление игнорирует новую таблицу. См. проверенные рабочие нагрузки. |
| Существующий | Существующий | Автоматические обновления включают функцию, если выполняются все указанные ниже условия:
|
Проверенные рабочие нагрузки
Рабочая нагрузка считается проверенной для определенной функции, если она обратилась к таблице из кластера Databricks с версией среды выполнения Databricks, соответствующей или превышающей минимальную требуемую версию функции.
Автоматические обновления считают следующие рабочие нагрузки непроверенными:
- Внешние клиенты и сторонние службы, такие как Flink или Presto. Ознакомьтесь с интеграциями каталога Unity.
- службы Azure Databricks с прямым доступом к таблицам, такие как Zerobus, которые обходят стандартные механизмы доступа к Databricks Runtime. Ознакомьтесь с обзором соединителя Ingest Zerobus.
Если к какой-либо таблице в схеме обращались в течение периода наблюдения с помощью версии Databricks Runtime ниже минимально требуемой для этой функции версии или через внешний клиент, автоматические обновления не включают соответствующую функцию ни для одной таблицы в этой схеме.
Поддерживаемые функции
Автоматическое обновление применяется к подмножества общедоступных функций, описанных в следующих таблицах. Доступность компонентов может отличаться по регионам.
Important
Автоматическое кластеризация жидкости применяется только к новым таблицам. В отличие от других функций, он добавляется по умолчанию при создании таблицы и никогда не применяется к существующим таблицам.
Функции с общедоступными обновлениями
Следующие функции являются общедоступными, и автоматическое обновление применяет их к указанным типам таблиц. Система автоматического обновления также общедоступна.
Каждая функция развертывается постепенно, начиная с даты выпуска и достигая всех клиентов в течение шести месяцев.
| Функция | Типы таблиц | Минимальная совместимая версия Databricks Runtime | Что делает | Дата выпуска |
|---|---|---|---|---|
| Автоматическое кластеризация жидкости |
|
15.4 LTS | Автоматически упорядочивает данные таблицы на основе часто запрашивающих столбцов для повышения производительности запросов без секционирования вручную. Автоматическое обновление не применяет эту функцию к существующим таблицам. | 22 мая 2026 г. |
| Контрольная точка версии 2 |
|
13.3 LTS | Поддерживает большее число одновременных операций записи и снижает количество конфликтов при записи в больших или часто обновляемых таблицах. | 19 мая 2026 г. для новых таблиц в новых схемах 13 июля 2026 г. для всех таблиц в существующих схемах |
| Отслеживание строк |
|
14,1 | Поддерживает скрытые идентификаторы строк для добавочной обработки. Если отслеживание строк включено, автоматическая лента данных об изменениях доступна без дополнительной настройки. См. API-интерфейсы AUTO CDC. | 25 июля 2026 г. для новых таблиц в новых схемах 13 июля 2026 г. для всех таблиц в существующих схемах |
| Каталог коммитов |
|
16.4 LTS | Централизует фиксацию изменений в Unity Catalog, чтобы поддерживать транзакции с несколькими таблицами, повышать совместимость при внешней записи и применять политики управления данными в разных вычислительных механизмах. | 13 июля 2026 г. |
| Parquet версии 2 |
|
18.1 | Использует расширенные кодировки Parquet, заголовки страниц данных и метки времени для повышения производительности запросов и INT64 уменьшения объема хранилища в таблицах Delta Lake. |
25 июня 2026 г. |
Функции с обновлениями в общедоступной предварительной версии
В общедоступной предварительной версии доступны следующие функции, но их автоматические обновления находятся в общедоступной предварительной версии и требуют регистрации.
Important
Автоматические обновления для следующих функций доступны в общедоступной предварительной версии. Чтобы зарегистрировать, заполните эту форму с идентификатором учетной записи. После регистрации изменения кода или дополнительной конфигурации не требуются.
Автоматическое обновление применяется только к этим функциям, только если вы зарегистрированы в общедоступной предварительной версии, и они вступают в силу сразу после регистрации:
| Функция | Типы таблиц | Минимальная совместимая версия Databricks Runtime | Что делает |
|---|---|---|---|
| Каталог коммитов |
|
16.4 LTS | Централизует фиксацию изменений в Unity Catalog, чтобы поддерживать транзакции с несколькими таблицами, повышать совместимость при внешней записи и применять политики управления данными в разных вычислительных механизмах. |
| Сопоставление столбцов |
|
15.4 LTS | Позволяет переименовать и удалить столбцы без перезаписи данных. |
| Parquet версии 2 |
|
18.1 | Использует расширенные кодировки Parquet, заголовки страниц данных и метки времени для повышения производительности запросов и INT64 уменьшения объема хранилища в таблицах Delta Lake. |
Requirements
- Бессерверные вычисления должны быть доступны в вашем регионе.
- Таблицы должны быть управляемыми таблицами каталога Unity в форматах Delta Lake или Apache Iceberg.
Наблюдение за включенными функциями
Чтобы проверить, включили ли автоматические обновления функцию для таблицы, найдите операцию SET TBLPROPERTIES на вкладке History в Catalog Explorer или используйте DESCRIBE HISTORY <table_name>. Если автоматическое обновление выполнило операцию, поле имени пользователя отображает хэш-значение вместо имени пользователя, например 4d137f29-62. См. раздел "Что такое обозреватель каталогов" и "Просмотр журнала таблиц".
После того как автоматические обновления включат функции таблиц в новой схеме, просмотрите значения схемы по умолчанию на вкладке Свойства в Catalog Explorer. Например, схема с включенным отслеживанием строк показывает свойство, например catalog.schema.enableRowTracking: "true". Существующие схемы не имеют свойств наблюдаемости автоматического обновления.
Чтобы получить сведения на уровне учетной записи, выполните запрос к системной таблице автоматических обновлений. Эта таблица записывает каждую функцию, которая автоматически добавляется в таблицу, когда она была добавлена, и какая таблица была затронута, чтобы вы могли выполнять аудит действий по обновлению во всех рабочих областях. См. справочник по системной таблице автоматического обновления.
Управление рекомендуемыми функциями
Администраторы могут вернуть изменения из обновления или отключить функции в отдельных таблицах.
Отменить изменения
Используйте RESTORE для возврата данных и метаданных таблицы в версию до включения функции:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Дополнительные сведения о журнале таблиц и восстановлении см. в статье "Восстановление таблицы в более раннее состояние ".
Отключение функций для таблиц
Чтобы отключить функцию в отдельной таблице, выполните следующее:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
Автоматическое обновление не включает функцию снова после отключения функции вручную.
Ограничения
- Таблицы, к которым предоставлен доступ через Delta Lake Sharing, как Databricks-to-Open, так и Databricks-to-Databricks, не включаются в процесс автоматического обновления. См. раздел "Что такое OpenSharing?".
- Автоматические обновления не имеют механизма пакетного отката для отключения функции во всех таблицах учётной записи. Ознакомьтесь с рекомендациями по управлению автоматическими обновлениями.
- Материализованные представления и стриминговые таблицы не поддерживаются.
- Нагрузки, которые обходят Unity Catalog и обращаются к таблицам напрямую по пути, не отслеживаются средствами автоматического обновления. Если рабочие нагрузки используют доступ на основе путей, обратитесь к группе учетных записей, чтобы обсудить совместимость.
- Внешние таблицы исключены из автоматических обновлений. Доступ к внешним таблицам обычно осуществляется напрямую по пути к файлу, в обход Unity Catalog, и Unity Catalog не может надежно отслеживать такие способы доступа. См. статью " Работа с внешними таблицами".
Часто задаваемые вопросы
Ниже приведены ответы на распространенные вопросы об автоматическом обновлении.
Что такое автоматическое обновление управляемых таблиц каталога Unity?
Ознакомьтесь с введением в верхней части этой страницы.
Как проверить совместимость автоматических обновлений?
См. проверенные рабочие нагрузки.
Автоматически ли обновления изменяют мои таблицы?
Yes. После того как подтверждено, что функция безопасна для таблицы, Databricks применяет её с помощью легковесной фоновой задачи. Вы по-прежнему можете отключить функции в отдельных таблицах.
Если отключить функцию в таблице, могут ли автоматические обновления позже снова включить её?
No. После отключения функции, добавляемой автоматическим обновлением, автоматические обновления не будут снова включать эту функцию для этой таблицы.
Изменяют ли автоматические обновления существующие таблицы?
Да, но только после того, как окно наблюдения подтверждает, что каждый клиент, к которому был доступ к таблице, поддерживает эту функцию. Автоматическая кластеризация Liquid является исключением: она применяется только к вновь созданным таблицам и никогда — к уже существующим, поскольку это изменило бы их существующую структуру размещения данных.
Как автоматическое обновление отличается от прогнозной оптимизации?
Прогнозная оптимизация поддерживает макет данных с помощью таких операций, как сжатие и вакуум, с возможностью использования автоматической кластеризации жидкости. Автоматические обновления включают новые функции таблиц, такие как отслеживание строк или Checkpoint V2. Эти два подхода дополняют друг друга: один поддерживает таблицы в хорошем состоянии, а другой — в актуальном. Автоматическое кластеризация жидкости применяется к новым таблицам с помощью автоматического обновления. См. прогнозную оптимизацию для управляемых каталогом Unity таблиц.
Как автоматические обновления проверяют, безопасна ли таблица для обновления?
Автоматическое обновление включает только общедоступные функции, которые не существенно снижают производительность или повышают затраты. Автоматические обновления выполняются только после периода наблюдения, требуют совместимости всех обращающихся клиентов, пропускают таблицы, которые не могут полностью проверить, и позволяют в любое время отключить любую функцию для таблицы.
Если таблица изменилась, как я могу сказать, что это автоматическое обновление?
Каждое изменение, внесённое автоматическими обновлениями, отображается в выводе таблицы DESCRIBE HISTORY и на вкладке История в Catalog Explorer и помечается отдельно от внесённых вами изменений. Чтобы увидеть изменения на уровне всей учетной записи, выполните запрос к system.storage.table_auto_upgrade_operations_history, чтобы узнать, когда какая-либо возможность была добавлена в ту или иную таблицу. См. историю таблицы.
Сломают ли автоматические обновления таблицу, которую читают мои внешние инструменты или инструменты с открытым исходным кодом?
No. Таблицы, к которым обращаются внешние или открытый код клиенты, находятся вне области. Автоматическое обновление действует только при проверке того, что каждый клиент, обращаюющийся к таблице, поддерживает эту функцию.
Какие таблицы доступны для автоматического обновления?
См. требования и ограничения.
Как скоро мои таблицы будут обновлены? Когда я вижу изменения?
Автоматические обновления используют окно наблюдения, чтобы учитывать редкие рабочие нагрузки, такие как ежемесячные пакетные задания, квартальные отчеты и разовый анализ, прежде чем предпринимать какие-либо действия. После проверки совместимости таблицы функция будет применена в ближайшее время через фоновое задание. Когда функция внедряется впервые, ее развертывание происходит постепенно для разных клиентов и таблиц, поэтому может пройти около шести месяцев, прежде чем она станет доступна для ваших таблиц с совместимыми рабочими нагрузками.
Что нужно сделать, чтобы включить функции таблиц автоматически в Databricks?
Никаких действий не требуется. Автоматическое обновление оценивает и обновляет подходящие таблицы без настройки.
Можно ли отключить автоматическое обновление для всей учетной записи или схемы, каталога или рабочей области?
Автоматическое обновление не может быть полностью отключено, но вы можете отключить любую отдельную функцию в таблице в любое время. После этого автоматические обновления больше не включают эту функцию для этой таблицы.
Автоматические обновления платные?
Плата за процесс автоматического обновления (фоновые ALTER TABLE операции) не взимается.
Нужно ли мне что-нибудь платить за функции, добавляемые при автоматических обновлениях?
Как правило, функции, которые существенно увеличивают затраты, исключаются из автоматических обновлений. Некоторые используемые возможности, такие как векторы удаления и Parquet v2, позволяют снизить затраты на хранение и вычислительные ресурсы. Отслеживание строк влечёт небольшие единовременные начальные затраты для очень больших таблиц, поскольку каждой строке присваивается уникальный идентификатор, но также помогает сократить затраты на материализованные представления, позволяя использовать инкрементальное обновление вместо полного пересчёта.
Как отслеживать функции, которые будут развертываться с помощью автоматических обновлений в будущем?
Проверьте поддерживаемые функции , чтобы узнать, какие функции находятся в общедоступной предварительной версии и которые будут развернуты для всех клиентов в ближайшее время. Чтобы получать уведомления при отправке новых функций, настройте RSS-канал на странице заметок о выпуске Azure Databricks. Вы также можете посмотреть Что нового?.