Заметки о выпуске Delta Live Tables и процесс обновления выпуска

Статья
06/20/2024

В этой статье объясняется процесс выпуска разностных динамических таблиц, управление средой выполнения Delta Live Tables и ссылки на заметки о выпуске для каждого выпуска Delta Live Tables.

Каналы выполнения разностных динамических таблиц

Кластеры Delta Live Tables используют среды выполнения на основе версий заметок о выпуске Databricks Runtime и совместимости. Databricks автоматически обновляет среды выполнения Delta Live Tables для поддержки улучшений и обновлений платформы. Поле в параметрах конвейера Delta Live Tables можно использовать channel для управления версией среды выполнения Delta Live Tables, которая запускает конвейер. Поддерживаются такие значения:

current для использования текущей версии среды выполнения.
preview для тестирования конвейера с предстоящим изменениями для версии среды выполнения.

По умолчанию конвейеры выполняются с версией current среды выполнения. Databricks рекомендует использовать среду выполнения current для рабочих нагрузок. Сведения об использовании параметра preview для тестирования конвейеров со следующей версией среды выполнения см. в разделе Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения.

Сведения о версиях среды выполнения Databricks, используемых в выпуске Delta Live Tables, см. в заметках о выпуске этого выпуска.

Дополнительные сведения о каналах разностных динамических таблиц смchannel. в поле параметров конвейера Delta Live Tables.

Чтобы понять, как Delta Live Tables управляет процессом обновления для каждого выпуска, см. статью "Как работают обновления разностных динамических таблиц?".

Разделы справки найти версию Databricks Runtime для обновления конвейера?

Журнал событий Delta Live Tables можно запросить, чтобы найти версию среды выполнения Databricks для обновления конвейера. См . сведения о среде выполнения.

Заметки о выпуске разностных динамических таблиц

Заметки о выпуске динамических таблиц Delta упорядочены по годам и неделям года. Так как разностные динамические таблицы являются бессерверными, изменения рабочей области и среды выполнения происходят автоматически. В следующих заметках о выпуске приводятся общие сведения об изменениях и исправлениях ошибок в каждом выпуске:

Как работают обновления разностных динамических таблиц?

Delta Live Tables считается бессерверным продуктом, что означает, что Databricks автоматически обновляет среду выполнения Delta Live Tables для поддержки улучшений и обновлений платформы. Databricks рекомендует ограничить внешние зависимости для конвейеров Delta Live Tables.

Databricks упреждает работу, чтобы предотвратить автоматическое обновление от возникновения ошибок или проблем с конвейерами рабочих динамических таблиц Delta Live Tables. См. сведения о процессе обновления разностных динамических таблиц.

Особенно для пользователей, которые развертывают конвейеры Delta Live Tables с внешними зависимостями, Databricks рекомендует упреждающее тестирование конвейеров с preview каналами. См . статью "Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения".

Процесс обновления разностных динамических таблиц

Databricks управляет средой выполнения Databricks, используемой вычислительными ресурсами Delta Live Tables. Разностные динамические таблицы автоматически обновляют среду выполнения в рабочих областях Azure Databricks и отслеживают работоспособность конвейеров после обновления.

Если разностные динамические таблицы обнаруживают, что конвейер не может запуститься из-за обновления, версия среды выполнения для конвейера возвращается к предыдущей версии, которая, как известно, стабильна, и следующие шаги активируются автоматически:

Среда выполнения Разностных динамических таблиц конвейера закреплена за предыдущей известной версией.
В пользовательском интерфейсе Разностных динамических таблиц отображается визуальный индикатор того, что конвейер закреплен за предыдущей версией из-за сбоя обновления.
Служба поддержке Databricks уведомляется о проблеме.
- Если проблема связана с регрессией во время выполнения, Databricks устраняет проблему.
- Если проблема вызвана пользовательской библиотекой или пакетом, используемым конвейером, Databricks обращается к вам, чтобы устранить эту проблему.
Когда проблема устранена, Databricks снова инициирует обновление.

Внимание

Разностные динамические таблицы возвращают только конвейеры, выполняемые в рабочем режиме с заданным currentзначением канала.

Автоматизация тестирования конвейеров со следующей версией среды выполнения

Чтобы изменения в следующей версии среды выполнения Разностных динамических таблиц не повлияли на конвейеры, используйте функцию каналов Разностных динамических таблиц:

Создайте промежуточный конвейер и задайте для канала значение preview.
В пользовательском интерфейсе Разностных динамических таблиц создайте расписание для еженедельного запуска конвейера и включите оповещения для получения уведомлений о сбоях конвейера по электронной почте. Databricks рекомендует планировать еженедельные тестовые запуски конвейеров, особенно если вы используете пользовательские зависимости конвейера.
Если вы получаете уведомление о сбое и не можете устранить его, отправьте запрос в службу поддержки Databricks.

Зависимости конвейера

Разностные динамические таблицы поддерживают внешние зависимости в конвейерах. Например, вы можете установить любой пакет Python с помощью команды %pip install. Разностные динамические таблицы также поддерживают использование глобальных и кластерных скриптов инициализации. Но эти внешние зависимости, особенно скрипты инициализации, повышают риск возникновения проблем с обновлениями среды выполнения. Чтобы снизить эти риски, сведите к минимуму использование скриптов инициализации в конвейерах. Если для обработки требуются скрипты инициализации, автоматизируйте тестирование конвейера для раннего обнаружения проблем (см. раздел Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения). Если вы используете скрипты инициализации, Databricks рекомендует увеличить частоту тестирования.

Поделиться через