Поделиться через

Заметки о выпуске Lakeflow: Декларативные конвейеры и процесс обновления

В этой статье объясняется процесс выпуска Декларативных конвейеров Lakeflow, управление их средой выполнения, а также предоставляются ссылки на примечания к каждому выпуску Декларативных конвейеров Lakeflow.

Каналы выполнения декларативных конвейеров Lakeflow

Заметка

Чтобы узнать, какие версии среды выполнения Databricks используются с выпуском Декларативных конвейеров Lakeflow, см. заметки о соответствующем выпуске.

Кластеры декларативных конвейеров Lakeflow используют среды выполнения, основанные на версиях и совместимости Databricks Runtime. Databricks автоматически обновляет среды выполнения для Lakeflow Declarative Pipelines, чтобы поддерживать улучшения и обновления платформы. Вы можете использовать поле channel в параметрах Декларативных конвейеров Lakeflow для управления версией среды исполнения Декларативных конвейеров Lakeflow, которая используется для выполнения вашего конвейера. Поддерживаемые значения:

  • current, чтобы использовать текущую версию среды выполнения.
  • preview для тестирования конвейера с грядущими изменениями в версии среды выполнения.

Ваши конвейеры по умолчанию выполняются с помощью версии среды выполнения current. Databricks рекомендует использовать среду выполнения current для рабочих нагрузок. Сведения об использовании параметра preview для тестирования конвейеров с помощью следующей версии среды выполнения см. в статье Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения.

Важный

Функции, помеченные как общедоступная или общедоступная предварительная версия, доступны в канале current.

Дополнительные сведения о каналах декларативных конвейеров Lakeflow см. в поле channel в параметрах конвейера Lakeflow декларативных конвейеров.

Чтобы понять, как Декларативные конвейеры Lakeflow осуществляют процесс обновления для каждого выпуска, см. Как работают обновления декларативных конвейеров Lakeflow?.

Как найти версию среды выполнения Databricks для обновления конвейера?

Журнал событий декларативных конвейеров Lakeflow можно запросить, чтобы узнать версию Databricks Runtime при обновлении этих конвейеров. См. сведения о среде выполнения.

Заметки о выпуске Декларативных конвейеров Lakeflow

Заметки о выпуске декларативных конвейеров Lakeflow организованы по годам и неделям года. Так как Декларативные конвейеры Lakeflow не имеют версий, изменения в рабочей области и среде выполнения происходят автоматически. В следующих заметках о выпуске приводятся общие сведения об изменениях и исправлениях ошибок в каждом выпуске:

Как проходят обновления декларативных конвейеров Lakeflow?

Декларативные конвейеры Lakeflow считаются продуктом без версий, что означает, что Databricks автоматически обновляет платформу выполнения Декларативных конвейеров Lakeflow для поддержки улучшений и обновлений платформы. Databricks рекомендует ограничить внешние зависимости для декларативных конвейеров Lakeflow.

Databricks работает упреждающе, чтобы предотвратить автоматическое обновление от возникновения ошибок или проблем с декларативными конвейерами Lakeflow на рабочем уровне. См. процесс обновления декларативных конвейеров Lakeflow.

Особенно для пользователей, которые развертывают декларативные конвейеры Lakeflow с внешними зависимостями, Databricks рекомендует заранее тестировать конвейеры с preview каналами. См. Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения.

Процесс обновления декларативных конвейеров Lakeflow

Databricks управляет средой выполнения Databricks, используемой вычислительными ресурсами Декларативных конвейеров Lakeflow. Декларативные конвейеры Lakeflow автоматически обновляют время выполнения в рабочих областях Azure Databricks и автоматически отслеживают работоспособность ваших конвейеров после обновления.

Если декларативные конвейеры Lakeflow обнаруживают, что конвейер не может запуститься из-за обновления, версия среды выполнения конвейера возвращается к предыдущей версии, которая, как известно, стабильна, и следующие шаги активируются автоматически:

  • Исполняемая среда декларативного конвейера Lakeflow Pipelines зафиксирована на предыдущей известной версии.
  • Поддержка Databricks уведомляется о проблеме.
    • Если проблема связана с регрессией во время выполнения, Databricks устраняет проблему.
    • Если проблема вызвана пользовательской библиотекой или пакетом, используемым конвейером, Databricks обращается к вам, чтобы устранить эту проблему.
  • Когда проблема устранена, Databricks снова инициирует обновление.

Важный

Декларативные конвейеры Lakeflow возвращают только конвейеры, выполняемые в рабочем режиме с заданным значением currentканала.

Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения

Чтобы убедиться, что изменения в следующей версии среды выполнения Декларативных конвейеров Lakeflow не влияют на конвейеры, используйте функцию каналов Декларативных конвейеров Lakeflow:

  1. Создайте промежуточный конвейер и задайте для канала значение preview.
  2. В пользовательском интерфейсе Декларативных конвейеров Lakeflow создайте расписание для еженедельного запуска конвейера и включите оповещения для получения уведомления по электронной почте о сбоях конвейера. Databricks советует планировать еженедельные тестовые запуски конвейеров, особенно если вы используете пользовательские зависимости конвейера .
  3. Если вы получаете уведомление о сбое и не можете устранить его, откройте запрос в службу поддержки с Databricks.

Зависимости конвейера

Декларативные конвейеры Lakeflow поддерживают внешние зависимости в конвейерах; Например, можно установить любой пакет Python с помощью %pip install команды. Декларативные конвейеры Lakeflow также поддерживают использование глобальных и кластеризованных скриптов инициализации. Однако эти внешние зависимости, особенно скрипты инициализации, повышают риск проблем с обновлениями среды выполнения. Чтобы устранить эти риски, свести к минимуму использование скриптов инициализации в конвейерах. Если для обработки требуются скрипты инициализации, автоматизируйте тестирование конвейера для раннего обнаружения проблем; см. Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения. Если вы используете скрипты инициализации, Databricks рекомендует увеличить частоту тестирования.