Поделиться через

Заметки о выпуске декларативных пайплайнов Lakeflow Spark и процесс обновления версии

В этой статье объясняется процесс выпуска Декларативных конвейеров Spark Lakeflow, как управляется их среда выполнения, а также предоставляются ссылки на заметки о выпуске для каждой версии Декларативных конвейеров Spark Lakeflow.

Каналы среды выполнения декларативных конвейеров Lakeflow Spark

Note

Чтобы узнать о версиях среды выполнения Databricks, используемых с выпуском Декларативных конвейеров Spark Lakeflow, см. заметки о выпуске этого выпуска.

Кластеры Декларативных конвейеров Spark Lakeflow используют среды выполнения на основе версий выпусков и совместимости Databricks Runtime. Databricks автоматически обновляет среды выполнения для декларативных конвейеров Lakeflow Spark, чтобы поддерживать улучшения и обновления платформы. Вы можете использовать поле channel в настройках Декларативного конвейера Spark Lakeflow для управления версией выполнения среды Lakeflow Spark Declarative Pipelines, которая запускает ваш конвейер. Поддерживаемые значения:

  • current, чтобы использовать текущую версию среды выполнения.
  • preview для тестирования конвейера с грядущими изменениями в версии среды выполнения.

Ваши конвейеры по умолчанию выполняются с помощью версии среды выполнения current. Databricks рекомендует использовать среду выполнения current для рабочих нагрузок. Сведения об использовании параметра preview для тестирования конвейеров с помощью следующей версии среды выполнения см. в статье Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения.

Important

Функции, помеченные как общедоступная или общедоступная предварительная версия, доступны в канале current.

Дополнительные сведения о каналах декларативных конвейеров Lakeflow Spark см. в поле channel параметров декларативных конвейеров Lakeflow Spark.

Чтобы понять, как Декларативные конвейеры Spark Lakeflow управляют процессом обновления для каждого выпуска, см. статью о том, как работают обновления декларативных конвейеров Spark Lakeflow?

Как найти версию среды выполнения Databricks для обновления конвейера?

Вы можете запросить журнал событий Lakeflow Spark Declarative Pipelines, чтобы найти версию среды выполнения Databricks для обновления конвейера. См. сведения о среде выполнения.

Примечания к выпуску декларативных конвейеров Spark Lakeflow

Заметки о выпуске Lakeflow Spark Декларативные конвейеры организованы по годам и неделям. Так как декларативные конвейеры Spark Lakeflow не зависят от версий, изменения как в рабочей области, так и в среде выполнения происходят автоматически. В следующих заметках о выпуске приводятся общие сведения об изменениях и исправлениях ошибок в каждом выпуске:

Как работает декларативное обновление конвейеров Spark Lakeflow?

Декларативные конвейеры Lakeflow Spark считаются продуктом без версии, что означает, что Databricks автоматически обновляет среду выполнения Lakeflow Spark декларативных конвейеров для поддержки платформы путём улучшений и обновлений. Databricks рекомендует ограничить внешние зависимости для декларативных конвейеров Spark Lakeflow.

Databricks активно работает над предотвращением автоматических обновлений, которые могут вызвать ошибки или проблемы в производственных декларативных конвейерах Spark Lakeflow. Ознакомьтесь с процессом обновления декларативных конвейеров Lakeflow Spark.

Особенно для пользователей, которые развертывают декларативные конвейеры Spark Lakeflow с внешними зависимостями, Databricks рекомендует заранее тестировать конвейеры с preview каналами. См. Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения.

Процесс обновления декларативных конвейеров Spark Lakeflow

Databricks управляет Databricks Runtime, используемой вычислительными ресурсами декларативных конвейеров Lakeflow Spark. Декларативные конвейеры Spark Lakeflow автоматически обновляют среду выполнения в рабочих областях Azure Databricks и отслеживают работоспособность конвейеров после обновления.

Если Lakeflow Spark Declarative Pipelines обнаруживает, что запуск конвейера невозможен из-за обновления, версия среды выполнения конвейера возвращается к предыдущей стабильно известной версии, и следующие шаги автоматически активируются:

  • Среда выполнения декларативного конвейера данных Lakeflow Spark зафиксирована на последней стабильной версии.
  • Поддержка Databricks уведомляется о проблеме.
    • Если проблема связана с регрессией во время выполнения, Databricks устраняет проблему.
    • Если проблема вызвана пользовательской библиотекой или пакетом, используемым конвейером, Databricks обращается к вам, чтобы устранить эту проблему.
  • Когда проблема устранена, Databricks снова инициирует обновление.

Important

Декларативные конвейеры Spark Lakeflow восстанавливают только конвейеры, работающие в режиме эксплуатации с заданным значением канала current.

Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения

Чтобы убедиться, что изменения в следующей версии среды выполнения Декларативных конвейеров Spark Lakeflow не влияют на конвейеры, используйте функцию каналов Декларативных конвейеров Spark Lakeflow:

  1. Создайте промежуточный конвейер и задайте для канала значение preview.
  2. В пользовательском интерфейсе Декларативного конвейера Spark Lakeflow создайте расписание для еженедельного запуска конвейера и включите оповещения для получения уведомления электронной почты о сбоях конвейера. Databricks советует планировать еженедельные тестовые запуски конвейеров, особенно если вы используете пользовательские зависимости конвейера .
  3. Если вы получаете уведомление о сбое и не можете устранить его, откройте запрос в службу поддержки с Databricks.

Зависимости конвейера

Декларативные конвейеры Spark Lakeflow поддерживают внешние зависимости в конвейерах; Например, можно установить любой пакет Python с помощью %pip install команды. Декларативные конвейеры Spark Lakeflow также поддерживают использование глобальных и кластерных сценариев инициализации. Однако эти внешние зависимости, особенно скрипты инициализации, повышают риск проблем с обновлениями среды выполнения. Чтобы устранить эти риски, свести к минимуму использование скриптов инициализации в конвейерах. Если для обработки требуются скрипты инициализации, автоматизируйте тестирование конвейера для раннего обнаружения проблем; см. Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения. Если вы используете скрипты инициализации, Databricks рекомендует увеличить частоту тестирования.

  • Last updated on