Настройка и изменение задач Databricks

В этой статье рассматриваются инструкции по созданию, настройке и редактированию задач с помощью пользовательского интерфейса рабочей области Workflows .

Azure Databricks управляет задачами в качестве компонентов заданий Databricks. Задание имеет одну или несколько задач. Создайте задание в пользовательском интерфейсе рабочей области, настроив первую задачу. Сведения о настройке нового задания см. в разделе "Настройка и изменение заданий Databricks".

Каждая задача имеет связанный вычислительный ресурс, который запускает логику задачи. При использовании бессерверных ресурсов Azure Databricks настраивает вычислительные ресурсы. Если вы не используете бессерверные ресурсы, см. статью "Настройка вычислений для заданий".

Azure Databricks имеет другие точки входа и средства для настройки задач, в том числе следующие:

• Справочник по REST API заданий
• Что такое интерфейс командной строки Databricks?
• Создание запланированных заданий записной книжки и управление ими

Создание или настройка задачи

Чтобы изменить существующую задачу или добавить новую задачу с пользовательским интерфейсом рабочей области, выберите существующее задание, выполнив следующие действия:

1. Щелкните рабочие процессы на боковой панели.
2. В столбце Имя нажмите на имя задания.
3. Перейдите на вкладку "Задачи ". Появится граф задач.
4. Чтобы изменить задачу, щелкните имя задачи. Конфигурация задачи отображается под графом задач.
5. Чтобы добавить задачу, нажмите кнопку .

Типы задач

Параметры конфигурации и инструкции зависят от задачи. Доступны следующие типы задач:

• Записная книжка
• Скрипт Python
• Колесо Python
• SQL
• Конвейер DLT
• dbt
• БАНКА
• Отправка Spark
• Выполнение задания
• If/else
• For each (Для каждого)

Клонирование задачи

Клонирование задач для копирования всех конфигураций существующей задачи, включая вышестоящей зависимости.

Чтобы клонировать задачу, сделайте следующее:

1. Выберите задачу в графе задач.
2. Нажмите кнопку .
3. Укажите клонированную задачу и нажмите кнопку "Клонировать".

Удаление задачи

Чтобы удалить задачу, сделайте следующее:

1. Выберите задачу в графе задач.
2. Щелкните и выберите команду "Удалить задачу".

Копирование пути к задаче

Некоторые типы задач, например задачи записной книжки, позволяют скопировать путь к исходному коду задачи:

1. Перейдите на вкладку "Задачи ".
2. Выберите задачу, содержащую путь, который нужно скопировать.
3. Щелкните рядом с путем задачи, чтобы скопировать путь к буферу обмена.

Дополнительные параметры задачи

Следующие расширенные параметры управляют повторными попытками для неудачных задач и политик времени ожидания для неответственных задач.

Примечание.

Вы можете задать уведомления на уровне задачи или задания. См. статью "Добавление уведомлений по электронной почте и системе" для событий задания.

Настройка политики повторных попыток

Параметр по умолчанию для повторных попыток задачи зависит от конфигурации задания. Для большинства конфигураций параметр по умолчанию не повторяет никаких задач при сбое задачи.

Бессерверные задания автоматически оптимизируют повторные попытки по умолчанию. См. раздел "Настройка автоматической оптимизации бессерверных вычислений для запрета повторных попыток"

Непрерывные задания используют экспоненциальную политику повторных попыток. Узнайте, как обрабатываются сбои для непрерывных заданий?

Чтобы настроить политику, которая определяет, когда и сколько раз выполняется неудачная задача, нажмите кнопку + Добавить рядом с повторными попытками.

Интервал повторных попыток измеряется в миллисекундах между началом неудачного выполнения и последующим повторным выполнением.

Примечание.

Если вы настроите и Время ожидания, и Повторные попытки, то время ожидания будет применяться к каждой повторной попытке.

Настройка ожидаемого времени завершения или времени ожидания для задачи

Можно настроить необязательные пороговые значения длительности для задачи, включая ожидаемое и максимальное время завершения. Чтобы настроить пороговые значения длительности, щелкните пороговое значение длительности.

Введите длительность в поле "Предупреждение" , чтобы настроить ожидаемое время завершения задачи. Если задача превышает это пороговое значение, активируется событие. Это событие можно использовать для уведомления о медленном выполнении задачи. Сведения о настройке уведомлений для медленных или поздних заданий.

Чтобы настроить максимальное время завершения для задачи, введите максимальную длительность в поле "Время ожидания ". Если задача не завершена в это время, Azure Databricks задает для него значение Timed Out.