Параметры очереди и параллелизма заданий Databricks

В этой статье содержатся инструкции и рекомендации по настройке расширенных параметров в заданиях Databricks.

Включение очереди запусков заданий

Примечание.

Очередь включена по умолчанию для заданий, созданных с помощью пользовательского интерфейса после 15 апреля 2024 г.

Чтобы предотвратить пропуск выполнения задания из-за ограничений параллелизма, можно включить очередь для задания. Если очередь включена, выполнение выполняется в очередь до 48 часов, если ресурсы недоступны для выполнения задания. Когда емкость доступна, выполнение задания будет отложено и выполняется. Очереди запуска отображаются в списке запусков для задания, а также в списке последних запусков заданий.

Выполнение выполняется в очередь при достижении одного из следующих ограничений:

• Максимальное число параллельных активных запусков в рабочей области.
• Максимальная параллельная Run Job задача выполняется в рабочей области.
• Максимальное число параллельных запусков задания.

Очередь — это свойство уровня задания, которое выполняется только для этого задания.

Чтобы включить или отключить очередь, нажмите кнопку "Дополнительные параметры" и нажмите кнопку "Включить очередь" на боковой панели сведений о задании.

Настройка максимального числа одновременных запусков

По умолчанию максимальное число одновременных запусков для всех новых заданий равно 1.

Нажмите кнопку "Изменить параллельные запуски " в разделе "Дополнительные параметры", чтобы задать максимальное количество параллельных запусков этого задания.

Azure Databricks пропускает выполнение, если при попытке запуска нового выполнения задание уже достигло максимального числа активных выполнений.

Задайте это значение выше 1, чтобы разрешить несколько одновременных запусков одного задания. Это полезно, например, если вы активируете задание по частому расписанию и хотите включить последовательные запуски для перекрытия или активации нескольких запусков, которые отличаются входными параметрами.