Настройка вычислений для заданий

В этой статье содержатся рекомендации и ресурсы для настройки вычислений для заданий Lakeflow.

Внимание

Ограничения для бессерверных вычислений для заданий включают следующие:

• Поддержка непрерывного планирования отсутствует.
• Поддержка триггеров интервала по умолчанию или времени в структурированной потоковой передаче не поддерживается.

Дополнительные ограничения см. в разделе об ограничениях бессерверных вычислений.

Каждое задание может иметь одну или несколько задач. Вы определяете вычислительные ресурсы для каждой задачи. Несколько задач, определенных для одного задания, могут использовать один вычислительный ресурс.

Что такое рекомендуемые вычисления для каждой задачи?

В следующей таблице указаны рекомендуемые и поддерживаемые типы вычислений для каждого типа задачи.

Примечание.

Бессерверные вычисления для заданий имеют ограничения и не поддерживают все рабочие нагрузки. См . ограничения бессерверных вычислений.

Задача	Рекомендуемые вычислительные ресурсы	Поддерживаемые вычислительные ресурсы
Записные книжки	Бессерверные задания	Бессерверные задания, классические задания, универсальные классические задания
Скрипт Python	Бессерверные задания	Бессерверные задания, классические задания, универсальные классические задания
Колесо Python	Бессерверные задания	Бессерверные задания, классические задания, универсальные классические задания
SQL	Бессерверное хранилище SQL	Бессерверное хранилище SQL, хранилище pro SQL
Декларативные конвейеры Lakeflow	Бессерверный конвейер	Бессерверный конвейер, классический конвейер
dbt	Бессерверное хранилище SQL	Бессерверное хранилище SQL, хранилище pro SQL
команды dbt CLI	Бессерверные задания	Бессерверные задания, классические задания, универсальные классические задания
JAR файл	Классические задания	Классические работы, классические универсальные решения
Отправка задачи в Spark	Классические задания	Классические задания

Цены на задания Lakeflow привязаны к вычислительным ресурсам, используемым для выполнения задач. Дополнительные сведения см. в разделе о ценах Databricks.

Как настроить вычислительные ресурсы для заданий?

Вычисления классических заданий настраиваются непосредственно из пользовательского интерфейса заданий Lakeflow, и эти конфигурации являются частью определения задания. Все остальные доступные вычислительные мощности хранят свои конфигурации вместе с другими ресурсами рабочей области. В следующей таблице приведены дополнительные сведения:

Тип вычисления	Сведения
Классическое вычисление задач	Вы настраиваете вычисления для классических заданий с помощью одного пользовательского интерфейса и параметров, доступных для вычислений всех целей. Смотрите Справочник по конфигурации вычислений.
Бессерверные вычисления для заданий	Бессерверные вычисления для заданий — это значение по умолчанию для всех задач, поддерживающих их. Databricks управляет параметрами вычислений для бессерверных вычислений. См. статью "Запуск заданий Lakeflow с бессерверными вычислениями для рабочих процессов". Администратор рабочей области должен включить бессерверные вычисления, чтобы этот параметр был видимым. См. раздел "Включить бессерверные вычисления".
Хранилища SQL	Бессерверные и профессиональные хранилища SQL настраиваются администраторами рабочих областей или пользователями с неограниченными привилегиями создания кластера. Вы настраиваете задачи для выполнения в существующих хранилищах SQL. См. статью "Подключение к хранилищу SQL".
Вычисления декларативных конвейеров Lakeflow	Параметры вычислений для декларативных конвейеров Lakeflow настраиваются во время конфигурации конвейера. См. Настройка вычислений для декларативных конвейеров Lakeflow. Azure Databricks управляет вычислительными ресурсами для бессерверных декларативных конвейеров Lakeflow. См. раздел "Настройка бессерверного конвейера".
Вычислительные ресурсы для всех целей	При необходимости можно настроить задачи с помощью классических вычислений общего назначения. Databricks не рекомендует эту конфигурацию для рабочих заданий. См. справочник по конфигурации вычислений и следует ли использовать все целевые вычисления для заданий?.

Совместное использование вычислительных ресурсов между задачами

Настройте задачи для использования одних и тех же вычислительных ресурсов, чтобы оптимизировать использование ресурсов в заданиях, которые координируют выполнение нескольких задач. Совместное использование вычислительных ресурсов между задачами может снизить задержку, связанную с временем запуска.

Вы можете использовать один вычислительный ресурс задания для выполнения всех задач, которые являются частью задания или нескольких ресурсов заданий, оптимизированных для определенных рабочих нагрузок. Все вычисления заданий, настроенные в рамках задания, доступны для всех остальных задач в задании.

В следующей таблице выделены различия между вычислениями заданий, настроенными для одной задачи и вычислительных вычислений заданий, общими между задачами:

	Одна задача	Общее для всех задач
Начало	При начале выполнения задачи.	Когда начинается первая задача, настроенная на использование вычислительного ресурса.
Завершение	После того, как задача выполнена.	После выполнения финальной задачи, настроенной для использования вычислительного ресурса.
Незадействованные вычислительные мощности	Неприменимо.	Вычислительный ресурс остается бездействующим, пока задачи не используют его.

Общий кластер заданий ограничен одним выполнением задания и не может использоваться другими заданиями или выполнением того же задания.

Библиотеки в конфигурации общего кластера заданий объявлять нельзя. Зависимые библиотеки нужно добавить в параметрах задачи.

Проверка, настройка и переключение вычислительных заданий

В разделе "Вычисления " на панели сведений о задании перечислены все вычисления, настроенные для задач в текущем задании.

Задачи, настроенные для использования вычислительного ресурса, выделены на графе задач при наведении указателя мыши на спецификацию вычислений.

Используйте кнопку Замена, чтобы изменить вычислительные настройки для всех задач, связанных с вычислительным ресурсом.

Классические вычислительные ресурсы заданий имеют параметр "Настройка". Другие вычислительные ресурсы позволяют просматривать и изменять сведения о конфигурации вычислений.

Дополнительные сведения

Дополнительные сведения о настройке классических заданий Azure Databricks см. в рекомендациях по настройке классических заданий Lakeflow.