Планирование заданий конвейера машинного обучения в версии 2

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение машинного обучения Azure CLI версии 2 (current)Python SDK azure-ai-ml версии 2 (current)

В этой статье вы узнаете, как запланировать конвейеры машинного обучения для запуска в Azure. Вы можете запланировать обычные задачи, такие как переобучение моделей или регулярно обновлять пакетные прогнозы на основе истекшего времени.

В этой статье показано, как создавать, извлекать, обновлять и деактивировать расписания с помощью интерфейса командной строки Машинное обучение Azure, пакета SDK Машинное обучение Azure версии 2 для Python или пользовательского интерфейса Студия машинного обучения Azure.

Совет

Чтобы запланировать задания с помощью внешнего оркестратора, например Фабрика данных Azure или Microsoft Fabric, рассмотрите возможность развертывания заданий конвейера в конечной точке пакетной службы. Дополнительные сведения см. в статье "Развертывание существующих заданий конвейера в конечных точках пакетной службы" и запуск моделей Машинное обучение Azure из Fabric с помощью конечных точек пакетной службы (предварительная версия).

Необходимые компоненты

• Подписка Azure. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись, прежде чем начать работу.
• Рабочая область Машинного обучения Azure. Сведения о создании рабочей области см. в разделе "Создание ресурсов рабочей области".
• Понимание Машинное обучение Azure конвейеров. Дополнительные сведения см. в статье "Что такое конвейеры машинного обучения".

Azure CLI

• Интерфейс командной строки Azure и ml расширение, установленные, следуя инструкциям в разделе "Установка", "Настройка" и использование интерфейса командной строки (версии 2).
• Знание того, как создавать конвейеры YAML Машинное обучение Azure. Дополнительные сведения см. в статье "Создание и запуск конвейеров машинного обучения" с помощью компонентов с Машинное обучение Azure CLI.

Пакет SDK для Python

• Установленный пакет SDK Машинное обучение Azure версии 2 для Python.
• Знание того, как создавать конвейеры Python для Машинное обучение Azure. Дополнительные сведения см. в разделе "Создание и запуск конвейеров машинного обучения" с помощью компонентов с пакетом SDK Машинное обучение Azure.

Пользовательский интерфейс Студии

• Знание того, как создавать конвейеры в Студия машинного обучения Azure. Дополнительные сведения см. в разделе "Создание и запуск конвейеров машинного обучения" с помощью компонентов с Студия машинного обучения Azure.

Ограничения

• Машинное обучение Azure расписания версии 2 не поддерживают триггеры на основе событий.
• Cli и SDK версии 2 поддерживают указание сложных шаблонов повторения, содержащих несколько меток времени триггера. Пользовательский интерфейс студии отображает сложные шаблоны, но не поддерживает их редактирование.
• Пользовательский интерфейс студии поддерживает только расписания версии 2 и не может содержать список или доступ к расписаниям версии 1, основанным на опубликованных конвейерах или конечных точках конвейера. Можно создать расписание для неопубликованного конвейера.
• Если повторение устанавливается как 31-й или 30-й день каждого месяца, расписание не запускает задания в месяцах, имеющих меньше дней.
• DAYS и MONTHS значения не поддерживаются в выражениях расписания cron. Значения, передаваемые для этих параметров, игнорируются и обрабатываются как *.

Создание графика

При наличии задания конвейера с удовлетворяющей производительностью и выходными данными можно настроить расписание для автоматического запуска задания на регулярной основе. Для этого необходимо создать расписание, которое связывает задание с триггером. Триггер может быть шаблоном recurrence или cron выражением, указывающим интервал и частоту выполнения задания.

В обоих случаях необходимо сначала определить задание конвейера либо встроенным, либо путем указания существующего задания конвейера. Вы можете определить конвейеры в YAML и запустить их из интерфейса командной строки, создать конвейеры в Python или создать конвейеры в Студия машинного обучения Azure. Вы можете создавать задания конвейера локально или из существующих заданий в рабочей области.

Вы можете создавать расписания версии 2 для заданий конвейера версии 2 или версии 1 с помощью пользовательского интерфейса студии, пакета SDK версии 2 или CLI версии 2. Сначала не нужно публиковать существующие конвейеры, чтобы настроить расписания для заданий конвейера.

Azure CLI

Примеры кода, приведенные в этой статье, относятся к работе с расписанием в Машинное обучение Azure CLI 2.0.

Пакет SDK для Python

Примеры кода, приведенные в этой статье, представляют собой фрагменты из записной книжки "Работа с расписанием Машинное обучение Azure". Запустите записную книжку, чтобы создать расписания и управлять ими, как описано.

Пользовательский интерфейс Студии

Чтобы создать расписание для задания конвейера Машинное обучение Azure в пользовательском интерфейсе студии, откройте страницу сведений о задании конвейера.

Определение расписания на основе времени с помощью шаблона повторения

Azure CLI

Следующий код YAML определяет повторяющееся расписание для задания конвейера. Обязательный type параметр указывает, что trigger тип имеет значение recurrence.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_job_schedule
display_name: Simple recurrence job schedule
description: a simple hourly recurrence job schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: ./simple-pipeline-job.yml
# create_job: azureml:simple-pipeline-job

Необходимо или указать следующие параметры расписания:

Пакет SDK для Python

Следующий код используется RecurrenceTrigger для обеспечения более эффективного программирования.

schedule_name = "simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=10, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=recurrence_trigger, create_job=pipeline_job
)

Необходимо или указать следующие параметры расписания:

Пользовательский интерфейс Студии

Чтобы открыть мастер создания расписания, выберите "Запланировать>создание нового расписания" в верхней части страницы.

Пакет SDK для Azure CLI и Python

Параметры

• frequency(обязательно) — это единица времени, на основе которой происходит запуск расписания. Может быть minutes, hours, days, weeks или months.
• interval(обязательно) — это количество единиц времени между повторением расписания.
• schedule(необязательно) определяет шаблон повторения, который может содержать hoursи minutesweekdays. Если опущено, задания активируются в соответствии с логикой start_time, frequencyи interval.
  • В frequency этом случае dayшаблон может указывать hours и minutes.
  • Когда frequency это week или month, шаблон может указать hours, minutesи weekdays.
    • hours — целое число или список от 0 до 23.
    • minutes — целое число или список от 0 до 59.
    • weekdays — строка или список из monday sunday.
• start_time (необязательно) — это дата и время начала с часовой поясом. Если опущено, значение по умолчанию равно времени создания расписания. Если время начала в прошлом, первое задание выполняется во время следующего вычисляемого выполнения.
• end_time (необязательно) — это дата окончания и время с часовой поясом. Если опущено, расписание остается активным до тех пор, пока не будет отключено вручную.
• time_zone (необязательно) указывает часовой пояс расписания повторения. Если опущено, по умолчанию используется универсальное время (UTC). Дополнительные сведения о значениях часового пояса см. в приложении для значений часового пояса.

Пользовательский интерфейс Студии

Чтобы определить расписание на основе повторения, на экране "Базовые параметры " определите следующие свойства. Только свойству Name требуется ввести значение. Если значения других свойств не указаны, расписание по умолчанию — это шаблон повторения, который начинается с создания расписания и выполняется каждый понедельник по пятницу в 4:00 в формате UTC.

• Имя: уникальный идентификатор расписания в рабочей области.
• Описание: описание расписания.
• Триггер: шаблон повторения расписания, включая следующие свойства:
  • Часовой пояс: часовой пояс, используемый для времени триггера, utc по умолчанию.
  • Выберите повторение и укажите повторяющийся шаблон минут, часов, дней, недель или месяцев.
  • Начало. Дата, когда расписание становится активным, по умолчанию создается дата.
  • Конец: дата, когда расписание становится неактивным. По умолчанию значение не равно ни одному, а расписание остается активным до отключения вручную.
  • Теги: теги по расписанию.

Azure CLI

После создания расписания YAML используйте следующую команду, чтобы создать расписание с помощью ИНТЕРФЕЙСА командной строки:

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

Пакет SDK для Python

Следующий код Python создает определенное расписание:

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Пользовательский интерфейс Студии

После настройки основных параметров нажмите кнопку "Просмотр и создание", просмотрите параметры и нажмите кнопку "Проверить и создать еще раз", чтобы создать расписание.

Определение расписания на основе времени с помощью выражения cron

Выражение cron может указать гибкий и настраиваемый шаблон повторения для расписания. Стандартное выражение crontab состоит из полей MINUTES HOURS DAYS MONTHS DAYS-OF-WEEKс разделителями пространства. Подстановочный знак * означает все значения поля.

В выражении cron расписания машинного языка Azure:

• MINUTES — целое число или список от 0 до 59.
• HOURS — целое число или список от 0 до 23.
• DAYS значения не поддерживаются и всегда рассматриваются как *. Значение * в DAYS означают все дни в месяц, которые зависят от месяца и года.
• MONTHS значения не поддерживаются и всегда рассматриваются как *.
• DAYS-OF-WEEK — целое число или список от 0 до 6, где 0 = воскресенье. Также принимаются имена дней.

Например, выражение 15 16 * * 1 означает 4:15 вечера UTC каждый понедельник. Дополнительные сведения о выражениях crontab см. вики-сайте Crontab Expression на сайте GitHub.

Azure CLI

Следующий код YAML определяет повторяющееся расписание для задания конвейера. Обязательный type параметр указывает, что trigger тип имеет значение cron.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

# create_job: azureml:simple-pipeline-job
create_job: ./simple-pipeline-job.yml

Необходимо или указать следующие параметры расписания:

Пакет SDK для Python

Следующий код используется CronTrigger для обеспечения более эффективного программирования.

schedule_name = "simple_sdk_create_schedule_cron"

schedule_start_time = datetime.utcnow()
cron_trigger = CronTrigger(
    expression="15 10 * * *",
    start_time=schedule_start_time,  # start time
    time_zone="Eastern Standard Time",  # time zone of expression
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=cron_trigger, create_job=pipeline_job
)

Необходимо или указать следующие параметры расписания:

Пользовательский интерфейс Студии

Чтобы определить расписание на основе cron, выберите выражение Cron вместо повторения на экране "Основные параметры " для расписания.

Пакет SDK для Azure CLI и Python

Параметры

• expression(обязательно) — это стандартное выражение crontab, которое выражает повторяющееся расписание.
• start_time (необязательно) — это дата начала расписания и время с часовой поясом. Например, означает, start_time: "2022-05-10T10:15:00-04:00" что расписание начинается с 10:15:00 10 мая 2022 года в часовом поясе UTC-4. Если опущено, значение по умолчанию равно времени создания расписания. Если время начала в прошлом, первое задание выполняется во время следующего вычисляемого выполнения.
• end_time (необязательно) — это дата окончания и время с часовой поясом. Если опущено, расписание остается активным до тех пор, пока не будет отключено вручную.
• time_zone (необязательно) указывает часовой пояс расписания повторения. Если опущено, значение по умолчанию — UTC.

Пользовательский интерфейс Студии

Только свойству Name требуется ввести значение. Если выражение cron не указано, по умолчанию выражение cron создает расписание, которое выполняется ежедневно в 4:00 в формате UTC.

• Имя: уникальный идентификатор расписания в рабочей области.
• Описание: описание расписания.
• Триггер: шаблон повторения расписания, включая следующие свойства:
  • Часовой пояс: часовой пояс, используемый для времени триггера, по умолчанию координированное универсальное время (UTC).
  • Выберите выражение Cron и укажите стандартное выражение crontab, которое выражает повторяющееся расписание.
  • Начало. Дата, когда расписание становится активным, по умолчанию создается дата.
  • Конец: дата, когда расписание становится неактивным. По умолчанию значение равно ни одному, а расписание остается активным до тех пор, пока вы не отключите его вручную.
  • Теги: теги по расписанию.

Azure CLI

После создания расписания YAML используйте следующую команду, чтобы создать расписание с помощью ИНТЕРФЕЙСА командной строки:

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

Пакет SDK для Python

Следующий код Python создает определенное расписание:

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Пользовательский интерфейс Студии

После настройки основных параметров нажмите кнопку "Просмотр и создание", просмотрите параметры и нажмите кнопку "Проверить и создать еще раз", чтобы создать расписание.

Изменение параметров задания при определении расписаний

Иногда может потребоваться, чтобы задания, активируемые расписаниями, имели разные конфигурации из тестовых заданий. При определении расписания с помощью существующего задания можно изменить параметры задания. Этот подход позволяет определить несколько расписаний, использующих одно задание с различными входными данными.

Azure CLI

При определении расписания можно изменить settingsinputsили outputs использовать при выполнении задания конвейера. Вы также можете изменить experiment_name триггерное задание.

Следующее определение расписания изменяет параметры существующего задания.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: cron_with_settings_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: 
  type: pipeline
  job: ./simple-pipeline-job.yml
  # job: azureml:simple-pipeline-job
  # runtime settings
  settings:
    #default_compute: azureml:cpu-cluster
    continue_on_step_failure: true
  inputs:
    hello_string_top_level_input: ${{name}} 
  tags: 
    schedule: cron_with_settings_schedule

Пакет SDK для Python

При определении расписания можно изменить settingsinputsили outputs использовать при выполнении задания конвейера. Вы также можете изменить experiment_name триггерное задание.

Следующее определение расписания изменяет параметры конвейера для каждого задания.

# set run time settings
pipeline_job = pipeline_with_components_from_yaml(
    training_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    test_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    training_max_epochs=20,
    training_learning_rate=1.8,
    learning_rate_schedule="time-based",
)

# set pipeline level compute
pipeline_job.settings.default_compute = "cpu-cluster"

Пользовательский интерфейс Студии

В пользовательском интерфейсе студии можно использовать дополнительные параметры в мастере создания расписания для изменения inputsoutputsзадания конвейера и среды выполненияsettings. Вы не можете изменить его в пользовательском интерфейсе experiment_name студии.

1. В входных данных задания и выходных данных можно изменить входные и выходные данные для будущих заданий, активированных расписанием. Для входных и выходных путей можно использовать макросовые выражения.

   

2. В параметрах среды выполнения задания можно изменить вычислительные ресурсы и другие параметры среды выполнения для заданий, активированных расписанием.

   

3. Выберите "Рецензирование и создание ", чтобы просмотреть настроенные параметры расписания, а затем нажмите кнопку "Проверить и создать еще раз", чтобы создать расписание.

   

Использование поддерживаемых выражений в расписаниях

При определении расписания можно использовать следующие макросовые выражения для определения динамических значений параметров, которые разрешаются фактическим значениям во время выполнения задания.

Expression	Description	Поддерживаемые свойства
${{name}}	Имя задания	outputs путь задания конвейера
${{creation_context.trigger_time}}	Время триггера задания	Строковый тип inputs задания конвейера

Управление расписанием

Список, просмотр сведений, обновление, отключение, включение и удаление расписаний в рабочей области.

Список расписаний

Azure CLI

az ml schedule list

Пакет SDK для Python

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Пользовательский интерфейс Студии

В разделе "Задания " в студии выберите вкладку "Все расписания" , чтобы просмотреть список всех расписаний заданий версии 2, созданных пакетом SDK, CLI или пользовательским интерфейсом студии в этой рабочей области.

Просмотр сведений о расписании

Azure CLI

az ml schedule show -n simple_cron_job_schedule

Пакет SDK для Python

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Пользовательский интерфейс Студии

Выберите имя расписания, чтобы отобразить страницу сведений о расписании, содержащую следующие вкладки:

• Общие сведения о расписании.

  

• Определение задания определяет задание, активируется расписанием.

  

• Журнал заданий содержит список всех заданий, активированных расписанием.

  

Обновление расписания

Azure CLI

az ml schedule update -n simple_cron_job_schedule  --set description="new description" --no-wait

Примечание.

Чтобы обновить больше, чем просто теги и описание, рассмотрите возможность использования az ml schedule create --file update_schedule.yml.

Пакет SDK для Python

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Пользовательский интерфейс Студии

На странице сведений о расписании можно выбрать параметры обновления, чтобы обновить параметры расписания, включая входные и выходные данные задания и параметры среды выполнения.

Обновление нового конвейера версии до существующего расписания

После настройки расписания для регулярного переобучения или пакетного вывода в рабочей среде можно продолжить настройку или оптимизацию модели. При наличии нового задания конвейера версий с оптимизированной производительностью можно обновить новый конвейер версии, чтобы он выполнялся в существующем расписании.

1. На странице сведений о задании конвейера новой версии выберите "Запланировать>обновление до существующего расписания".

   

2. Выберите существующее расписание для обновления определения задания.

   

   Внимание

   Убедитесь, что вы выбрали правильное расписание, которое вы хотите обновить.

3. При необходимости нажмите кнопку "Далее ", чтобы изменить входные и выходные данные задания и параметры среды выполнения для будущих заданий, активированных расписанием.

4. Выберите "Рецензирование и обновление ", чтобы просмотреть параметры расписания, а затем нажмите кнопку "Проверить и обновить " еще раз, чтобы завершить обновление.

После завершения обновления можно просмотреть новое определение задания на странице сведений о расписании. Теперь расписание активирует новое задание.

Отключение расписания

Azure CLI

az ml schedule disable -n simple_cron_job_schedule --no-wait

Пакет SDK для Python

Следующий код возвращает:False

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Пользовательский интерфейс Студии

Вы можете отключить расписания на вкладке "Все расписания" или отключить текущее расписание на странице сведений о расписании.

Включение расписания

Azure CLI

az ml schedule enable -n simple_cron_job_schedule --no-wait

Пакет SDK для Python

Следующий код возвращает:True

job_schedule = ml_client.schedules.begin_enable(name=schedule_name).result()
job_schedule.is_enabled

Пользовательский интерфейс Студии

Вы можете включить расписания на вкладке "Все расписания" или включить текущее расписание на странице сведений о расписании.

Удаление расписания

Внимание

Сначала необходимо отключить расписание для его удаления. Удаление является постоянным и невосстановимым.

Azure CLI

az ml schedule delete -n simple_cron_job_schedule

Пакет SDK для Python

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Пользовательский интерфейс Студии

Вы можете удалить расписания на вкладке "Все расписания" или удалить текущее расписание на странице сведений о расписании.

Запрос активируемых заданий из расписания

Задания, активированные определенным расписанием, имеют отображаемое имя <schedule_name>-YYYYMMDDThhmmssZ. Например, если расписание с именем named-schedule выполняется каждые 12 часов, начиная с 6:00 1 января 2021 г., то имена созданных заданий отображаются следующим образом:

• имя-расписания-20210101T060000Z
• имя-расписания-20210101T180000Z
• имя-расписания-20210102T060000Z
• имя-расписания-20210102T180000Z и т. д.

Вы также можете использовать запрос JMESPath Azure CLI для запроса заданий, инициированных по имени расписания.

# query triggered jobs from schedule, please replace the simple_cron_job_schedule to your schedule name
az ml job list --query "[?contains(display_name,'simple_cron_schedule')]"

Совет

Вкладка "Журнал заданий" на странице сведений о расписании в студии предоставляет простой способ найти все задания, активированные расписанием.

---

Поддержка управления доступом на основе ролей (RBAC)

Так как расписания используются для рабочей среды, важно уменьшить вероятность и влияние неправильной работы. Администраторы рабочей области могут ограничить доступ к расписанию создания и управления в рабочей области.

Администраторы могут настроить следующие правила действий, связанные с расписаниями в портал Azure. Дополнительные сведения см. в статье "Управление доступом к рабочим областям Машинное обучение Azure".

Действие	Description	Правило
Читать	Получение и перечисление расписаний	Microsoft.MachineLearningServices/workspaces/schedules/read
Write	Создание, обновление, отключение и включение расписаний	Microsoft.MachineLearningServices/workspaces/schedules/write
Удаление	Удаление расписаний	Microsoft.MachineLearningServices/workspaces/schedules/delete

Рекомендации по затратам

Счета за расписания выставляются на основе количества расписаний. Каждое расписание создает приложение логики, которое Машинное обучение Azure узлах от имени пользователя (HOBO).

Приложение логики взимается обратно в подписку Azure пользователя. Затраты на ресурсы HOBO выставляются с использованием того же счетчика, что и исходный поставщик ресурсов. Расходы отображаются в ресурсе узла, который является рабочей областью Машинное обучение Azure.

Связанный контент

• Схема расписания заданий CLI (версия 2) YAML
• Синтаксис YAML (версия 2)
• Что такое конвейеры машинного обучения?
• Что такое компонент Машинное обучение Azure?