Agendar trabalhos de pipeline de aprendizado de máquina

APLICA-SE A:Extensão de ML da CLI do Azure v2 (atual)SDK do Python azure-ai-ml v2 (atual)

Neste artigo, você aprenderá a agendar pipelines de machine learning para execução no Azure. Você pode agendar tarefas rotineiras, como treinar novamente modelos ou atualizar regularmente previsões em lotes com base no tempo decorrido.

Este artigo mostra como criar, recuperar, atualizar e desativar agendamentos usando a CLI do Azure Machine Learning, o SDK do Azure Machine Learning v2 para Python ou a interface do usuário do Estúdio do Azure Machine Learning.

Dica

Para agendar trabalhos usando um orquestrador externo, como o Azure Data Factory ou o Microsoft Fabric, considere implantar seus trabalhos de pipeline em um ponto de extremidade em lote. Para obter mais informações, consulte Implantar trabalhos de pipeline existentes em pontos de extremidade em lotes e Executar modelos do Azure Machine Learning do Fabric usando pontos de extremidade em lote (versão prévia).

Pré-requisitos

• Uma assinatura do Azure. Se você não tiver uma conta gratuita, crie uma antes de começar.
• Um Workspace do Azure Machine Learning. Para criar um workspace, confira Criar recursos de workspace.
• Uma noção básica sobre pipelines do Azure Machine Learning. Para obter mais informações, confira O que são pipelines de machine learning.

CLI do Azure

• A CLI do Azure e a extensão ml instalada seguindo as instruções em Instalar, configurar e usar a CLI (v2).
• Saiba como criar pipelines YAML do Azure Machine Learning. Para obter mais informações, consulte Criar e executar pipelines de machine learning usando componentes com a CLI do Azure Machine Learning.

SDK do Python

• O SDK do Azure Machine Learning v2 para Python instalado.
• Saiba como criar pipelines do Python para o Azure Machine Learning. Para obter mais informações, consulte Criar e executar pipelines de machine learning usando componentes com o SDK do Azure Machine Learning.

Interface do Usuário do Estúdio

• Saiba como criar pipelines no Estúdio do Azure Machine Learning. Para obter mais informações, consulte Criar e executar pipelines de machine learning usando componentes com o Estúdio do Azure Machine Learning.

Limitações

• O agendamento do Azure Machine Learning v2 não dá suporte a gatilhos baseados em eventos.
• Os agendamentos da CLI e do SDK v2 dão suporte à especificação de padrões de recorrência complexos que contêm vários carimbos de data/hora de gatilho. A interface do usuário do estúdio exibe os padrões complexos, mas não oferece suporte à edição deles.
• A interface do usuário do estúdio dá suporte apenas a agendamentos v2 e não pode listar ou acessar agendamentos v1 baseados em pipelines publicados ou pontos de extremidade de pipeline. Você pode criar um agendamento para um pipeline não publicado.
• Se a recorrência for definida como o 31º ou 30º dia de cada mês, o agendamento não disparará trabalhos em meses com menos dias.
• Não há suporte para valores DAYS e MONTHS em expressões de agendamento cron. Os valores passados para esses parâmetros são ignorados e tratados como *.

Criar um agendamento

Quando você tem um trabalho de pipeline com desempenho e saídas satisfatórios, pode configurar um agendamento para disparar automaticamente o trabalho regularmente. Para fazer isso, você deve criar um agendamento que associe o trabalho a um gatilho. O gatilho pode ser um padrão de recurrence ou uma expressão cron que especifica o intervalo e a frequência para executar o trabalho.

Em ambos os casos, você precisa definir um trabalho de pipeline primeiro, em linha ou especificando um trabalho de pipeline existente. Você pode definir pipelines no YAML e executá-los na CLI, criar pipelines em linha no Python ou compor pipelines no Estúdio do Azure Machine Learning. Você pode criar trabalhos de pipeline localmente ou de trabalhos existentes no workspace.

Você pode criar agendamentos v2 para trabalhos de pipeline v2 ou v1 usando a interface do usuário do estúdio, o SDK v2 ou a CLI v2. Você não precisa publicar pipelines existentes primeiro para configurar agendamento para trabalhos de pipeline.

CLI do Azure

Os exemplos de código neste artigo são de Trabalhar com Agendamento na CLI 2.0 do Azure Machine Learning.

SDK do Python

Os exemplos de código neste artigo são trechos de Trabalhar com Agendamento em notebook do Azure Machine Learning. Execute o notebook para criar e gerenciar os agendamentos, conforme descrito.

Interface do Usuário do Estúdio

Para criar um agendamento para um trabalho de pipeline do Azure Machine Learning na interface do usuário do estúdio, abra a página de detalhes do trabalho de pipeline.

Definir um agendamento baseado em tempo com um padrão de recorrência

CLI do Azure

O código YAML a seguir define um agendamento recorrente para um trabalho de pipeline. O parâmetro type obrigatório especifica que o tipo de trigger é recurrence.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_job_schedule
display_name: Simple recurrence job schedule
description: a simple hourly recurrence job schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: ./simple-pipeline-job.yml
# create_job: azureml:simple-pipeline-job

Você deve ou pode fornecer os seguintes parâmetros de agendamento:

SDK do Python

O código a seguir usa RecurrenceTrigger para fornecer uma melhor experiência de codificação.

schedule_name = "simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=10, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=recurrence_trigger, create_job=pipeline_job
)

Você deve ou pode fornecer os seguintes parâmetros de agendamento:

Interface do Usuário do Estúdio

Para abrir o assistente de criação do agendamento, selecione Agendar>Criar novo agendamento na parte superior da página.

CLI do Azure/SDK do Python

Parâmetros

• frequency (obrigatório) é a unidade de tempo na qual o agendamento é acionado. Pode ser minutes, hours, days, weeks ou months.
• interval (obrigatório) é o número de unidades de tempo entre recorrências de agendamento.
• schedule (opcional) define o padrão de recorrência, que pode conter hours, minutes e weekdays. Se omitido, os trabalhos são disparados de acordo com a lógica de start_time, frequency e interval.
  • Quando frequency for day, o padrão pode especificar hours e minutes.
  • Quando frequency for week ou month, o padrão pode especificar hours, minutes e weekdays.
    • hours é um inteiro ou uma lista de 0 a 23.
    • minutes é um inteiro ou uma lista de 0 a 59.
    • weekdays é uma cadeia de caracteres ou uma lista de monday a sunday.
• start_time (opcional) é a data e a hora de início com fuso horário. Se omitido, o padrão será igual ao tempo de criação do agendamento. Se a hora de início estiver no passado, o primeiro trabalho será executado no próximo tempo de execução calculado.
• end_time (opcional) é a data e a hora de término com fuso horário. Se omitido, o agendamento permanecerá ativo até ser desabilitado manualmente.
• time_zone (opcional) especifica o fuso horário do agendamento de recorrência. Se omitido, o padrão será UTC (Tempo Universal Coordenado). Para saber mais sobre valores de fuso horário, acesse o apêndice de valores de fuso horário.

Interface do Usuário do Estúdio

Para definir um agendamento baseado em recorrência, na tela Configurações básicas, defina as seguintes propriedades. Somente a propriedade Nome requer que você insira um valor. Se você não especificar valores para as outras propriedades, o agendamento padrão será um padrão de Recorrência que começa na criação do agendamento e é executado de segunda a sexta-feira às 16h UTC.

• Nome: o identificador exclusivo do agendamento dentro do workspace.
• Descrição: a descrição do agendamento.
• Gatilho: padrão de recorrência do agendamento, incluindo as seguintes propriedades:
  • Fuso horário: fuso horário a ser usado para a hora de gatilho, UTC por padrão.
  • Selecione Recorrência e especifique um padrão de recorrência de minutos, horas, dias, semanas ou meses.
  • Início: data em que o agendamento se torna ativo, por padrão, a data criada.
  • Término: data em que o agendamento fica inativo. Por padrão, o valor é nulo e o agendamento permanecerá ativo até ser desabilitado manualmente.
  • Marcas: marcas no agendamento.

CLI do Azure

Depois de criar o YAML de agendamento, você pode usar o comando a seguir para criar um agendamento por meio da CLI:

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

SDK do Python

O código Python a seguir cria o agendamento que você definiu:

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Interface do Usuário do Estúdio

Depois de definir as configurações básicas, selecione Examinar + Criar, examine as configurações e selecione Examinar + Criar novamente para criar o agendamento.

Definir um agendamento baseado em tempo com uma expressão cron

Uma expressão cron pode especificar um padrão de recorrência mais flexível e personalizado para um agendamento. Uma expressão crontab é composta por campos MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK delimitados por espaço. Um * curinga significa todos os valores para um campo.

Em uma expressão cron de agendamento do Azure Machine Language:

• MINUTES é um inteiro ou uma lista de 0 a 59.
• HOURS é um inteiro ou uma lista de 0 a 23.
• Valores de DAYS não têm suporte e são sempre tratados como *. Um valor de * em DAYS significa todos os dias de um mês (que varia de acordo com o mês e o ano).
• Valores de MONTHS não têm suporte e são sempre tratados como *.
• DAYS-OF-WEEK é um inteiro ou uma lista de 0 a 6, em que 0 = domingo. Nomes de dias também são aceitos.

Por exemplo, a expressão 15 16 * * 1 significa 16:15 UTC toda segunda-feira. Para obter mais informações sobre as expressões crontab, consulte a Wiki de expressão Crontab no GitHub.

CLI do Azure

O código YAML a seguir define um agendamento recorrente para um trabalho de pipeline. O parâmetro type obrigatório especifica que o tipo de trigger é cron.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

# create_job: azureml:simple-pipeline-job
create_job: ./simple-pipeline-job.yml

Você deve ou pode fornecer os seguintes parâmetros de agendamento:

SDK do Python

O código a seguir usa CronTrigger para fornecer uma melhor experiência de codificação.

schedule_name = "simple_sdk_create_schedule_cron"

schedule_start_time = datetime.utcnow()
cron_trigger = CronTrigger(
    expression="15 10 * * *",
    start_time=schedule_start_time,  # start time
    time_zone="Eastern Standard Time",  # time zone of expression
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=cron_trigger, create_job=pipeline_job
)

Você deve ou pode fornecer os seguintes parâmetros de agendamento:

Interface do Usuário do Estúdio

Para definir um agendamento baseado em cron, selecione Expressão cron em vez de Recorrência na tela Configurações básicas para o agendamento.

CLI do Azure/SDK do Python

Parâmetros

• expression (obrigatório) é uma expressão crontab padrão que expressa um agendamento recorrente.
• start_time (opcional) é a data e a hora de início do agendamento com fuso horário. Por exemplo, start_time: "2022-05-10T10:15:00-04:00" significa que a programação começa às 10:15:00 do dia 10 de maio de 2022 no fuso horário UTC-4. Se omitido, o padrão será igual ao tempo de criação do agendamento. Se a hora de início estiver no passado, o primeiro trabalho será executado no próximo tempo de execução calculado.
• end_time (opcional) é a data e a hora de término com fuso horário. Se omitido, o agendamento permanecerá ativo até ser desabilitado manualmente.
• time_zone (opcional) especifica o fuso horário do agendamento de recorrência. Se omitido, o padrão será UTC.

Interface do Usuário do Estúdio

Somente a propriedade Nome requer que você insira um valor. Se você não especificar uma expressão cron, a expressão cron padrão criará um agendamento que é executado diariamente às 16:00 UTC.

• Nome: o identificador exclusivo do agendamento dentro do workspace.
• Descrição: descrição do agendamento.
• Gatilho: padrão de recorrência do agendamento, incluindo as seguintes propriedades:
  • Fuso horário: fuso horário a ser usado para a hora de gatilho, UTC (Tempo Universal Coordenado) por padrão.
  • Selecione Expressão cron e forneça uma expressão crontab padrão que expressa um agendamento recorrente.
  • Início: data em que o agendamento se torna ativo, por padrão, a data criada.
  • Término: data em que o agendamento fica inativo. Por padrão, o valor é nulo e um agendamento permanecerá ativo até você desabilitá-lo manualmente.
  • Marcas: marcas no agendamento.

CLI do Azure

Depois de criar o YAML de agendamento, você pode usar o comando a seguir para criar um agendamento por meio da CLI:

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

SDK do Python

O código Python a seguir cria o agendamento que você definiu:

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Interface do Usuário do Estúdio

Depois de definir as configurações básicas, selecione Examinar + Criar, examine as configurações e selecione Examinar + Criar novamente para criar o agendamento.

Alterar as configurações de trabalho ao definir agendamentos

Às vezes, talvez seja melhor que os trabalhos disparados por agendamentos tenham configurações diferentes dos trabalhos de teste. Ao definir um agendamento usando um trabalho existente, você pode alterar as configurações do trabalho. Essa abordagem permite definir vários agendamentos que usam o mesmo trabalho com entradas diferentes.

CLI do Azure

Ao definir um agendamento, você pode alterar o settings, inputs ou outputs para ser usado ao executar o trabalho de pipeline. Você também pode alterar o experiment_name do trabalho disparado.

A definição do agendamento a seguir altera as configurações de um trabalho existente.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: cron_with_settings_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: 
  type: pipeline
  job: ./simple-pipeline-job.yml
  # job: azureml:simple-pipeline-job
  # runtime settings
  settings:
    #default_compute: azureml:cpu-cluster
    continue_on_step_failure: true
  inputs:
    hello_string_top_level_input: ${{name}} 
  tags: 
    schedule: cron_with_settings_schedule

SDK do Python

Ao definir um agendamento, você pode alterar o settings, inputs ou outputs para ser usado ao executar o trabalho de pipeline. Você também pode alterar o experiment_name do trabalho disparado.

A definição do agendamento a seguir altera as configurações de um pipeline por trabalho.

# set run time settings
pipeline_job = pipeline_with_components_from_yaml(
    training_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    test_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    training_max_epochs=20,
    training_learning_rate=1.8,
    learning_rate_schedule="time-based",
)

# set pipeline level compute
pipeline_job.settings.default_compute = "cpu-cluster"

Interface do Usuário do Estúdio

Na interface do usuário do estúdio, você pode usar Configurações avançadas no assistente de criação do agendamento para modificar inputs, outputs e settings do runtime para um trabalho de pipeline. Não é possível alterar o experiment_name na interface do usuário do estúdio.

1. Em Entradas e saídas do trabalho, você pode modificar entradas e saídas para trabalhos futuros disparados por agendamento. Você pode usar expressões de macro para os caminhos de entradas e saídas.

   

2. Em Configurações de runtime do trabalho, você pode modificar a computação e outras configurações de runtime para trabalhos disparados pelo agendamento.

   

3. Selecione Examinar + Criar para examinar as configurações de agendamento configuradas e, em seguida, selecione Examinar + Criar novamente para criar o agendamento.

   

Use expressões com suporte nos agendamentos

Ao definir um agendamento, você pode usar as expressões macro a seguir para definir valores de parâmetro dinâmicos que resolvem valores reais durante o runtime do trabalho.

Expression	Descrição	Propriedades com suporte
${{name}}	Nome do trabalho	Caminho de outputs do trabalho de pipeline
${{creation_context.trigger_time}}	Hora de gatilho do trabalho	inputs do tipo de cadeia de caracteres do trabalho de pipeline

Gerenciar agendamento

Você pode listar, exibir detalhes, atualizar, desabilitar, habilitar e excluir agendamentos em um workspace.

Listar agendamentos

CLI do Azure

az ml schedule list

SDK do Python

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Interface do Usuário do Estúdio

Em Trabalhos no estúdio, selecione a guia Todos os agendamentos para ver uma lista de todos os agendamentos de trabalho v2 criados pelo SDK, CLI ou interface do usuário do estúdio nesse workspace.

Ver detalhes do agendamento

CLI do Azure

az ml schedule show -n simple_cron_job_schedule

SDK do Python

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Interface do Usuário do Estúdio

Selecione um nome de agendamento para mostrar a página de detalhes do agendamento, que contém as seguintes guias:

• Visão geral apresenta informações básicas sobre o agendamento.

  

• Definição de trabalho define o trabalho disparado por esse agendamento.

  

• Histórico de trabalhos fornece uma lista de todos os trabalhos disparados por esse agendamento.

  

Atualizar um agendamento

CLI do Azure

az ml schedule update -n simple_cron_job_schedule  --set description="new description" --no-wait

Observação

Para atualizar mais do que apenas rótulos e descrições, considere usar az ml schedule create --file update_schedule.yml.

SDK do Python

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Interface do Usuário do Estúdio

Na página de detalhes do agendamento, você pode selecionar Atualizar configurações para atualizar as configurações do agendamento, incluindo as configurações de entrada/saída e runtime do trabalho.

Atualizar um pipeline de nova versão para um agendamento existente

Depois de configurar um agendamento para realizar o novo treinamento regular ou a inferência em lote na produção, você pode continuar ajustando ou otimizando o modelo. Quando você tiver um trabalho de pipeline de nova versão com desempenho otimizado, poderá atualizar o pipeline de nova versão para ser executado em um agendamento existente.

1. Na página de detalhes do trabalho do pipeline de nova versão, selecione Agendar>Atualizar para o agendamento existente.

   

2. Selecione um agendamento existente para atualizar sua definição de trabalho.

   

   Importante

   Selecione o agendamento correto que deseja atualizar.

3. Opcionalmente, selecione Avançar para modificar as entradas/saídas do trabalho e as configurações de runtime para os trabalhos futuros disparados pelo agendamento.

4. Selecione Examinar + Atualizar para examinar as configurações do agendamento e selecione Examinar + Atualizar novamente para concluir a atualização.

Depois que a atualização for concluída, você poderá ver a nova definição do trabalho na página de detalhes do agendamento. O agendamento agora dispara o novo trabalho.

Desabilitar um agendamento

CLI do Azure

az ml schedule disable -n simple_cron_job_schedule --no-wait

SDK do Python

O seguinte código retorna False:

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Interface do Usuário do Estúdio

Você pode desabilitar agendamentos da guia Todos os agendamentos ou desabilitar o agendamento atual na página de detalhes do agendamento.

Habilitar um agendamento

CLI do Azure

az ml schedule enable -n simple_cron_job_schedule --no-wait

SDK do Python

O seguinte código retorna True:

job_schedule = ml_client.schedules.begin_enable(name=schedule_name).result()
job_schedule.is_enabled

Interface do Usuário do Estúdio

Você pode habilitar agendamentos da guia Todos os agendamentos ou habilitar o agendamento atual na página de detalhes do agendamento.

excluir uma agenda

Importante

Primeiro, você deve desabilitar um agendamento para excluí-lo. A exclusão é permanente e não pode ser recuperada.

CLI do Azure

az ml schedule delete -n simple_cron_job_schedule

SDK do Python

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Interface do Usuário do Estúdio

Você pode excluir agendamentos da guia Todos os agendamentos ou excluir o agendamento atual na página de detalhes do agendamento.

Consultar trabalhos disparados de um agendamento

Trabalhos disparados por um agendamento específico têm o nome de exibição <schedule_name>-YYYYMMDDThhmmssZ. Por exemplo, se um agendamento chamado named-schedule for executado a cada 12 horas a partir das 6h de 1º de janeiro de 2021, os nomes de exibição dos trabalhos criados serão os seguintes:

• named-schedule-20210101T060000Z
• named-schedule-20210101T180000Z
• named-schedule-20210102T060000Z
• named-schedule-20210102T180000Z e assim por diante

Você também pode aplicar a consulta JMESPath da CLI do Azure para consultar os trabalhos disparados por um nome de agendamento.

# query triggered jobs from schedule, please replace the simple_cron_job_schedule to your schedule name
az ml job list --query "[?contains(display_name,'simple_cron_schedule')]"

Dica

A guia Histórico de trabalhos na página de detalhes do agendamento no estúdio fornece uma maneira simples de localizar todos os trabalhos disparados por um agendamento.

---

Suporte ao RBAC (Controle de acesso baseado em função)

Como os agendamentos são usados para produção, é importante reduzir a possibilidade e o impacto de operação incorreta. Os administradores do workspace podem restringir o acesso à criação e ao gerenciamento do agendamento em um workspace.

Os administradores podem configurar as seguintes regras de ação relacionadas a agendamentos no portal do Azure. Para obter mais informações, consulte Gerenciar acesso a workspaces do Azure Machine Learning.

Ação	Descrição	Regra
Ler	Obter e listar agendamentos	Microsoft.MachineLearningServices/workspaces/schedules/read
Gravar	Criar, atualizar, desabilitar e habilitar agendamentos	Microsoft.MachineLearningServices/workspaces/schedules/write
Excluir	Excluir agendamentos	Microsoft.MachineLearningServices/workspaces/schedules/delete

Considerações de custo

Os agendamentos são cobrados com base no número de agendamentos. Cada agendamento cria um aplicativo lógico que o Azure Machine Learning hospeda em nome do usuário (HOBO).

O aplicativo lógico faz a cobrança na assinatura do Azure do usuário. Os custos de recursos HOBO são cobrados usando o mesmo medidor emitido pelo provedor de recursos original. Os encargos são exibidos no recurso do host, que é o workspace do Azure Machine Learning.

Conteúdo relacionado

• Esquema YAML de agendamento de trabalho da CLI (v2)
• Sintaxe YAML principal da CLI (v2)
• O que são pipelines de machine learning?
• O que é um componente do Azure Machine Learning?