Agendar trabalhos de importação de dados (versão prévia)

APLICA-SE A:Extensão de ML da CLI do Azure v2 (atual)SDK do Python azure-ai-ml v2 (atual)

Este artigo explica como agendar importações de dados de modo programático usando a interface do usuário de agendamento. É possível criar um agendamento com base no tempo decorrido. Os agendamentos baseados em tempo podem lidar com as tarefas de rotina, como importações de dados regulares, para mantê-las atualizadas. Depois de aprender a criar agendamentos, você aprenderá a recuperá-los, atualizá-los e desativá-los por meio da CLI, do SDK e de recursos da interface do usuário do Estúdio.

Pré-requisitos

• Você precisa de uma assinatura do Azure para usar o Azure Machine Learning. Caso não tenha uma assinatura do Azure, crie uma conta gratuita antes de começar. Experimente hoje mesmo a versão gratuita ou paga do Azure Machine Learning.

CLI do Azure

• Instale a CLI do Azure e a extensão ml. Siga as etapas de instalação em Instalar, configurar e usar a CLI (v2).

• Crie um Workspace do Azure Machine Learning se você não tiver um. Para criação do workspace, confira Instalar, configurar e usar a CLI (v2).

SDK do Python

• Crie um Workspace do Azure Machine Learning se você não tiver um.
• O SDK para Python v2 do Azure Machine Learning.

Estúdio

• Um Workspace do Azure Machine Learning. Confira Criar recursos de workspace.
• Noções básicas sobre pipelines do Azure Machine Learning. Veja o que são pipelines de machine learning e como criar um trabalho de pipeline na CLI v2 ou no SDK v2.

Agendar importação de dados

Para importar dados de forma recorrente, você deve criar um agendamento. Um Schedule associa uma ação de importação de dados a um gatilho. O gatilho pode ser um cron, que usa uma expressão cron para descrever o atraso entre as execuções, ou um recurrence, que especifica a frequência de acionamento de um trabalho. Em cada caso, é preciso criar primeiro uma definição de importação de dados. Uma importação de dados existente ou uma importação de dados definida em linha funciona para isso. Para saber mais, acesse Criar uma importação de dados por meio da CLI, do SDK e da interface do usuário.

Criar um agendamento

Criar um agendamento baseado em tempo com padrão de recorrência

CLI do Azure

APLICA-SE A:Extensão de ML da CLI do Azurev2 (atual)

YAML: agendamento para importação de dados com padrão de recorrência

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: agendamento para definição de importação de dados em linha com o padrão de recorrência no armazenamento de dados gerenciados

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

Um trigger contém estas propriedades:

• (Obrigatório)type especifica que o tipo de agendamento, seja recurrence ou cron. A seção a seguir oferece mais informações.

Depois disso, execute este comando na CLI:

> az ml schedule create -f <file-name>.yml

SDK do Python

APLICA-SE A: SDK Python azure-ai-ml v2 (atual)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger contém as propriedades a seguir:

• (Obrigatório) A fim de ter uma experiência de codificação melhor, use RecurrenceTrigger para o agendamento de recorrência.

Estúdio

Quando a importação de dados tiver desempenho e saídas satisfatórios, configure um agendamento para acionar automaticamente essa importação.

1. Navegue até o estúdio do Azure Machine Learning

2. Em Ativos no menu de navegação à esquerda, selecione Dados. Na guia Importação de dados, selecione o ativo de dados importado ao qual um agendamento será anexado. A página Importar histórico de trabalhos deve aparecer, conforme mostrado nesta captura de tela:

   

3. Na página Histórico de trabalhos de importação, selecione o URL mais recente do hiperlink Nome do trabalho de importação para abrir a página de detalhes do trabalho de pipelines, conforme mostrado nesta captura de tela:

   

4. Na página de detalhes do trabalho de pipeline de qualquer importação de dados, selecione Agendar –>Criar novo agendamento para abrir o assistente de criação de agendamento, conforme mostrado nesta captura de tela:

   

5. As Configurações básicas do assistente de criação de agendamento têm as propriedades mostradas nesta captura de tela:

   

• Nome: o identificador exclusivo do agendamento dentro do workspace.

• Descrição: a descrição do agendamento.

• Gatilho: o padrão de recorrência do agendamento, que inclui estas propriedades:

  • Fuso horário: o cálculo do tempo de disparo é baseado neste fuso horário; (UTC) Tempo Universal Coordenado por padrão.
  • Recorrência ou expressão Cron: selecione Recorrência para especificar o padrão recorrente. Em Recorrência, você pode especificar a frequência de recorrência: por minutos, horas, dias, semanas ou meses.
  • Início: o agendamento ficará ativo pela primeira vez nessa data. Por padrão, a data da criação desse agendamento.
  • Final: o agendamento ficará inativo após essa data. Por padrão, é NENHUM, o que significa que o agendamento permanece ativo até que você o desabilite manualmente.
  • Marcas: as marcas de agendamento selecionadas.

  Depois de definir as configurações básicas, você pode selecionar Examinar + Criar e o agendamento enviará automaticamente a importação de dados com base no padrão de recorrência especificado. Você também pode selecionar Avançar e navegar pelo assistente para selecionar ou atualizar os parâmetros de importação de dados.

Observação

Essas propriedades se aplicam à CLI e ao SDK:

• (Obrigatório)frequency especifica a unidade de tempo que descreve a frequência com que o agendamento é acionado. Pode ter valores

  • minute
  • hour
  • day
  • week
  • month

• (Obrigatório)interval especifica com que frequência o agendamento é disparado com base na frequência, que é o número de unidades de tempo a aguardar até que o agendamento seja acionado novamente.

• (Opcional) schedule define o padrão de recorrência, contendo hours, minutes e weekdays.

  • Quando a frequency é igual ao day, o padrão pode especificar hours e minutes.
  • Quando a frequency é igual à week e ao month, o padrão pode especificar hours, minutes e weekdays.
  • hours deve ser um número inteiro ou uma lista, variando entre 0 e 23.
  • minutes deve ser um número inteiro ou uma lista, variando entre 0 e 59.
  • weekdays uma cadeia de caracteres ou uma lista variando de monday a sunday.
  • Se schedule for omitido, os gatilhos dos trabalhos serão disparados de acordo com a lógica de start_time, frequency e interval.

• (Opcional) start_time descreve a data e a hora de início com um fuso horário. Se a start_time for omitida, start_time será igual ao tempo de criação do trabalho. Para uma hora de início no passado, o primeiro trabalho é executado no próximo tempo de execução calculado.

• (Opcional) end_time descreve a data e a hora de término com um fuso horário. Se a end_time for omitida, o agendamento continua disparando trabalhos até que o agendamento seja desabilitado manualmente.

• (Opcional) time_zone especifica o fuso horário da recorrência. Se omitido, o fuso horário padrão é UTC. Para saber mais sobre valores de fuso horário, acesse o apêndice de valores de fuso horário.

Criar um agendamento baseado em tempo com a expressão cron

CLI do Azure

YAML: agendamento para importação de dados com a expressão cron

APLICA-SE A:Extensão de ML da CLI do Azurev2 (atual)

YAML: Agendamento para importação de dados com a expressão cron (pré-visualização)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Agendamento para definição de importação de dados em linha com a expressão cron (pré-visualização)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

A seção trigger define os detalhes do agendamento e contém estas propriedades:

• (Obrigatório)type especifica o tipo de agendamento cron.

> az ml schedule create -f <file-name>.yml

A lista continua aqui:

SDK do Python

APLICA-SE A: SDK Python azure-ai-ml v2 (atual)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

A seção CronTrigger define os detalhes do agendamento e contém estas propriedades:

• (Obrigatório) A fim de ter uma experiência de codificação melhor, use CronTrigger para o agendamento de recorrência.

A lista continua aqui:

Estúdio

Quando a importação de dados tiver desempenho e saídas satisfatórios, configure um agendamento para acionar automaticamente essa importação.

1. Navegue até o estúdio do Azure Machine Learning

2. Em Ativos no menu de navegação à esquerda, selecione Dados. Na guia Importação de dados, selecione o ativo de dados importado ao qual você deseja anexar um agendamento. A página Importar histórico de trabalhos deve aparecer, conforme mostrado nesta captura de tela:

   

3. Na página Histórico de trabalhos de importação, selecione o URL mais recente do hiperlink Nome do trabalho de importação para abrir a página de detalhes do trabalho de pipelines, conforme mostrado nesta captura de tela:

   

4. Na página de detalhes do trabalho de pipeline de qualquer importação de dados, selecione Agendar –>Criar novo agendamento para abrir o assistente de criação de agendamento, conforme mostrado nesta captura de tela:

   

5. As Configurações básicas do assistente de criação de agendamento têm as propriedades mostradas nesta captura de tela:

   

• Nome: o identificador exclusivo do agendamento dentro do workspace.

• Descrição: a descrição do agendamento.

• Gatilho: o padrão de recorrência do agendamento, que inclui estas propriedades:

  • Fuso horário: o cálculo do tempo de disparo é baseado neste fuso horário; (UTC) Tempo Universal Coordenado por padrão.
  • Recorrência ou expressão Cron: selecione Recorrência para especificar o padrão recorrente. Com a expressão Cron, é possível especificar um padrão de recorrência mais flexível e personalizado.
  • Início: o agendamento ficará ativo pela primeira vez nessa data. Por padrão, a data da criação desse agendamento.
  • Final: o agendamento ficará inativo após essa data. Por padrão, é NENHUM, o que significa que o agendamento permanece ativo até que você o desabilite manualmente.
  • Marcas: as marcas de agendamento selecionadas.

  Depois de definir as configurações básicas, você pode selecionar Examinar + Criar e o agendamento enviará automaticamente a importação de dados com base no padrão de recorrência especificado. Você também pode selecionar Avançar e navegar pelo assistente para selecionar ou atualizar os parâmetros de importação de dados.

• (Obrigatório)expression usa uma expressão crontab padrão para expressar um agendamento recorrente. Uma única expressão é composta por cinco campos delimitados por espaço:

  MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK

  • Um único curinga (*), que abrange todos os valores do campo. Um *, em dias, significa todos os dias de um mês (que varia de acordo com o mês e o ano).

  • O expression: "15 16 * * 1" no exemplo acima significa as 16:15PM em todas as segundas-feiras.

  • Esta tabela lista os valores válidos para cada campo:

    Campo	Intervalo	Comentário
    MINUTES	0-59	-
    HOURS	0-23	-
    DAYS	-	Sem suporte. O valor é ignorado e tratado como *.
    MONTHS	-	Sem suporte. O valor é ignorado e tratado como *.
    DAYS-OF-WEEK	0 a 6	Zero (0) significa domingo. Nomes de dias também aceitos.

  • Para saber mais sobre expressões crontab, acesse o recurso de wiki da expressão crontab no GitHub.

  Importante

  DAYS e MONTH não tem suporte. Se você passar um desses valores, ele será ignorado e tratado como *.

• (Opcional) start_time especifica a data e a hora de início com o fuso horário do agendamento. Por exemplo, start_time: "2022-05-10T10:15:00-04:00" significa que a programação começa às 10:15:00AM do dia 10/05/2022 no fuso horário UTC-4. Se start_time for omitido, start_time será igual à hora de criação do agendamento. Para uma hora de início no passado, o primeiro trabalho é executado no próximo tempo de execução calculado.

• (Opcional) end_time descreve a data e a hora de término com fuso horário. Se a end_time for omitida, o agendamento continua disparando trabalhos até que o agendamento seja desabilitado manualmente.

• (Opcional) time_zone especifica o fuso horário da expressão. Se time_zone for omitido, o fuso horário será UTC por padrão. Para saber mais sobre valores de fuso horário, acesse o apêndice de valores de fuso horário.

Limitações:

• Atualmente, o agendamento do Azure Machine Learning v2 não dá suporte aos gatilhos baseados em eventos.
• Use o SDK/CLI do Azure Machine Learning v2 para especificar um padrão de recorrência complexo que contém vários carimbos de data/hora do gatilho. A interface do usuário exibe apenas o padrão complexo e não oferece suporte à edição.
• Se você definir a recorrência como o 31º dia de cada mês, o agendamento não acionará trabalhos em meses com menos de 31 dias.

Listar agendamentos em um espaço de trabalho

CLI do Azure

APLICA-SE A:Extensão de ML da CLI do Azurev2 (atual)

az ml schedule list

SDK do Python

APLICA-SE A: SDK Python azure-ai-ml v2 (atual)

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Estúdio

No portal do estúdio, na extensão Trabalhos, selecione a guia Todas as agendas. Essa guia mostra todas as suas agendas de trabalho criadas pelo SDK/cli/UI, em uma única lista. Na lista de agendamentos, você tem uma visão geral de todos os agendamentos no workspace, como mostrado nesta captura de tela:

Verificar detalhes do agendamento

CLI do Azure

APLICA-SE A:Extensão de ML da CLI do Azurev2 (atual)

az ml schedule show -n simple_cron_data_import_schedule

SDK do Python

APLICA-SE A: SDK Python azure-ai-ml v2 (atual)

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Estúdio

Você pode selecionar um nome de agendamento para mostrar a página de detalhes do agendamento. A página de detalhes de agendamento contém as seguintes guias, conforme mostrado nesta captura de tela:

• Visão geral: informações básicas para o agendamento especificado.

  

• Definição de trabalho: define o trabalho que o agendamento especificado dispara, conforme mostrado nesta captura de tela:

  

Atualizar um agendamento

CLI do Azure

APLICA-SE A:Extensão de ML da CLI do Azurev2 (atual)

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

Observação

Para atualizar mais do que apenas rótulos/descrições, use az ml schedule create --file update_schedule.yml

SDK do Python

APLICA-SE A: SDK Python azure-ai-ml v2 (atual)

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Estúdio

Atualizar uma definição de importação de dados para o agendamento existente

Para alterar a frequência de importação ou criar uma nova associação para o trabalho de importação de dados, você pode atualizar a definição de importação de um agendamento existente.

Observação

Para atualizar um agendamento existente, a associação do agendamento com a definição de importação antiga será removida. Um agendamento pode ter apenas uma definição de trabalho de importação. No entanto, vários agendamentos podem chamar uma definição de importação de dados.

1. Navegue até o estúdio do Azure Machine Learning

2. Em Ativos no menu de navegação à esquerda, selecione Dados. Na guia Importação de dados, selecione o ativo de dados importado ao qual você deseja anexar um agendamento. A página Importar histórico de trabalhos deve aparecer, conforme mostrado nesta captura de tela:

   

3. Na página Importar histórico de trabalhos, selecione o link Importar nome do trabalho mais recente para abrir a página de detalhes do trabalho de pipelines, conforme mostrado nesta captura de tela:

   

4. Na página de detalhes do trabalho de pipeline de qualquer importação de dados, selecione Agendar –>Atualizar para o agendamento existente para abrir o assistente Selecionar agendamento, conforme mostrado nesta captura de tela:

   

5. Selecione um agendamento existente na lista, conforme mostrado nesta captura de tela:

   

   Importante

   Selecione o agendamento correto a ser atualizado. Depois de concluir a atualização, o agendamento disparará importações de dados diferentes.

6. Você também pode modificar a origem, consultar e alterar o caminho de destino para futuras importações de dados disparadas pelo agendamento.

7. Selecione Examinar + Atualizar para concluir o processo de atualização. A atualização concluída enviará uma notificação.

8. Você pode visualizar a nova definição de importação de dados na página de detalhes do agendamento quando a atualização for concluída.

Atualização na página de detalhes do agendamento

Na página de detalhes do agendamento, você pode selecionar Atualizar configurações para atualizar as configurações básicas e as configurações avançadas, incluindo as configurações de entrada/saída e runtime do trabalho, conforme mostrado nesta captura de tela:

Desabilitar um agendamento

CLI do Azure

APLICA-SE A:Extensão de ML da CLI do Azurev2 (atual)

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

SDK do Python

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Estúdio

Você pode desabilitar o agendamento atual na página de detalhes do agendamento. Você também pode desabilitar agendamentos na guia Todos os agendamentos.

Habilitar um agendamento

CLI do Azure

APLICA-SE A:Extensão de ML da CLI do Azurev2 (atual)

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

SDK do Python

APLICA-SE A: SDK Python azure-ai-ml v2 (atual)

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Estúdio

Na página de detalhes do agendamento, é possível habilitar o agendamento atual. Você também pode habilitar agendamentos na guia Todos os agendamentos.

excluir uma agenda

Importante

Um agendamento deve ser desabilitado antes da exclusão. A exclusão é uma ação permanente e irreversível. Depois que um agendamento é excluído, você nunca pode acessá-lo ou recuperá-lo.

CLI do Azure

APLICA-SE A:Extensão de ML da CLI do Azurev2 (atual)

az ml schedule delete -n simple_cron_data_import_schedule

SDK do Python

APLICA-SE A: SDK Python azure-ai-ml v2 (atual)

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Estúdio

Você pode excluir um agendamento na página de detalhes do agendamento ou na guia Todos os agendamentos.

Suporte a RBAC (controle de acesso baseado em função)

Os agendamentos geralmente são usados para produção. Para evitar problemas, os administradores do workspace podem querer restringir as permissões de criação e gerenciamento de agendamento em um workspace.

No momento, há três regras de ação relacionadas a agendamentos que podem ser configuradas no portal do Azure. Para saber mais, acesse Como gerenciar o acesso a um workspace do Azure Machine Learning.

Ação	Descrição	Regra
Ler	Obter e listar agendamentos no workspace do Machine Learning	Microsoft.MachineLearningServices/workspaces/schedules/read
Gravar	Criar, atualizar, desabilitar e habilitar agendamentos no workspace do Machine Learning	Microsoft.MachineLearningServices/workspaces/schedules/write
Excluir	Excluir um agendamento no workspace do Machine Learning	Microsoft.MachineLearningServices/workspaces/schedules/delete

Próximas etapas

• Saiba mais sobre o esquema YAML de agendamento de importação de dados da CLI (v2).
• Saiba como gerenciar ativos de dados importados.