Планирование заданий импорта данных (предварительная версия)

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение машинного обучения Azure CLI версии 2 (current)Python SDK azure-ai-ml версии 2 (current)

В этой статье вы узнаете, как программно планировать импорт данных и использовать пользовательский интерфейс расписания для выполнения этого же действия. Расписание можно создать на основе истекшего времени. Расписания на основе времени можно использовать для выполнения стандартных задач, таких как регулярное импортирование данных для поддержания их актуальности. Научившись создавать расписания, вы узнаете, как извлекать, обновлять и деактивировать их с помощью интерфейса командной строки, пакета SDK и пользовательского интерфейса студии.

Необходимые компоненты

• Для использования машинного обучения Azure необходима подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе. Опробуйте бесплатную или платную версию Машинного обучения Azure уже сегодня.

Azure CLI

• Установите Azure CLI и расширение ml. Выполните инструкции по установке, приведенные в статье Установка, настройка и использование CLI (версия 2).

• Создайте рабочую область Машинного обучения Azure, если у вас ее нет. Создание рабочего пространства описывается в статье Установка, настройка и использование CLI (версия 2).

Пакет SDK для Python

• Создайте рабочую область Машинного обучения Azure, если у вас ее нет.
• Пакет SDK версии 2 Машинного обучения Azure для Python.

Studio

• Рабочая область Машинного обучения Azure. См.раздел Создание ресурсов рабочей области.
• Понимание конвейеров Машинное обучение Azure. Узнайте , что такое конвейеры машинного обучения и как создать задание конвейера в CLI версии 2 или пакете SDK версии 2.

Планирование импорта данных

Чтобы импортировать данные на регулярной основе, необходимо создать расписание. Он Schedule связывает действие импорта данных и триггер. В качестве триггера можно использовать cron с выражением, которое описывает ожидание между запусками, либо recurrence с указанием частоты запуска задания. В каждом случае необходимо сначала определить определение импорта данных. Существующий импорт данных или импорт данных, определенный встроенным способом, работает для этого. Сведения о создании импорта данных в CLI, пакете SDK и пользовательском интерфейсе.

Создание графика

Создание расписания на основе времени с шаблоном повторения

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ:расширение Машинного обучения для Azure CLI версии 2 (текущая версия)

YAML: планирование импорта данных с шаблоном повторения

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: планирование определения импорта данных в соответствии с шаблоном повторения в управляемом хранилище данных

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

trigger содержит следующие свойства:

• (обязательно)type указывает тип расписания либо recurrencecron. Дополнительные сведения см. в следующем разделе.

Затем выполните следующую команду в интерфейсе командной строки:

> az ml schedule create -f <file-name>.yml

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger содержит перечисленные ниже свойства.

• (Обязательно) Чтобы упростить написание кода, мы используем RecurrenceTrigger для планирования повторений.

Studio

При импорте данных с удовлетворительной производительностью и выходными данными можно настроить расписание для автоматического активации этого импорта.

1. Перейдите к Студия машинного обучения Azure

2. В разделе "Ресурсы " в области навигации слева выберите "Данные". На вкладке импорта данных выберите импортированный ресурс данных, к которому требуется присоединить расписание. Откроется страница журнала заданий импорта, как показано на снимке экрана:

   

3. На странице журнала заданий импорта выберите последнюю ссылку "Имя задания импорта", чтобы открыть страницу сведений о задании конвейеров, как показано на этом снимке экрана:

   

4. На странице сведений о задании конвейера любого импорта данных выберите "Расписание ->Создать новое расписание", чтобы открыть мастер создания расписания , как показано на этом снимке экрана:

   

5. Основные параметры мастера создания расписания имеют свойства, показанные на этом снимке экрана:

   

• Имя: уникальный идентификатор расписания в рабочей области.

• Описание: описание расписания.

• Триггер: шаблон повторения расписания, который включает следующие свойства.

  • Часовой пояс: расчет времени триггера основан на этом часовом поясе; (UTC) По умолчанию координированное универсальное время.
  • Выражение повторения или Cron: выберите повторение, чтобы указать повторяющийся шаблон. В разделе "Повторение" можно указать частоту повторения по минутам, часам, дням, неделям или месяцам.
  • Начало: расписание сначала становится активным на этой дате. По умолчанию дата создания этого расписания.
  • Конец: расписание станет неактивным после этой даты. По умолчанию это NONE, что означает, что расписание остается активным, пока вы не отключите его вручную.
  • Теги: выбранные теги расписания.

  После настройки основных параметров можно выбрать "Просмотр и создание", а расписание автоматически отправляет импорт данных на основе указанного шаблона повторения. Вы также можете выбрать или обновить параметры импорта данных с помощью мастера.

Примечание.

Эти свойства применяются к интерфейсу командной строки и пакету SDK:

• (Обязательно)frequency означает единицу времени, которая задает частоту срабатывания расписания. Может иметь значения minute, , , dayhourweekили month.

• (Обязательно)interval указывает, как часто расписание срабатывает на основе частоты, т.е. количество единиц времени, которое необходимо выждать, прежде чем расписание сработает снова.

• (Необязательно) schedule определяет шаблон повторения, содержащий hours, minutesи weekdays.

  • Если frequency равно day, шаблон может указывать hours и minutes.
  • При frequency равном значении week и monthшаблон может указывать hoursи minutesweekdays.
  • hours должно быть целым числом или списком, начиная от 0 до 23.
  • minutes должно быть целым числом или списком, начиная от 0 до 59.
  • weekdays строка или список, начиная от mondaysunday.
  • Если schedule опущен, задания активируются в соответствии с логикой start_timeи frequencyinterval.

• (Необязательно) start_time описывает дату и время начала с часовой поясом. Если start_time опущен, start_time равно времени создания задания. В течение времени начала в прошлом первое задание выполняется в следующее вычисляемое время выполнения.

• (Необязательно) end_time описывает дату окончания и время с часовой поясом. Если end_time опущено, расписание продолжает запускать задания, пока расписание не будет отключено вручную.

• (Необязательно) time_zone указывает часовой пояс повторения. Если опущено, часовой пояс по умолчанию — UTC. Дополнительные сведения о значениях часового пояса см. в приложении для значений часового пояса.

Создание расписания на основе времени с помощью выражения cron

Azure CLI

YAML: планирование импорта данных с помощью выражения cron

ОБЛАСТЬ ПРИМЕНЕНИЯ:расширение Машинного обучения для Azure CLI версии 2 (текущая версия)

YAML: планирование импорта данных с помощью выражения cron (предварительная версия)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: планирование определения импорта данных в соответствии с выражением cron (предварительная версия)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

В разделе trigger задаются сведения о расписании и содержатся следующие свойства:

• (Обязательно)type указывает тип расписания: cron.

> az ml schedule create -f <file-name>.yml

Список продолжается здесь:

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

В разделе CronTrigger задаются сведения о расписании и содержатся следующие свойства:

• (Обязательно) Чтобы упростить написание кода, мы используем CronTrigger для планирования повторений.

Список продолжается здесь:

Studio

При импорте данных с удовлетворительной производительностью и выходными данными можно настроить расписание для автоматического активации этого импорта.

1. Перейдите к Студия машинного обучения Azure

2. В разделе "Ресурсы " в области навигации слева выберите "Данные". На вкладке импорта данных выберите импортированный ресурс данных, к которому требуется присоединить расписание. Откроется страница журнала заданий импорта, как показано на снимке экрана:

   

3. На странице журнала заданий импорта выберите последнюю ссылку "Имя задания импорта", чтобы открыть страницу сведений о задании конвейеров, как показано на этом снимке экрана:

   

4. На странице сведений о задании конвейера любого импорта данных выберите "Расписание ->Создать новое расписание", чтобы открыть мастер создания расписания , как показано на этом снимке экрана:

   

5. Основные параметры мастера создания расписания имеют свойства, показанные на этом снимке экрана:

   

• Имя: уникальный идентификатор расписания в рабочей области.

• Описание: описание расписания.

• Триггер: шаблон повторения расписания, который включает следующие свойства.

  • Часовой пояс: расчет времени триггера основан на этом часовом поясе; (UTC) По умолчанию координированное универсальное время.
  • Выражение повторения или Cron: выберите повторение, чтобы указать повторяющийся шаблон. Выражение Cron позволяет указать более гибкий и настраиваемый шаблон повторения.
  • Начало: расписание сначала становится активным на этой дате. По умолчанию дата создания этого расписания.
  • Конец: расписание станет неактивным после этой даты. По умолчанию это NONE, что означает, что расписание остается активным, пока вы не отключите его вручную.
  • Теги: выбранные теги расписания.

  После настройки основных параметров можно выбрать "Просмотр и создание", а расписание автоматически отправляет импорт данных на основе указанного шаблона повторения. Вы также можете выбрать или обновить параметры импорта данных с помощью мастера.

• (обязательно)expression использует стандартное выражение crontab для выражения повторяющегося расписания. Одно выражение состоит из пяти полей с разделителями-пробелами:

  MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK

  • Один подстановочный знак (*), который охватывает все значения поля. В *днях означает все дни месяца (который зависит от месяца и года).

  • В expression: "15 16 * * 1" приведенном выше примере означает 16:15 в каждый понедельник.

  • В следующей таблице перечислены допустимые значения для каждого поля:

    Поле	Диапазон	Комментарии
    MINUTES	0-59	-
    HOURS	0-23	-
    DAYS	-	Не поддерживается. Значение игнорируется и обрабатывается как *.
    MONTHS	-	Не поддерживается. Значение игнорируется и обрабатывается как *.
    DAYS-OF-WEEK	0–6	Ноль (0) означает воскресенье. Также принимаются имена дней.

  • Дополнительные сведения о выражениях crontab см. вики-сайте Crontab Expression на сайте GitHub.

  Важно!

  Значения DAYS и MONTH не поддерживаются. Если передать одно из этих значений, он будет игнорироваться и рассматриваться как *.

• (Необязательно) start_time указывает дату и время начала с часовой пояс расписания. Например, означает, start_time: "2022-05-10T10:15:00-04:00" что расписание начинается с 10:15:00 УТРА 2022-05-10 в часовом поясе UTC-4. Если start_time опущено, start_time время создания расписания равно времени создания. В течение времени начала в прошлом первое задание выполняется в следующее вычисляемое время выполнения.

• (Необязательно) end_time описывает дату окончания и время с часовой поясом. Если end_time опущено, расписание продолжает запускать задания, пока расписание не будет отключено вручную.

• (Необязательно) time_zone указывает часовой пояс выражения. Если опущено, часовой пояс по умолчанию — UTC. См. приложение для значений часового пояса.

Ограничения:

• В настоящее время планирование Машинное обучение Azure версии 2 не поддерживает триггеры на основе событий.
• Используйте пакет SDK или CLI Машинное обучение Azure версии 2, чтобы указать сложный шаблон повторения, содержащий несколько меток времени триггера. Пользовательский интерфейс отображает только сложный шаблон и не поддерживает редактирование.
• Если вы устанавливаете повторение как 31-й день каждого месяца, расписание не будет запускать задания в месяцах с менее чем 31 днями.

Получение списка расписаний в рабочей области

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ:расширение Машинного обучения для Azure CLI версии 2 (текущая версия)

az ml schedule list

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Studio

На портале студии в расширении "Задания" выберите вкладку "Все расписания". На этой вкладке отображаются все расписания заданий, созданные пакетом SDK/cli/UI, в одном списке. В списке расписаний вы можете просмотреть все расписания в этой рабочей области, как показано на снимке экрана:

Проверка сведений о расписании

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ:расширение Машинного обучения для Azure CLI версии 2 (текущая версия)

az ml schedule show -n simple_cron_data_import_schedule

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Studio

Вы можете выбрать имя расписания, чтобы отобразить страницу сведений о расписании. Страница сведений о расписании содержит следующие вкладки, как показано на этом снимке экрана:

• Обзор: основные сведения для указанного расписания.

  

• Определение задания: определяет задание, которое активирует указанное расписание, как показано на снимке экрана:

  

Обновление расписания

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ:расширение Машинного обучения для Azure CLI версии 2 (текущая версия)

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

Примечание.

Чтобы обновить больше тегов и описания, рекомендуется использовать az ml schedule create --file update_schedule.yml

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Studio

Обновление определения импорта данных до существующего расписания

Чтобы изменить частоту импорта или создать новую связь для задания импорта данных, можно обновить определение импорта существующего расписания.

Примечание.

Чтобы обновить существующее расписание, связь расписания со старым определением импорта будет удалена. Расписание может содержать только одно определение задания импорта. Однако несколько расписаний могут вызывать одно определение импорта данных.

1. Перейдите к Студия машинного обучения Azure

2. В разделе "Ресурсы " в области навигации слева выберите "Данные". На вкладке импорта данных выберите импортированный ресурс данных, к которому требуется присоединить расписание. Затем откроется страница журнала заданий импорта, как показано на снимке экрана:

   

3. На странице журнала заданий импорта выберите последнюю ссылку "Имя задания импорта", чтобы открыть страницу сведений о задании конвейеров, как показано на этом снимке экрана:

   

4. На странице сведений о задании конвейера любого импорта данных выберите "Расписание ->Обновлено до существующего расписания", чтобы открыть мастер выбора расписания, как показано на этом снимке экрана:

   

5. Выберите существующее расписание из списка, как показано на снимке экрана:

   

   Важно!

   Не забудьте выбрать правильное расписание обновления. После завершения обновления расписание активирует различные импорты данных.

6. Вы также можете изменить источник, запрос и изменить путь назначения для будущих импортируемых данных, которые активируются расписанием.

7. Нажмите кнопку "Проверка и обновление", чтобы завершить процесс обновления. Готовое обновление отправляет уведомление.

8. При завершении обновления можно просмотреть новое определение импорта данных на странице сведений о расписании.

Страница сведений об обновлении расписания

На странице сведений о расписании можно выбрать параметры обновления для обновления основных параметров и дополнительных параметров, включая входные и выходные данные задания и параметры среды выполнения расписания, как показано на этом снимке экрана:

Отключение расписания

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ:расширение Машинного обучения для Azure CLI версии 2 (текущая версия)

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

Пакет SDK для Python

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Studio

Текущее расписание можно отключить на странице сведений о расписании. Вы также можете отключить расписания на вкладке "Все расписания ".

Включение расписания

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ:расширение Машинного обучения для Azure CLI версии 2 (текущая версия)

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Studio

На странице сведений о расписании можно включить текущее расписание. Вы также можете включить расписания на вкладке "Все расписания ".

Удаление расписания

Важно!

Перед удалением необходимо отключить расписание. Удаление — это неустранимое действие. После удаления расписания вы никогда не сможете получить доступ к нему или восстановить его.

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ:расширение Машинного обучения для Azure CLI версии 2 (текущая версия)

az ml schedule delete -n simple_cron_data_import_schedule

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Studio

Вы можете удалить расписание на странице сведений о расписании или на вкладке "Все расписания".

Поддержка RBAC (управление доступом на основе ролей)

Расписания обычно используются для рабочей среды. Чтобы предотвратить проблемы, администраторы рабочих областей могут ограничить разрешения на создание расписания и управление в рабочей области.

В настоящее время существует три правила действий, связанных с расписаниями, и их можно настроить в портал Azure. Узнайте, как управлять доступом к рабочей области Машинное обучение Azure.

Действие	Description	Правило
Читать	Получение и перечисление расписаний в рабочей области Машинное обучение	Microsoft.Machine Обучение Services/workspaces/schedules/read
Запись	Создание, обновление, отключение и включение расписаний в рабочей области Машинное обучение	Microsoft.Machine Обучение Services/workspaces/schedules/write
Удаление	Удаление расписания в рабочей области Машинное обучение	Microsoft.Machine Обучение Services/workspaces/schedules/delete

Следующие шаги

• Узнайте больше о схеме YAML для импорта данных (версия 2).
• Узнайте, как управлять импортированными ресурсами данных.