Plánování úloh kanálů strojového učení

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)Python SDK azure-ai-ml v2 (aktuální)

V tomto článku se dozvíte, jak naplánovat spouštění kanálů strojového učení v Azure. Můžete naplánovat rutinní úlohy, jako je opětovné trénování modelů nebo pravidelná aktualizace dávkových předpovědí na základě uplynulého času.

V tomto článku se dozvíte, jak vytvořit, načíst, aktualizovat a deaktivovat plány pomocí rozhraní příkazového řádku služby Azure Machine Learning, sady Azure Machine Learning SDK v2 pro Python nebo studio Azure Machine Learning uživatelského rozhraní.

Tip

Pokud chcete naplánovat úlohy pomocí externího orchestrátoru, jako je Azure Data Factory nebo Microsoft Fabric, zvažte nasazení úloh kanálu v rámci dávkového koncového bodu. Další informace najdete v tématu Nasazení existujících úloh kanálu do dávkových koncových bodů a spouštění modelů Azure Machine Learning z prostředků infrastruktury pomocí dávkových koncových bodů (Preview).

Požadavky

• Předplatné Azure. Pokud ho nemáte, vytvořte si bezplatný účet před tím, než začnete.
• Pracovní prostor služby Azure Machine Learning. Pokud chcete vytvořit pracovní prostor, přečtěte si téma Vytvoření prostředků pracovního prostoru.
• Znalost kanálů Azure Machine Learning Informace najdete v tématu Co jsou kanály strojového učení.

Azure CLI

• Azure CLI a ml rozšíření nainstalované podle pokynů v tématu Instalace, nastavení a použití rozhraní příkazového řádku (v2).
• Znalost vytváření kanálů YAML ve službě Azure Machine Learning Informace najdete v tématu Vytváření a spouštění kanálů strojového učení pomocí komponent pomocí rozhraní příkazového řádku služby Azure Machine Learning.

Python SDK

• Nainstalovaná sada Azure Machine Learning SDK v2 pro Python .
• Znalost vytváření kanálů Pythonu pro Azure Machine Learning Informace najdete v tématu Vytváření a spouštění kanálů strojového učení pomocí komponent se sadou Azure Machine Learning SDK.

Uživatelské rozhraní studia

• Znalost vytváření kanálů v studio Azure Machine Learning Informace najdete v tématu Vytváření a spouštění kanálů strojového učení pomocí komponent s studio Azure Machine Learning.

Omezení

• Plány služby Azure Machine Learning v2 nepodporují triggery založené na událostech.
• Plány rozhraní příkazového řádku a sady SDK v2 podporují zadávání složitých vzorů opakování, které obsahují více časových razítek triggerů. Uživatelské rozhraní studia zobrazuje složité vzory, ale nepodporuje jejich úpravy.
• Uživatelské rozhraní studia podporuje pouze plány v2 a nemůže vypsat ani získat přístup k plánům verze 1 založeným na publikovaných kanálech nebo koncových bodech kanálu. Můžete vytvořit plán pro nepublikovaný kanál.
• Pokud je opakování nastavené jako 31. nebo 30. den v měsíci, plán neaktivuje úlohy v měsících, které mají méně dnů.
• DAYS a MONTHS hodnoty nejsou podporovány ve výrazech plánu cron. Hodnoty předané pro tyto parametry jsou ignorovány a považovány za *.

Vytvoření plánu

Pokud máte úlohu kanálu s uspokojivým výkonem a výstupy, můžete nastavit plán, který automaticky aktivuje úlohu pravidelně. K tomu je nutné vytvořit plán, který přidruží úlohu k triggeru. Aktivační událost může být buď vzor, recurrence nebo cron výraz, který určuje interval a frekvenci spuštění úlohy.

V obou případech musíte nejprve definovat úlohu kanálu, buď vloženou, nebo zadáním existující úlohy kanálu. Kanály můžete definovat v YAML a spouštět je z rozhraní příkazového řádku, vytvářet kanály vložené v Pythonu nebo vytvářet kanály v studio Azure Machine Learning. Úlohy kanálu můžete vytvářet místně nebo z existujících úloh v pracovním prostoru.

Plány v2 pro úlohy kanálu v2 nebo v1 můžete vytvořit pomocí uživatelského rozhraní sady Studio, sady SDK v2 nebo rozhraní příkazového řádku v2. Abyste mohli nastavit plány pro úlohy kanálu, nemusíte nejprve publikovat existující kanály.

Azure CLI

Příklady kódu v tomto článku pocházejí z práce s plánem v Azure Machine Learning CLI 2.0.

Python SDK

Příklady kódu v tomto článku jsou výňatky z poznámkového bloku Práce s plánem služby Azure Machine Learning. Spuštěním poznámkového bloku vytvořte a spravujte plány podle popisu.

Uživatelské rozhraní studia

Pokud chcete vytvořit plán pro úlohu kanálu Azure Machine Learning v uživatelském rozhraní studia, otevřete stránku podrobností úlohy kanálu.

Definování časového plánu se vzorem opakování

Azure CLI

Následující kód YAML definuje plán opakování úlohy kanálu. Požadovaný type parametr určuje, že trigger typ je recurrence.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_job_schedule
display_name: Simple recurrence job schedule
description: a simple hourly recurrence job schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: ./simple-pipeline-job.yml
# create_job: azureml:simple-pipeline-job

Musíte nebo můžete zadat následující parametry plánu:

Python SDK

Následující kód používá RecurrenceTrigger k zajištění lepšího prostředí pro kódování.

schedule_name = "simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=10, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=recurrence_trigger, create_job=pipeline_job
)

Musíte nebo můžete zadat následující parametry plánu:

Uživatelské rozhraní studia

Průvodce vytvořením plánu otevřete výběrem možnosti Naplánovat>vytvoření nového plánu v horní části stránky.

Azure CLI / Python SDK

Parametry

• frequency(povinné) je časová jednotka, na které se plán aktivuje. Může být minutes, , dayshours, weeksnebo months.
• interval(povinné) je počet časových jednotek mezi opakováními plánu.
• schedule (volitelné) definuje způsob opakování, který může obsahovat hours, minutesa weekdays. Pokud vynecháte, úlohy se aktivují podle logiky start_time, frequencya interval.
  • Pokud frequency je day, vzor může zadat hours a minutes.
  • Pokud frequency je week nebo month, vzor může určit hours, minutesa weekdays.
    • hours je celé číslo nebo seznam od 0 do 23.
    • minutes je celé číslo nebo seznam od 0 do 59.
    • weekdays je řetězec nebo seznam od monday do sunday.
• start_time (volitelné) je počáteční datum a čas s časovým pásmem. Pokud tento parametr vynecháte, je výchozí hodnota rovna času vytvoření plánu. Pokud je čas spuštění v minulosti, spustí se první úloha při příštím počítaném běhu.
• end_time (volitelné) je koncové datum a čas s časovým pásmem. Pokud tento plán vynecháte, zůstane plán aktivní, dokud ho ručně nezablokuje.
• time_zone (volitelné) určuje časové pásmo plánu opakování. Pokud tento parametr vynecháte, výchozí hodnota je koordinovaný univerzální čas (UTC). Další informace o hodnotách časového pásma najdete v dodatku k hodnotám časového pásma.

Uživatelské rozhraní studia

Pokud chcete definovat plán založený na opakování, na obrazovce Základní nastavení definujte následující vlastnosti. Pouze vlastnost Name vyžaduje, abyste zadali hodnotu. Pokud nezadáte hodnoty pro ostatní vlastnosti, výchozí plán je způsob opakování , který začíná při vytváření plánu a spouští se každé pondělí až pátek v 17:00 UTC.

• Název: Jedinečný identifikátor plánu v rámci pracovního prostoru.
• Popis: Popis plánu
• Trigger: Způsob opakování plánu, včetně následujících vlastností:
  • Časové pásmo: Časové pásmo, které se má použít pro čas triggeru, ve výchozím nastavení UTC.
  • Vyberte Opakování a zadejte opakující se vzor minut, hodin, dnů, týdnů nebo měsíců.
  • Začátek: Datum, kdy se plán ve výchozím nastavení aktivuje, datum vytvoření.
  • Konec: Datum, kdy je plán neaktivní. Ve výchozím nastavení hodnota není žádná a plán zůstane aktivní, dokud ručně nezablokuje.
  • Značky: Značky podle plánu.

Azure CLI

Po vytvoření plánu YAML pomocí následujícího příkazu vytvořte plán prostřednictvím rozhraní příkazového řádku:

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

Python SDK

Následující kód Pythonu vytvoří plán, který jste definovali:

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Uživatelské rozhraní studia

Jakmile nakonfigurujete základní nastavení, vyberte Zkontrolovat a vytvořit, zkontrolujte nastavení a pak znovu vyberte Zkontrolovat a vytvořit plán.

Definování časového plánu pomocí výrazu cron

Výraz cron může pro plán zadat flexibilní a přizpůsobený způsob opakování. Standardní výraz crontab se skládá z polí MINUTES HOURS DAYS MONTHS DAYS-OF-WEEKoddělených mezerami . Zástupný znak * znamená všechny hodnoty pole.

Ve výrazu cron pro plánování jazyka Azure Machine Language:

• MINUTES je celé číslo nebo seznam od 0 do 59.
• HOURS je celé číslo nebo seznam od 0 do 23.
• DAYS hodnoty nejsou podporovány a jsou vždy považovány za *. Hodnota * v DAYS znamená všechny dny v měsíci, které se liší podle měsíce a roku.
• MONTHS hodnoty nejsou podporovány a jsou vždy považovány za *.
• DAYS-OF-WEEK je celé číslo nebo seznam od 0 do 6, kde 0 = neděle. Názvy dnů jsou přijímány také.

Výraz například 15 16 * * 1 znamená 4:15 UTC každé pondělí. Další informace o výrazech crontab najdete na wikiwebu Crontab Expression na GitHubu.

Azure CLI

Následující kód YAML definuje plán opakování úlohy kanálu. Požadovaný type parametr určuje, že trigger typ je cron.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

# create_job: azureml:simple-pipeline-job
create_job: ./simple-pipeline-job.yml

Musíte nebo můžete zadat následující parametry plánu:

Python SDK

Následující kód používá CronTrigger k zajištění lepšího prostředí pro kódování.

schedule_name = "simple_sdk_create_schedule_cron"

schedule_start_time = datetime.utcnow()
cron_trigger = CronTrigger(
    expression="15 10 * * *",
    start_time=schedule_start_time,  # start time
    time_zone="Eastern Standard Time",  # time zone of expression
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=cron_trigger, create_job=pipeline_job
)

Musíte nebo můžete zadat následující parametry plánu:

Uživatelské rozhraní studia

Pokud chcete definovat plán založený na cron, vyberte místo Opakování na obrazovce Základní nastavení pro plán výraz Cron.

Azure CLI / Python SDK

Parametry

• expression(required) je standardní výraz crontab, který vyjadřuje opakující se plán.
• start_time (volitelné) je datum a čas zahájení plánu s časovým pásmem. Například znamená, start_time: "2022-05-10T10:15:00-04:00" že plán začíná od 10:15:00 10. května 2022 v časovém pásmu UTC-4. Pokud tento parametr vynecháte, je výchozí hodnota rovna času vytvoření plánu. Pokud je čas spuštění v minulosti, spustí se první úloha při příštím počítaném běhu.
• end_time (volitelné) je koncové datum a čas s časovým pásmem. Pokud tento plán vynecháte, zůstane plán aktivní, dokud ho ručně nezablokuje.
• time_zone (volitelné) určuje časové pásmo plánu opakování. Pokud tento argument vynecháte, výchozí hodnota je UTC.

Uživatelské rozhraní studia

Pouze vlastnost Name vyžaduje, abyste zadali hodnotu. Pokud nezadáte výraz cron, výchozí výraz cron vytvoří plán, který se spouští každý den v 14:00 UTC.

• Název: Jedinečný identifikátor plánu v rámci pracovního prostoru.
• Popis: Popis plánu
• Trigger: Způsob opakování plánu, včetně následujících vlastností:
  • Časové pásmo: Časové pásmo, které se má použít pro čas triggeru, ve výchozím nastavení koordinovaný univerzální čas (UTC).
  • Vyberte výraz Cron a zadejte standardní výraz crontab, který vyjadřuje opakující se plán.
  • Začátek: Datum, kdy se plán ve výchozím nastavení aktivuje, datum vytvoření.
  • Konec: Datum, kdy je plán neaktivní. Ve výchozím nastavení hodnota není žádná a plán zůstane aktivní, dokud ji ručně nezakážete.
  • Značky: Značky podle plánu.

Azure CLI

Po vytvoření plánu YAML pomocí následujícího příkazu vytvořte plán prostřednictvím rozhraní příkazového řádku:

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

Python SDK

Následující kód Pythonu vytvoří plán, který jste definovali:

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Uživatelské rozhraní studia

Jakmile nakonfigurujete základní nastavení, vyberte Zkontrolovat a vytvořit, zkontrolujte nastavení a pak znovu vyberte Zkontrolovat a vytvořit plán.

Změna nastavení úloh při definování plánů

Někdy můžete chtít, aby úlohy aktivované podle plánů měly různé konfigurace než testovací úlohy. Když definujete plán pomocí existující úlohy, můžete změnit nastavení úlohy. Tento přístup umožňuje definovat více plánů, které používají stejnou úlohu s různými vstupy.

Azure CLI

Při definování plánu můžete změnit settingsinputs, nebo outputs použít při spuštění úlohy kanálu. Můžete také změnit experiment_name aktivovanou úlohu.

Následující definice plánu změní nastavení existující úlohy.

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: cron_with_settings_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: 
  type: pipeline
  job: ./simple-pipeline-job.yml
  # job: azureml:simple-pipeline-job
  # runtime settings
  settings:
    #default_compute: azureml:cpu-cluster
    continue_on_step_failure: true
  inputs:
    hello_string_top_level_input: ${{name}} 
  tags: 
    schedule: cron_with_settings_schedule

Python SDK

Při definování plánu můžete změnit settingsinputs, nebo outputs použít při spuštění úlohy kanálu. Můžete také změnit experiment_name aktivovanou úlohu.

Následující definice plánu změní nastavení kanálu na úlohu.

# set run time settings
pipeline_job = pipeline_with_components_from_yaml(
    training_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    test_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    training_max_epochs=20,
    training_learning_rate=1.8,
    learning_rate_schedule="time-based",
)

# set pipeline level compute
pipeline_job.settings.default_compute = "cpu-cluster"

Uživatelské rozhraní studia

V uživatelském rozhraní studia můžete pomocí upřesňujících nastavení v průvodci vytvořením plánu upravit outputsinputs, a modul runtime settings pro úlohu kanálu. V uživatelském experiment_name rozhraní studia nemůžete změnit.

1. Ve vstupech úloh a výstupech můžete upravit vstupy a výstupy pro budoucí úlohy aktivované plánem. Pro vstupy a výstupní cesty můžete použít výrazy maker.

   

2. V nastavení modulu runtime úlohy můžete upravit výpočetní a další nastavení modulu runtime pro úlohy aktivované podle plánu.

   

3. Vyberte Zkontrolovat a vytvořit , abyste zkontrolovali nastavení plánu, která jste nakonfigurovali, a pak znovu vyberte Zkontrolovat a vytvořit plán.

   

Použití podporovaných výrazů v plánech

Při definování plánu můžete pomocí následujících výrazů maker definovat dynamické hodnoty parametrů, které se během běhu úlohy přeloží na skutečné hodnoty.

Expression	Popis	Podporované vlastnosti
${{name}}	Název úlohy	outputs cesta úlohy kanálu
${{creation_context.trigger_time}}	Doba aktivace úlohy	inputs Typ řetězce úlohy kanálu

Správa plánu

V pracovním prostoru můžete vypsat, zobrazit podrobnosti, aktualizovat, zakázat, povolit a odstranit plány.

Seznamy plánů

Azure CLI

az ml schedule list

Python SDK

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Uživatelské rozhraní studia

V části Úlohy v sadě Studio vyberte kartu Všechny plány a zobrazte v tomto pracovním prostoru seznam všech plánů úloh v2 vytvořených sadou SDK, rozhraním příkazového řádku nebo studiovým uživatelským rozhraním.

Zobrazení podrobností plánu

Azure CLI

az ml schedule show -n simple_cron_job_schedule

Python SDK

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Uživatelské rozhraní studia

Výběrem názvu plánu zobrazíte stránku podrobností plánu, která obsahuje následující karty:

• Přehled obsahuje základní informace o plánu.

  

• Definice úlohy definuje úlohu aktivovanou plánem.

  

• Historie úloh poskytuje seznam všech úloh aktivovaných podle plánu.

  

Aktualizace plánu

Azure CLI

az ml schedule update -n simple_cron_job_schedule  --set description="new description" --no-wait

Poznámka:

Pokud chcete aktualizovat více než jen značky a popis, zvažte použití az ml schedule create --file update_schedule.yml.

Python SDK

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Uživatelské rozhraní studia

Na stránce podrobností plánu můžete vybrat Aktualizovat nastavení a aktualizovat nastavení plánu, včetně nastavení vstupu a výstupu úlohy a modulu runtime.

Aktualizace nového kanálu verze na existující plán

Jakmile nastavíte plán pro pravidelné přetrénování nebo dávkové odvozování v produkčním prostředí, můžete pokračovat v vyladění nebo optimalizaci modelu. Pokud máte novou úlohu kanálu verze s optimalizovaným výkonem, můžete kanál nové verze aktualizovat tak, aby běžel v existujícím plánu.

1. Na stránce s podrobnostmi o úloze kanálu nové verze vyberte Naplánovat>aktualizaci na existující plán.

   

2. Vyberte existující plán, který aktualizuje definici úlohy.

   

   Důležité

   Ujistěte se, že jste vybrali správný plán, který chcete aktualizovat.

3. Volitelně můžete výběrem možnosti Další upravit vstupy a výstupy úlohy a nastavení modulu runtime pro budoucí úlohy aktivované plánem.

4. Výběrem možnosti Zkontrolovat a aktualizovat zkontrolujte nastavení plánu a pak znovu vyberte Zkontrolovat a aktualizovat aktualizaci dokončete.

Po dokončení aktualizace můžete novou definici úlohy zobrazit na stránce podrobností plánu. Plán teď aktivuje novou úlohu.

Zakázání plánu

Azure CLI

az ml schedule disable -n simple_cron_job_schedule --no-wait

Python SDK

Následující kód vrátí False:

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Uživatelské rozhraní studia

Plány můžete zakázat na kartě Všechny plány nebo zakázat aktuální plán na stránce podrobností plánu.

Povolení plánu

Azure CLI

az ml schedule enable -n simple_cron_job_schedule --no-wait

Python SDK

Následující kód vrátí True:

job_schedule = ml_client.schedules.begin_enable(name=schedule_name).result()
job_schedule.is_enabled

Uživatelské rozhraní studia

Plány můžete povolit na kartě Všechny plány nebo povolit aktuální plán ze stránky podrobností plánu.

Odstranění plánu

Důležité

Nejprve je nutné plán zakázat, abyste ho odstranili. Odstranění je trvalé a neobnovitelné.

Azure CLI

az ml schedule delete -n simple_cron_job_schedule

Python SDK

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Uživatelské rozhraní studia

Plány můžete odstranit na kartě Všechny plány nebo odstranit aktuální plán ze stránky podrobností plánu.

Dotazování aktivovaných úloh z plánu

Úlohy aktivované konkrétním plánem mají zobrazovaný název <schedule_name>-YYYYMMDDThhmmssZ. Pokud se například plán s názvem named-schedule spustí každých 12 hodin od 1. ledna 2021 od 1. ledna 2021, zobrazí se názvy vytvořených úloh takto:

• named-schedule-20210101T060000Z
• named-schedule-20210101T180000Z
• named-schedule-20210102T060000Z
• named-schedule-20210102T180000Z atd.

Dotaz JMESPath v Azure CLI můžete použít také k dotazování úloh aktivovaných názvem plánu.

# query triggered jobs from schedule, please replace the simple_cron_job_schedule to your schedule name
az ml job list --query "[?contains(display_name,'simple_cron_schedule')]"

Tip

Karta Historie úloh na stránce podrobností plánu v sadě Studio nabízí jednoduchý způsob, jak najít všechny úlohy aktivované podle plánu.

---

Podpora řízení přístupu na základě role (RBAC)

Vzhledem k tomu, že plány se používají pro výrobu, je důležité omezit možnost a dopad chybné spolupráce. Správci pracovního prostoru můžou omezit přístup k vytváření a správě plánů v pracovním prostoru.

Správci můžou nakonfigurovat následující pravidla akcí týkající se plánů na webu Azure Portal. Další informace najdete v tématu Správa přístupu k pracovním prostorům Azure Machine Learning.

Akce	Popis	Pravidlo
Čteno	Získání a výpis plánů	Microsoft.MachineLearningServices/workspaces/schedules/read
Write	Vytváření, aktualizace, zakázání a povolení plánů	Microsoft.MachineLearningServices/workspaces/schedules/write
Odstranění	Odstranění plánů	Microsoft.MachineLearningServices/workspaces/schedules/delete

Důležité informace o nákladech

Plány se účtují na základě počtu plánů. Každý plán vytvoří aplikaci logiky, kterou Azure Machine Learning hostuje jménem uživatele (HOBO).

Aplikace logiky účtuje poplatky zpět do předplatného Azure uživatele. Náklady na prostředky HOBO se účtují pomocí stejného měřiče generovaného původním poskytovatelem prostředků. Poplatky se zobrazí v rámci hostitelského prostředku, což je pracovní prostor Azure Machine Learning.

Související obsah

• Schéma YAML plánu úloh CLI (v2)
• Syntaxe YAML core CLI (v2)
• Co jsou kanály strojového učení?
• Co je komponenta Azure Machine Learning?