排定機器學習管線作業

適用於：Azure CLI ml 延伸模組 v2 (目前)Python SDK azure-ai-ml v2 (目前)

在本文中，您可了解如何排程要在 Azure 上執行的機器學習管線。 您可以排程例行工作，例如重新定型模型，或根據經過的時間定期更新批次預測。

本文說明如何使用 Azure Machine Learning CLI、Azure Machine Learning SDK v2 for Python 或 Azure Machine Learning 工作室 UI 來建立、擷取、更新和停用排程。

提示

若要使用外部協調器 (例如 Azure Data Factory 或 Microsoft Fabric) 來排程作業，請考慮在批次端點下部署管線作業。 如需詳細資訊，請參閱將現有的管線作業部署至批次端點和使用批次端點從 Fabric 執行 Azure Machine Learning 模型 (預覽)。

必要條件

• Azure 訂用帳戶。 如果您沒有 Azure 訂用帳戶，請在開始前建立免費帳戶。
• Azure Machine Learning 工作區。 若要建立工作區，請參閱建立工作區資源。
• 了解 Azure Machine Learning 管線。 如需相關資訊，請參閱什麼是機器學習管線。

Azure CLI

• 遵循安裝、設定和使用 CLI (v2) 中的指示所安裝的 Azure CLI 和 ml 延伸模組。
• 如何建立 Azure Machine Learning YAML 管線的知識。 如需相關資訊，請參閱使用元件搭配 Azure Machine Learning CLI 建立和執行機器學習管線。

Python SDK

• 已安裝 Azure Machine Learning SDK v2 for Python。
• 如何為 Azure Machine Learning 建立 Python 管線的知識。 如需相關資訊，請參閱使用元件搭配 Azure Machine Learning SDK 建立和執行機器學習管線。

工作室 UI

• 如何在 Azure Machine Learning 工作室中建立管線的知識。 如需相關資訊，請參閱使用元件搭配 Azure Machine Learning 工作室建立和執行機器學習管線。

限制

• Azure Machine Learning v2 排程不支援事件型觸發程序。
• CLI 和 SDK v2 排程支援指定包含多個觸發程序時間戳記的複雜週期模式。 工作室 UI 會顯示複雜的模式，但不支援編輯它們。
• 工作室 UI 僅支援 v2 排程，且無法列出或存取以發佈的管線或管線端點為基礎的 v1 排程。 您可以為未發佈的管線建立排程。
• 如果週期設定為每個月的第 31 天或第 30 天，排程就不會在天數較少的月份觸發作業。
• cron 排程運算式不支援 DAYS 和 MONTHS 值。 針對這些參數傳遞的值會被忽略並視為 *。

建立排程

若管線作業的效能和輸出令人滿意，您可以設定一個排程，以定期自動觸發此作業。 若要這麼做，您必須建立排程以將作業與觸發程序建立關聯。 觸發成續可以是 recurrence 模式，或是可指定執行作業間隔和頻率的 cron 運算式。

在這兩種情況下，您必須以內嵌方式或藉由指定現有的管線作業，先定義管線作業。 您可以在 YAML 中定義管線，並從 CLI 執行管線、在 Python 中以內嵌方式製作管線，或在 Azure Machine Learning 工作室中撰寫管線。 您可以在本機建立管線作業，或從工作區中的現有作業建立管線作業。

您可以使用工作室 UI、SDK v2 或 CLI v2 來建立 v2 或 v1 管線作業的 v2 排程。 您不需要先發佈現有的管線，即可設定管線作業的排程。

Azure CLI

本文中的程式碼範例來自使用 Azure Machine Learning CLI 2.0 中的排程。

Python SDK

本文中的程式碼範例摘錄自使用排程 Azure Machine Learning 筆記本。 如所述，執行筆記本來建立及管理排程。

工作室 UI

若要在工作室 UI 中建立 Azure Machine Learning 管線作業的排程，請開啟管線作業詳細資料頁面。

使用週期模式定義以時間為基礎的排程

Azure CLI

下列 YAML 程式碼會定義管線作業的週期性排程。 必要的 type 參數會指定 trigger 類型為 recurrence。

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_job_schedule
display_name: Simple recurrence job schedule
description: a simple hourly recurrence job schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: ./simple-pipeline-job.yml
# create_job: azureml:simple-pipeline-job

您必須或可以提供下列排程參數：

Python SDK

下列程式碼會使用 RecurrenceTrigger 來提供更好的程式碼撰寫體驗。

schedule_name = "simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=10, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=recurrence_trigger, create_job=pipeline_job
)

您必須或可以提供下列排程參數：

工作室 UI

若要開啟排程建立精靈，請選取頁面頂端的 [排程]>[建立新的排程]。

Azure CLI / Python SDK

參數

• frequency (必要) 是排程引發所依據的時間單位。 可以是 minutes、hours、days、weeks 或 months。
• interval (必要) 是排程週期之間的時間單位數目。
• schedule (選擇性) 會定義迴圈模式，其可包含 hours、minutes 和 weekdays。 如果省略，作業會根據 start_time、frequency 和 interval 的邏輯觸發。
  • 當 frequency 是 day 時，模式可以指定 hours 和 minutes。
  • 當 frequency 是 week 或 month 時，模式可以指定 hours、minutes 和 weekdays。
    • hours 是從 0 到 23 的整數或清單。
    • minutes 是從 0 到 59 的整數或清單。
    • weekdays 是從 monday 到 sunday 的字串或清單。
• start_time (選用) 是具有時區的開始日期和時間。 如果省略，預設值等於排程建立時間。 如果開始時間已過，第一個作業將在下一個算出的執行階段執行。
• end_time (選用) 是具有時區的結束日期和時間。 如果省略，排程會維持使用中狀態，直到手動停用為止。
• time_zone (選用) 指定週期排程的時區。 如果省略，預設值為國際標準時間 (UTC)。 如需時區值的詳細資訊，請參閱時區值的附錄。

工作室 UI

若要定義以週期為基礎的排程，請在 [基本設定] 畫面上定義下列屬性。 只有 Name 屬性需要您輸入值。 如果您未指定其他屬性的值，預設排程是 [週期] 模式，該模式於排程建立時間開始，並在每週一到週五下午 4:00 (UTC) 執行。

• 名稱：工作區內排程的唯一識別碼。
• 描述：排程描述。
• 觸發程序：排程的週期模式，包括下列屬性：
  • 時區：用於觸發時間的時區 (預設為 UTC)。
  • 選取 [週期]，並指定分鐘、小時、天、週或月的週期性模式。
  • 開始：排程變成使用中的日期，預設為建立日期。
  • 結束：排程變成非使用中的日期。 根據預設，此值為 none，而且排程會維持使用中狀態，直到手動停用為止。
  • 標籤：排程上的標籤。

Azure CLI

建立排程 YAML 後，使用下列命令，透過 CLI 建立排程：

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

Python SDK

下列 Python 程式碼會建立您定義的排程：

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

工作室 UI

設定基本設定之後，選取 [檢閱 + 建立]、檢閱設定，然後再次選取 [檢閱 + 建立] 以建立排程。

使用 cron 運算式定義以時間為基礎的排程

Cron 運算式可為排程指定彈性且自訂的週期模式。 標準 crontab 運算式是由以空白分隔的欄位 MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK 所組成。 萬用字元 * 表示欄位的所有值。

在 Azure Machine Language 排程 cron 運算式中：

• MINUTES 是從 0 到 59 的整數或清單。
• HOURS 是從 0 到 23 的整數或清單。
• 不支援 DAYS 值，而且一律會被視為 *。 以 DAYS 為單位的 * 值表示一個月的所有天數，其會因月份和年份而異。
• 不支援 MONTHS 值，而且一律會被視為 *。
• DAYS-OF-WEEK 是從 0 到 6 的整數或清單，其中 0 = 星期日。 也接受星期幾的名稱。

例如，運算式 15 16 * * 1 表示每週一下午 4:15 (UTC)。 如需 crontab 表達式的詳細資訊，請參閱 GitHub 上的 Crontab 表達式 Wiki。

Azure CLI

下列 YAML 程式碼會定義管線作業的週期性排程。 必要的 type 參數會指定 trigger 類型為 cron。

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

# create_job: azureml:simple-pipeline-job
create_job: ./simple-pipeline-job.yml

您必須或可以提供下列排程參數：

Python SDK

下列程式碼會使用 CronTrigger 來提供更好的程式碼撰寫體驗。

schedule_name = "simple_sdk_create_schedule_cron"

schedule_start_time = datetime.utcnow()
cron_trigger = CronTrigger(
    expression="15 10 * * *",
    start_time=schedule_start_time,  # start time
    time_zone="Eastern Standard Time",  # time zone of expression
)

job_schedule = JobSchedule(
    name=schedule_name, trigger=cron_trigger, create_job=pipeline_job
)

您必須或可以提供下列排程參數：

工作室 UI

若要定義以 cron 為基礎的排程，請在排程的 [基本設定] 畫面上選取 [Cron 運算式]，而不是 選取 [週期]。

Azure CLI / Python SDK

參數

• expression (必要) 是表示週期性排程的標準 crontab 運算式。
• start_time (選用) 是具有時區的排程開始日期和時間。 例如，start_time: "2022-05-10T10:15:00-04:00" 表示排程從 2022 年 5 月 10 日上午 10:15:00 開始 (UTC-4 時區)。 如果省略，預設值等於排程建立時間。 如果開始時間已過，第一個作業將在下一個算出的執行階段執行。
• end_time (選用) 是具有時區的結束日期和時間。 如果省略，排程會維持使用中狀態，直到手動停用為止。
• time_zone (選用) 指定週期排程的時區。 若省略，預設值為 UTC。

工作室 UI

只有 Name 屬性需要您輸入值。 如果您未指定 cron 運算式，預設 cron 運算式會建立排程，其會在每天下午 4:00 (UTC) 執行。

• 名稱：工作區內排程的唯一識別碼。
• 說明：排程的說明。
• 觸發程序：排程的週期模式，包括下列屬性：
  • 時區：用於觸發時間的時區，預設為國際標準時間 (UTC)。
  • 選取 [Cron 運算式]，並提供表示週期性排程的標準 crontab 運算式。
  • 開始：排程變成使用中的日期，預設為建立日期。
  • 結束：排程變成非使用中的日期。 根據預設，此值為 none，而且排程會維持使用中狀態，直到手動停用為止。
  • 標籤：排程上的標籤。

Azure CLI

建立排程 YAML 後，使用下列命令，透過 CLI 建立排程：

# This action creates related resources for a schedule. It takes dozens of seconds to complete.
az ml schedule create --file simple-pipeline-job.yml --no-wait

Python SDK

下列 Python 程式碼會建立您定義的排程：

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

工作室 UI

設定基本設定之後，選取 [檢閱 + 建立]、檢閱設定，然後再次選取 [檢閱 + 建立] 以建立排程。

在定義排程時變更作業設定

有時候，建議您讓排程所觸發的作業具有與測試作業不同的設定。 當您使用現有的作業定義排程時，您可以變更作業設定。 此方法可讓您定義多個排程，這些排程會使用相同的作業搭配不同的輸入。

Azure CLI

當您定義排程時，您可變更要在執行管線作業時使用的 settings、inputs 或 outputs。 您也可以變更所觸發作業的 experiment_name。

下列排程定義會變更現有作業的設定。

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: cron_with_settings_job_schedule
display_name: Simple cron job schedule
description: a simple hourly cron job schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

create_job: 
  type: pipeline
  job: ./simple-pipeline-job.yml
  # job: azureml:simple-pipeline-job
  # runtime settings
  settings:
    #default_compute: azureml:cpu-cluster
    continue_on_step_failure: true
  inputs:
    hello_string_top_level_input: ${{name}} 
  tags: 
    schedule: cron_with_settings_schedule

Python SDK

當您定義排程時，您可變更要在執行管線作業時使用的 settings、inputs 或 outputs。 您也可以變更所觸發作業的 experiment_name。

下列排程定義會變更每個作業的管線設定。

# set run time settings
pipeline_job = pipeline_with_components_from_yaml(
    training_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    test_input=Input(type="uri_folder", path=parent_dir + "/data/"),
    training_max_epochs=20,
    training_learning_rate=1.8,
    learning_rate_schedule="time-based",
)

# set pipeline level compute
pipeline_job.settings.default_compute = "cpu-cluster"

工作室 UI

在工作室 UI 中，您可使用排程建立精靈中的 [進階設定]，修改管線作業的 inputs、outputs 和執行階段 settings。 您無法在工作室 UI 中變更 experiment_name。

1. 在 [作業輸入和輸出] 中，您可以修改排程未來會觸發之作業的輸入和輸出。 您可以針對輸入和輸出路徑使用巨集運算式。

   

2. 在 [作業執行階段設定] 中，您可以針對排程所觸發的作業修改其計算和其他執行階段設定。

   

3. 選取 [檢閱 + 建立] 以檢閱您設定的排程設定，然後再次選取 [檢閱 + 建立] 以建立排程。

   

在排程中使用支援的運算式

當您定義排程時，可使用下列巨集運算式來定義動態參數值，以在作業執行階段解析為實際值。

運算式	描述	支援的屬性
${{name}}	作業的名稱	管線作業的 outputs 路徑
${{creation_context.trigger_time}}	作業的觸發時間	管線作業的字串類型 inputs

管理排程

您可以在工作區中列出、檢視詳細資料、更新、停用、啟用和刪除排程。

列出排程

Azure CLI

az ml schedule list

Python SDK

schedules = ml_client.schedules.list()
[s.name for s in schedules]

工作室 UI

在工作室中的 [作業] 之下，選取 [所有排程] 索引標籤，以查看此工作區中 SDK、CLI 或工作室 UI 建立的所有 v2 作業排程清單。

檢視排程詳細資料

Azure CLI

az ml schedule show -n simple_cron_job_schedule

Python SDK

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

工作室 UI

選取排程名稱以顯示排程詳細資料頁面，其中包含下列索引標籤：

• [概觀] 提供排程的基本資訊。

  

• 作業定義：定義排程所觸發的作業。

  

• [作業歷程記錄] 提供排程觸發的所有作業清單。

  

更新排程

Azure CLI

az ml schedule update -n simple_cron_job_schedule  --set description="new description" --no-wait

注意

若不只要更新標籤和描述，請考慮使用 az ml schedule create --file update_schedule.yml。

Python SDK

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

工作室 UI

在排程詳細資料頁面中，選取 [更新設定] 可更新排程設定，包括作業輸入/輸出和執行階段設定。

將新版本管線更新為現有排程

設定排程以對生產環境執行定期重新定型或批次推斷後，您可以繼續微調模型或將模型最佳化。 當您有效能已最佳化的新版本管線作業時，您可以將新版本管線更新為要在現有排程上執行。

1. 在新版本管線作業詳細資料頁面中，選取 [排程]>[更新為現有排程]。

   

2. 選取現有的排程以更新其工作定義。

   

   重要

   請務必選取想要更新的正確排程。

3. 選擇性地選取 [下一步] 以修改作業輸入/輸出，以及排程未來會觸發之作業的執行階段設定。

4. 選取 [檢閱 + 更新] 以檢閱排程設定，然後再次選取 [檢閱 + 更新] 以完成更新。

更新完成之後，您可以在排程詳細資料頁面中檢視新的作業定義。 排程現在會觸發新的作業。

停用排程

Azure CLI

az ml schedule disable -n simple_cron_job_schedule --no-wait

Python SDK

下列程式碼會傳回 False：

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

工作室 UI

您可以從 [所有排程] 索引標籤停用排程，或從排程詳細資料頁面停用目前的排程。

啟用排程

Azure CLI

az ml schedule enable -n simple_cron_job_schedule --no-wait

Python SDK

下列程式碼會傳回 True：

job_schedule = ml_client.schedules.begin_enable(name=schedule_name).result()
job_schedule.is_enabled

工作室 UI

您可以從 [所有排程] 索引標籤啟用排程，或從排程詳細資料頁面啟用目前的排程。

刪除排程

重要

您必須先停用排程才能予以刪除。 刪除是永久且無法復原的作業。

Azure CLI

az ml schedule delete -n simple_cron_job_schedule

Python SDK

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

工作室 UI

您可以從 [所有排程] 索引標籤刪除排程，或從排程詳細資料頁面刪除目前的排程。

從排程查詢觸發作業

由特定排程觸發的作業全都有顯示名稱 <schedule_name>-YYYYMMDDThhmmssZ。 例如，如果名為 named-schedule 的排程從 2021 年 1 月 1 日上午 6 點開始每隔 12 小時執行一次，則所建立作業的顯示名稱如下所示：

• named-schedule-20210101T060000Z
• named-schedule-20210101T180000Z
• named-schedule-20210102T060000Z
• named-schedule-20210102T180000Z 等

您也可以套用 Azure CLI JMESPath 查詢，查詢排程名稱觸發的作業。

# query triggered jobs from schedule, please replace the simple_cron_job_schedule to your schedule name
az ml job list --query "[?contains(display_name,'simple_cron_schedule')]"

提示

工作室中排程詳細資料頁面上的 [作業歷程記錄] 索引標籤提供簡單的方法來尋找排程觸發的所有作業。

---

角色型存取控制 (RBAC) 支援

因為排程使用於生產環境，所以務必減少操作錯誤的可能性和影響。 工作區管理員可限制在工作區中建立和管理排程的存取權。

系統管理員可以在 Azure 入口網站中設定與排程相關的下列動作規則。 如需詳細資訊，請參閱 管理 Azure Machine Learning 工作區。

動作	描述	規則
參閱	取得和列出排程	Microsoft.MachineLearningServices/workspaces/schedules/read
寫入	建立、更新、停用和啟用排程	Microsoft.MachineLearningServices/workspaces/schedules/write
刪除	刪除排程	Microsoft.MachineLearningServices/workspaces/schedules/delete

成本考量

排程會根據排程數目計費。 每個排程都會建立 Azure Machine Learning 代表 (HOBO) 使用者裝載的邏輯應用程式。

此邏輯應用程式會向使用者的 Azure 訂用帳戶收費。 HOBO 資源成本會使用原始資源提供者發出的相同計量來計費。 費用會出現在主機資源底下，也就是 Azure Machine Learning 工作區。

相關內容

• CLI (v2) 作業排程 YAML 結構描述
• CLI (v2) 核心 YAML 語法
• 什麼是機器學習管線？
• 什麼是 Azure Machine Learning 元件？