共用方式為


CLI (v2) 排程模型監視的 YAML 結構描述 (預覽)

適用於:Azure CLI ml 延伸模組 v2 (目前)

本文件中詳述的 YAML 語法是以最新版 ML CLI v2 延伸模組的 JSON 結構描述為基礎。 此語法僅保證能與最新版的 ML CLI v2 延伸模組搭配運作。 您可以在 檢視 https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.json完整的 JSON 架構。 您可以在 https://azuremlschemasprod.azureedge.net/ 找到舊版延伸模組的結構描述。

YAML 語法

機碼 類型 描述 允許的值
$schema 字串 YAML 結構描述。
name 字串 必要。 排程的名稱。
description 字串 排程的描述。
tags object 排程的標籤典。
trigger object 必要。 要定義何時觸發作業的觸發程式組態。 其中一個 RecurrenceTriggerCronTrigger 是必要的。
create_monitor object 必要。 由排程觸發之監視器的定義。 MonitorDefinition 是必要的。

觸發程式設定

週期性觸發程序

機碼 類型 描述 允許的值
type 字串 必要。 指定排程類型。 recurrence
frequency 字串 必要。 指定描述排程引發頻率的時間單位。 minute、、 hourdayweekmonth
interval 整數 必要。 指定排程引發的間隔。
start_time 字串 描述時區的開始日期和時間。 如果 start_time 省略,則第一個作業會立即執行,且未來工作會根據排程觸發,並指出 start_time 將會等於作業建立時間。 如果開始時間已結束,第一個作業會在下一個計算的執行時間執行。
end_time 字串 描述具有時區的結束日期和時間。 如果 end_time 省略,排程會繼續執行,直到明確停用為止。
timezone 字串 指定週期的時區。 如果省略,即預設為 UTC。 請參閱 時區值的附錄
pattern object 指定週期的模式。 如果省略模式,作業會根據start_time、頻率和間隔的邏輯來觸發。

週期排程

週期排程會定義週期模式,其中包含 hoursminutesweekdays

  • 當 frequency 為 day時,模式可以指定 hoursminutes
  • 當 frequency 為 weekmonth時,模式可以指定 hoursminutesweekdays
機碼 類型 允許的值
hours 整數或整數陣列 0-23
minutes 整數或整數陣列 0-59
week_days 字串或字串串數位 mondaytuesday、、thursdaywednesdayfriday、、、 saturdaysunday

CronTrigger

機碼 類型 描述 允許的值
type 字串 必要。 指定排程類型。 Cron
expression 字串 必要。 指定要定義如何觸發作業的cron表達式。 expression 會使用標準 crontab 運算式來表示週期性排程。 單一表示式是由五個以空格分隔的欄位所組成:MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK
start_time 字串 描述時區的開始日期和時間。 如果省略start_time,則第一個作業會立即執行,且未來的作業將會根據排程觸發,並指出start_time會等於作業建立時間。 如果開始時間已結束,第一個作業會在下一個計算的執行時間執行。
end_time 字串 描述具有時區的結束日期和時間。 如果省略end_time,排程會繼續執行,直到明確停用為止。
timezone 字串 指定週期的時區。 如果省略,即預設為 UTC。 請參閱 時區值的附錄

監視定義

機碼 類型 描述 允許的值 預設值
compute Object 必要。 用於執行監視作業之 Spark 集區的計算資源描述。
compute.instance_type String 必要。 要用於 Spark 集區的計算實例類型。 'standard_e4s_v3'、'standard_e8s_v3'、'standard_e16s_v3'、'standard_e32s_v3'、'standard_e64s_v3' n/a
compute.runtime_version String 選擇性。 定義 Spark 執行時間版本。 3.3 3.3
monitoring_target Object 與模型監視相關聯的 Azure 機器學習 資產。
monitoring_target.ml_task String 模型的機器學習工作。 允許的值為:classification、、 regressionquestion_answering
monitoring_target.endpoint_deployment_id String 選擇性。 相關聯的 Azure 機器學習 端點/部署識別碼,格式為 azureml:myEndpointName:myDeploymentName。 如果您的端點/部署已啟用用於模型監視的模型數據收集,則需要此字段。
monitoring_target.model_id String 選擇性。 模型監視的相關模型標識碼。
monitoring_signals Object 要包含之監視訊號的字典。 索引鍵是監視內容中監視訊號的名稱,而值是包含 監視訊號規格的物件。 針對 使用最近生產數據作為比較基準的基本模型監視選用專案,並具有 3 個監視訊號:數據漂移、預測漂移和數據品質。
alert_notification 字串或物件 警示通知收件者的描述。 允許兩個警示目的地的其中一個:包含電子郵件收件者陣列的字串azmonitoring或物件emails
alert_notification.emails Object 要接收警示通知的電子郵件地址清單。

監視訊號

資料漂移

當用來定型模型的數據在生產環境中發展時,數據的分佈可能會改變,導致定型數據與模型用來預測的實際數據不符。 數據漂移是機器學習中用來定型模型隨時間變化之輸入數據的統計屬性時所發生的現象。

機碼 類型 描述 允許的值 預設值
type String 必要。 監視訊號的類型。 預先建置的監視訊號處理元件會根據 type 此處指定的 自動載入。 data_drift data_drift
production_data Object 選擇性。 要分析以監視訊號的生產數據描述。
production_data.input_data Object 選擇性。 輸入數據來源的描述,請參閱 作業輸入資料 規格。
production_data.data_context String 數據的內容會參考模型生產數據,而且可能是模型輸入或模型輸出 model_inputs
production_data.data_window Object 選擇性。 要做為比較基準數據之參考數據的數據視窗。 只允許滾動數據視窗或固定資料視窗。 若要使用滾動數據視窗,請指定 production_data.data_window.lookback_window_offsetproduction_data.data_window.lookback_window_size 屬性。 若要使用固定資料視窗,請指定 production_data.data_window.window_startproduction_data.data_window.window_end 屬性。 所有屬性值都必須ISO8601格式。
production_data.pre_processing_component String 註冊元件格式 azureml:myPreprocessing@latest 的元件識別碼。 如果 production_data.data.input_data.type 為 ,則為 ,請參閱前置處理元件規格uri_folder
reference_data Object 選擇性。 如果未指定,則會使用最近的過去生產數據作為比較基準數據。 建議使用定型數據作為比較基準。
reference_data.input_data Object 輸入數據來源的描述,請參閱 作業輸入資料 規格。
reference_data.data_context String 數據的內容,是指數據集之前使用的內容 model_inputs、 、 trainingtestvalidation
reference_data.data_column_names.target_column Object 選擇性reference_data如果 為定型數據,則需要此屬性,才能監視數據漂移的前 N 個功能。
reference_data.data_window Object 選擇性。 要做為比較基準數據之參考數據的數據視窗。 只允許滾動數據視窗或固定資料視窗。 若要使用滾動數據視窗,請指定 reference_data.data_window.lookback_window_offsetreference_data.data_window.lookback_window_size 屬性。 若要使用固定資料視窗,請指定 reference_data.data_window.window_startreference_data.data_window.window_end 屬性。 所有屬性值都必須ISO8601格式。
reference_data_data.pre_processing_component String 註冊元件格式 azureml:myPreprocessing@latest 的元件識別碼。 如果 為 ,則為 ,請參閱前置處理元件規格。uri_folderreference_data.input_data.type
features Object 選擇性。 要監視數據漂移的目標功能。 某些模型可能有數百或數千個功能,建議一律指定感興趣的功能進行監視。 下列其中一個值:功能名稱 features.top_n_feature_importance、、 或 的清單 all_features 如果 production_data.data_contexttraining,則預設值features.top_n_feature_importance = 10為 ,否則預設值為all_features
alert_enabled 布林值 開啟/關閉監視訊號的警示通知。 TrueFalse
metric_thresholds Object 監視訊號的計量和臨界值屬性清單。 超過閾值且 alert_enabledtrue時,使用者會收到警示通知。
metric_thresholds.numerical Object 選擇性。 格式的計量和臨界 key:value 值清單, key 是計量名稱, value 是臨界值。 允許的數值計量名稱:jensen_shannon_distance、、normalized_wasserstein_distancepopulation_stability_indextwo_sample_kolmogorov_smirnov_test
metric_thresholds.categorical Object 選擇性。 'key:value' 格式的計量和臨界值清單,'key' 是計量名稱,'value' 是臨界值。 允許類別計量名稱:jensen_shannon_distance、、 chi_squared_testpopulation_stability_index

預測漂移

預測漂移會藉由比較模型預測輸出與驗證或測試標籤資料或最近的生產數據,來追蹤模型的預測輸出分佈變更。

機碼 類型 描述 允許的值 預設值
type String 必要。 監視訊號的類型。 預先建置的監視訊號處理元件會根據 type 此處指定的 自動載入。 prediction_drift prediction_drift
production_data Object 選擇性。 要分析以監視訊號的生產數據描述。
production_data.input_data Object 選擇性。 輸入數據來源的描述,請參閱 作業輸入資料 規格。
production_data.data_context String 數據的內容會參考模型生產數據,而且可能是模型輸入或模型輸出 model_outputs
production_data.data_window Object 選擇性。 要做為比較基準數據之參考數據的數據視窗。 只允許滾動數據視窗或固定資料視窗。 若要使用滾動數據視窗,請指定 production_data.data_window.lookback_window_offsetproduction_data.data_window.lookback_window_size 屬性。 若要使用固定資料視窗,請指定 production_data.data_window.window_startproduction_data.data_window.window_end 屬性。 所有屬性值都必須ISO8601格式。
production_data.pre_processing_component String 註冊元件格式 azureml:myPreprocessing@latest 的元件識別碼。 如果 production_data.data.input_data.typeuri_folder,則需要此專案。 如需前置處理元件規格的詳細資訊,請參閱 前置處理元件規格
reference_data Object 選擇性。 如果未指定,則會使用最近的過去生產數據作為比較基準數據。 建議使用定型數據作為比較基準。
reference_data.input_data Object 輸入數據來源的描述,請參閱 作業輸入資料 規格。
reference_data.data_context String 數據的內容,是指數據集之前使用的內容 model_inputs、 、 trainingtestvalidation
reference_data.data_column_names.target_column Object 選擇性。 如果 「reference_data」是定型數據,則需要此屬性才能監視數據漂移的前 N 項功能。
reference_data.data_window Object 選擇性。 要做為比較基準數據之參考數據的數據視窗。 只允許滾動數據視窗或固定資料視窗。 若要使用滾動數據視窗,請指定 reference_data.data_window.lookback_window_offsetreference_data.data_window.lookback_window_size 屬性。 若要使用固定資料視窗,請指定 reference_data.data_window.window_startreference_data.data_window.window_end 屬性。 所有屬性值都必須ISO8601格式。
reference_data_data.pre_processing_component String 註冊元件格式 azureml:myPreprocessing@latest 的元件識別碼。 如果 為 ,則為 ,請參閱前置處理元件規格。uri_folderreference_data.input_data.type
features Object 選擇性。 要監視數據漂移的目標功能。 某些模型可能有數百或數千個功能,建議一律指定感興趣的功能進行監視。 下列其中一個值:功能名稱 features.top_n_feature_importance、、 或 的清單 all_features 如果 production_data.data_contexttraining,則預設值features.top_n_feature_importance = 10為 ,否則預設值為all_features
alert_enabled 布林值 開啟/關閉監視訊號的警示通知。 TrueFalse
metric_thresholds Object 監視訊號的計量和臨界值屬性清單。 超過閾值且 alert_enabledtrue時,使用者會收到警示通知。
metric_thresholds.numerical Object 選擇性。 'key:value' 格式的計量和臨界值清單,'key' 是計量名稱,'value' 是臨界值。 允許的數值計量名稱:jensen_shannon_distance、、normalized_wasserstein_distancepopulation_stability_indextwo_sample_kolmogorov_smirnov_test
metric_thresholds.categorical Object 選擇性。 'key:value' 格式的計量和臨界值清單,'key' 是計量名稱,'value' 是臨界值。 允許類別計量名稱:jensen_shannon_distance、、 chi_squared_testpopulation_stability_index

資料品質

相較於定型數據或最近的生產數據,數據品質訊號會追蹤生產中的數據質量問題。

機碼 類型 描述 允許的值 預設值
type String 必要。 監視訊號的類型。 預先建置的監視訊號處理元件會根據 type 此處指定的 自動載入 data_quality data_quality
production_data Object 選擇性。 要分析以監視訊號的生產數據描述。
production_data.input_data Object 選擇性。 輸入數據來源的描述,請參閱 作業輸入資料 規格。
production_data.data_context String 數據的內容會參考模型生產數據,而且可能是模型輸入或模型輸出 model_inputs, model_outputs
production_data.data_window Object 選擇性。 要做為比較基準數據之參考數據的數據視窗。 只允許滾動數據視窗或固定資料視窗。 若要使用滾動數據視窗,請指定 production_data.data_window.lookback_window_offsetproduction_data.data_window.lookback_window_size 屬性。 若要使用固定資料視窗,請指定 production_data.data_window.window_startproduction_data.data_window.window_end 屬性。 所有屬性值都必須ISO8601格式。
production_data.pre_processing_component String 註冊元件格式 azureml:myPreprocessing@latest 的元件識別碼。 如果 production_data.input_data.type 為 ,則為 ,請參閱前置處理元件規格uri_folder
reference_data Object 選擇性。 如果未指定,則會使用最近的過去生產數據作為比較基準數據。 建議使用定型數據作為比較基準。
reference_data.input_data Object 輸入數據來源的描述,請參閱 作業輸入資料 規格。
reference_data.data_context String 數據的內容,是指數據集之前使用的內容 model_inputs、、 model_outputstrainingtestvalidation
reference_data.data_column_names.target_column Object 選擇性。 如果 「reference_data」是定型數據,則需要此屬性才能監視數據漂移的前 N 項功能。
reference_data.data_window Object 選擇性。 要做為比較基準數據之參考數據的數據視窗。 只允許滾動數據視窗或固定資料視窗。 若要使用滾動數據視窗,請指定 reference_data.data_window.lookback_window_offsetreference_data.data_window.lookback_window_size 屬性。 若要使用固定資料視窗,請指定 reference_data.data_window.window_startreference_data.data_window.window_end 屬性。 所有屬性值都必須ISO8601格式。
reference_data.pre_processing_component String 註冊元件格式 azureml:myPreprocessing@latest 的元件識別碼。 如果 reference_data.input_data.type 為 ,則為 ,請參閱前置處理元件規格uri_folder
features Object 選擇性。 要監視數據質量的目標功能。 有些模型可能有數百或數千個功能。 建議一律指定用於監視的感興趣功能。 下列其中一個值:功能名稱 features.top_n_feature_importance、、 或 的清單 all_features features.top_n_feature_importance = 10如果 reference_data.data_contexttraining,則預設為 ,否則預設值為all_features
alert_enabled 布林值 開啟/關閉監視訊號的警示通知。 TrueFalse
metric_thresholds Object 監視訊號的計量和臨界值屬性清單。 超過閾值且 alert_enabledtrue時,使用者會收到警示通知。
metric_thresholds.numerical Object 選擇性 的計量和臨界 key:value 值格式清單, key 是計量名稱, value 是臨界值。 允許的數值計量名稱:data_type_error_rate、、 null_value_rateout_of_bounds_rate
metric_thresholds.categorical Object 選擇性 的計量和臨界 key:value 值格式清單, key 是計量名稱, value 是臨界值。 允許類別計量名稱:data_type_error_rate、、 null_value_rateout_of_bounds_rate

特徵屬性漂移 (預覽)

模型的特徵屬性可能會隨著時間而變更,因為數據分佈變更、特徵之間的關聯性變更,或正在解決的基礎問題變更。 特徵屬性漂移是一種現象,當特徵對預測輸出的重要性或貢獻隨著時間變化時,機器學習模型就會發生。

機碼 類型 描述 允許的值 預設值
type String 必要。 監視訊號的類型。 預先建置的監視訊號處理元件會根據 type 此處指定的 自動載入 feature_attribution_drift feature_attribution_drift
production_data Array 未提供,則預設為與 Azure 機器學習 端點相關聯的收集的數據。 production_data是數據集及其相關聯的元數據清單,它必須同時包含模型輸入和模型輸出數據。 它可以是具有模型輸入和輸出的單一數據集,也可以是包含一個模型輸入和一個模型輸出的兩個不同的數據集。
production_data.input_data Object 選擇性。 輸入數據來源的描述,請參閱 作業輸入資料 規格。
production_data.input_data.data_column_names Object 數據聯結所需的相互關聯數據行名稱和預測數據行名稱 key:value 格式。 允許的金鑰包括: correlation_idtarget_column
production_data.data_context String 數據的內容。 它是指生產模型輸入數據。 model_inputs、 、 model_outputsmodel_inputs_outputs
production_data.data_window Object 選擇性。 要做為比較基準數據之參考數據的數據視窗。 只允許滾動數據視窗或固定資料視窗。 若要使用滾動數據視窗,請指定 production_data.data_window.lookback_window_offsetproduction_data.data_window.lookback_window_size 屬性。 若要使用固定資料視窗,請指定 production_data.data_window.window_startproduction_data.data_window.window_end 屬性。 所有屬性值都必須ISO8601格式。
production_data.pre_processing_component String 註冊元件格式 azureml:myPreprocessing@latest 的元件識別碼。 如果 production_data.input_data.type 為 ,則為 ,請參閱前置處理元件規格uri_folder
production_data.data_window_size String 選擇性。 以ISO8601格式以天為單位的資料視窗大小, 例如 P7D。 這是要針對數據品質問題計算的生產數據視窗。 根據預設,數據視窗大小是最後一個監視期間。
reference_data Object 選擇性。 如果未指定,則會使用最近的過去生產數據作為比較基準數據。 建議使用定型數據作為比較基準。
reference_data.input_data Object 輸入數據來源的描述,請參閱 作業輸入資料 規格。
reference_data.data_context String 數據的內容,是指數據集之前使用的內容。 Fro 特徵屬性漂移,只 training 允許數據。 training
reference_data.data_column_names.target_column String 必要
reference_data.data_window Object 選擇性。 要做為比較基準數據之參考數據的數據視窗。 只允許滾動數據視窗或固定資料視窗。 若要使用滾動數據視窗,請指定 reference_data.data_window.lookback_window_offsetreference_data.data_window.lookback_window_size 屬性。 若要使用固定資料視窗,請指定 reference_data.data_window.window_startreference_data.data_window.window_end 屬性。 所有屬性值都必須ISO8601格式。
reference_data.pre_processing_component String 註冊元件格式 azureml:myPreprocessing@latest 的元件識別碼。 如果 reference_data.input_data.type 為 ,則為 ,請參閱前置處理元件規格uri_folder
alert_enabled 布林值 開啟/關閉監視訊號的警示通知。 TrueFalse
metric_thresholds Object 格式特徵屬性漂移 key:value 的計量名稱和臨界值,其中 key 是計量名稱,而 value 是臨界值。 超過閾值且 alert_enabled 開啟時,使用者會收到警示通知。 允許的計量名稱: normalized_discounted_cumulative_gain

自定義監視訊號

透過自定義 Azure 機器學習 元件自定義監視訊號。

機碼 類型 描述 允許的值 預設值
type String 必要。 監視訊號的類型。 預先建置的監視訊號處理元件會根據 type 此處指定的 自動載入。 custom custom
component_id String 必要。 對應至自定義訊號的 Azure 機器學習 元件標識碼。 例如 azureml:mycustomcomponent:1
input_data Object 選擇性。 監視訊號所要分析的輸入數據描述,請參閱 作業輸入數據 規格。
input_data.<data_name>.data_context String 數據的內容會參考模型生產數據,而且可能是模型輸入或模型輸出 model_inputs
input_data.<data_name>.data_window Object 選擇性。 要做為比較基準數據之參考數據的數據視窗。 只允許滾動數據視窗或固定資料視窗。 若要使用滾動數據視窗,請指定 input_data.<data_name>.data_window.lookback_window_offsetinput_data.<data_name>.data_window.lookback_window_size 屬性。 若要使用固定資料視窗,請指定 input_data.<data_name>.data_window.window_startinput_data.<data_name>.data_window.window_end 屬性。 所有屬性值都必須ISO8601格式。
input_data.<data_name>.pre_processing_component String 註冊元件格式 azureml:myPreprocessing@latest 的元件識別碼。 如果 input_data.<data_name>.input_data.type 為 ,則為 ,請參閱前置處理元件規格uri_folder
alert_enabled 布林值 開啟/關閉監視訊號的警示通知。 TrueFalse
metric_thresholds.metric_name Object 自訂計量的名稱。
threshold Object 自訂計量可接受的臨界值。

模型效能 (預覽)

模型效能會追蹤模型輸出在生產階段的目標效能,方法是將其與收集到的有根據事實資料進行比較。

機碼 類型 描述 允許的值 預設值
type String 必要。 監視訊號的類型。 預先建置的監視訊號處理元件會根據 type 此處指定的 自動載入 model_performance model_performance
production_data Array 未提供,則預設為與 Azure 機器學習 端點相關聯的收集數據。 production_data是數據集及其相關聯的元數據清單,它必須同時包含模型輸入和模型輸出數據。 它可以是具有模型輸入和輸出的單一數據集,也可以是包含一個模型輸入和一個模型輸出的兩個不同的數據集。
production_data.input_data Object 選擇性。 輸入數據來源的描述,請參閱 作業輸入資料 規格。
production_data.input_data.data_column_names Object 數據聯結所需的相互關聯數據行名稱和預測數據行名稱 key:value 格式。 允許的金鑰包括: correlation_idtarget_column
production_data.data_context String 數據的內容。 它是指生產模型輸入數據。 model_inputs、 、 model_outputsmodel_inputs_outputs
production_data.data_window Object 選擇性。 要做為比較基準數據之參考數據的數據視窗。 只允許滾動數據視窗或固定資料視窗。 若要使用滾動數據視窗,請指定 production_data.data_window.lookback_window_offsetproduction_data.data_window.lookback_window_size 屬性。 若要使用固定資料視窗,請指定 production_data.data_window.window_startproduction_data.data_window.window_end 屬性。 所有屬性值都必須ISO8601格式。
production_data.pre_processing_component String 註冊元件格式 azureml:myPreprocessing@latest 的元件識別碼。 如果 production_data.input_data.type 為 ,則為 ,請參閱前置處理元件規格uri_folder
production_data.data_window_size String 選擇性。 以ISO8601格式以天為單位的資料視窗大小, 例如 P7D。 這是要針對數據品質問題計算的生產數據視窗。 根據預設,數據視窗大小是最後一個監視期間。
reference_data Object 選擇性。 如果未指定,則會使用最近的過去生產數據作為比較基準數據。 建議使用定型數據作為比較基準。
reference_data.input_data Object 輸入數據來源的描述,請參閱 作業輸入資料 規格。
reference_data.data_context String 數據的內容,是指數據集之前使用的內容。 Fro 特徵屬性漂移,只 training 允許數據。 training
reference_data.data_column_names.target_column String 必要
reference_data.data_window Object 選擇性。 要做為比較基準數據之參考數據的數據視窗。 只允許滾動數據視窗或固定資料視窗。 若要使用滾動數據視窗,請指定 reference_data.data_window.lookback_window_offsetreference_data.data_window.lookback_window_size 屬性。 若要使用固定資料視窗,請指定 reference_data.data_window.window_startreference_data.data_window.window_end 屬性。 所有屬性值都必須ISO8601格式。
reference_data.pre_processing_component String 註冊元件格式 azureml:myPreprocessing@latest 的元件識別碼。 如果 reference_data.input_data.type 為 ,則為 ,請參閱前置處理元件規格uri_folder
alert_enabled 布林值 開啟/關閉監視訊號的警示通知。 TrueFalse
metric_thresholds.classification Object 選擇性 的計量和臨界 key:value 值格式清單, key 是計量名稱, value 是臨界值。 允許的classification計量名稱:accuracy、、 precisionrecall
metric_thresholds.regression Object 選擇性 的計量和臨界 key:value 值格式清單, key 是計量名稱, value 是臨界值。 允許的regression計量名稱:mae、、 msermse

備註

命令az ml schedule可用於管理 Azure 機器學習 模型。

範例

GitHub 存放庫範例中提供監視 CLI 範例。 一對夫婦如下所示:

YAML:現用監視器

適用於:Azure CLI ml 延伸模組 v2 (目前)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML:進階監視器

適用於:Azure CLI ml 延伸模組 v2 (目前)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

附錄

時區

目前的排程支援下列時區。 密鑰可以直接在 Python SDK 中使用,而值可以在 YAML 作業中使用。 表格由 UTC(國際標準時間)組織。

UTC 機碼
UTC -12:00 DATELINE_STANDARD_TIME “Dateline Standard Time”
UTC -11:00 UTC_11 “UTC-11”
UTC - 10:00 ALEUTIAN_STANDARD_TIME 阿留申群島標準時間
UTC - 10:00 HAWAIIAN_STANDARD_TIME “夏威夷標準時間”
UTC -09:30 MARQUESAS_STANDARD_TIME “Marquesas 標準時間”
UTC -09:00 ALASKAN_STANDARD_TIME “阿拉斯加標準時間”
UTC -09:00 UTC_09 “UTC-09”
UTC -08:00 PACIFIC_STANDARD_TIME_MEXICO “太平洋標準時間(墨西哥)”
UTC -08:00 UTC_08 “UTC-08”
UTC -08:00 PACIFIC_STANDARD_TIME “Pacific Standard Time”
UTC -07:00 US_MOUNTAIN_STANDARD_TIME “US Mountain Standard Time”
UTC -07:00 MOUNTAIN_STANDARD_TIME_MEXICO “山標準時間(墨西哥)”
UTC -07:00 MOUNTAIN_STANDARD_TIME “Mountain Standard Time”
UTC -06:00 CENTRAL_AMERICA_STANDARD_TIME “中美洲標準時間”
UTC -06:00 CENTRAL_STANDARD_TIME “Central Standard Time”
UTC -06:00 EASTER_ISLAND_STANDARD_TIME “復活島標準時間”
UTC -06:00 CENTRAL_STANDARD_TIME_MEXICO “中央標準時間(墨西哥)”
UTC -06:00 CANADA_CENTRAL_STANDARD_TIME 加拿大中部標準時間”
UTC -05:00 SA_PACIFIC_STANDARD_TIME “SA Pacific Standard Time”
UTC -05:00 EASTERN_STANDARD_TIME_MEXICO “東部標準時間(墨西哥)”
UTC -05:00 EASTERN_STANDARD_TIME “東方標準時間”
UTC -05:00 HAITI_STANDARD_TIME “海地標準時間”
UTC -05:00 CUBA_STANDARD_TIME “古巴標準時間”
UTC -05:00 US_EASTERN_STANDARD_TIME “美國東部標準時間”
UTC -05:00 TURKS_AND_CAICOS_STANDARD_TIME “土耳其人和凱科斯標準時間”
UTC -04:00 PARAGUAY_STANDARD_TIME “巴拉圭標準時間”
UTC -04:00 ATLANTIC_STANDARD_TIME “大西洋標準時間”
UTC -04:00 VENEZUELA_STANDARD_TIME “委內瑞拉標準時間”
UTC -04:00 CENTRAL_BRAZILIAN_STANDARD_TIME “巴西中部標準時間”
UTC -04:00 SA_WESTERN_STANDARD_TIME “SA Western Standard Time”
UTC -04:00 PACIFIC_SA_STANDARD_TIME “Pacific SA Standard Time”
UTC -03:30 NEWFOUNDLAND_STANDARD_TIME “紐芬蘭標準時間”
UTC -03:00 TOCANTINS_STANDARD_TIME “Tocantins Standard Time”
UTC -03:00 E_SOUTH_AMERICAN_STANDARD_TIME E。」 南美洲標準時間”
UTC -03:00 SA_EASTERN_STANDARD_TIME “SA Eastern Standard Time”
UTC -03:00 ARGENTINA_STANDARD_TIME “阿根廷標準時間”
UTC -03:00 GREENLAND_STANDARD_TIME 格陵蘭標準時間”
UTC -03:00 MONTEVIDEO_STANDARD_TIME “蒙得維的亞標準時間”
UTC -03:00 SAINT_PIERRE_STANDARD_TIME “聖皮埃爾標準時間”
UTC -03:00 BAHIA_STANDARD_TIM “Bahia 標準時間”
UTC -02:00 UTC_02 “UTC-02”
UTC -02:00 MID_ATLANTIC_STANDARD_TIME “中大西洋標準時間”
UTC -01:00 AZORES_STANDARD_TIME “阿佐雷斯標準時間”
UTC -01:00 CAPE_VERDE_STANDARD_TIME “維德角標準時間”
UTC UTC UTC
UTC +00:00 GMT_STANDARD_TIME “GMT 標準時間”
UTC +00:00 GREENWICH_STANDARD_TIME “格林威治標準時間”
UTC +01:00 MOROCCO_STANDARD_TIME “摩洛哥標準時間”
UTC +01:00 W_EUROPE_STANDARD_TIME “W. 歐洲標準時間”
UTC +01:00 CENTRAL_EUROPE_STANDARD_TIME “中歐標準時間”
UTC +01:00 ROMANCE_STANDARD_TIME “浪漫標準時間”
UTC +01:00 CENTRAL_EUROPEAN_STANDARD_TIME “中歐標準時間”
UTC +01:00 W_CENTRAL_AFRICA_STANDARD_TIME “W. 中非標準時間”
UTC +02:00 NAMIBIA_STANDARD_TIME “納米比亞標準時間”
UTC +02:00 JORDAN_STANDARD_TIME “Jordan Standard Time”
UTC +02:00 GTB_STANDARD_TIME “GTB 標準時間”
UTC +02:00 MIDDLE_EAST_STANDARD_TIME “中東標準時間”
UTC +02:00 EGYPT_STANDARD_TIME “埃及標準時間”
UTC +02:00 E_EUROPE_STANDARD_TIME E。」 歐洲標準時間”
UTC +02:00 SYRIA_STANDARD_TIME “敘利亞標準時間”
UTC +02:00 WEST_BANK_STANDARD_TIME “西岸標準時間”
UTC +02:00 SOUTH_AFRICA_STANDARD_TIME “南非標準時間”
UTC +02:00 FLE_STANDARD_TIME “FLE 標準時間”
UTC +02:00 ISRAEL_STANDARD_TIME “以色列標準時間”
UTC +02:00 KALININGRAD_STANDARD_TIME “加里寧格勒標準時間”
UTC +02:00 LIBYA_STANDARD_TIME “利比亞標準時間”
UTC +03:00 TÜRKIYE_STANDARD_TIME “Türkiye 標準時間”
UTC +03:00 ARABIC_STANDARD_TIME “阿拉伯標準時間”
UTC +03:00 ARAB_STANDARD_TIME “阿拉伯標準時間”
UTC +03:00 BELARUS_STANDARD_TIME “白俄羅斯標準時間”
UTC +03:00 RUSSIAN_STANDARD_TIME “俄文標準時間”
UTC +03:00 E_AFRICA_STANDARD_TIME E。」 非洲標準時間”
UTC +03:30 IRAN_STANDARD_TIME “伊朗標準時間”
UTC +04:00 ARABIAN_STANDARD_TIME “阿拉伯標準時間”
UTC +04:00 ASTRAKHAN_STANDARD_TIME “Astrakhan 標準時間”
UTC +04:00 AZERBAIJAN_STANDARD_TIME “亞塞拜然標準時間”
UTC +04:00 RUSSIA_TIME_ZONE_3 “俄羅斯時區 3”
UTC +04:00 MAURITIUS_STANDARD_TIME 模里西斯標準時間”
UTC +04:00 GEORGIAN_STANDARD_TIME “喬治亞標準時間”
UTC +04:00 CAUCASUS_STANDARD_TIME “高加索標準時間”
UTC +04:30 AFGHANISTAN_STANDARD_TIME “阿富汗標準時間”
UTC +05:00 WEST_ASIA_STANDARD_TIME “西亞標準時間”
UTC +05:00 EKATERINBURG_STANDARD_TIME “Ekaterinburg 標準時間”
UTC +05:00 PAKISTAN_STANDARD_TIME “巴基斯坦標準時間”
UTC +05:30 INDIA_STANDARD_TIME “印度標準時間”
UTC +05:30 SRI_LANKA_STANDARD_TIME 斯裡蘭卡標準時間”
UTC +05:45 NEPAL_STANDARD_TIME “尼泊爾標準時間”
UTC +06:00 CENTRAL_ASIA_STANDARD_TIME “中亞標準時間”
UTC +06:00 BANGLADESH_STANDARD_TIME “孟加拉國標準時間”
UTC +06:30 MYANMAR_STANDARD_TIME “緬甸標準時間”
UTC +07:00 N_CENTRAL_ASIA_STANDARD_TIME “N. 中亞標準時間”
UTC +07:00 SE_ASIA_STANDARD_TIME “SE Asia Standard Time”
UTC +07:00 ALTAI_STANDARD_TIME “Altai 標準時間”
UTC +07:00 W_MONGOLIA_STANDARD_TIME “W. 蒙古標準時間”
UTC +07:00 NORTH_ASIA_STANDARD_TIME “北亞標準時間”
UTC +07:00 TOMSK_STANDARD_TIME “Tomsk Standard Time”
UTC +08:00 CHINA_STANDARD_TIME “中國標準時間”
UTC +08:00 NORTH_ASIA_EAST_STANDARD_TIME “東北亞東部標準時間”
UTC +08:00 SINGAPORE_STANDARD_TIME “新加坡標準時間”
UTC +08:00 W_AUSTRALIA_STANDARD_TIME “W. 澳大利亞標準時間”
UTC +08:00 TAIPEI_STANDARD_TIME “台北標準時間”
UTC +08:00 ULAANBAATAR_STANDARD_TIME “烏蘭巴托標準時間”
UTC +08:45 AUS_CENTRAL_W_STANDARD_TIME “Aus Central W. Standard Time”
UTC +09:00 NORTH_KOREA_STANDARD_TIME “朝鮮標準時間”
UTC +09:00 TRANSBAIKAL_STANDARD_TIME “Transbaikal 標準時間”
UTC +09:00 TOKYO_STANDARD_TIME “東京標準時間”
UTC +09:00 KOREA_STANDARD_TIME “韓國標準時間”
UTC +09:00 YAKUTSK_STANDARD_TIME “Yakutsk 標準時間”
UTC +09:30 CEN_AUSTRALIA_STANDARD_TIME “Cen. 澳大利亞標準時間”
UTC +09:30 AUS_CENTRAL_STANDARD_TIME “AUS Central Standard Time”
UTC +10:00 E_AUSTRALIAN_STANDARD_TIME E。」 澳大利亞標準時間”
UTC +10:00 AUS_EASTERN_STANDARD_TIME “AUS 東部標準時間”
UTC +10:00 WEST_PACIFIC_STANDARD_TIME “西太平洋標準時間”
UTC +10:00 TASMANIA_STANDARD_TIME “塔斯馬尼亞標準時間”
UTC +10:00 VLADIVOSTOK_STANDARD_TIME “Vladivostok 標準時間”
UTC +10:30 LORD_HOWE_STANDARD_TIME “豪勳爵標準時間”
UTC +11:00 BOUGAINVILLE_STANDARD_TIME “布幹維爾標準時間”
UTC +11:00 RUSSIA_TIME_ZONE_10 “俄羅斯時區 10”
UTC +11:00 MAGADAN_STANDARD_TIME “Magadan 標準時間”
UTC +11:00 NORFOLK_STANDARD_TIME “Norfolk 標準時間”
UTC +11:00 SAKHALIN_STANDARD_TIME “薩哈林標準時間”
UTC +11:00 CENTRAL_PACIFIC_STANDARD_TIME “中太平洋標準時間”
UTC +12:00 RUSSIA_TIME_ZONE_11 “俄羅斯時區 11”
UTC +12:00 NEW_ZEALAND_STANDARD_TIME “紐西蘭標準時間”
UTC +12:00 UTC_12 “UTC+12”
UTC +12:00 FIJI_STANDARD_TIME “斐濟標準時間”
UTC +12:00 KAMCHATKA_STANDARD_TIME “Kamchatka 標準時間”
UTC +12:45 CHATHAM_ISLANDS_STANDARD_TIME “查塔姆群島標準時間”
UTC +13:00 TONGA__STANDARD_TIME “Tonga Standard Time”
UTC +13:00 SAMOA_STANDARD_TIME “薩摩亞標準時間”
UTC +14:00 LINE_ISLANDS_STANDARD_TIME “Line Islands Standard Time”