Udostępnij za pośrednictwem


Harmonogram schematu YAML dla monitorowania modelu (wersja 2) interfejsu wiersza polecenia (wersja zapoznawcza)

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

Składnia YAML szczegółowo w tym dokumencie jest oparta na schemacie JSON dla najnowszej wersji rozszerzenia interfejsu wiersza polecenia uczenia maszynowego w wersji 2. Ta składnia jest gwarantowana tylko do pracy z najnowszą wersją rozszerzenia interfejsu wiersza polecenia uczenia maszynowego w wersji 2. Kompleksowy schemat JSON można wyświetlić pod adresem https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.json. Schematy dla starszych wersji rozszerzeń można znaleźć pod adresem https://azuremlschemasprod.azureedge.net/.

Składnia YAML

Klucz Type Opis Dozwolone wartości
$schema string Schemat YAML.
name string Wymagany. Nazwa harmonogramu.
description string Opis harmonogramu.
tags obiekt Słownik tagów harmonogramu.
trigger obiekt Wymagany. Konfiguracja wyzwalacza służąca do definiowania reguły, kiedy wyzwalać zadanie. Jeden z RecurrenceTrigger lub CronTrigger jest wymagany.
create_monitor obiekt Wymagany. Definicja monitora, który zostanie wyzwolony zgodnie z harmonogramem. MonitorDefinition jest wymagany.

Konfiguracji wyzwalacza

Wyzwalacz cyklu

Klucz Type Opis Dozwolone wartości
type string Wymagany. Określa typ harmonogramu. recurrence
frequency string Wymagany. Określa jednostkę czasu, która opisuje częstotliwość uruchamiania harmonogramu. minute, , hour, day, , weekmonth
interval integer Wymagany. Określa interwał, w którym jest uruchamiany harmonogram.
start_time string Opisuje datę i godzinę rozpoczęcia ze strefą czasową. Jeśli start_time zostanie pominięte, pierwsze zadanie zostanie uruchomione natychmiast, a przyszłe zadania zostaną wyzwolone zgodnie z harmonogramem, mówiąc, że start_time będzie równe czasowi utworzenia zadania. Jeśli godzina rozpoczęcia jest w przeszłości, pierwsze zadanie zostanie uruchomione w następnym obliczonym czasie wykonywania.
end_time string Opisuje datę i godzinę zakończenia ze strefą czasową. Jeśli end_time zostanie pominięty, harmonogram będzie nadal działać, dopóki nie zostanie jawnie wyłączony.
timezone string Określa strefę czasową cyklu. Jeśli pominięto, domyślnie jest to UTC. Zobacz dodatek, aby uzyskać informacje o wartościach strefy czasowej
pattern obiekt Określa wzorzec cyklu. Jeśli wzorzec zostanie pominięty, zadania zostaną wyzwolone zgodnie z logiką start_time, częstotliwością i interwałem.

Harmonogram cyklu

Harmonogram cyklu definiuje wzorzec cyklu zawierający hours, minutesi weekdays.

  • Gdy właściwość frequency ma daywartość , wzorzec może określać hours wartości i minutes.
  • Gdy właściwość frequency ma week wartość i month, wzorzec może określać hourswartości , minutes i weekdays.
Klucz Typ Dozwolone wartości
hours liczba całkowita lub tablica liczb całkowitych 0-23
minutes liczba całkowita lub tablica liczb całkowitych 0-59
week_days ciąg lub tablica ciągu monday, tuesday, , wednesday, thursday, friday, , saturdaysunday

CronTrigger

Klucz Type Opis Dozwolone wartości
type string Wymagany. Określa typ harmonogramu. cron
expression string Wymagany. Określa wyrażenie cron, aby zdefiniować sposób wyzwalania zadań. Wyrażenie używa standardowego wyrażenia crontab, aby wyrazić harmonogram cykliczny. Pojedyncze wyrażenie składa się z pięciu pól rozdzielanych spacjami:MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK
start_time string Opisuje datę i godzinę rozpoczęcia ze strefą czasową. Jeśli start_time zostanie pominięta, pierwsze zadanie zostanie uruchomione natychmiast, a przyszłe zadania zostaną wyzwolone zgodnie z harmonogramem, mówiąc, że start_time będzie równa czasowi utworzenia zadania. Jeśli godzina rozpoczęcia jest w przeszłości, pierwsze zadanie zostanie uruchomione w następnym obliczonym czasie wykonywania.
end_time string Opisuje datę i godzinę zakończenia ze strefą czasową. Jeśli end_time zostanie pominięty, harmonogram będzie nadal działać, dopóki nie zostanie jawnie wyłączony.
timezone string Określa strefę czasową cyklu. Jeśli pominięto, domyślnie jest to UTC. Zobacz dodatek, aby uzyskać informacje o wartościach strefy czasowej

Definicja monitora

Klucz Type Opis Dozwolone wartości Domyślna wartość
compute Objekt Wymagany. Opis zasobów obliczeniowych dla puli platformy Spark do uruchamiania zadania monitorowania.
compute.instance_type String Wymagany. Typ wystąpienia obliczeniowego, który ma być używany dla puli Spark. "standard_e4s_v3", "standard_e8s_v3", "standard_e16s_v3", "standard_e32s_v3", "standard_e64s_v3" nie dotyczy
compute.runtime_version String Opcjonalne. Definiuje wersję środowiska uruchomieniowego platformy Spark. 3.3 3.3
monitoring_target Objekt Zasoby usługi Azure Machine Learning skojarzone z monitorowaniem modeli.
monitoring_target.ml_task String Zadanie uczenia maszynowego dla modelu. Dozwolone wartości to: classification, , regressionquestion_answering
monitoring_target.endpoint_deployment_id String Opcjonalne. Skojarzony identyfikator punktu końcowego/wdrożenia usługi Azure Machine Learning w formacie azureml:myEndpointName:myDeploymentName. To pole jest wymagane, jeśli punkt końcowy/wdrożenie włączył zbieranie danych modelu do monitorowania modelu.
monitoring_target.model_id String Opcjonalne. Identyfikator skojarzonego modelu na potrzeby monitorowania modelu.
monitoring_signals Objekt Słownik sygnałów monitorowania, które mają być dołączone. Klucz jest nazwą sygnału monitorowania w kontekście monitora, a wartość jest obiektem zawierającym specyfikację sygnału monitorowania. Opcjonalnie w przypadku podstawowego monitorowania modelu, które używa ostatnich danych produkcyjnych jako punktu odniesienia porównania i ma 3 sygnały monitorowania: dryf danych, dryf przewidywania i jakość danych.
alert_notification Ciąg lub obiekt Opis adresatów powiadomień o alertach. Dozwolone jest jedno z dwóch miejsc docelowych alertów: ciąg azmonitoring lub obiekt emails zawierający tablicę adresatów wiadomości e-mail
alert_notification.emails Objekt Lista adresów e-mail do odbierania powiadomień o alertach.

Sygnały monitorowania

Dryf danych

Ponieważ dane używane do trenowania modelu ewoluują w środowisku produkcyjnym, rozkład danych może się zmieniać, co powoduje niezgodność między danymi treningowymi a rzeczywistymi danymi używanymi do przewidywania modelu. Dryf danych to zjawisko występujące w uczeniu maszynowym, gdy właściwości statystyczne danych wejściowych używanych do trenowania zmiany modelu w czasie.

Klucz Type Opis Dozwolone wartości Domyślna wartość
type String Wymagany. Typ sygnału monitorowania. Wstępnie utworzony składnik przetwarzania sygnałów monitorowania jest automatycznie ładowany zgodnie z type określonym tutaj. data_drift data_drift
production_data Objekt Opcjonalne. Opis danych produkcyjnych do przeanalizowania pod kątem sygnału monitorowania.
production_data.input_data Objekt Opcjonalne. Opis wejściowego źródła danych, zobacz specyfikacja danych wejściowych zadania.
production_data.data_context String Kontekst danych odwołuje się do danych produkcyjnych modelu i może być danymi wejściowymi modelu lub danymi wyjściowymi modelu model_inputs
production_data.data_window Objekt Opcjonalne. Okno danych referencyjnych, które mają być używane jako dane odniesienia porównania. Zezwalaj tylko na stopniowe okno danych lub stałe okno danych. W przypadku korzystania z okna danych rolowych określ production_data.data_window.lookback_window_offset i production_data.data_window.lookback_window_size właściwości. W przypadku korzystania z stałych okien danych określ production_data.data_window.window_start i production_data.data_window.window_end właściwości. Wszystkie wartości właściwości muszą być w formacie ISO8601.
production_data.pre_processing_component String Identyfikator składnika w formacie azureml:myPreprocessing@latest zarejestrowanego składnika. Jest to wymagane, jeśli production_data.data.input_data.type to uri_folder, zobacz specyfikację składnika przetwarzania wstępnego.
reference_data Objekt Opcjonalne. Ostatnie ostatnie dane produkcyjne są używane jako dane odniesienia porównania, jeśli nie zostały określone. Zaleceniem jest użycie danych treningowych jako punktu odniesienia porównania.
reference_data.input_data Objekt Opis wejściowego źródła danych, zobacz specyfikacja danych wejściowych zadania.
reference_data.data_context String Kontekst danych odwołuje się do kontekstu, który został użyty wcześniej model_inputs, , training, , testvalidation
reference_data.data_column_names.target_column Objekt Opcjonalne. reference_data Jeśli są to dane treningowe, ta właściwość jest wymagana do monitorowania najważniejszych N funkcji dryfu danych.
reference_data.data_window Objekt Opcjonalne. Okno danych referencyjnych, które mają być używane jako dane odniesienia porównania. Zezwalaj tylko na stopniowe okno danych lub stałe okno danych. W przypadku korzystania z okna danych rolowych określ reference_data.data_window.lookback_window_offset i reference_data.data_window.lookback_window_size właściwości. W przypadku korzystania z stałych okien danych określ reference_data.data_window.window_start i reference_data.data_window.window_end właściwości. Wszystkie wartości właściwości muszą być w formacie ISO8601.
reference_data_data.pre_processing_component String Identyfikator składnika w formacie azureml:myPreprocessing@latest zarejestrowanego składnika. Jest to wymagane, jeśli reference_data.input_data.type to uri_folder, zobacz specyfikację składnika przetwarzania wstępnego.
features Objekt Opcjonalne. Funkcje docelowe, które mają być monitorowane pod kątem dryfu danych. Niektóre modele mogą zawierać setki lub tysiące funkcji. Zawsze zaleca się określenie zainteresowanych funkcji monitorowania. Jedna z następujących wartości: lista nazw funkcji, features.top_n_feature_importancelub all_features Wartość domyślna features.top_n_feature_importance = 10 , jeśli production_data.data_context ma trainingwartość , w przeciwnym razie wartość domyślna to all_features
alert_enabled Wartość logiczna Włącz/wyłącz powiadomienie o alertach dla sygnału monitorowania. True lub False
metric_thresholds Objekt Lista metryk i właściwości progów dla sygnału monitorowania. Gdy próg zostanie przekroczony i alert_enabled ma truewartość , użytkownik otrzyma powiadomienie o alertach.
metric_thresholds.numerical Objekt Opcjonalny. Lista metryk i progów w key:value formacie jest key nazwą metryki, value jest progiem. Dozwolone nazwy metryk liczbowych: jensen_shannon_distance, normalized_wasserstein_distance, , population_stability_indextwo_sample_kolmogorov_smirnov_test
metric_thresholds.categorical Objekt Opcjonalny. Lista metryk i progów w formacie "key:value", "key" jest nazwą metryki, "value" jest progiem. Dozwolone nazwy metryk kategorii: jensen_shannon_distance, , chi_squared_testpopulation_stability_index

Dryf przewidywania

Dryf przewidywania śledzi zmiany w dystrybucji danych wyjściowych przewidywania modelu, porównując je z danymi walidacji lub testowymi oznaczonymi etykietami lub ostatnimi danymi produkcyjnymi.

Klucz Type Opis Dozwolone wartości Domyślna wartość
type String Wymagany. Typ sygnału monitorowania. Wstępnie utworzony składnik przetwarzania sygnałów monitorowania jest automatycznie ładowany zgodnie z type określonym tutaj. prediction_drift prediction_drift
production_data Objekt Opcjonalne. Opis danych produkcyjnych do przeanalizowania pod kątem sygnału monitorowania.
production_data.input_data Objekt Opcjonalne. Opis wejściowego źródła danych, zobacz specyfikacja danych wejściowych zadania.
production_data.data_context String Kontekst danych odwołuje się do danych produkcyjnych modelu i może być danymi wejściowymi modelu lub danymi wyjściowymi modelu model_outputs
production_data.data_window Objekt Opcjonalne. Okno danych referencyjnych, które mają być używane jako dane odniesienia porównania. Zezwalaj tylko na stopniowe okno danych lub stałe okno danych. W przypadku korzystania z okna danych rolowych określ production_data.data_window.lookback_window_offset i production_data.data_window.lookback_window_size właściwości. W przypadku korzystania z stałych okien danych określ production_data.data_window.window_start i production_data.data_window.window_end właściwości. Wszystkie wartości właściwości muszą być w formacie ISO8601.
production_data.pre_processing_component String Identyfikator składnika w formacie azureml:myPreprocessing@latest zarejestrowanego składnika. Jest to wymagane, jeśli production_data.data.input_data.type jest to uri_folder. Aby uzyskać więcej informacji na temat specyfikacji składnika przetwarzania wstępnego, zobacz specyfikację składnika przetwarzania wstępnego.
reference_data Objekt Opcjonalne. Ostatnie ostatnie dane produkcyjne są używane jako dane odniesienia porównania, jeśli nie zostały określone. Zaleceniem jest użycie danych treningowych jako punktu odniesienia porównania.
reference_data.input_data Objekt Opis wejściowego źródła danych, zobacz specyfikacja danych wejściowych zadania.
reference_data.data_context String Kontekst danych odwołuje się do kontekstu, który został użyty wcześniej model_inputs, , training, , testvalidation
reference_data.data_column_names.target_column Objekt Opcjonalne. Jeśli dane szkoleniowe "reference_data", ta właściwość jest wymagana do monitorowania najważniejszych funkcji N na potrzeby dryfu danych.
reference_data.data_window Objekt Opcjonalne. Okno danych referencyjnych, które mają być używane jako dane odniesienia porównania. Zezwalaj tylko na stopniowe okno danych lub stałe okno danych. W przypadku korzystania z okna danych rolowych określ reference_data.data_window.lookback_window_offset i reference_data.data_window.lookback_window_size właściwości. W przypadku korzystania z stałych okien danych określ reference_data.data_window.window_start i reference_data.data_window.window_end właściwości. Wszystkie wartości właściwości muszą być w formacie ISO8601.
reference_data_data.pre_processing_component String Identyfikator składnika w formacie azureml:myPreprocessing@latest zarejestrowanego składnika. Jest to wymagane, jeśli reference_data.input_data.type to uri_folder, zobacz specyfikację składnika przetwarzania wstępnego.
features Objekt Opcjonalne. Funkcje docelowe, które mają być monitorowane pod kątem dryfu danych. Niektóre modele mogą zawierać setki lub tysiące funkcji. Zawsze zaleca się określenie zainteresowanych funkcji monitorowania. Jedna z następujących wartości: lista nazw funkcji, features.top_n_feature_importancelub all_features Wartość domyślna features.top_n_feature_importance = 10 , jeśli production_data.data_context ma trainingwartość , w przeciwnym razie wartość domyślna to all_features
alert_enabled Wartość logiczna Włącz/wyłącz powiadomienie o alertach dla sygnału monitorowania. True lub False
metric_thresholds Objekt Lista metryk i właściwości progów dla sygnału monitorowania. Gdy próg zostanie przekroczony i alert_enabled ma truewartość , użytkownik otrzyma powiadomienie o alertach.
metric_thresholds.numerical Objekt Opcjonalny. Lista metryk i progów w formacie "key:value", "key" jest nazwą metryki, "value" jest progiem. Dozwolone nazwy metryk liczbowych: jensen_shannon_distance, normalized_wasserstein_distance, , population_stability_indextwo_sample_kolmogorov_smirnov_test
metric_thresholds.categorical Objekt Opcjonalny. Lista metryk i progów w formacie "key:value", "key" jest nazwą metryki, "value" jest progiem. Dozwolone nazwy metryk kategorii: jensen_shannon_distance, , chi_squared_testpopulation_stability_index

Jakość danych

Sygnał jakości danych śledzi problemy z jakością danych w środowisku produkcyjnym, porównując je z danymi treningowymi lub ostatnimi danymi produkcyjnymi.

Klucz Type Opis Dozwolone wartości Domyślna wartość
type String Wymagany. Typ sygnału monitorowania. Wstępnie utworzony składnik przetwarzania sygnałów monitorowania jest automatycznie ładowany zgodnie z type określonym tutaj data_quality data_quality
production_data Objekt Opcjonalne. Opis danych produkcyjnych do przeanalizowania pod kątem sygnału monitorowania.
production_data.input_data Objekt Opcjonalne. Opis wejściowego źródła danych, zobacz specyfikacja danych wejściowych zadania.
production_data.data_context String Kontekst danych odwołuje się do danych produkcyjnych modelu i może być danymi wejściowymi modelu lub danymi wyjściowymi modelu model_inputs, model_outputs
production_data.data_window Objekt Opcjonalne. Okno danych referencyjnych, które mają być używane jako dane odniesienia porównania. Zezwalaj tylko na stopniowe okno danych lub stałe okno danych. W przypadku korzystania z okna danych rolowych określ production_data.data_window.lookback_window_offset i production_data.data_window.lookback_window_size właściwości. W przypadku korzystania z stałych okien danych określ production_data.data_window.window_start i production_data.data_window.window_end właściwości. Wszystkie wartości właściwości muszą być w formacie ISO8601.
production_data.pre_processing_component String Identyfikator składnika w formacie azureml:myPreprocessing@latest zarejestrowanego składnika. Jest to wymagane, jeśli production_data.input_data.type to uri_folder, zobacz specyfikację składnika przetwarzania wstępnego.
reference_data Objekt Opcjonalne. Ostatnie ostatnie dane produkcyjne są używane jako dane odniesienia porównania, jeśli nie zostały określone. Zaleceniem jest użycie danych treningowych jako punktu odniesienia porównania.
reference_data.input_data Objekt Opis wejściowego źródła danych, zobacz specyfikacja danych wejściowych zadania.
reference_data.data_context String Kontekst danych odwołuje się do kontekstu, który został użyty wcześniej model_inputs, , model_outputs, training, , testvalidation
reference_data.data_column_names.target_column Objekt Opcjonalne. Jeśli dane szkoleniowe "reference_data", ta właściwość jest wymagana do monitorowania najważniejszych funkcji N na potrzeby dryfu danych.
reference_data.data_window Objekt Opcjonalne. Okno danych referencyjnych, które mają być używane jako dane odniesienia porównania. Zezwalaj tylko na stopniowe okno danych lub stałe okno danych. W przypadku korzystania z okna danych rolowych określ reference_data.data_window.lookback_window_offset i reference_data.data_window.lookback_window_size właściwości. W przypadku korzystania z stałych okien danych określ reference_data.data_window.window_start i reference_data.data_window.window_end właściwości. Wszystkie wartości właściwości muszą być w formacie ISO8601.
reference_data.pre_processing_component String Identyfikator składnika w formacie azureml:myPreprocessing@latest zarejestrowanego składnika. Jest to wymagane, jeśli reference_data.input_data.type to uri_folder, zobacz specyfikację składnika przetwarzania wstępnego.
features Objekt Opcjonalne. Funkcje docelowe, które mają być monitorowane pod kątem jakości danych. Niektóre modele mogą mieć setki lub tysiące funkcji. Zawsze zaleca się określenie zainteresowanych funkcji monitorowania. Jedna z następujących wartości: lista nazw funkcji, features.top_n_feature_importancelub all_features Wartość domyślna to features.top_n_feature_importance = 10 , jeśli reference_data.data_context ma wartość , w przeciwnym razie wartość domyślna to trainingall_features
alert_enabled Wartość logiczna Włącz/wyłącz powiadomienie o alertach dla sygnału monitorowania. True lub False
metric_thresholds Objekt Lista metryk i właściwości progów dla sygnału monitorowania. Gdy próg zostanie przekroczony i alert_enabled ma truewartość , użytkownik otrzyma powiadomienie o alertach.
metric_thresholds.numerical Objekt Opcjonalna lista metryk i progów w key:value formacie jest key nazwą metryki, value jest progiem. Dozwolone nazwy metryk liczbowych: data_type_error_rate, , null_value_rateout_of_bounds_rate
metric_thresholds.categorical Objekt Opcjonalna lista metryk i progów w key:value formacie jest key nazwą metryki, value jest progiem. Dozwolone nazwy metryk kategorii: data_type_error_rate, , null_value_rateout_of_bounds_rate

Dryf autorstwa funkcji (wersja zapoznawcza)

Przypisanie funkcji modelu może ulec zmianie w czasie z powodu zmian w dystrybucji danych, zmian w relacjach między funkcjami lub zmian w rozwiązaniu podstawowego problemu. Dryf autorstwa funkcji to zjawisko występujące w modelach uczenia maszynowego, gdy znaczenie lub wkład funkcji w dane wyjściowe przewidywania zmienia się w czasie.

Klucz Type Opis Dozwolone wartości Domyślna wartość
type String Wymagany. Typ sygnału monitorowania. Wstępnie utworzony składnik przetwarzania sygnałów monitorowania jest automatycznie ładowany zgodnie z type określonym tutaj feature_attribution_drift feature_attribution_drift
production_data Tablica Opcjonalnie ustawienie domyślne do zbierania danych skojarzonych z punktem końcowym usługi Azure Machine Learning, jeśli nie zostało to podane. Jest production_data to lista zestawów danych i skojarzonych z nią metadanych, która musi zawierać zarówno dane wejściowe modelu, jak i dane wyjściowe modelu. Może to być pojedynczy zestaw danych z danymi wejściowymi i wyjściowymi modelu lub może to być dwa oddzielne zestawy danych zawierające jeden model wejściowy i jedno dane wyjściowe modelu.
production_data.input_data Objekt Opcjonalne. Opis wejściowego źródła danych, zobacz specyfikacja danych wejściowych zadania.
production_data.input_data.data_column_names Objekt Nazwa kolumny korelacji i nazwy kolumn przewidywania w key:value formacie wymaganym do łączenia danych. Dozwolone klucze to: correlation_id, target_column
production_data.data_context String Kontekst danych. Odnosi się do danych wejściowych modelu produkcyjnego. model_inputs, , model_outputsmodel_inputs_outputs
production_data.data_window Objekt Opcjonalne. Okno danych referencyjnych, które mają być używane jako dane odniesienia porównania. Zezwalaj tylko na stopniowe okno danych lub stałe okno danych. W przypadku korzystania z okna danych rolowych określ production_data.data_window.lookback_window_offset i production_data.data_window.lookback_window_size właściwości. W przypadku korzystania z stałych okien danych określ production_data.data_window.window_start i production_data.data_window.window_end właściwości. Wszystkie wartości właściwości muszą być w formacie ISO8601.
production_data.pre_processing_component String Identyfikator składnika w formacie azureml:myPreprocessing@latest zarejestrowanego składnika. Jest to wymagane, jeśli production_data.input_data.type to uri_folder, zobacz specyfikację składnika przetwarzania wstępnego.
production_data.data_window_size String Opcjonalne. Rozmiar okna danych w dniach z formatem ISO8601, na przykład P7D. Jest to okno danych produkcyjnych do obliczenia pod kątem problemów z jakością danych. Domyślnie rozmiar okna danych to ostatni okres monitorowania.
reference_data Objekt Opcjonalne. Ostatnie ostatnie dane produkcyjne są używane jako dane odniesienia porównania, jeśli nie zostały określone. Zaleceniem jest użycie danych treningowych jako punktu odniesienia porównania.
reference_data.input_data Objekt Opis wejściowego źródła danych, zobacz specyfikacja danych wejściowych zadania.
reference_data.data_context String Kontekst danych odwołuje się do kontekstu używanego wcześniej zestawu danych. Dryf autorstwa funkcji Fro, dozwolone są tylko training dane. training
reference_data.data_column_names.target_column String Wymagany.
reference_data.data_window Objekt Opcjonalne. Okno danych referencyjnych, które mają być używane jako dane odniesienia porównania. Zezwalaj tylko na stopniowe okno danych lub stałe okno danych. W przypadku korzystania z okna danych rolowych określ reference_data.data_window.lookback_window_offset i reference_data.data_window.lookback_window_size właściwości. W przypadku korzystania z stałych okien danych określ reference_data.data_window.window_start i reference_data.data_window.window_end właściwości. Wszystkie wartości właściwości muszą być w formacie ISO8601.
reference_data.pre_processing_component String Identyfikator składnika w formacie azureml:myPreprocessing@latest zarejestrowanego składnika. Jest to wymagane, jeśli reference_data.input_data.type to uri_folder, zobacz specyfikację składnika przetwarzania wstępnego.
alert_enabled Wartość logiczna Włącz/wyłącz powiadomienie o alertach dla sygnału monitorowania. True lub False
metric_thresholds Objekt Nazwa metryki i próg dryfu autorstwa funkcji w key:value formacie, gdzie key jest nazwą metryki i value jest progiem. Gdy próg zostanie przekroczony i alert_enabled jest włączony, użytkownik otrzyma powiadomienie o alertach. Dozwolona nazwa metryki: normalized_discounted_cumulative_gain

Niestandardowy sygnał monitorowania

Niestandardowy sygnał monitorowania za pośrednictwem niestandardowego składnika usługi Azure Machine Learning.

Klucz Type Opis Dozwolone wartości Domyślna wartość
type String Wymagany. Typ sygnału monitorowania. Wstępnie utworzony składnik przetwarzania sygnałów monitorowania jest automatycznie ładowany zgodnie z type określonym tutaj. custom custom
component_id String Wymagany. Identyfikator składnika usługi Azure Machine Learning odpowiadający sygnałowi niestandardowemu. Na przykład azureml:mycustomcomponent:1
input_data Objekt Opcjonalne. Opis danych wejściowych, które mają być analizowane przez sygnał monitorowania, zobacz specyfikacja danych wejściowych zadania.
input_data.<data_name>.data_context String Kontekst danych odwołuje się do danych produkcyjnych modelu i może być danymi wejściowymi modelu lub danymi wyjściowymi modelu model_inputs
input_data.<data_name>.data_window Objekt Opcjonalne. Okno danych referencyjnych, które mają być używane jako dane odniesienia porównania. Zezwalaj tylko na stopniowe okno danych lub stałe okno danych. W przypadku korzystania z okna danych rolowych określ input_data.<data_name>.data_window.lookback_window_offset i input_data.<data_name>.data_window.lookback_window_size właściwości. W przypadku korzystania z stałych okien danych określ input_data.<data_name>.data_window.window_start i input_data.<data_name>.data_window.window_end właściwości. Wszystkie wartości właściwości muszą być w formacie ISO8601.
input_data.<data_name>.pre_processing_component String Identyfikator składnika w formacie azureml:myPreprocessing@latest zarejestrowanego składnika. Jest to wymagane, jeśli input_data.<data_name>.input_data.type to uri_folder, zobacz specyfikację składnika przetwarzania wstępnego.
alert_enabled Wartość logiczna Włącz/wyłącz powiadomienie o alertach dla sygnału monitorowania. True lub False
metric_thresholds.metric_name Objekt Nazwa metryki niestandardowej.
threshold Objekt Akceptowalny próg dla metryki niestandardowej.

Wydajność modelu (wersja zapoznawcza)

Wydajność modelu śledzi obiektywną wydajność danych wyjściowych modelu w środowisku produkcyjnym, porównując je z zebranymi danymi podstawowymi.

Klucz Type Opis Dozwolone wartości Domyślna wartość
type String Wymagany. Typ sygnału monitorowania. Wstępnie utworzony składnik przetwarzania sygnałów monitorowania jest automatycznie ładowany zgodnie z type określonym tutaj model_performance model_performance
production_data Tablica Opcjonalnie ustawienie domyślne do zbierania danych skojarzonych z punktem końcowym usługi Azure Machine Learning, jeśli nie zostało to podane. Jest production_data to lista zestawów danych i skojarzonych z nią metadanych, która musi zawierać zarówno dane wejściowe modelu, jak i dane wyjściowe modelu. Może to być pojedynczy zestaw danych z danymi wejściowymi i wyjściowymi modelu lub może to być dwa oddzielne zestawy danych zawierające jeden model wejściowy i jedno dane wyjściowe modelu.
production_data.input_data Objekt Opcjonalne. Opis wejściowego źródła danych, zobacz specyfikacja danych wejściowych zadania.
production_data.input_data.data_column_names Objekt Nazwa kolumny korelacji i nazwy kolumn przewidywania w key:value formacie wymaganym do łączenia danych. Dozwolone klucze to: correlation_id, target_column
production_data.data_context String Kontekst danych. Odnosi się do danych wejściowych modelu produkcyjnego. model_inputs, , model_outputsmodel_inputs_outputs
production_data.data_window Objekt Opcjonalne. Okno danych referencyjnych, które mają być używane jako dane odniesienia porównania. Zezwalaj tylko na stopniowe okno danych lub stałe okno danych. W przypadku korzystania z okna danych rolowych określ production_data.data_window.lookback_window_offset i production_data.data_window.lookback_window_size właściwości. W przypadku korzystania z stałych okien danych określ production_data.data_window.window_start i production_data.data_window.window_end właściwości. Wszystkie wartości właściwości muszą być w formacie ISO8601.
production_data.pre_processing_component String Identyfikator składnika w formacie azureml:myPreprocessing@latest zarejestrowanego składnika. Jest to wymagane, jeśli production_data.input_data.type to uri_folder, zobacz specyfikację składnika przetwarzania wstępnego.
production_data.data_window_size String Opcjonalne. Rozmiar okna danych w dniach z formatem ISO8601, na przykład P7D. Jest to okno danych produkcyjnych do obliczenia pod kątem problemów z jakością danych. Domyślnie rozmiar okna danych to ostatni okres monitorowania.
reference_data Objekt Opcjonalne. Ostatnie ostatnie dane produkcyjne są używane jako dane odniesienia porównania, jeśli nie zostały określone. Zaleceniem jest użycie danych treningowych jako punktu odniesienia porównania.
reference_data.input_data Objekt Opis wejściowego źródła danych, zobacz specyfikacja danych wejściowych zadania.
reference_data.data_context String Kontekst danych odwołuje się do kontekstu używanego wcześniej zestawu danych. Dryf autorstwa funkcji Fro, dozwolone są tylko training dane. training
reference_data.data_column_names.target_column String Wymagany.
reference_data.data_window Objekt Opcjonalne. Okno danych referencyjnych, które mają być używane jako dane odniesienia porównania. Zezwalaj tylko na stopniowe okno danych lub stałe okno danych. W przypadku korzystania z okna danych rolowych określ reference_data.data_window.lookback_window_offset i reference_data.data_window.lookback_window_size właściwości. W przypadku korzystania z stałych okien danych określ reference_data.data_window.window_start i reference_data.data_window.window_end właściwości. Wszystkie wartości właściwości muszą być w formacie ISO8601.
reference_data.pre_processing_component String Identyfikator składnika w formacie azureml:myPreprocessing@latest zarejestrowanego składnika. Jest to wymagane, jeśli reference_data.input_data.type to uri_folder, zobacz specyfikację składnika przetwarzania wstępnego.
alert_enabled Wartość logiczna Włącz/wyłącz powiadomienie o alertach dla sygnału monitorowania. True lub False
metric_thresholds.classification Objekt Opcjonalna lista metryk i progów w key:value formacie jest key nazwą metryki, value jest progiem. Dozwolone classification nazwy metryk: accuracy, , precisionrecall
metric_thresholds.regression Objekt Opcjonalna lista metryk i progów w key:value formacie jest key nazwą metryki, value jest progiem. Dozwolone regression nazwy metryk: mae, , msermse

Uwagi

Polecenie az ml schedule może służyć do zarządzania modelami usługi Azure Machine Learning.

Przykłady

Przykłady interfejsu wiersza polecenia monitorowania są dostępne w przykładowym repozytorium GitHub. Para jest następująca:

YAML: monitor out-of-box

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML: Monitor zaawansowany

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Dodatek

Strefa czasowa

Bieżący harmonogram obsługuje następujące strefy czasowe. Klucz może być używany bezpośrednio w zestawie SDK języka Python, a wartość może być używana w zadaniu YAML. Tabela jest zorganizowana według czasu UTC (uniwersalny czas koordynowany).

UTC Key Wartość
UTC -12:00 DATELINE_STANDARD_TIME "Dataline (czas standardowy)
UTC -11:00 UTC_11 "UTC-11"
UTC – 10:00 ALEUTIAN_STANDARD_TIME Aleutian (czas standardowy)
UTC – 10:00 HAWAIIAN_STANDARD_TIME "Hawaje (czas standardowy)
UTC -09:30 MARQUESAS_STANDARD_TIME "Marquesas (Czas standardowy)
UTC -09:00 ALASKAN_STANDARD_TIME "Alaskan (czas standardowy)
UTC -09:00 UTC_09 "UTC-09"
UTC -08:00 PACIFIC_STANDARD_TIME_MEXICO "Pacyfik (Czas standardowy) (Meksyk)"
UTC -08:00 UTC_08 "UTC-08"
UTC -08:00 PACIFIC_STANDARD_TIME "Pacyfik (czas standardowy)
UTC -07:00 US_MOUNTAIN_STANDARD_TIME "Us Mountain Standard Time"
UTC -07:00 MOUNTAIN_STANDARD_TIME_MEXICO "Górski czas standardowy (Meksyk)"
UTC -07:00 MOUNTAIN_STANDARD_TIME "Górski czas standardowy"
UTC -06:00 CENTRAL_AMERICA_STANDARD_TIME "Ameryka Środkowa (czas standardowy)
UTC -06:00 CENTRAL_STANDARD_TIME "Środkowy czas standardowy"
UTC -06:00 EASTER_ISLAND_STANDARD_TIME "Wyspa Wielkanocna (czas standardowy)
UTC -06:00 CENTRAL_STANDARD_TIME_MEXICO "Środkowy czas standardowy (Meksyk)"
UTC -06:00 CANADA_CENTRAL_STANDARD_TIME "Kanada Środkowa (czas standardowy)
UTC -05:00 SA_PACIFIC_STANDARD_TIME "Pacyfik SA (czas standardowy)
UTC -05:00 EASTERN_STANDARD_TIME_MEXICO "Wschodni czas standardowy (Meksyk)"
UTC -05:00 EASTERN_STANDARD_TIME "Wschodni czas standardowy"
UTC -05:00 HAITI_STANDARD_TIME "Haiti (czas standardowy)
UTC -05:00 CUBA_STANDARD_TIME "Kuba (czas standardowy)
UTC -05:00 US_EASTERN_STANDARD_TIME "Wschodni czas standardowy USA"
UTC -05:00 TURKS_AND_CAICOS_STANDARD_TIME "Turks And Caicos (Czas standardowy)
UTC -04:00 PARAGUAY_STANDARD_TIME "Paragwaj (czas standardowy)
UTC -04:00 ATLANTIC_STANDARD_TIME "Czas standardowy atlantyku"
UTC -04:00 VENEZUELA_STANDARD_TIME "Wenezuela (czas standardowy)
UTC -04:00 CENTRAL_BRAZILIAN_STANDARD_TIME "Środkowy brazylijski czas standardowy"
UTC -04:00 SA_WESTERN_STANDARD_TIME "SA Western Standard Time"
UTC -04:00 PACIFIC_SA_STANDARD_TIME "Pacyfik — czas standardowy"
UTC -03:30 NEWFOUNDLAND_STANDARD_TIME "Nowa Fundlandia (czas standardowy)
UTC -03:00 TOCANTINS_STANDARD_TIME "Tocantins (czas standardowy)
UTC -03:00 E_SOUTH_AMERICAN_STANDARD_TIME "E. Ameryka Południowa (czas standardowy)
UTC -03:00 SA_EASTERN_STANDARD_TIME "Wschodni czas standardowy SA"
UTC -03:00 ARGENTINA_STANDARD_TIME "Argentyna (czas standardowy)
UTC -03:00 GREENLAND_STANDARD_TIME "Grenlandii (czas standardowy)
UTC -03:00 MONTEVIDEO_STANDARD_TIME "Montevideo (czas standardowy)
UTC -03:00 SAINT_PIERRE_STANDARD_TIME "Saint Pierre (czas standardowy)
UTC -03:00 BAHIA_STANDARD_TIM "Standard Time" (Czas standardowy)
UTC -02:00 UTC_02 "UTC-02"
UTC -02:00 MID_ATLANTIC_STANDARD_TIME "Średni czas standardowy"
UTC -01:00 AZORES_STANDARD_TIME "Azory (czas standardowy)
UTC -01:00 CAPE_VERDE_STANDARD_TIME "Republika Zielonego Przylądka (czas standardowy)
UTC UTC UTC
UTC +00:00 GMT_STANDARD_TIME "GMT (czas standardowy)
UTC +00:00 GREENWICH_STANDARD_TIME "Greenwich (czas standardowy)
UTC +01:00 MOROCCO_STANDARD_TIME "Maroko (czas standardowy)
UTC +01:00 W_EUROPE_STANDARD_TIME "W. Europa (czas standardowy)
UTC +01:00 CENTRAL_EUROPE_STANDARD_TIME "Europa Środkowa (czas standardowy)
UTC +01:00 ROMANCE_STANDARD_TIME "Romans (czas standardowy)
UTC +01:00 CENTRAL_EUROPEAN_STANDARD_TIME "Europa Środkowa (czas standardowy)
UTC +01:00 W_CENTRAL_AFRICA_STANDARD_TIME "W. Afryka Środkowa (czas standardowy)
UTC +02:00 NAMIBIA_STANDARD_TIME "Namibia (czas standardowy)
UTC +02:00 JORDAN_STANDARD_TIME "Jordan (czas standardowy)
UTC +02:00 GTB_STANDARD_TIME "GTB (czas standardowy)
UTC +02:00 MIDDLE_EAST_STANDARD_TIME "Bliski Wschód (czas standardowy)
UTC +02:00 EGYPT_STANDARD_TIME "Egipt (czas standardowy)
UTC +02:00 E_EUROPE_STANDARD_TIME "E. Europa (czas standardowy)
UTC +02:00 SYRIA_STANDARD_TIME "Syria (czas standardowy)
UTC +02:00 WEST_BANK_STANDARD_TIME "Zachodni brzeg (czas standardowy)
UTC +02:00 SOUTH_AFRICA_STANDARD_TIME "Republika Południowej Afryki (czas standardowy)
UTC +02:00 FLE_STANDARD_TIME "FLE (czas standardowy)
UTC +02:00 ISRAEL_STANDARD_TIME "Izrael (czas standardowy)
UTC +02:00 KALININGRAD_STANDARD_TIME "Standardowy czas Standardowy"
UTC +02:00 LIBYA_STANDARD_TIME "Libia (czas standardowy)
UTC +03:00 TÜRKIYE_STANDARD_TIME "Türkiye (czas standardowy)
UTC +03:00 ARABIC_STANDARD_TIME "Arabski czas standardowy"
UTC +03:00 ARAB_STANDARD_TIME "Arabski czas standardowy"
UTC +03:00 BELARUS_STANDARD_TIME "Białoruś (czas standardowy)
UTC +03:00 RUSSIAN_STANDARD_TIME "Rosyjski (czas standardowy)
UTC +03:00 E_AFRICA_STANDARD_TIME "E. Afryka (czas standardowy)
UTC +03:30 IRAN_STANDARD_TIME "Iran (czas standardowy)
UTC +04:00 ARABIAN_STANDARD_TIME "Arabski czas standardowy"
UTC +04:00 ASTRAKHAN_STANDARD_TIME "Astrakhan (czas standardowy)
UTC +04:00 AZERBAIJAN_STANDARD_TIME "Azerbejdżan (czas standardowy)
UTC +04:00 RUSSIA_TIME_ZONE_3 "Rosja Strefa czasowa 3"
UTC +04:00 MAURITIUS_STANDARD_TIME "Mauritius (czas standardowy)
UTC +04:00 GEORGIAN_STANDARD_TIME "Gruziński czas standardowy"
UTC +04:00 CAUCASUS_STANDARD_TIME "Kaukaz (czas standardowy)
UTC +04:30 AFGHANISTAN_STANDARD_TIME "Afganistan (czas standardowy)
UTC +05:00 WEST_ASIA_STANDARD_TIME "Azja Zachodnia (czas standardowy)
UTC +05:00 EKATERINBURG_STANDARD_TIME "Ekaterinburg (czas standardowy)
UTC +05:00 PAKISTAN_STANDARD_TIME "Pakistan (czas standardowy)
UTC +05:30 INDIA_STANDARD_TIME "Indie (czas standardowy)
UTC +05:30 SRI_LANKA_STANDARD_TIME "Sri Lanka (czas standardowy)
UTC +05:45 NEPAL_STANDARD_TIME "Nepal (czas standardowy)
UTC +06:00 CENTRAL_ASIA_STANDARD_TIME "Azja Środkowa (czas standardowy)
UTC +06:00 BANGLADESH_STANDARD_TIME "Bangladesz (czas standardowy)
UTC +06:30 MYANMAR_STANDARD_TIME "Birma (czas standardowy)
UTC +07:00 N_CENTRAL_ASIA_STANDARD_TIME "N. Azja Środkowa (czas standardowy)
UTC +07:00 SE_ASIA_STANDARD_TIME "SE Asia (Czas standardowy)
UTC +07:00 ALTAI_STANDARD_TIME "Altai (czas standardowy)
UTC +07:00 W_MONGOLIA_STANDARD_TIME "W. Mongolia (czas standardowy)
UTC +07:00 NORTH_ASIA_STANDARD_TIME "Azja Północna (czas standardowy)
UTC +07:00 TOMSK_STANDARD_TIME "Tomsk (czas standardowy)
UTC +08:00 CHINA_STANDARD_TIME "Chiny (czas standardowy)
UTC +08:00 NORTH_ASIA_EAST_STANDARD_TIME "Azja Północna Wschodnia (czas standardowy)
UTC +08:00 SINGAPORE_STANDARD_TIME "Singapur (czas standardowy)
UTC +08:00 W_AUSTRALIA_STANDARD_TIME "W. Australia (czas standardowy)
UTC +08:00 TAIPEI_STANDARD_TIME "Tajpej (czas standardowy)
UTC +08:00 ULAANBAATAR_STANDARD_TIME "Ułanbaatar (czas standardowy)
UTC +08:45 AUS_CENTRAL_W_STANDARD_TIME "Aus Central W. Standard Time"
UTC +09:00 NORTH_KOREA_STANDARD_TIME "Korea Północna (czas standardowy)
UTC +09:00 TRANSBAIKAL_STANDARD_TIME "Transbaikal (czas standardowy)
UTC +09:00 TOKYO_STANDARD_TIME "Tokio (czas standardowy)
UTC +09:00 KOREA_STANDARD_TIME "Korea (czas standardowy)
UTC +09:00 YAKUTSK_STANDARD_TIME "Yakutsk (czas standardowy)
UTC +09:30 CEN_AUSTRALIA_STANDARD_TIME "Cen. Australia (czas standardowy)
UTC +09:30 AUS_CENTRAL_STANDARD_TIME "Środkowy czas standardowy usługi AUS"
UTC +10:00 E_AUSTRALIAN_STANDARD_TIME "E. Australia (czas standardowy)
UTC +10:00 AUS_EASTERN_STANDARD_TIME "Wschodni czas standardowy AUS"
UTC +10:00 WEST_PACIFIC_STANDARD_TIME "Zachodni Pacyfik (czas standardowy)
UTC +10:00 TASMANIA_STANDARD_TIME "Tasmania (czas standardowy)
UTC +10:00 VLADIVOSTOK_STANDARD_TIME "Vladivostok (czas standardowy)
UTC +10:30 LORD_HOWE_STANDARD_TIME "Lord Howe (Czas standardowy)
UTC +11:00 BOUGAINVILLE_STANDARD_TIME "Bougainville (czas standardowy)
UTC +11:00 RUSSIA_TIME_ZONE_10 "Rosja Strefa czasowa 10"
UTC +11:00 MAGADAN_STANDARD_TIME "Magadan (czas standardowy)
UTC +11:00 NORFOLK_STANDARD_TIME "Norfolk (czas standardowy)
UTC +11:00 SAKHALIN_STANDARD_TIME "Sachalin (czas standardowy)
UTC +11:00 CENTRAL_PACIFIC_STANDARD_TIME "Środkowy Pacyfik (czas standardowy)
UTC +12:00 RUSSIA_TIME_ZONE_11 "Rosja Strefa czasowa 11"
UTC +12:00 NEW_ZEALAND_STANDARD_TIME "Nowa Zelandia (czas standardowy)
UTC +12:00 UTC_12 "UTC+12"
UTC +12:00 FIJI_STANDARD_TIME "Fiji (czas standardowy)
UTC +12:00 KAMCHATKA_STANDARD_TIME "Kamchatka (czas standardowy)
UTC +12:45 CHATHAM_ISLANDS_STANDARD_TIME "Wyspy Chatham (czas standardowy)
UTC +13:00 TONGA__STANDARD_TIME "Tonga (czas standardowy)
UTC +13:00 SAMOA_STANDARD_TIME "Samoa (czas standardowy)
UTC +14:00 LINE_ISLANDS_STANDARD_TIME "Wyspy Liniowe (czas standardowy)