CLI (v2) schemalägger YAML-schema för modellövervakning (förhandsversion)

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

YAML-syntaxen som beskrivs i det här dokumentet baseras på JSON-schemat för den senaste versionen av ML CLI v2-tillägget. Den här syntaxen är garanterad att endast fungera med den senaste versionen av ML CLI v2-tillägget. Det omfattande JSON-schemat kan visas på https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.json. Du hittar scheman för äldre tilläggsversioner på https://azuremlschemasprod.azureedge.net/.

YAML-syntax

Nyckel	Typ	Beskrivning	Tillåtna värden
$schema	sträng	YAML-schemat.
name	sträng	Obligatoriskt. Namnet på schemat.
description	sträng	Beskrivning av schemat.
tags	objekt	Ordlista över taggar för schemat.
trigger	objekt	Obligatoriskt. Utlösarkonfigurationen för att definiera regeln när jobbet ska utlösas. En av RecurrenceTrigger eller CronTrigger krävs.
create_monitor	objekt	Obligatoriskt. Definitionen av övervakaren som utlöses av ett schema. MonitorDefinition krävs.

Utlösarkonfiguration

Återkomstutlösare

Nyckel	Typ	Beskrivning	Tillåtna värden
type	sträng	Obligatoriskt. Anger schematypen.	recurrence
frequency	sträng	Obligatoriskt. Anger den tidsenhet som beskriver hur ofta schemat utlöses.	minute, hour, day, , , weekmonth
interval	integer	Obligatoriskt. Anger det intervall med vilket schemat utlöses.
start_time	sträng	Beskriver startdatum och tid med tidszon. Om start_time utelämnas körs det första jobbet omedelbart och de framtida jobben utlöses baserat på schemat och säger start_time att det är lika med tiden då jobbet skapades. Om starttiden är tidigare körs det första jobbet vid nästa beräknade körningstid.
end_time	sträng	Beskriver slutdatum och tid med tidszon. Om end_time utelämnas fortsätter schemat att köras tills det uttryckligen har inaktiverats.
timezone	sträng	Anger tidszonen för upprepningen. Om det utelämnas är UTC som standard.	Se bilaga för tidszonsvärden
pattern	objekt	Anger mönstret för upprepningen. Om mönstret utelämnas utlöses jobben enligt logiken i start_time, frekvens och intervall.

Återkommande schema

Upprepningsschemat definierar upprepningsmönstret som innehåller hours, minutesoch weekdays.

• När frekvensen är daykan mönstret ange hours och minutes.
• När frekvensen är week och monthkan mönstret ange hours, minutes och weekdays.

Nyckel	Typ	Tillåtna värden
hours	heltal eller matris med heltal	0-23
minutes	heltal eller matris med heltal	0-59
week_days	sträng eller strängmatris	monday, tuesday, wednesday, thursday, friday, , , saturdaysunday

CronTrigger

Nyckel	Typ	Beskrivning	Tillåtna värden
type	sträng	Obligatoriskt. Anger schematypen.	cron
expression	sträng	Obligatoriskt. Anger cron-uttrycket för att definiera hur jobb ska utlösas. uttryck använder standard crontab-uttryck för att uttrycka ett återkommande schema. Ett enda uttryck består av fem blankstegsavgränsade fält:MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK
start_time	sträng	Beskriver startdatum och tid med tidszon. Om start_time utelämnas körs det första jobbet omedelbart och de framtida jobben utlöses baserat på schemat och säger att start_time är lika med den tid då jobbet skapades. Om starttiden är tidigare körs det första jobbet vid nästa beräknade körningstid.
end_time	sträng	Beskriver slutdatum och tid med tidszon. Om end_time utelämnas fortsätter schemat att köras tills det uttryckligen inaktiveras.
timezone	sträng	Anger tidszonen för upprepningen. Om det utelämnas är UTC som standard.	Se bilaga för tidszonsvärden

Övervaka definition

Nyckel	Typ	Beskrivning	Tillåtna värden	Standardvärde
compute	Objekt	Obligatoriska. Beskrivning av beräkningsresurser för Spark-pool som ska köra övervakningsjobbet.
compute.instance_type	String	Obligatoriska. Den beräkningsinstanstyp som ska användas för Spark-poolen.	"standard_e4s_v3", "standard_e8s_v3", "standard_e16s_v3", "standard_e32s_v3", "standard_e64s_v3"	saknas
compute.runtime_version	String	Valfritt. Definierar Spark-körningsversion.	3.3	3.3
monitoring_target	Objekt	Azure Mašinsko učenje tillgångar som är associerade med modellövervakning.
monitoring_target.ml_task	String	Maskininlärningsuppgift för modellen.	Tillåtna värden är: classification, regression, question_answering
monitoring_target.endpoint_deployment_id	String	Valfritt. Det associerade Azure Mašinsko učenje slutpunkts-/distributions-ID i formatet azureml:myEndpointName:myDeploymentName. Det här fältet krävs om din slutpunkt/distribution har aktiverat modelldatainsamling som ska användas för modellövervakning.
monitoring_target.model_id	String	Valfritt. Det associerade modell-ID:t för modellövervakning.
monitoring_signals	Objekt	Ordlista över övervakningssignaler som ska ingå. Nyckeln är ett namn på övervakningssignalen inom övervakningskontexten och värdet är ett objekt som innehåller en övervakningssignalspecifikation. Valfritt för grundläggande modellövervakning som använder tidigare produktionsdata som jämförelsebaslinje och har tre övervakningssignaler: dataavvikelse, förutsägelseavvikelse och datakvalitet.
alert_notification	Sträng eller objekt	Beskrivning av mottagare av aviseringsmeddelanden.	Ett av två aviseringsmål tillåts: Sträng azmonitoring eller objekt emails som innehåller en matris med e-postmottagare
alert_notification.emails	Objekt	Lista över e-postadresser som ska få aviseringsmeddelande.

Övervakningssignaler

Dataavvikelse

När de data som används för att träna modellen utvecklas i produktion kan fördelningen av data skifta, vilket resulterar i ett matchningsfel mellan träningsdata och verkliga data som modellen används för att förutsäga. Dataavvikelse är ett fenomen som inträffar inom maskininlärning när de statistiska egenskaperna för indata som används för att träna modellen ändras över tid.

Nyckel	Typ	Beskrivning	Tillåtna värden	Standardvärde
type	String	Obligatoriska. Typ av övervakningssignal. Den fördefinierade komponenten för signalbearbetning för övervakning läses in automatiskt enligt angiven type här.	data_drift	data_drift
production_data	Objekt	Valfritt. Beskrivning av produktionsdata som ska analyseras för övervakningssignal.
production_data.input_data	Objekt	Valfritt. Beskrivning av indatakällan, se specifikationen för jobbindata .
production_data.data_context	String	Kontexten för data, den refererar till modellproduktionsdata och kan vara modellindata eller modellutdata	model_inputs
production_data.data_window	Objekt	Valfritt. Datafönster för referensdata som ska användas som jämförelsebaslinjedata.	Tillåt antingen rullande datafönster eller endast fast datafönster. Ange och production_data.data_window.lookback_window_size egenskaper för att använda rullande datafönsterproduction_data.data_window.lookback_window_offset. Ange och production_data.data_window.window_end egenskaper för att använda fasta datafönsterproduction_data.data_window.window_start. Alla egenskapsvärden måste vara i ISO8601 format.
production_data.pre_processing_component	String	Komponent-ID i formatet azureml:myPreprocessing@latest för en registrerad komponent. Detta krävs om production_data.data.input_data.type är , se specifikationen för förbearbetningskomponentenuri_folder.
reference_data	Objekt	Valfritt. Tidigare produktionsdata används som jämförelsebaslinjedata om detta inte har angetts. Rekommendationen är att använda träningsdata som jämförelsebaslinje.
reference_data.input_data	Objekt	Beskrivning av indatakällan, se specifikationen för jobbindata .
reference_data.data_context	String	Datakontexten refererar till den kontext som datauppsättningen användes före	model_inputs, training, , testvalidation
reference_data.data_column_names.target_column	Objekt	Valfritt. reference_data Om är träningsdata krävs den här egenskapen för övervakning av de främsta N-funktionerna för dataavvikelse.
reference_data.data_window	Objekt	Valfritt. Datafönster för referensdata som ska användas som jämförelsebaslinjedata.	Tillåt antingen rullande datafönster eller endast fast datafönster. Ange och reference_data.data_window.lookback_window_size egenskaper för att använda rullande datafönsterreference_data.data_window.lookback_window_offset. Ange och reference_data.data_window.window_end egenskaper för att använda fasta datafönsterreference_data.data_window.window_start. Alla egenskapsvärden måste vara i ISO8601 format.
reference_data_data.pre_processing_component	String	Komponent-ID i formatet azureml:myPreprocessing@latest för en registrerad komponent. Detta krävs om reference_data.input_data.type är uri_folder, se specifikationen för förbearbetningskomponenten.
features	Objekt	Valfritt. Målfunktioner som ska övervakas för dataavvikelse. Vissa modeller kan ha hundratals eller tusentals funktioner. Det rekommenderas alltid att du anger intresserade funktioner för övervakning.	Något av följande värden: lista över funktionsnamn, features.top_n_feature_importanceeller all_features	Standard features.top_n_feature_importance = 10 om production_data.data_context är training, annars är standardvärdet all_features
alert_enabled	Booleskt	Aktivera/inaktivera aviseringsmeddelande för övervakningssignalen. True eller False
metric_thresholds	Objekt	Lista över egenskaper för mått och tröskelvärden för övervakningssignalen. När tröskelvärdet överskrids och alert_enabled är truefår användaren ett aviseringsmeddelande.
metric_thresholds.numerical	Objekt	Valfritt. Lista över mått och tröskelvärden i key:value format, key är måttnamnet, value är tröskelvärdet.	Tillåtna numeriska måttnamn: jensen_shannon_distance, normalized_wasserstein_distance, population_stability_index, two_sample_kolmogorov_smirnov_test
metric_thresholds.categorical	Objekt	Valfritt. Lista över mått och tröskelvärden i formatet "key:value", "key" är måttnamnet, "value" är tröskelvärdet.	Tillåtna kategoriska måttnamn: jensen_shannon_distance, chi_squared_test, population_stability_index

Förutsägelseavvikelse

Förutsägelseavvikelse spårar ändringar i fördelningen av en modells förutsägelseutdata genom att jämföra den med validerings- eller testetiketterade data eller senaste tidigare produktionsdata.

Nyckel	Typ	Beskrivning	Tillåtna värden	Standardvärde
type	String	Obligatoriska. Typ av övervakningssignal. Den fördefinierade komponenten för signalbearbetning för övervakning läses in automatiskt enligt angiven type här.	prediction_drift	prediction_drift
production_data	Objekt	Valfritt. Beskrivning av produktionsdata som ska analyseras för övervakningssignal.
production_data.input_data	Objekt	Valfritt. Beskrivning av indatakällan, se specifikationen för jobbindata .
production_data.data_context	String	Kontexten för data, den refererar till modellproduktionsdata och kan vara modellindata eller modellutdata	model_outputs
production_data.data_window	Objekt	Valfritt. Datafönster för referensdata som ska användas som jämförelsebaslinjedata.	Tillåt antingen rullande datafönster eller endast fast datafönster. Ange och production_data.data_window.lookback_window_size egenskaper för att använda rullande datafönsterproduction_data.data_window.lookback_window_offset. Ange och production_data.data_window.window_end egenskaper för att använda fasta datafönsterproduction_data.data_window.window_start. Alla egenskapsvärden måste vara i ISO8601 format.
production_data.pre_processing_component	String	Komponent-ID i formatet azureml:myPreprocessing@latest för en registrerad komponent. Detta krävs om production_data.data.input_data.type är uri_folder. Mer information om förbearbetning av komponentspecifikation finns i specifikationen för förbearbetningskomponenten.
reference_data	Objekt	Valfritt. Tidigare produktionsdata används som jämförelsebaslinjedata om detta inte har angetts. Rekommendationen är att använda träningsdata som jämförelsebaslinje.
reference_data.input_data	Objekt	Beskrivning av indatakällan, se specifikationen för jobbindata .
reference_data.data_context	String	Datakontexten refererar till den kontext som datauppsättningen användes före	model_inputs, training, , testvalidation
reference_data.data_column_names.target_column	Objekt	Valfritt. Om "reference_data" är träningsdata krävs den här egenskapen för övervakning av de främsta N-funktionerna för dataavvikelse.
reference_data.data_window	Objekt	Valfritt. Datafönster för referensdata som ska användas som jämförelsebaslinjedata.	Tillåt antingen rullande datafönster eller endast fast datafönster. Ange och reference_data.data_window.lookback_window_size egenskaper för att använda rullande datafönsterreference_data.data_window.lookback_window_offset. Ange och reference_data.data_window.window_end egenskaper för att använda fasta datafönsterreference_data.data_window.window_start. Alla egenskapsvärden måste vara i ISO8601 format.
reference_data_data.pre_processing_component	String	Komponent-ID i formatet azureml:myPreprocessing@latest för en registrerad komponent. Detta krävs om reference_data.input_data.type är uri_folder, se specifikationen för förbearbetningskomponenten.
features	Objekt	Valfritt. Målfunktioner som ska övervakas för dataavvikelse. Vissa modeller kan ha hundratals eller tusentals funktioner. Det rekommenderas alltid att du anger intresserade funktioner för övervakning.	Något av följande värden: lista över funktionsnamn, features.top_n_feature_importanceeller all_features	Standard features.top_n_feature_importance = 10 om production_data.data_context är training, annars är standardvärdet all_features
alert_enabled	Booleskt	Aktivera/inaktivera aviseringsmeddelande för övervakningssignalen. True eller False
metric_thresholds	Objekt	Lista över egenskaper för mått och tröskelvärden för övervakningssignalen. När tröskelvärdet överskrids och alert_enabled är truefår användaren ett aviseringsmeddelande.
metric_thresholds.numerical	Objekt	Valfritt. Lista över mått och tröskelvärden i formatet "key:value", "key" är måttnamnet, "value" är tröskelvärdet.	Tillåtna numeriska måttnamn: jensen_shannon_distance, normalized_wasserstein_distance, population_stability_index, two_sample_kolmogorov_smirnov_test
metric_thresholds.categorical	Objekt	Valfritt. Lista över mått och tröskelvärden i formatet "key:value", "key" är måttnamnet, "value" är tröskelvärdet.	Tillåtna kategoriska måttnamn: jensen_shannon_distance, chi_squared_test, population_stability_index

Datakvalitet

Datakvalitetssignal spårar datakvalitetsproblem i produktionen genom att jämföra med träningsdata eller tidigare produktionsdata.

Nyckel	Typ	Beskrivning	Tillåtna värden	Standardvärde
type	String	Obligatoriska. Typ av övervakningssignal. Den fördefinierade komponenten för signalbearbetning för övervakning läses in automatiskt enligt angiven type här	data_quality	data_quality
production_data	Objekt	Valfritt. Beskrivning av produktionsdata som ska analyseras för övervakningssignal.
production_data.input_data	Objekt	Valfritt. Beskrivning av indatakällan, se specifikationen för jobbindata .
production_data.data_context	String	Kontexten för data, den refererar till modellproduktionsdata och kan vara modellindata eller modellutdata	model_inputs, model_outputs
production_data.data_window	Objekt	Valfritt. Datafönster för referensdata som ska användas som jämförelsebaslinjedata.	Tillåt antingen rullande datafönster eller endast fast datafönster. Ange och production_data.data_window.lookback_window_size egenskaper för att använda rullande datafönsterproduction_data.data_window.lookback_window_offset. Ange och production_data.data_window.window_end egenskaper för att använda fasta datafönsterproduction_data.data_window.window_start. Alla egenskapsvärden måste vara i ISO8601 format.
production_data.pre_processing_component	String	Komponent-ID i formatet azureml:myPreprocessing@latest för en registrerad komponent. Detta krävs om production_data.input_data.type är , se specifikationen för förbearbetningskomponentenuri_folder.
reference_data	Objekt	Valfritt. Tidigare produktionsdata används som jämförelsebaslinjedata om detta inte har angetts. Rekommendationen är att använda träningsdata som jämförelsebaslinje.
reference_data.input_data	Objekt	Beskrivning av indatakällan, se specifikationen för jobbindata .
reference_data.data_context	String	Datakontexten refererar till den kontext som datauppsättningen användes före	model_inputs, model_outputs, training, , , testvalidation
reference_data.data_column_names.target_column	Objekt	Valfritt. Om "reference_data" är träningsdata krävs den här egenskapen för övervakning av de främsta N-funktionerna för dataavvikelse.
reference_data.data_window	Objekt	Valfritt. Datafönster för referensdata som ska användas som jämförelsebaslinjedata.	Tillåt antingen rullande datafönster eller endast fast datafönster. Ange och reference_data.data_window.lookback_window_size egenskaper för att använda rullande datafönsterreference_data.data_window.lookback_window_offset. Ange och reference_data.data_window.window_end egenskaper för att använda fasta datafönsterreference_data.data_window.window_start. Alla egenskapsvärden måste vara i ISO8601 format.
reference_data.pre_processing_component	String	Komponent-ID i formatet azureml:myPreprocessing@latest för en registrerad komponent. Detta krävs om reference_data.input_data.type är , se specifikationen för förbearbetningskomponentenuri_folder.
features	Objekt	Valfritt. Målfunktioner som ska övervakas för datakvalitet. Vissa modeller kan ha hundratals eller tusentals funktioner. Vi rekommenderar alltid att du anger intresserade funktioner för övervakning.	Något av följande värden: lista över funktionsnamn, features.top_n_feature_importanceeller all_features	Standardvärdet features.top_n_feature_importance = 10 är om reference_data.data_context är training, annars är standardvärdet all_features
alert_enabled	Booleskt	Aktivera/inaktivera aviseringsmeddelande för övervakningssignalen. True eller False
metric_thresholds	Objekt	Lista över egenskaper för mått och tröskelvärden för övervakningssignalen. När tröskelvärdet överskrids och alert_enabled är truefår användaren ett aviseringsmeddelande.
metric_thresholds.numerical	Objekt	Valfri lista över mått och tröskelvärden i key:value format, key är måttnamnet, value är tröskelvärdet.	Tillåtna numeriska måttnamn: data_type_error_rate, null_value_rate, out_of_bounds_rate
metric_thresholds.categorical	Objekt	Valfri lista över mått och tröskelvärden i key:value format, key är måttnamnet, value är tröskelvärdet.	Tillåtna kategoriska måttnamn: data_type_error_rate, null_value_rate, out_of_bounds_rate

Funktionsatributionsavvikelse (förhandsversion)

Funktionstilldelningen för en modell kan ändras över tid på grund av ändringar i fördelningen av data, ändringar i relationerna mellan funktioner eller ändringar i det underliggande problemet som löses. Funktionstillskrivningsavvikelse är ett fenomen som inträffar i maskininlärningsmodeller när funktionernas betydelse eller bidrag till förutsägelseutdata ändras över tid.

Nyckel	Typ	Beskrivning	Tillåtna värden	Standardvärde
type	String	Obligatoriska. Typ av övervakningssignal. Den fördefinierade komponenten för signalbearbetning för övervakning läses in automatiskt enligt angiven type här	feature_attribution_drift	feature_attribution_drift
production_data	Matris	Valfritt, standard för insamlade data som är associerade med Azure Mašinsko učenje slutpunkt om detta inte anges. production_data är en lista över datamängden och dess associerade metadata, den måste innehålla både modellindata och modellutdata. Det kan vara en enda datauppsättning med både modellindata och utdata, eller så kan det vara två separata datauppsättningar som innehåller en modellindata och en modellutdata.
production_data.input_data	Objekt	Valfritt. Beskrivning av indatakällan, se specifikationen för jobbindata .
production_data.input_data.data_column_names	Objekt	Korrelationskolumnnamn och förutsägelsekolumnnamn i key:value format som behövs för dataanslutning.	Tillåtna nycklar är: correlation_id, target_column
production_data.data_context	String	Kontexten för data. Den refererar till att produktionsmodellen matar in data.	model_inputs, , model_outputsmodel_inputs_outputs
production_data.data_window	Objekt	Valfritt. Datafönster för referensdata som ska användas som jämförelsebaslinjedata.	Tillåt antingen rullande datafönster eller endast fast datafönster. Ange och production_data.data_window.lookback_window_size egenskaper för att använda rullande datafönsterproduction_data.data_window.lookback_window_offset. Ange och production_data.data_window.window_end egenskaper för att använda fasta datafönsterproduction_data.data_window.window_start. Alla egenskapsvärden måste vara i ISO8601 format.
production_data.pre_processing_component	String	Komponent-ID i formatet azureml:myPreprocessing@latest för en registrerad komponent. Detta krävs om production_data.input_data.type är , se specifikationen för förbearbetningskomponentenuri_folder.
production_data.data_window_size	String	Valfritt. Datafönsterstorlek i dagar med ISO8601 format, till exempel P7D. Det här är fönstret för produktionsdata som ska beräknas för datakvalitetsproblem.	Som standard är datafönstrets storlek den senaste övervakningsperioden.
reference_data	Objekt	Valfritt. Tidigare produktionsdata används som jämförelsebaslinjedata om detta inte har angetts. Rekommendationen är att använda träningsdata som jämförelsebaslinje.
reference_data.input_data	Objekt	Beskrivning av indatakällan, se specifikationen för jobbindata .
reference_data.data_context	String	Kontexten för data refererar till den kontext som datauppsättningen användes tidigare. Fro funktionsattributionsavvikelse, endast training data tillåtna.	training
reference_data.data_column_names.target_column	String	Obligatoriska.
reference_data.data_window	Objekt	Valfritt. Datafönster för referensdata som ska användas som jämförelsebaslinjedata.	Tillåt antingen rullande datafönster eller endast fast datafönster. Ange och reference_data.data_window.lookback_window_size egenskaper för att använda rullande datafönsterreference_data.data_window.lookback_window_offset. Ange och reference_data.data_window.window_end egenskaper för att använda fasta datafönsterreference_data.data_window.window_start. Alla egenskapsvärden måste vara i ISO8601 format.
reference_data.pre_processing_component	String	Komponent-ID i formatet azureml:myPreprocessing@latest för en registrerad komponent. Detta krävs om reference_data.input_data.type är , se specifikationen för förbearbetningskomponentenuri_folder.
alert_enabled	Booleskt	Aktivera/inaktivera aviseringsmeddelande för övervakningssignalen. True eller False
metric_thresholds	Objekt	Måttnamn och tröskelvärde för funktionstillskrivningsavvikelse i key:value format, där key är måttnamnet och value tröskelvärdet. När tröskelvärdet överskrids och alert_enabled är aktiverat får användaren ett aviseringsmeddelande.	Tillåtet måttnamn: normalized_discounted_cumulative_gain

Anpassad övervakningssignal

Anpassad övervakningssignal via en anpassad Azure Mašinsko učenje-komponent.

Nyckel	Typ	Beskrivning	Tillåtna värden	Standardvärde
type	String	Obligatoriska. Typ av övervakningssignal. Den fördefinierade komponenten för signalbearbetning för övervakning läses in automatiskt enligt angiven type här.	custom	custom
component_id	String	Obligatoriska. Komponent-ID för Azure Mašinsko učenje som motsvarar din anpassade signal. Till exempel azureml:mycustomcomponent:1
input_data	Objekt	Valfritt. Beskrivning av indata som ska analyseras av övervakningssignalen, se specifikationen för jobbindata .
input_data.<data_name>.data_context	String	Kontexten för data, den refererar till modellproduktionsdata och kan vara modellindata eller modellutdata	model_inputs
input_data.<data_name>.data_window	Objekt	Valfritt. Datafönster för referensdata som ska användas som jämförelsebaslinjedata.	Tillåt antingen rullande datafönster eller endast fast datafönster. Ange och input_data.<data_name>.data_window.lookback_window_size egenskaper för att använda rullande datafönsterinput_data.<data_name>.data_window.lookback_window_offset. Ange och input_data.<data_name>.data_window.window_end egenskaper för att använda fasta datafönsterinput_data.<data_name>.data_window.window_start. Alla egenskapsvärden måste vara i ISO8601 format.
input_data.<data_name>.pre_processing_component	String	Komponent-ID i formatet azureml:myPreprocessing@latest för en registrerad komponent. Detta krävs om input_data.<data_name>.input_data.type är , se specifikationen för förbearbetningskomponentenuri_folder.
alert_enabled	Booleskt	Aktivera/inaktivera aviseringsmeddelande för övervakningssignalen. True eller False
metric_thresholds.metric_name	Objekt	Namnet på det anpassade måttet.
threshold	Objekt	Giltigt tröskelvärde för det anpassade måttet.

Modellprestanda (förhandsversion)

Modellprestanda spårar den objektiva prestandan för en modells utdata i produktionen genom att jämföra den med insamlade mark sanningsdata.

Nyckel	Typ	Beskrivning	Tillåtna värden	Standardvärde
type	String	Obligatoriska. Typ av övervakningssignal. Den fördefinierade komponenten för signalbearbetning för övervakning läses in automatiskt enligt angiven type här	model_performance	model_performance
production_data	Matris	Valfritt, standard för insamlade data som är associerade med Azure Mašinsko učenje slutpunkt om detta inte anges. production_data är en lista över datamängden och dess associerade metadata, den måste innehålla både modellindata och modellutdata. Det kan vara en enda datauppsättning med både modellindata och utdata, eller så kan det vara två separata datauppsättningar som innehåller en modellindata och en modellutdata.
production_data.input_data	Objekt	Valfritt. Beskrivning av indatakällan, se specifikationen för jobbindata .
production_data.input_data.data_column_names	Objekt	Korrelationskolumnnamn och förutsägelsekolumnnamn i key:value format som behövs för dataanslutning.	Tillåtna nycklar är: correlation_id, target_column
production_data.data_context	String	Kontexten för data. Den refererar till att produktionsmodellen matar in data.	model_inputs, , model_outputsmodel_inputs_outputs
production_data.data_window	Objekt	Valfritt. Datafönster för referensdata som ska användas som jämförelsebaslinjedata.	Tillåt antingen rullande datafönster eller endast fast datafönster. Ange och production_data.data_window.lookback_window_size egenskaper för att använda rullande datafönsterproduction_data.data_window.lookback_window_offset. Ange och production_data.data_window.window_end egenskaper för att använda fasta datafönsterproduction_data.data_window.window_start. Alla egenskapsvärden måste vara i ISO8601 format.
production_data.pre_processing_component	String	Komponent-ID i formatet azureml:myPreprocessing@latest för en registrerad komponent. Detta krävs om production_data.input_data.type är , se specifikationen för förbearbetningskomponentenuri_folder.
production_data.data_window_size	String	Valfritt. Datafönsterstorlek i dagar med ISO8601 format, till exempel P7D. Det här är fönstret för produktionsdata som ska beräknas för datakvalitetsproblem.	Som standard är datafönstrets storlek den senaste övervakningsperioden.
reference_data	Objekt	Valfritt. Tidigare produktionsdata används som jämförelsebaslinjedata om detta inte har angetts. Rekommendationen är att använda träningsdata som jämförelsebaslinje.
reference_data.input_data	Objekt	Beskrivning av indatakällan, se specifikationen för jobbindata .
reference_data.data_context	String	Kontexten för data refererar till den kontext som datauppsättningen användes tidigare. Fro funktionsattributionsavvikelse, endast training data tillåtna.	training
reference_data.data_column_names.target_column	String	Obligatoriska.
reference_data.data_window	Objekt	Valfritt. Datafönster för referensdata som ska användas som jämförelsebaslinjedata.	Tillåt antingen rullande datafönster eller endast fast datafönster. Ange och reference_data.data_window.lookback_window_size egenskaper för att använda rullande datafönsterreference_data.data_window.lookback_window_offset. Ange och reference_data.data_window.window_end egenskaper för att använda fasta datafönsterreference_data.data_window.window_start. Alla egenskapsvärden måste vara i ISO8601 format.
reference_data.pre_processing_component	String	Komponent-ID i formatet azureml:myPreprocessing@latest för en registrerad komponent. Detta krävs om reference_data.input_data.type är , se specifikationen för förbearbetningskomponentenuri_folder.
alert_enabled	Booleskt	Aktivera/inaktivera aviseringsmeddelande för övervakningssignalen. True eller False
metric_thresholds.classification	Objekt	Valfri lista över mått och tröskelvärden i key:value format, key är måttnamnet, value är tröskelvärdet.	Tillåtna classification måttnamn: accuracy, precision, recall
metric_thresholds.regression	Objekt	Valfri lista över mått och tröskelvärden i key:value format, key är måttnamnet, value är tröskelvärdet.	Tillåtna regression måttnamn: mae, mse, rmse

Kommentarer

Kommandot az ml schedule kan användas för att hantera Azure Mašinsko učenje-modeller.

Exempel

Övervakning av CLI-exempel är tillgängliga i GitHub-exempellagringsplatsen. Ett par är följande:

YAML: Out-of-box monitor

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML: Avancerad övervakare

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Bilaga

Tidszon

Aktuellt schema stöder följande tidszoner. Nyckeln kan användas direkt i Python SDK, medan värdet kan användas i YAML-jobbet. Tabellen ordnas efter UTC(Coordinated Universal Time).

UTC	Tangent	Värde
UTC -12:00	DATELINE_STANDARD_TIME	"Dateline Standard Time"
UTC -11:00	UTC_11	"UTC-11"
UTC – 10:00	ALEUTIAN_STANDARD_TIME	Aleutian standardtid
UTC – 10:00	HAWAIIAN_STANDARD_TIME	"Hawaiian Standard Time"
UTC -09:30	MARQUESAS_STANDARD_TIME	"Marquesas Standard Time"
UTC -09:00	ALASKAN_STANDARD_TIME	"Alaskan Standard Time"
UTC -09:00	UTC_09	"UTC-09"
UTC -08:00	PACIFIC_STANDARD_TIME_MEXICO	"Pacific Standard Time (Mexiko)"
UTC -08:00	UTC_08	"UTC-08"
UTC -08:00	PACIFIC_STANDARD_TIME	"Pacific Standard Time"
UTC -07:00	US_MOUNTAIN_STANDARD_TIME	"US Mountain Standard Time"
UTC -07:00	MOUNTAIN_STANDARD_TIME_MEXICO	"Mountain Standard Time (Mexiko)"
UTC -07:00	MOUNTAIN_STANDARD_TIME	"Mountain Standard Time"
UTC -06:00	CENTRAL_AMERICA_STANDARD_TIME	"Standardtid för Centralamerika"
UTC -06:00	CENTRAL_STANDARD_TIME	"Central standardtid"
UTC -06:00	EASTER_ISLAND_STANDARD_TIME	"Påsköns standardtid"
UTC -06:00	CENTRAL_STANDARD_TIME_MEXICO	"Central standardtid (Mexiko)"
UTC -06:00	CANADA_CENTRAL_STANDARD_TIME	"Canada Central Standard Time"
UTC -05:00	SA_PACIFIC_STANDARD_TIME	"SA Pacific Standard Time"
UTC -05:00	EASTERN_STANDARD_TIME_MEXICO	"Eastern Standard Time (Mexiko)"
UTC -05:00	EASTERN_STANDARD_TIME	"Eastern Standard Time"
UTC -05:00	HAITI_STANDARD_TIME	"Haitis standardtid"
UTC -05:00	CUBA_STANDARD_TIME	"Kuba, standardtid"
UTC -05:00	US_EASTERN_STANDARD_TIME	"US Eastern Standard Time"
UTC -05:00	TURKS_AND_CAICOS_STANDARD_TIME	"Turks och Caicos standardtid"
UTC -04:00	PARAGUAY_STANDARD_TIME	"Paraguays standardtid"
UTC -04:00	ATLANTIC_STANDARD_TIME	"Atlantic Standard Time"
UTC -04:00	VENEZUELA_STANDARD_TIME	"Venezuelas standardtid"
UTC -04:00	CENTRAL_BRAZILIAN_STANDARD_TIME	"Central brasiliansk standardtid"
UTC -04:00	SA_WESTERN_STANDARD_TIME	"SA Western Standard Time"
UTC -04:00	PACIFIC_SA_STANDARD_TIME	"Pacific SA Standard Time"
UTC -03:30	NEWFOUNDLAND_STANDARD_TIME	"Newfoundland Standard Time"
UTC -03:00	TOCANTINS_STANDARD_TIME	"Tocantins Standard Time"
UTC -03:00	E_SOUTH_AMERICAN_STANDARD_TIME	"E. Sydamerika, standardtid"
UTC -03:00	SA_EASTERN_STANDARD_TIME	"SA Eastern Standard Time"
UTC -03:00	ARGENTINA_STANDARD_TIME	"Argentinas standardtid"
UTC -03:00	GREENLAND_STANDARD_TIME	"Grönlands standardtid"
UTC -03:00	MONTEVIDEO_STANDARD_TIME	"Montevideo Standard Time"
UTC -03:00	SAINT_PIERRE_STANDARD_TIME	"Saint Pierre Standard Time"
UTC -03:00	BAHIA_STANDARD_TIM	"Bahia Standard Time"
UTC -02:00	UTC_02	"UTC-02"
UTC -02:00	MID_ATLANTIC_STANDARD_TIME	"Mid-Atlantic Standard Time"
UTC -01:00	AZORES_STANDARD_TIME	"Azorernas standardtid"
UTC -01:00	CAPE_VERDE_STANDARD_TIME	"Kap Verdes standardtid"
UTC	UTC	UTC
UTC +00:00	GMT_STANDARD_TIME	"GMT Standard Time"
UTC +00:00	GREENWICH_STANDARD_TIME	"Greenwich Standard Time"
UTC +01:00	MOROCCO_STANDARD_TIME	"Marocko, standardtid"
UTC +01:00	W_EUROPE_STANDARD_TIME	"W. Europa, standardtid"
UTC +01:00	CENTRAL_EUROPE_STANDARD_TIME	"Centraleuropa, standardtid"
UTC +01:00	ROMANCE_STANDARD_TIME	"Romansk standardtid"
UTC +01:00	CENTRAL_EUROPEAN_STANDARD_TIME	"Centraleuropeiska standardtid"
UTC +01:00	W_CENTRAL_AFRICA_STANDARD_TIME	"W. Centralafrika, standardtid"
UTC +02:00	NAMIBIA_STANDARD_TIME	"Namibias standardtid"
UTC +02:00	JORDAN_STANDARD_TIME	"Jordan Standard Time"
UTC +02:00	GTB_STANDARD_TIME	"GTB Standard Time"
UTC +02:00	MIDDLE_EAST_STANDARD_TIME	"Mellanöstern, standardtid"
UTC +02:00	EGYPT_STANDARD_TIME	"Egypten, standardtid"
UTC +02:00	E_EUROPE_STANDARD_TIME	"E. Europa, standardtid"
UTC +02:00	SYRIA_STANDARD_TIME	"Syrien, standardtid"
UTC +02:00	WEST_BANK_STANDARD_TIME	"Standardtid på Västbanken"
UTC +02:00	SOUTH_AFRICA_STANDARD_TIME	"Sydafrika, standardtid"
UTC +02:00	FLE_STANDARD_TIME	"FLE Standard Time"
UTC +02:00	ISRAEL_STANDARD_TIME	"Israel Standard Time"
UTC +02:00	KALININGRAD_STANDARD_TIME	"Standardtid för Kaliningrad"
UTC +02:00	LIBYA_STANDARD_TIME	"Libyens standardtid"
UTC +03:00	TÜRKIYE_STANDARD_TIME	"Türkiye Standard Time"
UTC +03:00	ARABIC_STANDARD_TIME	"Arabisk standardtid"
UTC +03:00	ARAB_STANDARD_TIME	"Arabisk standardtid"
UTC +03:00	BELARUS_STANDARD_TIME	"Vitrysslands standardtid"
UTC +03:00	RUSSIAN_STANDARD_TIME	"Rysk standardtid"
UTC +03:00	E_AFRICA_STANDARD_TIME	"E. Afrikas standardtid"
UTC +03:30	IRAN_STANDARD_TIME	"Iran Standard Time"
UTC +04:00	ARABIAN_STANDARD_TIME	"Arabisk standardtid"
UTC +04:00	ASTRAKHAN_STANDARD_TIME	"Astrakhan Standard Time"
UTC +04:00	AZERBAIJAN_STANDARD_TIME	"Azerbajdzjans standardtid"
UTC +04:00	RUSSIA_TIME_ZONE_3	"Ryssland Tidszon 3"
UTC +04:00	MAURITIUS_STANDARD_TIME	"Mauritius standardtid"
UTC +04:00	GEORGIAN_STANDARD_TIME	"Georgisk standardtid"
UTC +04:00	CAUCASUS_STANDARD_TIME	"Kaukasus, standardtid"
UTC +04:30	AFGHANISTAN_STANDARD_TIME	"Afghanistans standardtid"
UTC +05:00	WEST_ASIA_STANDARD_TIME	"West Asia Standard Time"
UTC +05:00	EKATERINBURG_STANDARD_TIME	"Ekaterinburg, standardtid"
UTC +05:00	PAKISTAN_STANDARD_TIME	"Pakistans standardtid"
UTC +05:30	INDIA_STANDARD_TIME	"Indien, standardtid"
UTC +05:30	SRI_LANKA_STANDARD_TIME	"Sri Lanka Standard Time"
UTC +05:45	NEPAL_STANDARD_TIME	"Nepals standardtid"
UTC +06:00	CENTRAL_ASIA_STANDARD_TIME	"Central Asia Standard Time"
UTC +06:00	BANGLADESH_STANDARD_TIME	"Bangladesh standardtid"
UTC +06:30	MYANMAR_STANDARD_TIME	"Myanmars standardtid"
UTC +07:00	N_CENTRAL_ASIA_STANDARD_TIME	"N. Centralasiens standardtid"
UTC +07:00	SE_ASIA_STANDARD_TIME	"SE Asia Standard Time"
UTC +07:00	ALTAI_STANDARD_TIME	"Altai Standard Time"
UTC +07:00	W_MONGOLIA_STANDARD_TIME	"W. Mongoliets standardtid"
UTC +07:00	NORTH_ASIA_STANDARD_TIME	"North Asia Standard Time"
UTC +07:00	TOMSK_STANDARD_TIME	"Tomsk Standard Time"
UTC +08.00	CHINA_STANDARD_TIME	"China Standard Time"
UTC +08.00	NORTH_ASIA_EAST_STANDARD_TIME	"North Asia East Standard Time"
UTC +08.00	SINGAPORE_STANDARD_TIME	"Singapore Standard Time"
UTC +08.00	W_AUSTRALIA_STANDARD_TIME	"W. Australien, standardtid"
UTC +08.00	TAIPEI_STANDARD_TIME	"Taipei Standard Time"
UTC +08.00	ULAANBAATAR_STANDARD_TIME	"Ulaanbaatar Standard Time"
UTC +08:45	AUS_CENTRAL_W_STANDARD_TIME	"Aus Central W. Standard Time"
UTC +09:00	NORTH_KOREA_STANDARD_TIME	"Nordkoreas standardtid"
UTC +09:00	TRANSBAIKAL_STANDARD_TIME	"Transbaikal standardtid"
UTC +09:00	TOKYO_STANDARD_TIME	"Tokyos standardtid"
UTC +09:00	KOREA_STANDARD_TIME	"Koreas standardtid"
UTC +09:00	YAKUTSK_STANDARD_TIME	"Yakutsk Standard Time"
UTC +09:30	CEN_AUSTRALIA_STANDARD_TIME	"Cen. Australien, standardtid"
UTC +09:30	AUS_CENTRAL_STANDARD_TIME	"AUS Central Standard Time"
UTC +10:00	E_AUSTRALIAN_STANDARD_TIME	"E. Australien, standardtid"
UTC +10:00	AUS_EASTERN_STANDARD_TIME	"AUS Eastern Standard Time"
UTC +10:00	WEST_PACIFIC_STANDARD_TIME	"West Pacific Standard Time"
UTC +10:00	TASMANIA_STANDARD_TIME	"Tasmaniens standardtid"
UTC +10:00	VLADIVOSTOK_STANDARD_TIME	"Vladivostok Standard Time"
UTC +10:30	LORD_HOWE_STANDARD_TIME	"Lord Howe Standard Time"
UTC +11:00	BOUGAINVILLE_STANDARD_TIME	"Bougainville Standard Time"
UTC +11:00	RUSSIA_TIME_ZONE_10	"Ryssland Tidszon 10"
UTC +11:00	MAGADAN_STANDARD_TIME	"Magadan Standard Time"
UTC +11:00	NORFOLK_STANDARD_TIME	"Norfolk Standard Time"
UTC +11:00	SAKHALIN_STANDARD_TIME	"Sakhalin Standard Time"
UTC +11:00	CENTRAL_PACIFIC_STANDARD_TIME	"Central Pacific Standard Time"
UTC +12:00	RUSSIA_TIME_ZONE_11	"Rysslands tidszon 11"
UTC +12:00	NEW_ZEALAND_STANDARD_TIME	"Nyzeeländskt standardtid"
UTC +12:00	UTC_12	"UTC+12"
UTC +12:00	FIJI_STANDARD_TIME	"Fijis standardtid"
UTC +12:00	KAMCHATKA_STANDARD_TIME	"Kamchatka Standard Time"
UTC +12:45	CHATHAM_ISLANDS_STANDARD_TIME	"Chatham Islands Standard Time"
UTC +13:00	TONGA__STANDARD_TIME	"Tonga Standard Time"
UTC +13:00	SAMOA_STANDARD_TIME	"Samoa Standard Time"
UTC +14:00	LINE_ISLANDS_STANDARD_TIME	"Line Islands Standard Time"