CLI (v2) agendar esquema YAML para monitoramento de modelo (visualização)

APLICA-SE A:Extensão ml da CLI do Azure v2 (atual)

A sintaxe YAML detalhada neste documento é baseada no esquema JSON para a versão mais recente da extensão ML CLI v2. Esta sintaxe é garantida apenas para funcionar com a versão mais recente da extensão ML CLI v2. O esquema JSON abrangente pode ser visualizado em https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.json. Você pode encontrar os esquemas para versões de extensão mais antigas em https://azuremlschemasprod.azureedge.net/.

Sintaxe YAML

Chave	Tipo	Description	Valores permitidos
$schema	string	O esquema YAML.
name	string	Obrigatório. Nome da agenda.
description	string	Descrição do horário.
tags	objeto	Dicionário de tags para o horário.
trigger	objeto	Obrigatório. A configuração de gatilho para definir a regra quando acionar o trabalho. Um dos RecurrenceTrigger ou CronTrigger é obrigatório.
create_monitor	objeto	Obrigatório. A definição do monitor que será acionado por um cronograma. MonitorDefinition é obrigatório.

Configuração do acionador

Acionador de periodicidade

Chave	Tipo	Description	Valores permitidos
type	string	Obrigatório. Especifica o tipo de agenda.	recurrence
frequency	string	Obrigatório. Especifica a unidade de tempo que descreve a frequência com que a agenda é acionada.	minute, hour, day, week, month
interval	integer	Obrigatório. Especifica o intervalo no qual a agenda é acionada.
start_time	string	Descreve a data e hora de início com fuso horário. Se start_time for omitido, o primeiro trabalho será executado instantaneamente e os trabalhos futuros serão acionados com base no cronograma, dizendo start_time que será igual ao tempo de trabalho criado. Se a hora de início estiver no passado, o primeiro trabalho será executado no próximo tempo de execução calculado.
end_time	string	Descreve a data e hora de término com fuso horário. Se end_time for omitida, a agenda continuará a ser executada até ser explicitamente desativada.
timezone	string	Especifica o fuso horário da recorrência. Se omitido, por padrão é UTC.	Consulte o apêndice para valores de fuso horário
pattern	objeto	Especifica o padrão da recorrência. Se o padrão for omitido, o(s) trabalho(s) será(ão) acionado(s) de acordo com a lógica de start_time, frequência e intervalo.

Esquema de recorrência

O esquema de recorrência define o padrão de recorrência, contendo hours, minutese weekdays.

• Quando a frequência é day, o padrão pode especificar hours e minutes.
• Quando a frequência é week e month, o padrão pode especificar hours, minutes e weekdays.

Chave	Type	Valores permitidos
hours	inteiro ou matriz de inteiro	0-23
minutes	inteiro ou matriz de inteiro	0-59
week_days	string ou matriz de string	monday, tuesday, wednesday, thursday, friday, saturday, sunday

CronTrigger

Chave	Tipo	Description	Valores permitidos
type	string	Obrigatório. Especifica o tipo de agenda.	cron
expression	string	Obrigatório. Especifica a expressão cron para definir como disparar trabalhos. expression usa a expressão crontab padrão para expressar uma agenda recorrente. Uma única expressão é composta por cinco campos delimitados por espaço:MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK
start_time	string	Descreve a data e hora de início com fuso horário. Se start_time for omitido, o primeiro trabalho será executado instantaneamente e os trabalhos futuros serão acionados com base no cronograma, dizendo start_time será igual ao tempo de trabalho criado. Se a hora de início estiver no passado, o primeiro trabalho será executado no próximo tempo de execução calculado.
end_time	string	Descreve a data e hora de término com fuso horário. Se end_time for omitido, a agenda continuará a ser executada até ser explicitamente desativada.
timezone	string	Especifica o fuso horário da recorrência. Se omitido, por padrão é UTC.	Consulte o apêndice para valores de fuso horário

Definição do monitor

Chave	Tipo	Description	Valores permitidos	Default value
compute	Object	Necessário. Descrição dos recursos de computação para o pool do Spark executar o trabalho de monitoramento.
compute.instance_type	String	Necessário. O tipo de instância de computação a ser usado para o pool do Spark.	'standard_e4s_v3', 'standard_e8s_v3', 'standard_e16s_v3', 'standard_e32s_v3', 'standard_e64s_v3'	n/d
compute.runtime_version	String	Opcional. Define a versão de tempo de execução do Spark.	3.3	3.3
monitoring_target	Object	Ativo(s) do Azure Machine Learning associado ao monitoramento de modelo.
monitoring_target.ml_task	String	Tarefa de aprendizado de máquina para o modelo.	Os valores permitidos são: classification, regression, question_answering
monitoring_target.endpoint_deployment_id	String	Opcional. O ponto de extremidade/ID de implantação do Azure Machine Learning associado no formato de azureml:myEndpointName:myDeploymentName. Este campo é obrigatório se o ponto de extremidade/implantação tiver habilitado a coleta de dados do modelo a ser usada para monitoramento do modelo.
monitoring_target.model_id	String	Opcional. O ID do modelo associado para o monitoramento do modelo.
monitoring_signals	Object	Dicionário de sinais de monitorização a incluir. A chave é um nome para o sinal de monitoramento dentro do contexto do monitor e o valor é um objeto que contém uma especificação de sinal de monitoramento. Opcional para monitoramento de modelo básico que usa dados de produção anteriores recentes como linha de base de comparação e tem 3 sinais de monitoramento: desvio de dados, desvio de previsão e qualidade de dados.
alert_notification	String ou objeto	Descrição dos destinatários da notificação de alerta.	Um dos dois destinos de alerta é permitido: String azmonitoring ou Object emails contendo uma matriz de destinatários de e-mail
alert_notification.emails	Object	Lista de endereços de e-mail para receber notificação de alerta.

Monitorização de sinais

Desvio de dados

À medida que os dados usados para treinar o modelo evoluem na produção, a distribuição dos dados pode mudar, resultando em uma incompatibilidade entre os dados de treinamento e os dados do mundo real que o modelo está sendo usado para prever. O desvio de dados é um fenômeno que ocorre no aprendizado de máquina quando as propriedades estatísticas dos dados de entrada usados para treinar o modelo mudam ao longo do tempo.

Chave	Tipo	Description	Valores permitidos	Default value
type	String	Necessário. Tipo de sinal de monitorização. O componente de processamento de sinal de monitoramento pré-construído é carregado automaticamente de acordo com o type especificado aqui.	data_drift	data_drift
production_data	Object	Opcional. Descrição dos dados de produção a serem analisados para monitoramento do sinal.
production_data.input_data	Object	Opcional. Descrição da fonte de dados de entrada, consulte especificação de dados de entrada de trabalho.
production_data.data_context	String	O contexto dos dados, refere-se aos dados de produção do modelo e pode ser entradas ou saídas do modelo	model_inputs
production_data.data_window	Object	Opcional. Janela de dados dos dados de referência a utilizar como dados de base de comparação.	Permitir apenas a janela de dados contínuos ou a janela de dados fixa. Para usar a janela de dados contínuos, especifique production_data.data_window.lookback_window_offset e production_data.data_window.lookback_window_size propriedades. Para usar janelas de dados fixas, especifique production_data.data_window.window_start e production_data.data_window.window_end propriedades. Todos os valores de propriedade devem estar em ISO8601 formato.
production_data.pre_processing_component	String	ID do componente no formato de azureml:myPreprocessing@latest para um componente registrado. Isso é necessário se production_data.data.input_data.type for uri_folder, consulte a especificação do componente de pré-processamento.
reference_data	Object	Opcional. Os dados de produção anteriores recentes são usados como dados de linha de base de comparação se isso não for especificado. A recomendação é usar dados de treinamento como base de comparação.
reference_data.input_data	Object	Descrição da fonte de dados de entrada, consulte especificação de dados de entrada de trabalho.
reference_data.data_context	String	O contexto dos dados, refere-se ao contexto que o conjunto de dados foi usado antes	model_inputs, training, test, validation
reference_data.data_column_names.target_column	Object	Opcional. Se os dados forem de treinamento, essa propriedade será necessária para monitorar os reference_data principais recursos N para desvio de dados.
reference_data.data_window	Object	Opcional. Janela de dados dos dados de referência a utilizar como dados de base de comparação.	Permitir apenas a janela de dados contínuos ou a janela de dados fixa. Para usar a janela de dados contínuos, especifique reference_data.data_window.lookback_window_offset e reference_data.data_window.lookback_window_size propriedades. Para usar janelas de dados fixas, especifique reference_data.data_window.window_start e reference_data.data_window.window_end propriedades. Todos os valores de propriedade devem estar em ISO8601 formato.
reference_data_data.pre_processing_component	String	ID do componente no formato de azureml:myPreprocessing@latest para um componente registrado. Isso é necessário se reference_data.input_data.type for uri_folder, consulte a especificação do componente de pré-processamento.
features	Object	Opcional. Recursos de destino a serem monitorados quanto ao desvio de dados. Alguns modelos podem ter centenas ou milhares de recursos, é sempre recomendado especificar recursos interessados para monitoramento.	Um dos seguintes valores: lista de nomes de recursos, features.top_n_feature_importanceou all_features	Padrão features.top_n_feature_importance = 10 se production_data.data_context for training, caso contrário, padrão é all_features
alert_enabled	Boolean	Ligue/desative a notificação de alerta para o sinal de monitoramento. True ou False
metric_thresholds	Object	Lista de métricas e propriedades de limites para o sinal de monitoramento. Quando o limite for excedido e alert_enabled for true, o usuário receberá uma notificação de alerta.
metric_thresholds.numerical	Object	Opcional. Lista de métricas e limites em key:value formato, key é o nome da métrica, value é o limite.	Nomes métricos numéricos permitidos: jensen_shannon_distance, normalized_wasserstein_distance, population_stability_index, two_sample_kolmogorov_smirnov_test
metric_thresholds.categorical	Object	Opcional. Lista de métricas e limites no formato 'chave:valor', 'chave' é o nome da métrica, 'valor' é o limite.	Nomes de métricas categóricas permitidos: jensen_shannon_distance, chi_squared_test, population_stability_index

Desvio de previsão

O desvio de previsão rastreia as alterações na distribuição das saídas de previsão de um modelo, comparando-as com dados rotulados de validação ou teste ou dados de produção anteriores recentes.

Chave	Tipo	Description	Valores permitidos	Default value
type	String	Necessário. Tipo de sinal de monitorização. O componente de processamento de sinal de monitoramento pré-construído é carregado automaticamente de acordo com o type especificado aqui.	prediction_drift	prediction_drift
production_data	Object	Opcional. Descrição dos dados de produção a serem analisados para monitoramento do sinal.
production_data.input_data	Object	Opcional. Descrição da fonte de dados de entrada, consulte especificação de dados de entrada de trabalho.
production_data.data_context	String	O contexto dos dados, refere-se aos dados de produção do modelo e pode ser entradas ou saídas do modelo	model_outputs
production_data.data_window	Object	Opcional. Janela de dados dos dados de referência a utilizar como dados de base de comparação.	Permitir apenas a janela de dados contínuos ou a janela de dados fixa. Para usar a janela de dados contínuos, especifique production_data.data_window.lookback_window_offset e production_data.data_window.lookback_window_size propriedades. Para usar janelas de dados fixas, especifique production_data.data_window.window_start e production_data.data_window.window_end propriedades. Todos os valores de propriedade devem estar em ISO8601 formato.
production_data.pre_processing_component	String	ID do componente no formato de azureml:myPreprocessing@latest para um componente registrado. Isto é necessário se production_data.data.input_data.type for uri_folder. Para obter mais informações sobre a especificação do componente de pré-processamento, consulte Especificação do componente de pré-processamento.
reference_data	Object	Opcional. Os dados de produção anteriores recentes são usados como dados de linha de base de comparação se isso não for especificado. A recomendação é usar dados de treinamento como base de comparação.
reference_data.input_data	Object	Descrição da fonte de dados de entrada, consulte especificação de dados de entrada de trabalho.
reference_data.data_context	String	O contexto dos dados, refere-se ao contexto que o conjunto de dados foi usado antes	model_inputs, training, test, validation
reference_data.data_column_names.target_column	Object	Opcional. Se o 'reference_data' for dados de treinamento, essa propriedade será necessária para monitorar os principais recursos N para desvio de dados.
reference_data.data_window	Object	Opcional. Janela de dados dos dados de referência a utilizar como dados de base de comparação.	Permitir apenas a janela de dados contínuos ou a janela de dados fixa. Para usar a janela de dados contínuos, especifique reference_data.data_window.lookback_window_offset e reference_data.data_window.lookback_window_size propriedades. Para usar janelas de dados fixas, especifique reference_data.data_window.window_start e reference_data.data_window.window_end propriedades. Todos os valores de propriedade devem estar em ISO8601 formato.
reference_data_data.pre_processing_component	String	ID do componente no formato de azureml:myPreprocessing@latest para um componente registrado. Isso é necessário se reference_data.input_data.type for uri_folder, consulte a especificação do componente de pré-processamento.
features	Object	Opcional. Recursos de destino a serem monitorados quanto ao desvio de dados. Alguns modelos podem ter centenas ou milhares de recursos, é sempre recomendado especificar recursos interessados para monitoramento.	Um dos seguintes valores: lista de nomes de recursos, features.top_n_feature_importanceou all_features	Padrão features.top_n_feature_importance = 10 se production_data.data_context for training, caso contrário, padrão é all_features
alert_enabled	Boolean	Ligue/desative a notificação de alerta para o sinal de monitoramento. True ou False
metric_thresholds	Object	Lista de métricas e propriedades de limites para o sinal de monitoramento. Quando o limite for excedido e alert_enabled for true, o usuário receberá uma notificação de alerta.
metric_thresholds.numerical	Object	Opcional. Lista de métricas e limites no formato 'chave:valor', 'chave' é o nome da métrica, 'valor' é o limite.	Nomes métricos numéricos permitidos: jensen_shannon_distance, normalized_wasserstein_distance, population_stability_index, two_sample_kolmogorov_smirnov_test
metric_thresholds.categorical	Object	Opcional. Lista de métricas e limites no formato 'chave:valor', 'chave' é o nome da métrica, 'valor' é o limite.	Nomes de métricas categóricas permitidos: jensen_shannon_distance, chi_squared_test, population_stability_index

Qualidade de dados

O sinal de qualidade de dados rastreia problemas de qualidade de dados na produção comparando com dados de treinamento ou dados de produção anteriores recentes.

Chave	Tipo	Description	Valores permitidos	Default value
type	String	Necessário. Tipo de sinal de monitorização. O componente de processamento de sinal de monitoramento pré-construído é carregado automaticamente de acordo com o type especificado aqui	data_quality	data_quality
production_data	Object	Opcional. Descrição dos dados de produção a serem analisados para monitoramento do sinal.
production_data.input_data	Object	Opcional. Descrição da fonte de dados de entrada, consulte especificação de dados de entrada de trabalho.
production_data.data_context	String	O contexto dos dados, refere-se aos dados de produção do modelo e pode ser entradas ou saídas do modelo	model_inputs, model_outputs
production_data.data_window	Object	Opcional. Janela de dados dos dados de referência a utilizar como dados de base de comparação.	Permitir apenas a janela de dados contínuos ou a janela de dados fixa. Para usar a janela de dados contínuos, especifique production_data.data_window.lookback_window_offset e production_data.data_window.lookback_window_size propriedades. Para usar janelas de dados fixas, especifique production_data.data_window.window_start e production_data.data_window.window_end propriedades. Todos os valores de propriedade devem estar em ISO8601 formato.
production_data.pre_processing_component	String	ID do componente no formato de azureml:myPreprocessing@latest para um componente registrado. Isso é necessário se production_data.input_data.type for uri_folder, consulte a especificação do componente de pré-processamento.
reference_data	Object	Opcional. Os dados de produção anteriores recentes são usados como dados de linha de base de comparação se isso não for especificado. A recomendação é usar dados de treinamento como base de comparação.
reference_data.input_data	Object	Descrição da fonte de dados de entrada, consulte especificação de dados de entrada de trabalho.
reference_data.data_context	String	O contexto dos dados, refere-se ao contexto que o conjunto de dados foi usado antes	model_inputs, model_outputs, training, test, validation
reference_data.data_column_names.target_column	Object	Opcional. Se o 'reference_data' for dados de treinamento, essa propriedade será necessária para monitorar os principais recursos N para desvio de dados.
reference_data.data_window	Object	Opcional. Janela de dados dos dados de referência a utilizar como dados de base de comparação.	Permitir apenas a janela de dados contínuos ou a janela de dados fixa. Para usar a janela de dados contínuos, especifique reference_data.data_window.lookback_window_offset e reference_data.data_window.lookback_window_size propriedades. Para usar janelas de dados fixas, especifique reference_data.data_window.window_start e reference_data.data_window.window_end propriedades. Todos os valores de propriedade devem estar em ISO8601 formato.
reference_data.pre_processing_component	String	ID do componente no formato de azureml:myPreprocessing@latest para um componente registrado. Isso é necessário se reference_data.input_data.type for uri_folder, consulte a especificação do componente de pré-processamento.
features	Object	Opcional. Recursos de destino a serem monitorados quanto à qualidade dos dados. Alguns modelos podem ter centenas ou milhares de funcionalidades. É sempre recomendável especificar recursos interessados para monitoramento.	Um dos seguintes valores: lista de nomes de recursos, features.top_n_feature_importanceou all_features	Padrão para features.top_n_feature_importance = 10 se reference_data.data_context é training, caso contrário, o padrão é all_features
alert_enabled	Boolean	Ligue/desative a notificação de alerta para o sinal de monitoramento. True ou False
metric_thresholds	Object	Lista de métricas e propriedades de limites para o sinal de monitoramento. Quando o limite for excedido e alert_enabled for true, o usuário receberá uma notificação de alerta.
metric_thresholds.numerical	Object	Lista opcional de métricas e limites no key:value formato, key é o nome da métrica, value é o limite.	Nomes métricos numéricos permitidos: data_type_error_rate, null_value_rate, out_of_bounds_rate
metric_thresholds.categorical	Object	Lista opcional de métricas e limites no key:value formato, key é o nome da métrica, value é o limite.	Nomes de métricas categóricas permitidos: data_type_error_rate, null_value_rate, out_of_bounds_rate

Desvio de atribuição de recursos (visualização)

A atribuição de recursos de um modelo pode mudar ao longo do tempo devido a mudanças na distribuição de dados, mudanças nas relações entre recursos ou mudanças no problema subjacente que está sendo resolvido. O desvio de atribuição de recursos é um fenômeno que ocorre em modelos de aprendizado de máquina quando a importância ou contribuição de recursos para a saída de previsão muda ao longo do tempo.

Chave	Tipo	Description	Valores permitidos	Default value
type	String	Necessário. Tipo de sinal de monitorização. O componente de processamento de sinal de monitoramento pré-construído é carregado automaticamente de acordo com o type especificado aqui	feature_attribution_drift	feature_attribution_drift
production_data	Matriz	Opcional, padrão para dados coletados associados ao ponto de extremidade do Azure Machine Learning se isso não for fornecido. O production_data é uma lista de conjunto de dados e seus metadados associados, ele deve incluir dados de entrada e saída do modelo. Pode ser um único conjunto de dados com entradas e saídas do modelo, ou pode ser dois conjuntos de dados separados contendo uma entrada de modelo e uma saída de modelo.
production_data.input_data	Object	Opcional. Descrição da fonte de dados de entrada, consulte especificação de dados de entrada de trabalho.
production_data.input_data.data_column_names	Object	Nome da coluna de correlação e nomes de colunas de previsão no key:value formato, necessários para a junção de dados.	As chaves permitidas são: correlation_id, target_column
production_data.data_context	String	O contexto dos dados. Refere-se aos dados de entrada do modelo de produção.	model_inputs, model_outputs, model_inputs_outputs
production_data.data_window	Object	Opcional. Janela de dados dos dados de referência a utilizar como dados de base de comparação.	Permitir apenas a janela de dados contínuos ou a janela de dados fixa. Para usar a janela de dados contínuos, especifique production_data.data_window.lookback_window_offset e production_data.data_window.lookback_window_size propriedades. Para usar janelas de dados fixas, especifique production_data.data_window.window_start e production_data.data_window.window_end propriedades. Todos os valores de propriedade devem estar em ISO8601 formato.
production_data.pre_processing_component	String	ID do componente no formato de azureml:myPreprocessing@latest para um componente registrado. Isso é necessário se production_data.input_data.type for uri_folder, consulte a especificação do componente de pré-processamento.
production_data.data_window_size	String	Opcional. Tamanho da janela de dados em dias com formato ISO8601, por exemplo P7D. Esta é a janela de dados de produção a ser calculada para problemas de qualidade de dados.	Por padrão, o tamanho da janela de dados é o último período de monitoramento.
reference_data	Object	Opcional. Os dados de produção anteriores recentes são usados como dados de linha de base de comparação se isso não for especificado. A recomendação é usar dados de treinamento como base de comparação.
reference_data.input_data	Object	Descrição da fonte de dados de entrada, consulte especificação de dados de entrada de trabalho.
reference_data.data_context	String	O contexto dos dados, refere-se ao contexto que o conjunto de dados foi usado antes. Fro recurso desvio de atribuição, apenas training dados permitidos.	training
reference_data.data_column_names.target_column	String	Necessário.
reference_data.data_window	Object	Opcional. Janela de dados dos dados de referência a utilizar como dados de base de comparação.	Permitir apenas a janela de dados contínuos ou a janela de dados fixa. Para usar a janela de dados contínuos, especifique reference_data.data_window.lookback_window_offset e reference_data.data_window.lookback_window_size propriedades. Para usar janelas de dados fixas, especifique reference_data.data_window.window_start e reference_data.data_window.window_end propriedades. Todos os valores de propriedade devem estar em ISO8601 formato.
reference_data.pre_processing_component	String	ID do componente no formato de azureml:myPreprocessing@latest para um componente registrado. Isso é necessário se reference_data.input_data.type for uri_folder, consulte a especificação do componente de pré-processamento.
alert_enabled	Boolean	Ligue/desative a notificação de alerta para o sinal de monitoramento. True ou False
metric_thresholds	Object	Nome da métrica e limite para desvio de atribuição de recurso no key:value formato, onde key é o nome da métrica e value é o limite. Quando o limite for excedido e alert_enabled estiver ativado, o usuário receberá uma notificação de alerta.	Nome da métrica permitida: normalized_discounted_cumulative_gain

Sinal de monitoramento personalizado

Sinal de monitoramento personalizado por meio de um componente personalizado do Azure Machine Learning.

Chave	Tipo	Description	Valores permitidos	Default value
type	String	Necessário. Tipo de sinal de monitorização. O componente de processamento de sinal de monitoramento pré-construído é carregado automaticamente de acordo com o type especificado aqui.	custom	custom
component_id	String	Necessário. A ID do componente Azure Machine Learning correspondente ao seu sinal personalizado. Por exemplo, azureml:mycustomcomponent:1
input_data	Object	Opcional. Descrição dos dados de entrada a serem analisados pelo sinal de monitoramento, consulte especificação de dados de entrada de trabalho.
input_data.<data_name>.data_context	String	O contexto dos dados, refere-se aos dados de produção do modelo e pode ser entradas ou saídas do modelo	model_inputs
input_data.<data_name>.data_window	Object	Opcional. Janela de dados dos dados de referência a utilizar como dados de base de comparação.	Permitir apenas a janela de dados contínuos ou a janela de dados fixa. Para usar a janela de dados contínuos, especifique input_data.<data_name>.data_window.lookback_window_offset e input_data.<data_name>.data_window.lookback_window_size propriedades. Para usar janelas de dados fixas, especifique input_data.<data_name>.data_window.window_start e input_data.<data_name>.data_window.window_end propriedades. Todos os valores de propriedade devem estar em ISO8601 formato.
input_data.<data_name>.pre_processing_component	String	ID do componente no formato de azureml:myPreprocessing@latest para um componente registrado. Isso é necessário se input_data.<data_name>.input_data.type for uri_folder, consulte a especificação do componente de pré-processamento.
alert_enabled	Boolean	Ligue/desative a notificação de alerta para o sinal de monitoramento. True ou False
metric_thresholds.metric_name	Object	Nome da métrica personalizada.
threshold	Object	Limite aceitável para a métrica personalizada.

Desempenho do modelo (visualização)

O desempenho do modelo rastreia o desempenho objetivo da saída de um modelo na produção, comparando-a com os dados de verdade do solo coletados.

Chave	Tipo	Description	Valores permitidos	Default value
type	String	Necessário. Tipo de sinal de monitorização. O componente de processamento de sinal de monitoramento pré-construído é carregado automaticamente de acordo com o type especificado aqui	model_performance	model_performance
production_data	Matriz	Opcional, padrão para dados coletados associados ao ponto de extremidade do Azure Machine Learning se isso não for fornecido. O production_data é uma lista de conjunto de dados e seus metadados associados, ele deve incluir dados de entrada e saída do modelo. Pode ser um único conjunto de dados com entradas e saídas do modelo, ou pode ser dois conjuntos de dados separados contendo uma entrada de modelo e uma saída de modelo.
production_data.input_data	Object	Opcional. Descrição da fonte de dados de entrada, consulte especificação de dados de entrada de trabalho.
production_data.input_data.data_column_names	Object	Nome da coluna de correlação e nomes de colunas de previsão no key:value formato, necessários para a junção de dados.	As chaves permitidas são: correlation_id, target_column
production_data.data_context	String	O contexto dos dados. Refere-se aos dados de entrada do modelo de produção.	model_inputs, model_outputs, model_inputs_outputs
production_data.data_window	Object	Opcional. Janela de dados dos dados de referência a utilizar como dados de base de comparação.	Permitir apenas a janela de dados contínuos ou a janela de dados fixa. Para usar a janela de dados contínuos, especifique production_data.data_window.lookback_window_offset e production_data.data_window.lookback_window_size propriedades. Para usar janelas de dados fixas, especifique production_data.data_window.window_start e production_data.data_window.window_end propriedades. Todos os valores de propriedade devem estar em ISO8601 formato.
production_data.pre_processing_component	String	ID do componente no formato de azureml:myPreprocessing@latest para um componente registrado. Isso é necessário se production_data.input_data.type for uri_folder, consulte a especificação do componente de pré-processamento.
production_data.data_window_size	String	Opcional. Tamanho da janela de dados em dias com formato ISO8601, por exemplo P7D. Esta é a janela de dados de produção a ser calculada para problemas de qualidade de dados.	Por padrão, o tamanho da janela de dados é o último período de monitoramento.
reference_data	Object	Opcional. Os dados de produção anteriores recentes são usados como dados de linha de base de comparação se isso não for especificado. A recomendação é usar dados de treinamento como base de comparação.
reference_data.input_data	Object	Descrição da fonte de dados de entrada, consulte especificação de dados de entrada de trabalho.
reference_data.data_context	String	O contexto dos dados, refere-se ao contexto que o conjunto de dados foi usado antes. Fro recurso desvio de atribuição, apenas training dados permitidos.	training
reference_data.data_column_names.target_column	String	Necessário.
reference_data.data_window	Object	Opcional. Janela de dados dos dados de referência a utilizar como dados de base de comparação.	Permitir apenas a janela de dados contínuos ou a janela de dados fixa. Para usar a janela de dados contínuos, especifique reference_data.data_window.lookback_window_offset e reference_data.data_window.lookback_window_size propriedades. Para usar janelas de dados fixas, especifique reference_data.data_window.window_start e reference_data.data_window.window_end propriedades. Todos os valores de propriedade devem estar em ISO8601 formato.
reference_data.pre_processing_component	String	ID do componente no formato de azureml:myPreprocessing@latest para um componente registrado. Isso é necessário se reference_data.input_data.type for uri_folder, consulte a especificação do componente de pré-processamento.
alert_enabled	Boolean	Ligue/desative a notificação de alerta para o sinal de monitoramento. True ou False
metric_thresholds.classification	Object	Lista opcional de métricas e limites no key:value formato, key é o nome da métrica, value é o limite.	Nomes de métricas permitidos classification : accuracy, precision, recall
metric_thresholds.regression	Object	Lista opcional de métricas e limites no key:value formato, key é o nome da métrica, value é o limite.	Nomes de métricas permitidos regression : mae, mse, rmse

Observações

O az ml schedule comando pode ser usado para gerenciar modelos do Azure Machine Learning.

Exemplos

Exemplos de CLI de monitoramento estão disponíveis nos exemplos do repositório GitHub. Alguns são os seguintes:

YAML: Monitor fora da caixa

APLICA-SE A:Extensão ml da CLI do Azure v2 (atual)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML: Monitor avançado

APLICA-SE A:Extensão ml da CLI do Azure v2 (atual)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Anexo

Fuso horário

A programação atual suporta os seguintes fusos horários. A chave pode ser usada diretamente no Python SDK, enquanto o valor pode ser usado no trabalho YAML. A tabela é organizada por UTC (Tempo Universal Coordenado).

UTC	Key	valor
UTC -12:00	DATELINE_STANDARD_TIME	"Hora padrão da linha de data"
UTC -11:00	UTC_11	"UTC-11"
UTC - 10:00	ALEUTIAN_STANDARD_TIME	Hora Padrão Aleuta
UTC - 10:00	HAWAIIAN_STANDARD_TIME	"Hora padrão havaiana"
UTC -09:30	MARQUESAS_STANDARD_TIME	"Hora Padrão das Marquesas"
UTC -09:00	ALASKAN_STANDARD_TIME	"Hora Padrão do Alasca"
UTC -09:00	UTC_09	"UTC-09"
UTC -08:00	PACIFIC_STANDARD_TIME_MEXICO	"Hora Padrão do Pacífico (México)"
UTC -08:00	UTC_08	"UTC-08"
UTC -08:00	PACIFIC_STANDARD_TIME	"Hora Padrão do Pacífico"
UTC -07:00	US_MOUNTAIN_STANDARD_TIME	"Hora Padrão da Montanha dos EUA"
UTC -07:00	MOUNTAIN_STANDARD_TIME_MEXICO	"Hora Padrão da Montanha (México)"
UTC -07:00	MOUNTAIN_STANDARD_TIME	"Hora Padrão da Montanha"
UTC -06:00	CENTRAL_AMERICA_STANDARD_TIME	"Hora Padrão da América Central"
UTC -06:00	CENTRAL_STANDARD_TIME	"Hora Padrão Central"
UTC -06:00	EASTER_ISLAND_STANDARD_TIME	"Hora Padrão da Ilha de Páscoa"
UTC -06:00	CENTRAL_STANDARD_TIME_MEXICO	"Hora Padrão Central (México)"
UTC -06:00	CANADA_CENTRAL_STANDARD_TIME	"Hora Padrão Central do Canadá"
UTC -05:00	SA_PACIFIC_STANDARD_TIME	"Hora Padrão do Pacífico SA"
UTC -05:00	EASTERN_STANDARD_TIME_MEXICO	"Hora Padrão do Leste (México)"
UTC -05:00	EASTERN_STANDARD_TIME	"Hora Padrão do Leste"
UTC -05:00	HAITI_STANDARD_TIME	"Hora Padrão do Haiti"
UTC -05:00	CUBA_STANDARD_TIME	"Hora Padrão de Cuba"
UTC -05:00	US_EASTERN_STANDARD_TIME	"Hora Padrão do Leste dos EUA"
UTC -05:00	TURKS_AND_CAICOS_STANDARD_TIME	"Hora Padrão de Turks e Caicos"
UTC -04:00	PARAGUAY_STANDARD_TIME	"Hora Padrão do Paraguai"
UTC -04:00	ATLANTIC_STANDARD_TIME	"Hora Padrão do Atlântico"
UTC -04:00	VENEZUELA_STANDARD_TIME	"Hora Padrão da Venezuela"
UTC -04:00	CENTRAL_BRAZILIAN_STANDARD_TIME	"Hora Padrão Central Brasileira"
UTC -04:00	SA_WESTERN_STANDARD_TIME	"Hora Padrão Ocidental SA"
UTC -04:00	PACIFIC_SA_STANDARD_TIME	"Hora Padrão Pacific SA"
UTC -03:30	NEWFOUNDLAND_STANDARD_TIME	"Hora Padrão da Terra Nova"
UTC -03:00	TOCANTINS_STANDARD_TIME	"Hora Padrão do Tocantins"
UTC -03:00	E_SOUTH_AMERICAN_STANDARD_TIME	"E. Hora Padrão da América do Sul"
UTC -03:00	SA_EASTERN_STANDARD_TIME	"SA Hora Padrão do Leste"
UTC -03:00	ARGENTINA_STANDARD_TIME	"Hora Padrão Argentina"
UTC -03:00	GREENLAND_STANDARD_TIME	"Hora padrão da Gronelândia"
UTC -03:00	MONTEVIDEO_STANDARD_TIME	"Hora Padrão de Montevidéu"
UTC -03:00	SAINT_PIERRE_STANDARD_TIME	"Hora Padrão de São Pierre"
UTC -03:00	BAHIA_STANDARD_TIM	"Hora Padrão da Bahia"
UTC -02:00	UTC_02	"UTC-02"
UTC -02:00	MID_ATLANTIC_STANDARD_TIME	"Hora Padrão do Atlântico Médio"
UTC -01:00	AZORES_STANDARD_TIME	"Hora Padrão dos Açores"
UTC -01:00	CAPE_VERDE_STANDARD_TIME	"Hora Padrão de Cabo Verde"
UTC	UTC	UTC
UTC +00:00	GMT_STANDARD_TIME	"Hora padrão GMT"
UTC +00:00	GREENWICH_STANDARD_TIME	"Hora Padrão de Greenwich"
UTC +01:00	MOROCCO_STANDARD_TIME	"Hora Padrão de Marrocos"
UTC +01:00	W_EUROPE_STANDARD_TIME	"W. Hora Padrão da Europa"
UTC +01:00	CENTRAL_EUROPE_STANDARD_TIME	"Hora Padrão da Europa Central"
UTC +01:00	ROMANCE_STANDARD_TIME	"Hora padrão do romance"
UTC +01:00	CENTRAL_EUROPEAN_STANDARD_TIME	"Hora Padrão da Europa Central"
UTC +01:00	W_CENTRAL_AFRICA_STANDARD_TIME	"W. Hora Padrão da África Central"
UTC +02:00	NAMIBIA_STANDARD_TIME	"Hora Padrão da Namíbia"
UTC +02:00	JORDAN_STANDARD_TIME	"Hora padrão da Jordânia"
UTC +02:00	GTB_STANDARD_TIME	"Hora Padrão GTB"
UTC +02:00	MIDDLE_EAST_STANDARD_TIME	"Hora Padrão do Médio Oriente"
UTC +02:00	EGYPT_STANDARD_TIME	"Hora Padrão do Egito"
UTC +02:00	E_EUROPE_STANDARD_TIME	"E. Hora Padrão da Europa"
UTC +02:00	SYRIA_STANDARD_TIME	"Hora padrão da Síria"
UTC +02:00	WEST_BANK_STANDARD_TIME	"Hora padrão da Cisjordânia"
UTC +02:00	SOUTH_AFRICA_STANDARD_TIME	"Hora Padrão da África do Sul"
UTC +02:00	FLE_STANDARD_TIME	"Hora Padrão FLE"
UTC +02:00	ISRAEL_STANDARD_TIME	"Hora Padrão de Israel"
UTC +02:00	KALININGRAD_STANDARD_TIME	"Hora padrão de Kaliningrado"
UTC +02:00	LIBYA_STANDARD_TIME	"Hora padrão da Líbia"
UTC +03:00	TÜRKIYE_STANDARD_TIME	"Hora Padrão de Türkiye"
UTC +03:00	ARABIC_STANDARD_TIME	"Hora padrão árabe"
UTC +03:00	ARAB_STANDARD_TIME	"Hora Padrão Árabe"
UTC +03:00	BELARUS_STANDARD_TIME	"Hora Padrão da Bielorrússia"
UTC +03:00	RUSSIAN_STANDARD_TIME	"Hora padrão russa"
UTC +03:00	E_AFRICA_STANDARD_TIME	"E. Hora Padrão de África"
UTC +03:30	IRAN_STANDARD_TIME	"Hora Padrão do Irão"
UTC +04:00	ARABIAN_STANDARD_TIME	"Hora padrão árabe"
UTC +04:00	ASTRAKHAN_STANDARD_TIME	"Hora Padrão de Astrakhan"
UTC +04:00	AZERBAIJAN_STANDARD_TIME	"Hora Padrão do Azerbaijão"
UTC +04:00	RUSSIA_TIME_ZONE_3	"Rússia Fuso horário 3"
UTC +04:00	MAURITIUS_STANDARD_TIME	"Hora Padrão das Maurícias"
UTC +04:00	GEORGIAN_STANDARD_TIME	"Hora padrão da Geórgia"
UTC +04:00	CAUCASUS_STANDARD_TIME	"Hora padrão do Cáucaso"
UTC +04:30	AFGHANISTAN_STANDARD_TIME	"Hora padrão do Afeganistão"
UTC +05:00	WEST_ASIA_STANDARD_TIME	"Hora Padrão da Ásia Ocidental"
UTC +05:00	EKATERINBURG_STANDARD_TIME	"Hora Padrão de Ekaterinburg"
UTC +05:00	PAKISTAN_STANDARD_TIME	"Hora Padrão do Paquistão"
UTC +05:30	INDIA_STANDARD_TIME	"Hora Padrão da Índia"
UTC +05:30	SRI_LANKA_STANDARD_TIME	"Hora Padrão do Sri Lanka"
UTC +05:45	NEPAL_STANDARD_TIME	"Hora Padrão do Nepal"
UTC +06:00	CENTRAL_ASIA_STANDARD_TIME	"Hora Padrão da Ásia Central"
UTC +06:00	BANGLADESH_STANDARD_TIME	"Hora padrão de Bangladesh"
UTC +06:30	MYANMAR_STANDARD_TIME	"Hora Padrão de Mianmar"
UTC +07:00	N_CENTRAL_ASIA_STANDARD_TIME	"Não. Hora Padrão da Ásia Central"
UTC +07:00	SE_ASIA_STANDARD_TIME	"Hora Padrão SE Ásia"
UTC +07:00	ALTAI_STANDARD_TIME	"Hora padrão de Altai"
UTC +07:00	W_MONGOLIA_STANDARD_TIME	"W. Hora Padrão da Mongólia"
UTC +07:00	NORTH_ASIA_STANDARD_TIME	"Hora Padrão do Norte da Ásia"
UTC +07:00	TOMSK_STANDARD_TIME	"Hora padrão de Tomsk"
UTC +08:00	CHINA_STANDARD_TIME	"Hora Padrão da China"
UTC +08:00	NORTH_ASIA_EAST_STANDARD_TIME	"Hora Padrão do Leste da Ásia do Norte"
UTC +08:00	SINGAPORE_STANDARD_TIME	"Hora Padrão de Singapura"
UTC +08:00	W_AUSTRALIA_STANDARD_TIME	"W. Hora Padrão da Austrália"
UTC +08:00	TAIPEI_STANDARD_TIME	"Hora Padrão de Taipei"
UTC +08:00	ULAANBAATAR_STANDARD_TIME	"Hora Padrão de Ulaanbaatar"
UTC +08:45	AUS_CENTRAL_W_STANDARD_TIME	"Aus Central W. Hora Padrão"
UTC +09:00	NORTH_KOREA_STANDARD_TIME	"Hora padrão da Coreia do Norte"
UTC +09:00	TRANSBAIKAL_STANDARD_TIME	"Hora Padrão Transbaikal"
UTC +09:00	TOKYO_STANDARD_TIME	"Hora Padrão de Tóquio"
UTC +09:00	KOREA_STANDARD_TIME	"Hora Padrão da Coreia"
UTC +09:00	YAKUTSK_STANDARD_TIME	"Hora padrão de Yakutsk"
UTC +09:30	CEN_AUSTRALIA_STANDARD_TIME	"Cen. Hora Padrão da Austrália"
UTC +09:30	AUS_CENTRAL_STANDARD_TIME	"Hora Padrão Central AUS"
UTC +10:00	E_AUSTRALIAN_STANDARD_TIME	"E. Hora Padrão da Austrália"
UTC +10:00	AUS_EASTERN_STANDARD_TIME	"AUS Hora Padrão do Leste"
UTC +10:00	WEST_PACIFIC_STANDARD_TIME	"Hora Padrão do Pacífico Oeste"
UTC +10:00	TASMANIA_STANDARD_TIME	"Hora Padrão da Tasmânia"
UTC +10:00	VLADIVOSTOK_STANDARD_TIME	"Hora Padrão de Vladivostok"
UTC +10:30	LORD_HOWE_STANDARD_TIME	"Hora Padrão de Lord Howe"
UTC +11:00	BOUGAINVILLE_STANDARD_TIME	"Hora Padrão de Bougainville"
UTC +11:00	RUSSIA_TIME_ZONE_10	"Rússia Fuso horário 10"
UTC +11:00	MAGADAN_STANDARD_TIME	"Hora Padrão de Magadan"
UTC +11:00	NORFOLK_STANDARD_TIME	"Hora Padrão de Norfolk"
UTC +11:00	SAKHALIN_STANDARD_TIME	"Hora Padrão de Sacalina"
UTC +11:00	CENTRAL_PACIFIC_STANDARD_TIME	"Hora Padrão do Pacífico Central"
UTC +12:00	RUSSIA_TIME_ZONE_11	"Rússia Fuso horário 11"
UTC +12:00	NEW_ZEALAND_STANDARD_TIME	"Hora Padrão da Nova Zelândia"
UTC +12:00	UTC_12	"UTC+12"
UTC +12:00	FIJI_STANDARD_TIME	"Hora padrão de Fiji"
UTC +12:00	KAMCHATKA_STANDARD_TIME	"Hora Padrão de Kamchatka"
UTC +12:45	CHATHAM_ISLANDS_STANDARD_TIME	"Hora Padrão das Ilhas Chatham"
UTC +13:00	TONGA__STANDARD_TIME	"Hora Padrão de Tonga"
UTC +13:00	SAMOA_STANDARD_TIME	"Hora Padrão de Samoa"
UTC +14:00	LINE_ISLANDS_STANDARD_TIME	"Hora Padrão das Ilhas da Linha"