Compartir a través de


DataDriftDetector Clase

Define un monitor de desfase de datos que se puede usar para ejecutar trabajos de desfase de datos en Azure Machine Learning.

La clase DataDriftDetector permite identificar el desfase entre una base de referencia determinada y un conjunto de datos de destino. Un objeto DataDriftDetector se crea en un área de trabajo especificando directamente la base de referencia y el conjunto de datos de destino. Para obtener más información, vea https://aka.ms/datadrift.

Constructor datadriftdetector.

El constructor DataDriftDetector se usa para recuperar una representación en la nube de un objeto DataDriftDetector asociado al área de trabajo proporcionada.

Herencia
builtins.object
DataDriftDetector

Constructor

DataDriftDetector(workspace, name=None, baseline_dataset=None, target_dataset=None, compute_target=None, frequency=None, feature_list=None, alert_config=None, drift_threshold=None, latency=None)

Parámetros

Nombre Description
workspace
Requerido

Área de trabajo en la que se va a crear el objeto DataDriftDetector.

name
str

Nombre único del objeto DataDriftDetector.

Valor predeterminado: None
baseline_dataset

Conjunto de datos con el que se compara el conjunto de datos de destino.

Valor predeterminado: None
target_dataset

Conjunto de datos para el que se ejecutan trabajos de DataDrift programados o adhoc. Debe ser una serie temporal.

Valor predeterminado: None
compute_target

ComputeTarget o nombre de ComputeTarget de Azure Machine Learning opcionales. DataDriftDetector creará un destino de proceso si no se especifica uno.

Valor predeterminado: None
frequency
str

Frecuencia opcional que indica cada cuánto se ejecuta la canalización. Admite "Day", "Week" o "Month".

Valor predeterminado: None
feature_list

Características opcionales en la lista permitida en las que se va a ejecutar la detección del desfase de datos. Los trabajos de DataDriftDetector se ejecutarán en todas las características si feature_list no se especifica. La lista de características puede contener caracteres, números, guiones y espacios en blanco. La longitud de la lista debe ser inferior a 200.

Valor predeterminado: None
alert_config

Objeto de configuración opcional para las alertas de DataDriftDetector.

Valor predeterminado: None
drift_threshold

Umbral opcional para habilitar las alertas de DataDriftDetector. El valor debe estar entre 0 y 1. Se usa un valor de 0,2 cuando se especifica None (valor predeterminado).

Valor predeterminado: None
latency
int

Retraso en horas para que los datos aparezcan en el conjunto de datos.

Valor predeterminado: None
workspace
Requerido

Área de trabajo en la que se va a crear el objeto DataDriftDetector.

name
Requerido
str

Nombre único del objeto DataDriftDetector.

baseline_dataset
Requerido

Conjunto de datos con el que se compara el conjunto de datos de destino.

target_dataset
Requerido

Conjunto de datos para el que se ejecutan trabajos de DataDrift programados o adhoc. Debe ser una serie temporal.

compute_target
Requerido

ComputeTarget o nombre de ComputeTarget de Azure Machine Learning opcionales. DataDriftDetector creará un destino de proceso si no se especifica uno.

frequency
Requerido
str

Frecuencia opcional que indica cada cuánto se ejecuta la canalización. Admite "Day", "Week" o "Month".

feature_list
Requerido

Características opcionales en la lista permitida en las que se va a ejecutar la detección del desfase de datos. Los trabajos de DataDriftDetector se ejecutarán en todas las características si feature_list no se especifica. La lista de características puede contener caracteres, números, guiones y espacios en blanco. La longitud de la lista debe ser inferior a 200.

alert_config
Requerido

Objeto de configuración opcional para las alertas de DataDriftDetector.

drift_threshold
Requerido

Umbral opcional para habilitar las alertas de DataDriftDetector. El valor debe estar entre 0 y 1. Se usa un valor de 0,2 cuando se especifica None (valor predeterminado).

latency
Requerido
int

Retraso en horas para que los datos aparezcan en el conjunto de datos.

Comentarios

Un objeto DataDriftDetector representa una definición de trabajo de desfase de datos que se puede usar para ejecutar tres tipos de ejecución de trabajo:

  • Una ejecución adhoc para analizar los datos de un día específico; consulte el método run.

  • Una ejecución programada en una canalización; consulte el método enable_schedule.

  • una ejecución de reposición para ver cómo cambian los datos con el tiempo; consulte el método backfill.

El patrón típico para crear un objeto DataDriftDetector es:

El siguiente ejemplo muestra cómo crear un objeto DataDriftDetector basado en un conjunto de datos.


   from azureml.datadrift import DataDriftDetector, AlertConfiguration

   alert_config = AlertConfiguration(['user@contoso.com']) # replace with your email to recieve alerts from the scheduled pipeline after enabling

   monitor = DataDriftDetector.create_from_datasets(ws, 'weather-monitor', baseline, target,
                                                         compute_target='cpu-cluster',         # compute target for scheduled pipeline and backfills
                                                         frequency='Week',                     # how often to analyze target data
                                                         feature_list=None,                    # list of features to detect drift on
                                                         drift_threshold=None,                 # threshold from 0 to 1 for email alerting
                                                         latency=0,                            # SLA in hours for target data to arrive in the dataset
                                                         alert_config=alert_config)            # email addresses to send alert

El ejemplo completo está disponible en https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/work-with-data/datadrift-tutorial/datadrift-tutorial.ipynb.

El constructor de DataDriftDetector recupera un objeto de desfase de datos existente asociado al área de trabajo.

Métodos

backfill

Ejecuta un trabajo de reposición durante una fecha de inicio y finalización especificadas.

Consulte https://aka.ms/datadrift para obtener más información sobre las ejecuciones de reposición de desfase de datos.

NOTA: La reposición solo se admite en objetos DataDriftDetector basados en conjuntos de datos.

create_from_datasets

Crea un nuevo objeto DataDriftDetector a partir de un conjunto de datos tabular de línea de base y un conjunto de datos de serie temporal de destino.

delete

Elimina la programación del objeto DataDriftDetector.

disable_schedule

Deshabilita la programación del objeto DataDriftDetector.

enable_schedule

Crea una programación para ejecutar el trabajo DataDriftDetector basado en el conjunto de datos.

get_by_name

Recupera un objeto DataDriftDetector único para un área de trabajo y un nombre determinados.

get_output

Obtiene una tupla de los resultados de desfase y las métricas de un objeto DataDriftDetector específico durante un período de tiempo determinado.

list

Obtiene una lista de objetos DataDriftDetector para el área de trabajo especificada y el conjunto de datos opcional.

NOTA: Pasar solo el parámetro workspace devolverá todos los objetos DataDriftDetector, definidos en el área de trabajo.

run

Ejecuta un único análisis de desfase de datos a un momento dado.

show

Muestra la tendencia de desviación de datos en un intervalo de tiempo determinado.

De manera predeterminada, este método muestra los 10 ciclos más recientes. Por ejemplo, si la frecuencia es de días, serán los 10 días más recientes. Por ejemplo, si la frecuencia está en semana, serán las 10 semanas más recientes.

update

Actualice la programación asociada al objeto DataDriftDetector.

Los valores de parámetro opcionales se pueden establecer en None; de lo contrario, tienen como valor predeterminado sus valores existentes.

backfill

Ejecuta un trabajo de reposición durante una fecha de inicio y finalización especificadas.

Consulte https://aka.ms/datadrift para obtener más información sobre las ejecuciones de reposición de desfase de datos.

NOTA: La reposición solo se admite en objetos DataDriftDetector basados en conjuntos de datos.

backfill(start_date, end_date, compute_target=None, create_compute_target=False)

Parámetros

Nombre Description
start_date
Requerido

Fecha de inicio del trabajo de reposición.

end_date
Requerido

Fecha de finalización del trabajo de reposición, inclusive.

compute_target

ComputeTarget o nombre de ComputeTarget de Azure Machine Learning opcionales. DataDriftDetector creará un destino de proceso si no se especifica ninguno.

Valor predeterminado: None
create_compute_target

Indica si se crea un destino de proceso de Azure Machine Learning de forma automática.

Valor predeterminado: False

Devoluciones

Tipo Description
Run

Una ejecución de DataDriftDetector.

create_from_datasets

Crea un nuevo objeto DataDriftDetector a partir de un conjunto de datos tabular de línea de base y un conjunto de datos de serie temporal de destino.

static create_from_datasets(workspace, name, baseline_dataset, target_dataset, compute_target=None, frequency=None, feature_list=None, alert_config=None, drift_threshold=None, latency=None)

Parámetros

Nombre Description
workspace
Requerido

Área de trabajo en la que se creará el objeto DataDriftDetector.

name
Requerido
str

Nombre único del objeto DataDriftDetector.

baseline_dataset
Requerido

Conjunto de datos con el que se compara el conjunto de datos de destino.

target_dataset
Requerido

Conjunto de datos para el que se ejecutan trabajos de DataDrift programados o adhoc. Debe ser una serie temporal.

compute_target

ComputeTarget o nombre de ComputeTarget de Azure Machine Learning opcionales. DataDriftDetector creará un destino de proceso si no se especifica uno.

Valor predeterminado: None
frequency
str

Frecuencia opcional que indica cada cuánto se ejecuta la canalización. Admite "Day", "Week" o "Month".

Valor predeterminado: None
feature_list

Características opcionales en la lista permitida en las que se va a ejecutar la detección del desfase de datos. Los trabajos de DataDriftDetector se ejecutarán en todas las características si feature_list no se especifica. La lista de características puede contener caracteres, números, guiones y espacios en blanco. La longitud de la lista debe ser inferior a 200.

Valor predeterminado: None
alert_config

Objeto de configuración opcional para las alertas de DataDriftDetector.

Valor predeterminado: None
drift_threshold

Umbral opcional para habilitar las alertas de DataDriftDetector. El valor debe estar entre 0 y 1. Se usa un valor de 0,2 cuando se especifica None (valor predeterminado).

Valor predeterminado: None
latency
int

Retraso en horas para que los datos aparezcan en el conjunto de datos.

Valor predeterminado: None

Devoluciones

Tipo Description

Objeto DataDriftDetector.

Excepciones

Tipo Description
<xref:KeyError>, <xref:TypeError>, <xref:ValueError>

Comentarios

Los objetos DataDriftDetector basados en conjuntos de datos permiten calcular el desfase de datos entre un conjunto de datos de línea de base, que deben ser TabularDataset, y un conjunto de datos de destino, que debe ser un conjunto de datos de serie temporal. Un conjunto de datos de serie temporal es simplemente TabularDataset con la propiedad fine_grain_timestamp. DataDriftDetector puede ejecutar trabajos programados o adhoc para determinar si el conjunto de datos de destino se ha desfasado del conjunto de datos de línea de base.


   from azureml.core import Workspace, Dataset
   from azureml.datadrift import DataDriftDetector

   ws = Workspace.from_config()
   baseline = Dataset.get_by_name(ws, 'my_baseline_dataset')
   target = Dataset.get_by_name(ws, 'my_target_dataset')

   detector = DataDriftDetector.create_from_datasets(workspace=ws,
                                                     name="my_unique_detector_name",
                                                     baseline_dataset=baseline,
                                                     target_dataset=target,
                                                     compute_target_name='my_compute_target',
                                                     frequency="Day",
                                                     feature_list=['my_feature_1', 'my_feature_2'],
                                                     alert_config=AlertConfiguration(email_addresses=['user@contoso.com']),
                                                     drift_threshold=0.3,
                                                     latency=1)

delete

Elimina la programación del objeto DataDriftDetector.

delete(wait_for_completion=True)

Parámetros

Nombre Description
wait_for_completion

Si se debe esperar a que se complete la operación de eliminación.

Valor predeterminado: True

disable_schedule

Deshabilita la programación del objeto DataDriftDetector.

disable_schedule(wait_for_completion=True)

Parámetros

Nombre Description
wait_for_completion

Si se debe esperar a que se complete la operación de deshabilitación.

Valor predeterminado: True

enable_schedule

Crea una programación para ejecutar el trabajo DataDriftDetector basado en el conjunto de datos.

enable_schedule(create_compute_target=False, wait_for_completion=True)

Parámetros

Nombre Description
create_compute_target

Indica si se crea un destino de proceso de Azure Machine Learning de forma automática.

Valor predeterminado: False
wait_for_completion

Si se debe esperar a que se complete la operación de habilitación.

Valor predeterminado: True

get_by_name

Recupera un objeto DataDriftDetector único para un área de trabajo y un nombre determinados.

static get_by_name(workspace, name)

Parámetros

Nombre Description
workspace
Requerido

Área de trabajo donde se creó DataDriftDetector.

name
Requerido
str

Nombre del objeto DataDriftDetector que se va a devolver.

Devoluciones

Tipo Description

Objeto DataDriftDetector.

get_output

Obtiene una tupla de los resultados de desfase y las métricas de un objeto DataDriftDetector específico durante un período de tiempo determinado.

get_output(start_time=None, end_time=None, run_id=None)

Parámetros

Nombre Description
start_time
datetime, <xref:optional>

Hora de inicio de la ventana de resultados, en UTC. Si se especifica None (valor predeterminado), los resultados del 10.º ciclo más reciente se usan como hora de inicio. Por ejemplo, si la frecuencia de la programación del desfase de datos es en días, entonces start_time es de 10 días. Si la frecuencia es en semanas, entonces start_time es 10 semanas.

Valor predeterminado: None
end_time
datetime, <xref:optional>

Hora de finalización de la ventana de resultados, en UTC. Si se especifica None (valor predeterminado), se usa la hora UTC del día actual como hora de finalización.

Valor predeterminado: None
run_id
int, <xref:optional>

Un identificador de ejecución específico.

Valor predeterminado: None

Devoluciones

Tipo Description

Una tupla de una lista de resultados de desfase y una lista de métricas de conjuntos de datos individuales y columnas.

Comentarios

Este método devuelve una tupla de resultados de desfase y métricas para un período de tiempo o un identificador de ejecución en función del tipo de ejecución: una ejecución adhoc, una ejecución programada y una ejecución de reposición.

  • Para recuperar los resultados de la ejecución adhoc, solo hay una manera: run_id debe ser un GUID válido.

  • Para recuperar las ejecuciones programadas y los resultados de la ejecución de reposición, hay dos maneras diferentes: asignar un GUID válido a run_id, o asignar un start_time específico o end_time (inclusivo) mientras se mantiene run_id como None.

  • Si run_id, start_time y end_time no son None en la misma llamada de método, se produce una excepción de validación de parámetros.

NOTA: Especifique los parámetros start_time y end_time o el parámetro run_id, pero no ambos.

Es posible que haya varios resultados para la misma fecha de destino (la fecha de destino significa la fecha de inicio del conjunto de datos de destino para el desfase basado en el conjunto de datos). Por lo tanto, es necesario identificar y controlar los resultados duplicados. En el caso del desfase basado en el conjunto de datos, si los resultados son para la misma fecha de destino, son resultados duplicados. El método get_output desduplicará los resultados duplicados por una regla: siempre recoge los resultados generados más recientes.

El método get_output se puede usar para recuperar todas las salidas o las salidas parciales de ejecuciones programadas en un intervalo de tiempo específico entre start_time y end_time (límite incluido). También puede limitar los resultados de una ejecución adhoc individual si especifica run_id.

Use las siguientes directrices para ayudar a interpretar los resultados devueltos desde el método get_output:

  • El principio de filtrado es la "superposición": siempre que haya una superposición entre la hora del resultado real (basada en el conjunto de datos: conjunto de datos de destino [fecha de inicio, fecha de finalización]) y el [start_time, end_time] especificado, se seleccionará el resultado.

  • Si hay varias salidas para una fecha de destino porque el cálculo de desviación se ejecutó varias veces en ese día, solo se seleccionará la salida más reciente de forma predeterminada.

  • Dado que hay varios tipos de una instancia de desfase de datos, el contenido del resultado podría ser diverso.

Para los resultados basados en el conjunto de datos, la salida tendrá el siguiente aspecto:


   results : [{'drift_type': 'DatasetBased',
               'result':[{'has_drift': True, 'drift_threshold': 0.3,
                          'start_date': '2019-04-03', 'end_date': '2019-04-04',
                          'base_dataset_id': '4ac144ef-c86d-4c81-b7e5-ea6bbcd2dc7d',
                          'target_dataset_id': '13445141-aaaa-bbbb-cccc-ea23542bcaf9'}]}]
   metrics : [{'drift_type': 'DatasetBased',
               'metrics': [{'schema_version': '0.1',
                            'start_date': '2019-04-03', 'end_date': '2019-04-04',
                            'baseline_dataset_id': '4ac144ef-c86d-4c81-b7e5-ea6bbcd2dc7d',
                            'target_dataset_id': '13445141-aaaa-bbbb-cccc-ea23542bcaf9'
                            'dataset_metrics': [{'name': 'datadrift_coefficient', 'value': 0.53459}],
                            'column_metrics': [{'feature1': [{'name': 'datadrift_contribution',
                                                              'value': 288.0},
                                                             {'name': 'wasserstein_distance',
                                                              'value': 4.858040000000001},
                                                             {'name': 'energy_distance',
                                                              'value': 2.7204799576545313}]}]}]}]

list

Obtiene una lista de objetos DataDriftDetector para el área de trabajo especificada y el conjunto de datos opcional.

NOTA: Pasar solo el parámetro workspace devolverá todos los objetos DataDriftDetector, definidos en el área de trabajo.

static list(workspace, baseline_dataset=None, target_dataset=None)

Parámetros

Nombre Description
workspace
Requerido

Área de trabajo donde se crearon los objetos DataDriftDetector.

baseline_dataset

Conjunto de datos de línea de base para filtrar la lista de valores devueltos.

Valor predeterminado: None
target_dataset

Conjunto de datos de destino para filtrar la lista devuelta.

Valor predeterminado: None

Devoluciones

Tipo Description

Lista de objetos DataDriftDetector.

run

Ejecuta un único análisis de desfase de datos a un momento dado.

run(target_date, compute_target=None, create_compute_target=False, feature_list=None, drift_threshold=None)

Parámetros

Nombre Description
target_date
Requerido

Fecha de destino de los datos de puntuación en UTC.

compute_target

ComputeTarget o nombre de ComputeTarget de Azure Machine Learning opcionales. Si no se especifica, se crea automáticamente un destino de proceso.

Valor predeterminado: None
create_compute_target

Indica si se crea un destino de proceso de Azure Machine Learning de forma automática.

Valor predeterminado: False
feature_list

Características opcionales en la lista permitida en las que se va a ejecutar la detección del desfase de datos.

Valor predeterminado: None
drift_threshold

Umbral opcional para habilitar las alertas de DataDriftDetector.

Valor predeterminado: None

Devoluciones

Tipo Description
Run

Una ejecución de DataDriftDetector.

show

Muestra la tendencia de desviación de datos en un intervalo de tiempo determinado.

De manera predeterminada, este método muestra los 10 ciclos más recientes. Por ejemplo, si la frecuencia es de días, serán los 10 días más recientes. Por ejemplo, si la frecuencia está en semana, serán las 10 semanas más recientes.

show(start_time=None, end_time=None)

Parámetros

Nombre Description
start_time
datetime, <xref:optional>

Inicio de la ventana de tiempo de presentación, en UTC. El valor predeterminado None significa que se recogen los resultados del 10º ciclo más reciente.

Valor predeterminado: None
end_time
datetime, <xref:optional>

Final de la ventana de tiempo de datos de presentación, en UTC. El valor predeterminado None implica el día actual.

Valor predeterminado: None

Devoluciones

Tipo Description
dict()

Un diccionario de todas las cifras. La clave es service_name.

update

Actualice la programación asociada al objeto DataDriftDetector.

Los valores de parámetro opcionales se pueden establecer en None; de lo contrario, tienen como valor predeterminado sus valores existentes.

update(compute_target=Ellipsis, feature_list=Ellipsis, schedule_start=Ellipsis, alert_config=Ellipsis, drift_threshold=Ellipsis, wait_for_completion=True)

Parámetros

Nombre Description
compute_target

Nombre de ComputeTarget o ComputeTarget de Azure Machine Learning opcional. DataDriftDetector creará un destino de proceso si no se especifica este parámetro.

Valor predeterminado: Ellipsis
feature_list

Características en la lista permitida en las que ejecutar la detección de desfase de datos.

Valor predeterminado: Ellipsis
schedule_start

Hora de inicio de la programación de desfase de datos, en UTC.

Valor predeterminado: Ellipsis
alert_config

Objeto de configuración opcional para las alertas de DataDriftDetector.

Valor predeterminado: Ellipsis
drift_threshold

Umbral para habilitar las alertas de DataDriftDetector.

Valor predeterminado: Ellipsis
wait_for_completion

Si se debe esperar a que se completen las operaciones de habilitación, deshabilitación o eliminación.

Valor predeterminado: True

Devoluciones

Tipo Description

self

Atributos

alert_config

Obtiene la configuración de alertas para el objeto DataDriftDetector.

Devoluciones

Tipo Description

Objeto AlertConfiguration.

baseline_dataset

Obtiene el conjunto de datos de línea de base asociado al objeto DataDriftDetector.

Devoluciones

Tipo Description

Tipo de conjunto de datos del conjunto de datos de línea de base.

compute_target

Obtiene el destino de proceso asociado al objeto DataDriftDetector.

Devoluciones

Tipo Description

El destino de proceso.

drift_threshold

Obtiene el umbral de desfase del objeto DataDriftDetector.

Devoluciones

Tipo Description

Umbral de desfase.

drift_type

Obtiene el tipo de DataDriftDetector, "DatasetBased" es el único valor admitido por ahora.

Devoluciones

Tipo Description
str

Tipo de objeto DataDriftDetector.

enabled

Obtiene el valor booleano que indica si el objeto DataDriftDetector está habilitado.

Devoluciones

Tipo Description

Valor booleano; True para habilitado.

feature_list

Obtiene la lista de características de la lista permitida para el objeto DataDriftDetector.

Devoluciones

Tipo Description

Lista de nombres de características.

frequency

Obtiene la frecuencia de la programación de DataDriftDetector.

Devoluciones

Tipo Description
str

Cadena de "Day", "Week" o "Month".

interval

Obtiene el intervalo de la programación DataDriftDetector.

Devoluciones

Tipo Description
int

Valor entero de la unidad de tiempo.

latency

Obtiene la latencia de los trabajos de programación de DataDriftDetector (en horas).

Devoluciones

Tipo Description
int

Número de horas que representan la latencia.

name

Obtiene el nombre del objeto DataDriftDetector.

Devoluciones

Tipo Description
str

Nombre de DataDriftDetector.

schedule_start

Obtiene la hora de inicio de la programación.

Devoluciones

Tipo Description

Objeto datetime de la hora de inicio de la programación en UTC.

state

Denota el estado de la programación de DataDriftDetector.

Devoluciones

Tipo Description
str

Uno de los elementos "Disabled", "Enabled", "Deleted", "Disabling", "Enabling", "Deleting", "Failed", "DisableFailed", "EnableFailed", "DeleteFailed".

target_dataset

Obtiene el conjunto de datos de destino asociado al objeto DataDriftDetector.

Devoluciones

Tipo Description

Tipo de conjunto de datos del conjunto de datos de línea de base.

workspace

Obtiene el área de trabajo del objeto DataDriftDetector.

Devoluciones

Tipo Description

Área de trabajo en la que se creó el objeto DataDriftDetector.