Tutorial: Detección de anomalías con los servicios de Azure AI

En este tutorial, aprenderá a enriquecer fácilmente los datos de Azure Synapse Analytics con los servicios de Azure AI. Además, utilizará el Detector de anomalías de Azure AI para buscar anomalías. Un usuario de Azure Synapse puede seleccionar simplemente una tabla para enriquecer la detección de anomalías.

Esta tutorial abarca lo siguiente:

• Pasos para obtener un conjunto de datos de una tabla de Spark que contiene datos de series temporales.
• Uso de un asistente de Azure Synapse para enriquecer los datos con el servicio Anomaly Detector.

Si no tiene una suscripción a Azure, cree una cuenta gratuita antes de empezar.

Requisitos previos

• Necesitará un área de trabajo de Azure Synapse Analytics con una cuenta de almacenamiento de Azure Data Lake Storage Gen2 que esté configurada como almacenamiento predeterminado. Asegúrese de que es el colaborador de datos de Storage Blob en el sistema de archivos de Data Lake Storage Gen2 con el que trabaja.
• Grupo de Spark en el área de trabajo de Azure Synapse Analytics. Para más información, consulte el artículo sobre creación de un grupo de Spark en Azure Synapse.
• Debe completar los pasos de configuración previos que se detallan en este tutorial sobre la configuración de los servicios de Azure AI en Azure Synapse.

Inicio de sesión en Azure Portal

Inicie sesión en Azure Portal.

Creación de una tabla de Spark

En este tutorial, es necesario tener una tabla de Spark.

Cree un cuaderno de PySpark y ejecute el código siguiente.

from pyspark.sql.functions import lit

df = spark.createDataFrame([
    ("1972-01-01T00:00:00Z", 826.0),
    ("1972-02-01T00:00:00Z", 799.0),
    ("1972-03-01T00:00:00Z", 890.0),
    ("1972-04-01T00:00:00Z", 900.0),
    ("1972-05-01T00:00:00Z", 766.0),
    ("1972-06-01T00:00:00Z", 805.0),
    ("1972-07-01T00:00:00Z", 821.0),
    ("1972-08-01T00:00:00Z", 20000.0),
    ("1972-09-01T00:00:00Z", 883.0),
    ("1972-10-01T00:00:00Z", 898.0),
    ("1972-11-01T00:00:00Z", 957.0),
    ("1972-12-01T00:00:00Z", 924.0),
    ("1973-01-01T00:00:00Z", 881.0),
    ("1973-02-01T00:00:00Z", 837.0),
    ("1973-03-01T00:00:00Z", 9000.0)
], ["timestamp", "value"]).withColumn("group", lit("series1"))

df.write.mode("overwrite").saveAsTable("anomaly_detector_testing_data")

Ahora debe aparecer una tabla de Spark denominada anomaly_detector_testing_data en la base de datos de Spark predeterminada.

Apertura del Asistente para servicios de Azure AI

1. Haga clic con el botón derecho en la tabla de Spark que creó en el paso anterior. Seleccione Machine Learning>Predict with a model (Predecir con un modelo) para abrir el asistente.

   

2. Aparecerá un panel de configuración y se le pedirá que seleccione un modelo previamente entrenado. Seleccione Anomaly Detector.

   

Configuración de Anomaly Detector

Especifique los datos siguientes para configurar Anomaly Detector:

• Servicio vinculado de Azure Cognitive Services:como parte de los pasos de requisitos previos, debe crear un servicio vinculado a los servicios de Azure AI. Selecciónelo aquí.

• Granularity (Granularidad): velocidad a la que se muestrean los datos. Elija monthly (mensualmente).

• Timestamp column (Columna de marca de tiempo): columna que contiene los datos temporales de la serie. Elija timestamp (string) .

• Columna de valor de serie temporal: columna que representa el valor de la serie en el momento especificado en la columna de marca de tiempo. Elija value (double) [valor (double)].

• Columna de agrupación: columna que agrupa la serie. Es decir, todas las filas que tienen el mismo valor en esta columna deben formar una serie temporal. Elija group (string) [grupo (string)].

Cuando haya terminado, seleccione Open notebook (Abrir cuaderno). De este modo, se generará automáticamente un cuaderno con el código de PySpark que realiza la detección de anomalías mediante los servicios de Azure AI.

Ejecución del cuaderno

El cuaderno que acaba de abrir utiliza la biblioteca SynapseML para conectarse a los servicios de Azure AI. El servicio vinculado de los servicios de Azure AI que proporcionó, le permite referenciar de forma segura a su servicio de Azure AI desde esta experiencia sin revelar secretos.

Ahora puede ejecutar todas las celdas para realizar la detección de anomalías. Seleccione Run all (Ejecutar todas). Descubra más información sobre el servicio Anomaly Detector de los servicios de Azure AI.

Pasos siguientes

• Tutorial: Análisis de sentimiento con los servicios de Azure AI
• Tutorial: Asistente para puntuación de modelos de Machine Learning en grupos de SQL dedicados de Azure Synapse
• Tutorial: Usar Multivariate Anomaly Detector en Azure Synapse Analytics
• Funcionalidades de Machine Learning en Azure Synapse Analytics