¿Cómo implementar detección de anomalías con aprendizaje sin supervisión en Azure ML usando datasets no etiquetados?

Question

Hola comunidad. Estoy explorando técnicas de aprendizaje sin supervisión en Azure Machine Learning y quiero implementar un flujo de detección de anomalías sin necesidad de datos etiquetados.

Tengo un dataset tabular que contiene series de registros temporales (sensores IoT) y deseo identificar patrones anómalos automáticamente, usando modelos como Isolation Forest, Autoencoders u otros.

Mis dudas son:

¿Qué enfoque es más recomendable en Azure ML para detección de anomalías sin etiquetas?

¿Existen datasets de ejemplo en Azure o Microsoft Learn para probar este flujo?

¿Se puede automatizar la preparación del modelo y su evaluación sin etiquetas usando AutoML?

¿Cómo se recomienda desplegar un modelo no supervisado como endpoint en Azure ML?

Mi entorno está en Python 3.10 y uso el SDK de azure.ai.ml.

¡Gracias por cualquier ejemplo, guía o experiencia que puedan compartir!

Answer 1

Hi JRN Calo

• La detección de anomalías en datos de sensores IoT tabulares y temporales sin etiquetas se aborda mejor utilizando técnicas de aprendizaje no supervisado, que están bien soportadas en Azure Machine Learning. Los métodos comúnmente utilizados incluyen Isolation Forest, que es efectivo para datos tabulares de alta dimensionalidad, Autoencoders, que aprovechan redes neuronales para capturar patrones complejos en series temporales y datos de alta dimensionalidad, y técnicas de agrupamiento como K-means, que pueden identificar valores atípicos en función de su distancia de los centroides de los clústeres. Azure ML facilita el uso de estos algoritmos a través de scripts personalizados en Python que aprovechan marcos como scikit-learn, TensorFlow y PyTorch, junto con la integración de AutoML para ciertas tareas.
• Azure Machine Learning Studio ofrece varios conjuntos de datos de muestra que se pueden utilizar para experimentos de detección de anomalías. Ejemplos incluyen el conjunto de datos de diabetes de los indios Pima, utilizado con frecuencia en tutoriales de Azure ML para agrupamiento y aprendizaje no supervisado, así como conjuntos de datos de sensores de series temporales mencionados en escenarios de detección de anomalías de IoT. Estos conjuntos de datos son accesibles dentro del Azure ML Studio en la sección de "Conjuntos de datos guardados", mientras que conjuntos de datos sintéticos y públicos de IoT adicionales a menudo se destacan en la documentación de Microsoft Learn. Consulte esta documentación https://learn.microsoft.com/en-us/archive/msdn-magazine/2017/november/machine-learning-azure-machine-learning-time-series-analysis-for-anomaly-detection
• Para automatizar la preparación y evaluación de modelos sin datos etiquetados, Azure AutoML simplifica el proceso al encargarse de la ingeniería de características, la selección de modelos y la optimización de hiperparámetros. AutoML puede ejecutar experimentos para detección de anomalías, seleccionando algoritmos adecuados como Isolation Forest o métodos basados en agrupamiento, y evaluando modelos utilizando métricas internas diseñadas para el aprendizaje no supervisado, como las puntuaciones de valores atípicos. https://learn.microsoft.com/es-es/azure/machine-learning/how-to-deploy-automl-endpoint?view=azureml-api-2&tabs=Studio
• Azure ML también proporciona un mecanismo eficiente para implementar modelos no supervisados como puntos finales en línea para inferencias en tiempo real. Este proceso implica registrar el modelo entrenado dentro del espacio de trabajo de Azure ML, crear un punto final en línea utilizando el SDK de Python de Azure ML (azure.ai.ml), Azure CLI o la interfaz de usuario de Studio, y desplegar el modelo a través de ManagedOnlineDeployment o clases similares mientras se especifican recursos de computación apropiados. Antes de implementar en producción, es recomendable realizar pruebas locales a través de puntos finales locales para facilitar la depuración y validación, asegurando un rendimiento robusto del modelo. Azure ML, por lo tanto, ofrece un marco integral para la detección de anomalías no supervisadas, desde el entrenamiento del modelo hasta la implementación, lo que permite un análisis eficiente de datos de sensores IoT.

Espero que esto te ayude. ¡Gracias!