¿Cómo puedo integrar métricas personalizadas de inferencia con Application Insights desde el script score.py en un endpoint de Azure Machine Learning?

Question

Hola comunidad. Estoy desplegando un modelo de lenguaje natural como servicio en Azure Machine Learning y quiero registrar métricas personalizadas (por ejemplo: tiempo de inferencia, número de tokens, longitud del input) en tiempo real durante la inferencia, y visualizar estos datos en Application Insights o el panel de Azure ML.

He leído que es posible extender el score.py para capturar este tipo de métricas, pero tengo dudas específicas:

¿Cómo inicializo correctamente la conexión con Application Insights desde score.py?

¿Qué SDK debo usar y cómo evito que el logging interfiera con el rendimiento del endpoint?

¿Puedo registrar excepciones o métricas cuando se producen errores (como timeouts o entradas vacías)?

¿Hay ejemplos actuales que combinen mlflow, logging, opencensus o azure.monitor.opentelemetry para esto?

Mi entorno está en Python 3.10 y utilizo el modelo desplegado con ml_client.online_endpoints.create_or_update.

¡Gracias de antemano por cualquier orientación, documentación o snippet actualizado!

Nota: No encontré etiquetas como "Azure Machine Learning" o "Application Insights", pero mi duda está enfocada en el registro de métricas personalizadas durante inferencias en endpoints de Azure ML con Python.

Answer 1

Hello @JRN Calo ,

Puedes integrar métricas de inferencia personalizadas con Application Insights desde tu script score.py en un punto de conexión de Azure Machine Learning utilizando el SDK de Azure Monitor OpenTelemetry o OpenCensus para el registro de logs. Aquí tienes un enfoque general:

1. Inicializar Application Insights en score.py

• Usa el SDK de Azure Monitor OpenTelemetry o OpenCensus para enviar logs y métricas.
• Ejemplo usando OpenCensus:

     from opencensus.ext.azure.log_exporter import AzureLogHandler

    import logging

    logger = logging.getLogger(**name**)

 logger.addHandler(AzureLogHandler(connection_string="InstrumentationKey=TU_CLAVE"))

• Usa registro asíncrono para evitar bloquear las solicitudes de inferencia.
• Ejemplo de registro del tiempo de inferencia:

      import time

    def run(data):

      start_time = time.time()

      # Realizar inferencia

      inference_time = time.time() - start_time

      logger.info(f"Tiempo de inferencia: {inference_time} segundos")

      return {"inference_time": inference_time}

3. Capturar errores y excepciones

• Registra excepciones cuando ocurran errores (timeouts, entradas vacías).
• Ejemplo:

    try:

      result = model.predict(data)   

    except Exception as e:   

      logger.error(f"Inferencia fallida: {str(e)}")

4. Combinar con MLflow y Azure Monitor

• Puedes integrar MLflow para el seguimiento de experimentos y Azure Monitor OpenTelemetry para el registro de logs.
• Ejemplo:

    import mlflow

    mlflow.log_metric("inference_time", inference_time)

Estoy traduciendo las respuestas del inglés, así que disculpa cualquier problema gramatical.

Hazme saber si tienes alguna pregunta y si los comentarios anteriores te resultaron útiles.

Consulta los siguientes documentos para obtener más detalles:

• Supervisar y recopilar datos de los extremos del servicio web de Machine Learning - Azure Machine Learning | Microsoft Learn
• Registros de aplicaciones de Azure Machine Learning en Application Insights con dimensiones personalizadas - Stack Overflow
• Supervisar aplicaciones de Machine Learning con Azure Application Insights | por Penny Qian | Medium
• Lleva fácilmente tus modelos de Machine Learning a producción con AzureML Inference Server | Microsoft Community Hub
• BSC Analytics