Registro automático en Microsoft Fabric

Artículo
06/06/2023

Synapse Ciencia de datos en Microsoft Fabric incluye el registro automático, lo que reduce significativamente la cantidad de código necesario para registrar automáticamente los parámetros, las métricas y los elementos de un modelo de aprendizaje automático durante el entrenamiento. Esta característica amplía las funcionalidades de registro automático de MLflow y está profundamente integrada en la Ciencia de datos de Synapse en la experiencia de Microsoft Fabric. Con el registro automático, los desarrolladores y científicos de datos pueden realizar un seguimiento y comparar fácilmente el rendimiento de diferentes modelos y experimentos sin necesidad de realizar un seguimiento manual.

Importante

Microsoft Fabric está en versión preliminar.

Configurations

El registro automático funciona capturando automáticamente los valores de los parámetros de entrada, las métricas de salida y los elementos de salida de un modelo de Machine Learning a medida que se entrena. A continuación, esta información se registra en el área de trabajo de Microsoft Fabric, donde se puede acceder a ella y visualizarla mediante las API de MLflow o los elementos del modelo de experimento & correspondientes en el área de trabajo de Microsoft Fabric.

La configuración predeterminada para el enlace mlflow.autolog() del cuaderno es:


mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True)

Al iniciar un cuaderno de Synapse Ciencia de datos, Microsoft Fabric llama a mlflow.autolog() para habilitar al instante el seguimiento y cargar las dependencias correspondientes. A medida que entrena modelos en el cuaderno, se realiza un seguimiento automático de esta información del modelo con MLflow. Esta configuración se realiza automáticamente en segundo plano al ejecutar import mlflow.

Marcos de trabajo admitidos

El registro automático admite una amplia gama de marcos de aprendizaje automático, como TensorFlow, PyTorch, Scikit-learn y XGBoost. Puede capturar una variedad de métricas, incluida la precisión, la pérdida y la puntuación F1, así como las métricas personalizadas definidas por el usuario. Para más información sobre las propiedades específicas del marco que se capturan, puede visitar la documentación de MLflow.

Personalización del comportamiento del registro

Para personalizar el comportamiento de registro, puede usar la configuración mlflow.autolog(). Esta configuración proporciona los parámetros para habilitar el registro de modelos, recopilar ejemplos de entrada, configurar advertencias o incluso habilitar el registro para el contenido especificado por el usuario.

Seguimiento de contenido adicional

Puede actualizar la configuración de registro automático para realizar un seguimiento de métricas, parámetros, archivos y metadatos adicionales con ejecuciones creadas con MLflow.

Para ello:

Actualice la llamada mlflow.autolog() y establezca exclusive=False.

    mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=False, # Update this property to enable custom logging
    disable_for_unsupported_versions=True,
    silent=True
)

Use las API de seguimiento de MLflow para registrar parámetros y métricas adicionales. Esto le permite capturar las métricas y los parámetros personalizados, al tiempo que permite usar el registro automático para capturar propiedades adicionales.

Por ejemplo:
```
import mlflow
mlflow.autolog(exclusive=False)

with mlflow.start_run():
  mlflow.log_param("parameter name", "example value")
  # <add model training code here>
  mlflow.log_metric("metric name", 20)
```

Deshabilitación del registro automático de Microsoft Fabric

El registro automático de Microsoft Fabric se puede deshabilitar para una sesión de bloc de notas específica o en todos los cuadernos mediante la configuración del área de trabajo.

Nota

Si el registro automático está deshabilitado, los usuarios deben registrar manualmente sus propios parámetros y métricas mediante las API de MLflow.

Deshabilitación del registro automático para una sesión de cuaderno

Para deshabilitar el registro automático de Microsoft Fabric en una sesión de cuaderno, puede llamar a mlflow.autolog() y establecer disable=True.

Por ejemplo:

import mlflow
mlflow.autolog(disable=True)

Deshabilitación del registro automático para el área de trabajo

Los administradores del área de trabajo pueden habilitar o deshabilitar el registro automático de Microsoft Fabric para todas las sesiones de su área de trabajo.