Autologging dans Microsoft Fabric

La Science des données Synapse dans Microsoft Fabric inclut l’autologging, qui réduit considérablement la quantité de code nécessaire pour journaliser automatiquement les paramètres, les métriques et les éléments d’un modèle Machine Learning pendant l’entraînement. Cette fonctionnalité étend les fonctionnalités d’autologging MLflow et est profondément intégrée à l’expérience Science des données Synapse dans Microsoft Fabric. Grâce à l’autologging, les développeurs et les scientifiques des données peuvent facilement suivre et comparer les performances de différents modèles et expériences sans avoir besoin d’un suivi manuel.

Configurations

La création automatique fonctionne en capturant automatiquement les valeurs des paramètres d’entrée, des métriques de sortie et des éléments de sortie d’un modèle Machine Learning au fur et à mesure de son apprentissage. Ces informations sont ensuite enregistrées dans votre espace de travail Microsoft Fabric, où elles sont accessibles et visualisées à l’aide des API MLflow ou des éléments de modèle d’expérience & correspondants dans votre espace de travail Microsoft Fabric.

La configuration par défaut du hook de notebook mlflow.autolog() est la suivante :

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True)

Lorsque vous lancez un notebook Science des données Synapse, Microsoft Fabric appelle mlflow.autolog() pour activer instantanément le suivi et charger les dépendances correspondantes. Lorsque vous entraînez des modèles dans votre notebook, ces informations de modèle sont automatiquement suivies avec MLflow. Cette configuration s’effectue automatiquement en arrière-plan lorsque vous exécutez import mlflow.

Frameworks pris en charge

L’autologging prend en charge un large éventail de frameworks d’apprentissage automatique, notamment TensorFlow, PyTorch, Scikit-learn et XGBoost. Il peut capturer diverses métriques, notamment la précision, la perte et le score F1, ainsi que des métriques personnalisées définies par l’utilisateur. Pour en savoir plus sur les propriétés spécifiques à l’infrastructure capturées, vous pouvez consulter la documentation MLflow.

Personnaliser le comportement de la journalisation

Pour personnaliser le comportement de journalisation, vous pouvez utiliser la configuration mlflow.autolog(). Cette configuration fournit les paramètres permettant d’activer la journalisation des modèles, de collecter des exemples d’entrée, de configurer des avertissements ou même d’activer la journalisation pour le contenu spécifié par l’utilisateur.

Suivre du contenu supplémentaire

Vous pouvez mettre à jour la configuration de l’autologging pour suivre des métriques, des paramètres, des fichiers et des métadonnées supplémentaires avec des exécutions créées avec MLflow.

Pour ce faire :

1. Mettez à jour l’appel mlflow.autolog() et définissez exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Utilisez les API de suivi MLflow pour consigner des paramètres et des métriques supplémentaires. Cela vous permet de capturer vos métriques et paramètres personnalisés, tout en vous permettant d’utiliser l’autologging pour capturer des propriétés supplémentaires.

   Exemple :

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Désactiver l’autologging Microsoft Fabric

L’autologging Microsoft Fabric peut être désactivé pour une session de notebook spécifique ou sur tous les notebooks à l’aide du paramètre d’espace de travail.

Remarque

Si l’autologging est désactivé, les utilisateurs doivent enregistrer manuellement leurs propres paramètres et métriques à l’aide des API MLflow.

Désactiver l’autologging pour une session de notebook

Pour désactiver l’autologging Microsoft Fabric dans une session de notebook, vous pouvez appeler mlflow.autolog() et définir disable=True.

Par exemple :

import mlflow
mlflow.autolog(disable=True)

Désactiver l’autologging pour l’espace de travail

Les administrateurs de l’espace de travail peuvent activer ou désactiver l’autologging Microsoft Fabric pour toutes les sessions de leur espace de travail.

Pour ce faire :

1. Accédez à votre espace de travail Synapse Science des données, puis sélectionnez Paramètres de l’espace de travail.

   

2. Dans l’onglet Ingénieurs de données/Science, sélectionnez Calcul Spark. Ici, vous trouverez le paramètre permettant d’activer ou de désactiver Synapse Science des données autologging.

   

Contenu connexe

• Entraîner un modèle Spark MLlib avec l’autologging : Entraîner avec Spark MLlib
• En savoir plus sur les expériences de Machine Learning dans Microsoft Fabric : Expériences