Autologging dans Microsoft Fabric
La Science des données Synapse dans Microsoft Fabric inclut l’autologging, qui réduit considérablement la quantité de code nécessaire pour journaliser automatiquement les paramètres, les métriques et les éléments d’un modèle Machine Learning pendant l’entraînement. Cet article décrit l’autologging pour Science des données Synapse dans Microsoft Fabric.
L’autologging étend les fonctionnalités de MLflow Tracking et est profondément intégrée à l’expérience Science des données Synapse dans Microsoft Fabric. L’autologging peut capturer diverses métriques, notamment la précision, la perte et le score F1, ainsi que des métriques personnalisées que vous définissez. Grâce à l’autologging, les développeurs et les scientifiques des données peuvent facilement suivre et comparer les performances de différents modèles et expériences sans suivi manuel.
Frameworks pris en charge
L’autologging prend en charge un large éventail de frameworks d’apprentissage automatique, notamment TensorFlow, PyTorch, Scikit-learn et XGBoost. Pour en savoir plus sur les propriétés spécifiques au cadre capturées par l’autologging, consultez la documentation MLflow.
Configuration
La création automatique fonctionne en capturant automatiquement les valeurs des paramètres d’entrée, des métriques de sortie et des éléments de sortie d’un modèle d’apprentissage automatique au fur et à mesure de son apprentissage. Ces informations sont enregistrées dans votre espace de travail Microsoft Fabric, où elles sont accessibles et consultables à l’aide des API MLflow ou des éléments d’expérience et de modèle correspondants dans votre espace de travail Microsoft Fabric.
Lorsque vous lancez un notebook Science des données Synapse, Microsoft Fabric appelle mlflow.autolog() pour activer instantanément le suivi et charger les dépendances correspondantes. Lorsque vous entraînez des modèles dans votre notebook, MLflow suit automatiquement ces informations de modèle.
La configuration s’effectue automatiquement en arrière-plan lorsque vous exécutez import mlflow. La configuration par défaut du hook de notebook mlflow.autolog() est la suivante :
mlflow.autolog(
log_input_examples=False,
log_model_signatures=True,
log_models=True,
disable=False,
exclusive=True,
disable_for_unsupported_versions=True,
silent=True
)
Personnalisation
Pour personnaliser le comportement de journalisation, vous pouvez utiliser la configuration mlflow.autolog(). Cette configuration fournit les paramètres permettant d’activer la journalisation des modèles, de collecter des exemples d’entrée, de configurer des avertissements ou d’activer la journalisation pour le contenu ajouté que vous spécifiez.
Suivre d’autres métriques, paramètres et propriétés
Pour les exécutions créées avec MLflow, mettez à jour la configuration de l’autologging pour suivre des métriques, des paramètres, des fichiers et des métadonnées supplémentaires de la manière suivante :
Mettez à jour l’appel mlflow.autolog() pour définir
exclusive=False.mlflow.autolog( log_input_examples=False, log_model_signatures=True, log_models=True, disable=False, exclusive=False, # Update this property to enable custom logging disable_for_unsupported_versions=True, silent=True )Utilisez les API de suivi MLflow pour consigner des paramètres et des métriques supplémentaires. L’exemple de code suivant vous permet de consigner vos métriques et paramètres personnalisés en même temps que des propriétés supplémentaires.
import mlflow mlflow.autolog(exclusive=False) with mlflow.start_run(): mlflow.log_param("parameter name", "example value") # <add model training code here> mlflow.log_metric("metric name", 20)
Désactiver l’autologging Microsoft Fabric
Vous pouvez désactiver l’autologging Microsoft Fabric pour une session de notebook spécifique. Vous pouvez également désactiver l’autologging sur tous les notebooks à l’aide du paramètre d’espace de travail.
Remarque
Si l’autologging est désactivé, vous devez enregistrer manuellement vos paramètres et métriques à l’aide des API MLflow.
Désactiver l’autologging pour une session de notebook
Pour désactiver l’autologging Microsoft Fabric pour une session spécifique de notebook, appelez mlflow.autolog() et définissez disable=True.
import mlflow
mlflow.autolog(disable=True)
Désactiver l’autologging pour tous les Notebooks et sessions
Les administrateurs de l’espace de travail peuvent activer ou désactiver l’autologging Microsoft Fabric pour tous les notebooks et sessions de leur espace de travail en utilisant les paramètres de l’espace de travail. Pour activer ou désactiver l’autologging de Science des données Synapse :
Dans votre espace de travail Science des données Synapse, sélectionnez Paramètres de l’espace de travail.
Dans l’écran Paramètres de l’espace de travail, développez Ingénieurs de données/Science dans la barre de navigation gauche, puis sélectionnez Paramètres Spark.
Sur l’écran Paramètres Spark, sélectionnez l’onglet Journal automatique.
Définissez Suivre automatiquement les expériences et les modèles d’apprentissage automatique sur Activé ou Désactivé.
Cliquez sur Enregistrer.
