Partager via

Entraîner des modèles ML avec l’API Python Azure Databricks AutoML

  • Article

Cet article montre comment former un modèle avec Azure Databricks AutoML à l’aide de l’API Python AutoML. Pour plus de détails, consultez Informations de référence sur l’API Python AutoML d’Azure Databricks.

L’API fournit des fonctions permettant de démarrer des exécutions AutoML pour de la classification, de la régression et des prévisions. Chaque appel de fonction forme un ensemble de modèles et génère un bloc-notes d’évaluation pour chaque modèle.

Consultez les conditions relatives aux expériences AutoML.

Configurer une expérience à l’aide de l’API AutoML

Les étapes suivantes décrivent de manière générale comment configurer une expérience AutoML à l’aide de l’API :

  1. Créez un notebook et attachez-le à un cluster exécutant Databricks Runtime ML.

  2. Identifiez la table que vous souhaitez utiliser à partir de votre source de données existante ou chargez un fichier de données dans DBFS et créez une table.

  3. Pour démarrer une exécution AutoML, utilisez la fonction automl.regress() ou automl.classify(), et passez la table ainsi que tous les autres paramètres de formation. Pour voir l’ensemble des fonctions et des paramètres, consultez Informations de référence sur l’API Python AutoML d’Azure Databricks.

    Par exemple :

    summary = automl.regress(dataset=train_pdf, target_col="col_to_predict")

  4. Lors du démarrage de l’exécution de AutoML, une URL d’expérimentation MLflow s’affiche dans la console. Utilisez cette URL pour effectuer un monitoring de la progression de l’exécution. Actualisez l’expérience MLflow pour voir les évaluations au fur et à mesure de leur exécution.

  5. Une fois l’exécution de AutoML terminée :

  • Utilisez les liens du résumé de sortie pour accéder à l’expérience MLflow ou au notebook qui a généré les meilleurs résultats.
  • Utilisez le lien vers le notebook d’exploration des données pour obtenir des insights sur les données passées à AutoML. Vous pouvez également attacher ce notebook au même cluster, et le réexécuter pour reproduire les résultats ou effectuer des analyses de données supplémentaires.
  • Utilisez l’objet Summary renvoyé par l’appel AutoML pour explorer des détails supplémentaires sur les versions d’évaluation ou pour charger un modèle formé par un essai donné. Découvrez plus en détail l’objet AutoMLSummary.
  • Clonez un notebook généré à partir des essais, puis réexécutez-le en l’attachant au même cluster pour reproduire les résultats. Vous pouvez également apporter les modifications nécessaires, les réexécuter pour former des modèles supplémentaires, et les journaliser dans la même expérience.

Importer un notebook

Pour importer un notebook enregistré en tant qu’artefact MLflow, utilisez l’API Python databricks.automl.import_notebook. Pour plus d’informations, consultez Importer un notebook

Inscrire et déployer un modèle

Vous pouvez inscrire et déployer votre modèle formé par AutoML comme n’importe quel modèle inscrit dans le registre de modèles MLflow. Consultez Journaliser, charger, inscrire et déployer des modèles MLflow.

Aucun module nommé pandas.core.indexes.numeric

Lors de la distribution d’un modèle créé à l’aide d’AutoML avec le service de modèle, vous pouvez obtenir l’erreur suivante : No module named 'pandas.core.indexes.numeric.

Cela est dû à une version pandas incompatible entre AutoML et l’environnement de point de terminaison de service du modèle. Vous pouvez résoudre cette erreur en exécutant le script add-pandas-dependency.py. Le script modifie requirements.txt et conda.yaml pour que votre modèle journalisé inclue la version de dépendance appropriée pandas : pandas==1.5.3.

  1. Modifiez le script pour inclure le run_id de l’exécution MLflow où votre modèle a été journalisé.
  2. Réinscrire le modèle dans le registre de modèles MLflow.
  3. Essayez de servir la nouvelle version du modèle MLflow.

Exemples de notebooks

Passez en revue ces blocs-notes pour commencer à utiliser AutoML.

Le notebook suivant explique comment effectuer une classification avec AutoML.

Exemple de bloc-notes AutoML classification

Obtenir le notebook

Le notebook suivant explique comment effectuer une régression avec AutoML.

Exemple de bloc-notes AutoML régression

Obtenir le notebook

Le notebook suivant explique comment effectuer des prévisions avec AutoML.

Bloc-notes d'exemples de prévisions AutoML

Obtenir le notebook

Étapes suivantes

Informations de référence sur l’API Python AutoML d’Azure Databricks.