Paralléliser l’optimisation des hyperparamètres Hyperopt
Remarque
La version open source de Hyperopt n’est plus conservée.
Hyperopt ne sera plus préinstallé sur Databricks Runtime ML 17.0 et versions ultérieures. Azure Databricks recommande d’utiliser Optuna pour une expérience similaire et un accès à des algorithmes d’optimisation des hyperparamètres plus à jour.
Ce notebook montre comment utiliser Hyperopt pour paralléliser les calculs d’optimisation des hyperparamètres. Il utilise la classe SparkTrials pour distribuer automatiquement les calculs entre les Workers du cluster. Il illustre également le suivi MLflow automatisé des exécutions Hyperopt, ce qui vous permet d’enregistrer les résultats ultérieurement.
Notebook de parallélisation du réglage des hyperparamètres avec suivi automatisé de MLflow
Une fois que vous avez effectué les actions dans la dernière cellule du bloc-notes, votre interface utilisateur MLflow doit afficher :
