Paralléliser l’optimisation des hyperparamètres Hyperopt

Remarque

La version open source de Hyperopt n’est plus conservée.

Hyperopt sera supprimé dans la prochaine version principale de DBR ML. Azure Databricks recommande d’utiliser Optuna pour l’optimisation sur un seul nœud ou RayTune pour une expérience similaire à la fonctionnalité de réglage des hyperparamètres distribuée d’Hyperopt supprimée. En savoir plus sur l’utilisation de RayTune sur Azure Databricks.

Ce notebook montre comment utiliser Hyperopt pour paralléliser les calculs d’optimisation des hyperparamètres. Il utilise la classe SparkTrials pour distribuer automatiquement les calculs entre les Workers du cluster. Il illustre également le suivi MLflow automatisé des exécutions Hyperopt, ce qui vous permet d’enregistrer les résultats ultérieurement.

Notebook de parallélisation du réglage des hyperparamètres avec suivi automatisé de MLflow

Obtenir le notebook

Une fois que vous avez effectué les actions dans la dernière cellule du bloc-notes, votre interface utilisateur MLflow doit afficher :