Параллелизация настройки гиперпараметров Hyperopt
Примечание.
Версия Hyperopt с открытым исходным кодом больше не поддерживается.
Hyperopt больше не будет предварительно установлен в Databricks Runtime ML 17.0 и более поздних версий. Azure Databricks рекомендует использовать Optuna вместо аналогичного интерфейса и доступа к более актуальным алгоритмам настройки гиперпараметров.
В этой записной книжке показано, как использовать Hyperopt для параллелизации вычислений для настройки гиперпараметров. Здесь используется класс SparkTrials для автоматического распределения вычислений между рабочими ролями кластера. Также показано автоматическое отслеживание MLflow запусков Hyperopt, чтобы сохранить результаты для последующего использования.
Параллельная настройка гиперпараметров с помощью автоматизированной записной книжки для отслеживания MLflow
После выполнения действий в последней ячейке записной книжки в пользовательском интерфейсе MLflow должно отобразиться:
