Aracılığıyla paylaş

Hyperopt ile dağıtılmış eğitim algoritmalarını kullanma

Not

Hyperopt'un açık kaynak sürümü artık korunmaz.

Hyperopt, sonraki ana DBR ML sürümünde kaldırılacaktır. Azure Databricks, tek düğümlü iyileştirme için Optuna veya kullanım dışı bırakılan Hyperopt dağıtılmış hiper parametre ayarlama işlevine benzer bir deneyim için RayTune kullanmanızı önerir. Azure Databricks'te RayTune kullanma hakkında daha fazla bilgi edinin.

scikit-learn'dekiler gibi tek makineli eğitim algoritmalarına ek olarak, Dağıtılmış eğitim algoritmaları ile Hyperopt'ı kullanabilirsiniz. Bu senaryoda Hyperopt, sürücü düğümünde farklı hiper parametre ayarlarına sahip denemeler oluşturur. Her deneme, sürücü düğümünden yürütülür ve tam küme kaynaklarına erişim sağlar. Bu kurulum Apache Spark MLlib ve HorovodRunner dahil olmak üzere tüm dağıtılmış makine öğrenmesi algoritmalarıyla veya kitaplıklarıyla çalışır.

Hyperopt'ı dağıtılmış eğitim algoritmalarıyla kullandığınızda, trials bağımsız değişkenini fmin()'e geçirmeyin ve özellikle SparkTrials sınıfını kullanmayın. SparkTrials , kendileri dağıtılmayan algoritmalar için denemeleri dağıtmak üzere tasarlanmıştır. Dağıtılmış eğitim algoritmalarıyla, küme sürücüsünde çalışan varsayılan Trials sınıfı kullanın. Hyperopt, ml algoritmasının dağıtılmış eğitimi başlatabilmesi için sürücü düğümündeki her denemeyi değerlendirir.

Not

Azure Databricks, Trials sınıfı ile MLflow'da otomatik günlüğe kaydetmeyi desteklemez. Dağıtılmış eğitim algoritmalarını kullanırken, Hyperopt denemelerini günlüğe kaydetmek için MLflow'u el ile çağırmanız gerekir.

Not defteri örneği: Hyperopt'u MLlib algoritmalarıyla kullanma

Örnek not defteri, MLlib'in dağıtılmış eğitim algoritmalarını ayarlamak için Hyperopt'un nasıl kullanılacağını gösterir.

Hyperopt ve MLlib dağıtılmış eğitim not defteri

Defteri al

Not defteri örneği: Hyperopt'u HorovodRunner ile kullanma

HorovodRunner, Databricks'te dağıtılmış derin öğrenme iş yüklerini çalıştırmak için kullanılan genel bir API'dir. HorovodRunner, Spark'ta uzun süre çalışan derin öğrenme eğitim işleri için daha yüksek kararlılık sağlamak için Horovod'u Spark'ın engel moduyla tümleştirir.

Örnek not defteri, HorovodRunner'ı temel alarak derin öğrenme için dağıtılmış eğitimi ayarlamak için Hyperopt'un nasıl kullanılacağını gösterir.

Hyperopt ve HorovodRunner için dağıtılmış eğitim not defteri

Defteri al