Aracılığıyla paylaş

Hiper parametre ayarı

  • Makale

Optuna, Ray Tune ve Hyperopt gibi Python kitaplıkları, makine öğrenmesi modelleri için en uygun hiper parametre kümesini verimli bir şekilde bulmak için hiper parametre ayarlamayı basitleştirir ve otomatikleştirir. Bu kitaplıklar, minimum el ile düzenleme ve yapılandırma gereksinimleriyle hiper parametreleri hızla bulmak için birden çok işlem arasında ölçeklendirilir.

Optuna

Optuna , hiper parametre ayarlama ve model seçimi için dinamik bir arama alanı tanımlamayı kolaylaştıran hafif bir çerçevedir. Optuna, en son iyileştirme ve makine öğrenmesi algoritmalarından bazılarını içerir.

Optuna, iş yüklerini ölçeklendirmek için Joblib ile kolayca paralelleştirilebilir ve denemeler genelinde hiper parametreleri ve ölçümleri izlemek için Mlflow ile tümleştirilebilir.

Optuna'yı kullanmaya başlamak için bkz . Optuna ile hiper parametre ayarlama.

Ray Tune

Databricks Runtime ML, paralel işlem işleme için kullanılan açık kaynak bir çerçeve olan Ray'i içerir. Ray Tune, Ray ile birlikte gelen ve dağıtılmış bilgi işlem için arka uç olarak Ray kullanan bir hiper parametre ayarlama kitaplığıdır.

Ray'i Databricks'te çalıştırma hakkında ayrıntılı bilgi için bkz . Azure Databricks'te Ray nedir?. Ray Tune örnekleri için Ray Tune belgelerine bakın.

Hyperopt

Not

Hyperopt'un açık kaynak sürümü artık korunmaz.

Hyperopt, sonraki ana DBR ML sürümünde kaldırılacaktır. Azure Databricks, benzer bir deneyim için Optuna'nın kullanılmasını ve daha güncel hiper parametre ayarlama algoritmalarına erişmenizi önerir.

Hyperopt , dağıtılmış hiper parametre ayarlama ve model seçimi için kullanılan bir Python kitaplığıdır. Hyperopt scikit-learn ve TensorFlow gibi tek makineli ML modellerinin yanı sıra Apache Spark MLlib ve Horovod gibi dağıtılmış M algoritmalarıyla uyumlu çalışır.

Hyperopt kullanmaya başlamak için bkz . Hyperopt ile dağıtılmış eğitim algoritmalarını kullanma.

MLlib otomatik MLflow izleme

Not

MLlib otomatik MLflow izleme, Databricks Runtime 10.4 LTS ML ve üzerini çalıştıran kümelerde varsayılan olarak kullanım dışıdır ve devre dışıdır.

Bunun yerine, Databricks Autologging ile varsayılan olarak etkinleştirilen öğesini çağırarak mlflow.pyspark.ml.autolog()MLflow PySpark ML otomatik kaydetme özelliğini kullanın.

MLlib otomatik MLflow izleme ile, CrossValidator veya TrainValidationSplit kullanan ayarlama kodunu çalıştırdığınızda. Hiper parametreler ve değerlendirme ölçümleri MLflow'da otomatik olarak günlüğe kaydedilir.