Hiper parametre ayarı

Optuna, Ray Tune ve Hyperopt gibi Python kitaplıkları, makine öğrenmesi modelleri için en uygun hiper parametre kümesini verimli bir şekilde bulmak için hiper parametre ayarlamayı basitleştirir ve otomatikleştirir. Bu kitaplıklar, minimum el ile düzenleme ve yapılandırma gereksinimleriyle hiper parametreleri hızla bulmak için birden çok işlem arasında ölçeklendirilir.

Optuna

Optuna , hiper parametre ayarlama ve model seçimi için dinamik bir arama alanı tanımlamayı kolaylaştıran hafif bir çerçevedir. Optuna, en son iyileştirme ve makine öğrenmesi algoritmalarından bazılarını içerir.

Optuna iş yüklerini ölçeklendirmek için Joblib ile kolayca paralelleştirilebilir ve denemeler genelinde hiper parametreleri ve ölçümleri izlemek için MLflow ile tümleştirilebilir.

Optuna'yı kullanmaya başlamak için bkz . Optuna ile hiper parametre ayarlama.

Ray Tune

Databricks Runtime ML, paralel işlem işleme için kullanılan açık kaynak bir çerçeve olan Ray'i içerir. Ray Tune, Ray ile birlikte gelen ve dağıtılmış bilgi işlem için arka uç olarak Ray kullanan bir hiper parametre ayarlama kitaplığıdır.

Ray'i Databricks'te çalıştırma hakkında ayrıntılı bilgi için bkz . Azure Databricks'te Ray nedir?. Ray Tune örnekleri için Ray Tune belgelerine bakın.

Hyperopt

Not

Hyperopt'un açık kaynak sürümü artık korunmaz.

Hyperopt, 16.4 LTS ML'nin ardından Machine Learning için Databricks Runtime'a dahil değildir. Azure Databricks, tek düğümlü iyileştirme için Optuna veya kullanım dışı bırakılan Hyperopt dağıtılmış hiper parametre ayarlama işlevine benzer bir deneyim için RayTune kullanmanızı önerir. Azure Databricks'te RayTune kullanma hakkında daha fazla bilgi edinin.

Hyperopt , dağıtılmış hiper parametre ayarlama ve model seçimi için kullanılan bir Python kitaplığıdır. Hyperopt scikit-learn ve TensorFlow gibi tek makineli ML modellerinin yanı sıra Apache Spark MLlib ve Horovod gibi dağıtılmış M algoritmalarıyla uyumlu çalışır.

Hyperopt kullanmaya başlamak için bkz . Hyperopt ile dağıtılmış eğitim algoritmalarını kullanma.

MLlib otomatik MLflow izleme

Not

MLlib otomatik MLflow izleme, Databricks Runtime 10.4 LTS ML ve üzerini çalıştıran kümelerde varsayılan olarak kullanım dışıdır ve devre dışıdır.

Bunun yerine, Databricks Autologging ile özelliğini kullanınmlflow.pyspark.ml.autolog()

MLlib'in otomatik MLflow izlemesi ile CrossValidator veya TrainValidationSplit kullanan ayarlama kodunu çalıştırdığınızda, hiperparametreler ve değerlendirme metrikleri otomatik olarak MLflow'da günlüğe kaydedilir.