Aracılığıyla paylaş

Hiper parametre ayarı

  • Makale

Machine Learning için Databricks Runtime, model seçimi ve hiper parametre ayarlama sürecini otomatikleştiren açık kaynak Hyperopt aracını içerir.

Ray ile hiper parametre ayarlama

Databricks Runtime ML, ML iş akışlarını ve yapay zeka uygulamalarını ölçeklendirmek için paralel işlem işleme konusunda uzmanlaşmış açık kaynak bir çerçeve olan Ray'i içerir. Bkz . Azure Databricks'te Ray kullanma.

Hyperopt ile hiper parametre ayarlama

Databricks Runtime ML, dağıtılmış hiper parametre ayarlamayı ve model seçimini kolaylaştıran bir Python kitaplığı olan Hyperopt’u içerir. Hyperopt ile tanımladığınız alanlar genelinde algoritmaları ve hiper parametreleri çeşitlendirirken bir grup Python modelini tarayabilirsiniz. Hyperopt scikit-learn ve TensorFlow gibi tek makineli ML modellerinin yanı sıra Apache Spark MLlib ve Horovod gibi dağıtılmış M algoritmalarıyla uyumlu çalışır.

Hyperopt’u kullanırken atılması gereken temel adımlar şunlardır:

  1. Simge durumuna küçülteceğiniz hedeflenen işlevi tanımlayın. Bu, genellikle bir eğitim veya doğrulama kaybıdır.
  2. Hiper parametre arama alanını tanımlayın. Hyperopt, aynı çalıştırmada farklı ML algoritmalarını karşılaştırmanızı sağlayan koşullu bir arama alanı sağlar.
  3. Arama algoritmasını belirtin. Hyperopt belirlenimci bir kılavuz aramasına göre daha verimli bir hiper parametre alanı araması gerçekleştiren stokastik ayarlama algoritmaları kullanır.
  4. fmin() Hyperopt işlevini çalıştırın. fmin(), önceki adımlarda tanımladığınız öğeleri alarak hedeflenen işlevi simge durumuna küçülten hiper parametre grubu tanımlar.

Scikit-learn algoritmaları ile Hiperopt’u hızlıca kullanmaya başlamak için bkz:

Hyperopt’un nasıl çalıştığı hakkında daha fazla bilgi ve ek örnekler için bkz:

Otomatik MLflow izleme

Not

MLlib otomatik MLflow izleme, Databricks Runtime 10.4 LTS ML ve üzerini çalıştıran kümelerde varsayılan olarak kullanım dışıdır ve devre dışıdır. Bunun yerine, Databricks Autologging ile varsayılan olarak etkinleştirilen öğesini çağırarak mlflow.pyspark.ml.autolog()MLflow PySpark ML otomatik kaydetme özelliğini kullanın.

Databricks Runtime 10.4 LTS ML ve üzerinde eski MLlib otomatik MLflow izlemesini kullanmak için Spark yapılandırmalarınıspark.databricks.mlflow.trackMLlib.enabled true ve spark.databricks.mlflow.autologging.enabled falseayarını yaparak etkinleştirin.