Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Catatan
Hyperopt versi sumber terbuka tidak lagi dipertahankan .
Hyperopt tidak termasuk dalam Databricks Runtime untuk Pembelajaran Mesin setelah 16.4 LTS ML. Azure Databricks merekomendasikan penggunaan
Selain algoritma pelatihan mesin-tunggal seperti yang berasal dari scikit-learn, Anda dapat menggunakan Hyperopt dengan algoritma pelatihan terdistribusi. Dalam skenario ini, Hyperopt menghasilkan uji coba dengan pengaturan hiperparameter yang berbeda pada simpul driver. Setiap uji coba dijalankan dari node driver, memberikannya akses ke sumber daya kluster penuh. Pengaturan ini bekerja dengan algoritma atau pustaka pembelajaran mesin terdistribusi, termasuk Apache Spark MLlib dan HorovodRunner.
Ketika Anda menggunakan Hyperopt dengan algoritma pelatihan terdistribusi, jangan mengirimkan argumen trials ke fmin(), dan khususnya, jangan gunakan kelas SparkTrials.
SparkTrials dirancang untuk mendistribusikan uji coba untuk algoritma yang belum didistribusikan secara otomatis. Dengan algoritma pelatihan terdistribusi, gunakan kelas default Trials, yang berjalan pada driver kluster. Hyperopt mengevaluasi setiap percobaan pada node driver sehingga algoritma ML itu sendiri dapat memulai pelatihan terdistribusi.
Catatan
Azure Databricks tidak mendukung pencatatan otomatis ke MLflow dengan kelas Trials. Saat menggunakan algoritme pelatihan terdistribusi, Anda harus memanggil MLflow secara manual untuk mencatat uji coba untuk Hyperopt.
Contoh buku catatan: Menggunakan Hyperopt dengan algoritma MLlib
Contoh notebook memperlihatkan cara menggunakan Hyperopt untuk menyetel algoritma pelatihan terdistribusi MLlib.
Hyperopt dan MLlib mendistribusikan notebook pelatihan
Contoh buku catatan: Menggunakan Hyperopt dengan HorovodRunner
HorovodRunner adalah API umum yang digunakan untuk menjalankan beban kerja pembelajaran mendalam terdistribusi pada Databricks. HorovodRunner mengintegrasikan Horovod dengan mode penghambat Spark untuk memberikan stabilitas yang lebih tinggi untuk pekerjaan pelatihan pembelajaran mendalam yang berjalan lama di Spark.
Contoh notebook menunjukkan cara menggunakan Hyperopt untuk menyetel pelatihan terdistribusi untuk pembelajaran mendalam berdasarkan HorovodRunner.