Elosztott betanítási algoritmusok használata a Hyperopttal
A scikit-learnhez hasonló egygépes betanítási algoritmusok mellett a Hyperoptot elosztott betanítási algoritmusokkal is használhatja. Ebben a forgatókönyvben a Hyperopt különböző hiperparaméter-beállításokkal rendelkező próbaverziókat hoz létre az illesztőprogram-csomóponton. Az egyes próbaverziók az illesztőprogram-csomópontról lesznek végrehajtva, így hozzáférhet a teljes fürterőforrásokhoz. Ez a beállítás bármilyen elosztott gépi tanulási algoritmussal vagy kódtárral működik, beleértve az Apache Spark MLlib és a HorovodRunnert is.
Ha a Hyperoptot elosztott betanítási algoritmusokkal használja, ne adjon át argumentumot trials a osztálynak fmin(), és különösen ne használja az osztályt SparkTrials . SparkTrials Úgy lett kialakítva, hogy olyan algoritmusok próbaverzióit terjessze, amelyek önmagukban nem elosztottak. Elosztott betanítási algoritmusokkal használja az alapértelmezett Trials osztályt, amely a fürtillesztőn fut. A Hyperopt kiértékeli az illesztőprogram-csomópont egyes próbaverzióit, hogy maga az ML-algoritmus kezdeményezhesse az elosztott betanítást.
Megjegyzés
Az Azure Databricks nem támogatja az MLflow-ba való automatikus naplózást az Trials osztálysal. Elosztott betanítási algoritmusok használata esetén manuálisan kell meghívnia az MLflow-t a Hyperopt próbaverzióinak naplózásához.
Példa jegyzetfüzetre: A Hyperopt használata MLlib-algoritmusokkal
A példajegyzetfüzet bemutatja, hogyan hangolhatja az MLlib elosztott betanítási algoritmusait a Hyperopt használatával.
Hyperopt és MLlib elosztott betanítási jegyzetfüzet
Példa jegyzetfüzetre: A Hyperopt használata a HorovodRunnerrel
A HorovodRunner egy általános API, amellyel elosztott mélytanulási számítási feladatokat futtathat a Databricksen. A HorovodRunner integrálja a Horovodot a Spark akadálymentes üzemmódjával , hogy nagyobb stabilitást biztosítson a Spark hosszan futó mélytanulási betanítási feladataihoz.
A példajegyzetfüzet bemutatja, hogyan hangolhat elosztott betanítást a Hyperopt használatával a HorovodRunneren alapuló mélytanuláshoz.