Hiperparaméterek finomhangolása
Az Olyan Python-kódtárak, mint az Optuna, a Ray Tune és a Hyperopt leegyszerűsítik és automatizálják a hiperparaméterek finomhangolását, hogy hatékonyan megtalálják a gépi tanulási modellek optimális hiperparaméter-készletét. Ezek a kódtárak több számításra skálázhatók, hogy gyorsan megtalálják a minimális manuális vezénylési és konfigurációs követelményekkel rendelkező hiperparamétereket.
Optuna
Az Optuna egy könnyű keretrendszer, amely megkönnyíti a hiperparaméterek finomhangolásának és a modell kiválasztásának dinamikus keresési helyének meghatározását. Az Optuna tartalmazza a legújabb optimalizálási és gépi tanulási algoritmusokat.
Az Optuna egyszerűen párhuzamosítható a Joblib-lel a számítási feladatok skálázásához, és integrálható a Mlflow-jal a hiperparaméterek és metrikák nyomon követéséhez a kísérletekben.
Az Optuna használatának első lépéseit lásd : Hyperparameter tuning with Optuna.
Sugárhangolás
A Databricks Runtime ML tartalmazza a Ray-t, a párhuzamos számítási feldolgozáshoz használt nyílt forráskódú keretrendszert. A Ray Tune egy hyperparaméter-hangolási kódtár, amely a Ray-t használja háttérrendszerként az elosztott számítástechnikához.
A Ray databricksen való futtatásával kapcsolatos részletekért lásd : Mi az a Ray az Azure Databricksben?. A Ray Tune-re vonatkozó példákért lásd a Ray Tune dokumentációját.
Hyperopt
Feljegyzés
A Hyperopt nyílt forráskódú verzióját a továbbiakban nem tartjuk karban.
A Hyperopt már nincs előre telepítve a Databricks Runtime ML 17.0-s vagy újabb verziója esetén. Az Azure Databricks inkább az Optuna használatát javasolja a hasonló élmény és a naprakészebb hiperparaméter-finomhangolási algoritmusokhoz való hozzáférés érdekében.
A Hyperopt egy Python-kódtár, amely elosztott hiperparaméter-finomhangoláshoz és modellválasztáshoz használható. A Hyperopt egyaránt használható elosztott gépi tanulási algoritmusokkal, mint az Apache Spark MLlib és a Horovod, és olyan egygépes gépi tanulási modellekkel, mint a scikit-learn és a TensorFlow.
A Hyperopt használatának megkezdéséhez lásd : Elosztott betanítási algoritmusok használata a Hyperopttal.
MLlib automatizált MLflow-nyomkövetés
Feljegyzés
Az MLlib automatizált MLflow-nyomkövetése alapértelmezés szerint elavult és le van tiltva a Databricks Runtime 10.4 LTS ML-t és újabb verziót futtató fürtökön.
Ehelyett az MLflow PySpark ML automatikus aktiválását használja a hívássalmlflow.pyspark.ml.autolog()
, amely alapértelmezés szerint engedélyezve van a Databricks autologging funkcióval.
Az MLlib automatizált MLflow-nyomkövetésével, ha CrossValidatort vagy TrainValidationSplitet használó hangolási kódot futtat. A hiperparamétereket és a kiértékelési metrikákat a rendszer automatikusan naplózza az MLflow-ban.
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: