Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Tato část obsahuje příklady, které ukazují, jak trénovat modely strojového učení na Azure Databricks pomocí mnoha oblíbených opensourcových knihoven.
Můžete také použít AutoML, který automaticky připraví datovou sadu pro trénování modelu, provede sadu zkušebních verzí pomocí opensourcových knihoven, jako jsou scikit-learn a XGBoost, a vytvoří Python poznámkový blok se zdrojovým kódem pro každé zkušební spuštění, abyste mohli kontrolovat, reprodukovat a upravovat kód.
Příklady strojového učení
| Balíček | Poznámkové bloky | Funkce |
|---|---|---|
| scikit-learn | Kurz strojového učení | Katalog Unity, klasifikační model, MLflow, automatizované ladění hyperparametrů s Hyperoptem a MLflow |
| scikit-learn | Kompletní příklad | Katalog Unity, klasifikační model, MLflow, automatizované ladění hyperparametrů s Hyperopt a MLflow, XGBoost |
| MLlib | Příklady knihovny MLlib | Binární klasifikace, rozhodovací stromy, regrese GBT, strukturované streamování, vlastní transformátor |
| xgboost | Příklady XGBoost | Python, PySpark a Scala, úlohy s jedním uzlem a distribuované trénování |
Příklady ladění hyperparametrů
Obecné informace o ladění hyperparametrů v Azure Databricks najdete v tématu Laděníhyperparametrů.
Poznámka:
Opensourcová verze Hyperoptu se už neudržuje.
Hyperopt není součástí modulu Databricks Runtime pro Machine Learning po 16.4 LTS ML. Azure Databricks doporučuje použít Optuna pro optimalizaci s jedním uzlem nebo RayTune pro podobné prostředí jako u zastaralé funkce ladění hyperparametrů distribuovaného Hyperoptu. Přečtěte si další informace o používání RayTune na Azure Databricks.
| Balíček | Notebook | Funkce |
|---|---|---|
| Optuna | Začínáme s Optuna | Optuna, distributed Optuna, scikit-learn, MLflow |
| Hyperopt | Distribuovaný hyperopt | Distribuovaný hyperopt, scikit-learn, MLflow |
| Hyperopt | Porovnání modelů | Použití distribuovaného hyperoptu k vyhledání prostoru hyperparametrů pro různé typy modelů současně |
| Hyperopt | Distribuované trénovací algoritmy a hyperopt | Hyperopt, MLlib |
| Hyperopt | Osvědčené postupy pro Hyperopt | Osvědčené postupy pro datové sady různých velikostí |