Примеры обучения моделей

В этом разделе приведены примеры обучения моделей машинного обучения на Azure Databricks с использованием многих популярных библиотек с открытым исходным кодом.

Вы также можете использовать AutoML, который автоматически подготавливает набор данных для обучения модели, выполняет набор пробных версий с помощью библиотек с открытым исходным кодом, таких как scikit-learn и XGBoost, и создает Python записную книжку с исходным кодом для каждого запуска пробной версии, чтобы вы могли просматривать, воспроизводить и изменять код.

Примеры Машинного обучения

Пакет	Записные книжки	Функции
scikit-learn	Руководство по машинному обучению	Каталог Unity, модель классификации, MLflow, автоматическая настройка гиперпараметра с помощью Hyperopt и MLflow
scikit-learn	Полный пример	Каталог Unity, модель классификации, MLflow, автоматическая настройка гиперпараметров с помощью Hyperopt и MLflow, XGBoost
MLlib	Примеры MLlib	Двоичная классификация, деревья принятия решений, регрессия GBT, структурированная потоковая передача, настраиваемый преобразователь
XGBoost	Примеры XGBoost	Python, PySpark и Scala, рабочие нагрузки одного узла и распределенное обучение

Пример настройки гиперпараметров

Общие сведения о настройке гиперпараметра в Azure Databricks см. в разделе Hyperparameter.

Замечание

Версия Hyperopt с открытым исходным кодом больше не поддерживается.

Hyperopt не включен в Databricks Runtime для Machine Learning после 16.4 LTS/ML. Azure Databricks рекомендует использовать Optuna для оптимизации на одном узле или RayTune для аналогичного опыта, как при использовании устаревшей функциональности Hyperopt для распределенной настройки гиперпараметров. Дополнительные сведения об использовании RayTune в Azure Databricks.

Пакет	Записная книжка	Функции
Optuna	Начало работы с Optuna	Optuna, распределенная Optuna, scikit-learn, MLflow
Hyperopt	Распределенная функция Hyperopt	Распределенная функция Hyperopt, scikit-learn, MLflow
Hyperopt	Сравнение моделей	Одновременный поиск моделей разных типов в пространстве гиперпараметров с помощью распределенной функции Hyperopt
Hyperopt	Алгоритмы распределенного обучения и Hyperopt	Hyperopt, MLlib
Hyperopt	Рекомендации по Hyperopt	Рекомендации для наборов данных разного размера