Использование scikit-learn в Azure Databricks
На этой странице приведены примеры использования scikit-learn пакета для обучения моделей машинного обучения в Azure Databricks. scikit-learn является одной из самых популярных библиотек Python для машинного обучения с одним узлом и включен в Databricks Runtime и Databricks Runtime ML. Сведения о том, какая версия библиотеки scikit-learn входит в среду выполнения вашего кластера, см. в заметках о выпуске Databricks Runtime.
Эти записные книжки можно импортировать и запустить в рабочей области Azure Databricks.
Дополнительные примеры записных книжек для быстрого начала работы в Azure Databricks см . в руководствах по началу работы с ИИ и машинным обучением.
Базовый пример использования scikit-learn
В этой записной книжке представлен краткий обзор обучения моделей машинного обучения на Azure Databricks. Он использует scikit-learn пакет для обучения простой модели классификации. Он также иллюстрирует использование MLflow для отслеживания процесса разработки модели и Optuna для автоматизации настройки гиперпараметров.
Если рабочая область включена для каталога Unity, используйте эту версию записной книжки:
Записная книжка классификации scikit-learn (каталог Unity)
Если рабочая область не включена для каталога Unity, используйте эту версию записной книжки:
Записная книжка классификации scikit-learn
Полный пример использования scikit-learn в Azure Databricks
Эта записная книжка использует scikit-learn для иллюстрации полного комплексного примера загрузки данных, обучения модели, настройки распределенного гиперпараметра и вывода модели. Он также иллюстрирует управление жизненным циклом модели с помощью реестра моделей MLflow для регистрации и регистрации модели.
Если рабочая область включена для каталога Unity, используйте эту версию записной книжки:
Использование scikit-learn с интеграцией MLflow в Databricks (каталог Unity)
Если рабочая область не включена для каталога Unity, используйте эту версию записной книжки: