Машинное обучение на Azure Databricks

Создание, развертывание и управление приложениями машинного обучения на Azure Databricks. Интегрированная платформа объединяет весь жизненный цикл машинного обучения от подготовки данных к рабочему мониторингу.

Ищете генеративный ИИ и ИИ-агентов? См. Создание ИИ-агентов в Azure Databricks.

Get started

Попробуйте краткое руководство, подготовьте данные или создайте модель с низким кодом.

Guide	Description
Начало работы. Создание первой модели машинного обучения в Databricks	Создайте простую модель классификации с помощью scikit-learn от начала до конца.
AutoML	Автоматически создавайте высококачественные модели с минимальным кодом с помощью автоматизированной разработки функций и настройки гиперпараметра.
Загрузка данных для машинного обучения и глубокого обучения	Загрузка и подготовка данных для рабочих процессов машинного обучения и глубокого обучения.
Обучение моделей рекомендаций	Обучить модель рекомендаций с помощью двухуровневой архитектуры или архитектуры DLRM.

Обучайте классические модели машинного обучения

Создание моделей машинного обучения с помощью автоматизированных средств и сред совместной разработки.

Feature	Description
Среда выполнения Databricks для ML	Предварительно настроенные кластеры с Scikit-learn, XGBoost, MLflow и другими библиотеками машинного обучения, а также поддержка платформ глубокого обучения.
Трекер MLflow	Отслеживайте эксперименты, сравнивайте производительность модели и управляйте полным жизненным циклом разработки моделей.
Проектирование компонентов	Создание, управление и обслуживание функций с помощью автоматизированных конвейеров данных и обнаружения компонентов.
Записные книжки Databricks	Среда совместной разработки с поддержкой рабочих процессов Python, R, Scala и SQL для машинного обучения.

Обучить модели глубокого обучения

Используйте управляемые вычислительные ресурсы и встроенные платформы для разработки моделей глубокого обучения.

Feature	Description
Распределенное обучение	Примеры распределенного глубокого обучения с помощью Ray, TorchDistributor и DeepSpeed.
Среда выполнения ИИ	Бессерверные вычисления GPU для пользовательских рабочих нагрузок глубокого обучения и вывода.
Рекомендации по DL	Руководство по выбору платформы, загрузке данных, распределенному масштабированию и управлению жизненным циклом модели глубокого обучения.
PyTorch	Одноузловая и распределенная подготовка с помощью PyTorch.

Развертывание и обслуживание моделей

Развертывание моделей в рабочей среде с масштабируемыми конечными точками, выводом в режиме реального времени и мониторингом корпоративного уровня.

Feature	Description
Обслуживание моделей	Развертывание пользовательских моделей и LLM в качестве масштабируемых конечных точек REST с поддержкой автоматического масштабирования и GPU.
Шлюз искусственного интеллекта	Управление и мониторинг доступа к моделям, обслуживаемых на Azure Databricks с отслеживанием использования, ведением журнала полезных данных и элементами управления безопасностью.
Внешние модели	Интеграция сторонних моделей, размещенных за пределами Databricks, с унифицированным управлением и мониторингом.
API-интерфейсы фундаментальной модели	Получите доступ и выполняйте запросы к передовым открытым моделям, размещенным на платформе Databricks.

Мониторинг систем машинного обучения и управление ими

Обеспечение качества модели, целостности данных и соответствия комплексным средствам мониторинга и управления.

Feature	Description
Каталог Unity	Управляйте данными, характеристиками, моделями и функциями с помощью единого контроля доступа, отслеживания происхождения и обнаружения.
Профилирование данных	Отслеживайте качество данных, производительность модели и прогнозирование с помощью автоматизированных оповещений и анализа первопричин.
Обнаружение аномалий	Отслеживайте актуальность и полноту данных на уровне каталога.
MLflow для моделей	Отслеживание экспериментов, управление моделями в каталоге Unity, развертывание и оценка моделей машинного обучения на протяжении всего жизненного цикла разработки.

Внедрение рабочих процессов машинного обучения в производственную среду

Масштабируйте операции машинного обучения с помощью автоматизированных рабочих процессов, интеграции CI/CD и готовых к производству конвейеров.

Feature	Description
Модели в каталоге Unity	Используйте реестр моделей в каталоге Unity для централизованного управления и управления жизненным циклом модели, включая развертывания.
Задания Lakeflow	Создание автоматизированных рабочих процессов и готовых к работе конвейеров ETL для обработки данных машинного обучения.
Рэй на Databricks	Масштабируйте рабочие нагрузки машинного обучения с использованием распределенных вычислений для обучения и инференции крупномасштабных моделей.
Рабочие процессы MLOps	Реализуйте комплексные платформы MLOps с автоматизированным обучением, тестированием и конвейерами развертывания.