ИИ и машинное обучение в Databricks

Создание, развертывание и управление приложениями искусственного интеллекта и машинного обучения с помощью Мозаичного ИИ, интегрированная платформа, которая объединяет весь жизненный цикл ИИ от подготовки данных к рабочему мониторингу.

Чтобы приступить к работе с набором руководств, ознакомьтесь с руководствами по искусственному интеллекту и машинному обучению.

Создание приложений на основе генеративного ИИ

Разработка и развертывание корпоративных приложений генеративного ИИ, таких как точно настроенные модели обработки естественного языка большого объема (LLM), агенты ИИ и создание, дополненное извлечением данных.

Feature	Description
Детская площадка для искусственного интеллекта	Создавайте и тестируйте модели генеративного ИИ без необходимости писать код с помощью проектирования запросов и настройки параметров.
Агент Брюкс	Простой подход к созданию и оптимизации доменных систем агентов СИ высокого качества для распространенных вариантов использования ИИ.
Базовые модели	Обслуживайте современные LLM, включая Meta Llama, Anthropic Claude и OpenAI GPT с помощью безопасных масштабируемых API.
Фреймворк агента ИИ Mosaic	Создание и развертывание агентов с рабочим качеством, включая приложения RAG и многоагентные системы с помощью Python.
MLflow для GenAI	Измеряйте, улучшайте и контролируйте качество в течение жизненного цикла приложений GenAI с использованием метрик, управляемых ИИ, и всеобъемлющего прослеживания.
Векторный поиск	Хранение и внедрение векторов запросов с автоматической синхронизацией с базой знаний для приложений RAG.
Бессерверные вычисления GPU	Настройте рабочие процессы глубокого обучения с одним узлом и с несколькими узлами для обучения и тонкой настройки пользовательских моделей с помощью любимых фреймворков, чтобы получить новейшую эффективность, производительность и качество.
Тонкая настройка базовой модели	Настройте базовые модели с собственными данными для оптимизации производительности для конкретных приложений.

Обучайте классические модели машинного обучения

Создание моделей машинного обучения с помощью автоматизированных средств и сред совместной разработки.

Feature	Description
AutoML	Автоматически создавайте высококачественные модели с минимальным кодом с помощью автоматизированной разработки функций и настройки гиперпараметра.
Среда выполнения Databricks для ML	Предварительно настроенные кластеры с поддержкой TensorFlow, PyTorch, Keras и GPU для разработки глубокого обучения.
Трекер MLflow	Отслеживайте эксперименты, сравнивайте производительность модели и управляйте полным жизненным циклом разработки моделей.
Проектирование компонентов	Создание, управление и обслуживание функций с помощью автоматизированных конвейеров данных и обнаружения компонентов.
Записные книжки Databricks	Среда совместной разработки с поддержкой рабочих процессов Python, R, Scala и SQL для машинного обучения.

Тренировка моделей глубокого обучения

Используйте встроенные платформы для разработки моделей глубокого обучения.

Feature	Description
Распределенное обучение	Примеры распределенного глубокого обучения с помощью Ray, TorchDistributor и DeepSpeed.
Рекомендации по глубокому обучению в Databricks	Рекомендации по глубокому обучению в Databricks.
PyTorch	Одноузловая и распределенная подготовка с помощью PyTorch.
TensorFlow	Одноузловая и распределенная подготовка с помощью TensorFlow и TensorBoard.
Справочные решения	Справочные решения для глубокого обучения.

Развертывание и обслуживание моделей

Развертывание моделей в рабочей среде с масштабируемыми конечными точками, выводом в режиме реального времени и мониторингом корпоративного уровня.

Feature	Description
Обслуживание моделей	Развертывание пользовательских моделей и LLM в качестве масштабируемых конечных точек REST с поддержкой автоматического масштабирования и GPU.
Шлюз искусственного интеллекта	Управление и мониторинг доступа к созданным моделям ИИ с помощью отслеживания использования, ведения журнала полезных данных и элементов управления безопасностью.
Внешние модели	Интеграция сторонних моделей, размещенных за пределами Databricks, с унифицированным управлением и мониторингом.
API-интерфейсы фундаментальной модели	Получите доступ и выполняйте запросы к передовым открытым моделям, размещенным на платформе Databricks.

Мониторинг систем машинного обучения и управление ими

Обеспечение качества модели, целостности данных и соответствия комплексным средствам мониторинга и управления.

Feature	Description
Каталог Unity	Управляйте данными, характеристиками, моделями и функциями с помощью единого контроля доступа, отслеживания происхождения и обнаружения.
Профилирование данных	Отслеживайте качество данных, производительность модели и прогнозирование с помощью автоматизированных оповещений и анализа первопричин.
Обнаружение аномалий	Отслеживайте актуальность и полноту данных на уровне каталога.
MLflow для моделей	Отслеживание, оценка и мониторинг создаваемых приложений ИИ на протяжении всего жизненного цикла разработки.

Внедрение рабочих процессов машинного обучения в производственную среду

Масштабируйте операции машинного обучения с помощью автоматизированных рабочих процессов, интеграции CI/CD и готовых к производству конвейеров.

Feature	Description
Модели в каталоге Unity	Используйте реестр моделей в каталоге Unity для централизованного управления и управления жизненным циклом модели, включая развертывания.
Задания Lakeflow	Создание автоматизированных рабочих процессов и готовых к работе конвейеров ETL для обработки данных машинного обучения.
Рэй на Databricks	Масштабируйте рабочие нагрузки машинного обучения с использованием распределенных вычислений для обучения и инференции крупномасштабных моделей.
Рабочие процессы MLOps	Реализуйте комплексные платформы MLOps с автоматизированным обучением, тестированием и конвейерами развертывания.
Интеграция Git	Управление версиями кода машинного обучения и записных книжек с бесшовной интеграцией Git и совместной разработкой.