Среда выполнения ИИ

AI Runtime — это полностью управляемое бессерверное предложение вычислительных ресурсов GPU в Databricks для вашего обучения, тонкой настройки и более широкого круга задач глубокого обучения.

• Бессерверные GPU: A10 и H100 по требованию, доступные через Databricks CLI, ноутбуки, задачи и Ray.
• Управляемые среды: готовые среды и загрузчики данных, готовые к обучению и тонкой настройке, или используйте собственный контейнер Docker.
• Встроенные средства мониторинга: отслеживание экспериментов через MLflow, логирование и агенты отладки.
• Оркестрация: планируйте рабочие нагрузки GPU и используйте их в CI/CD конвейерах.

Начало работы

Узнайте о AI Runtime и запустите свою первую рабочую нагрузку.

Начало работы	Description
🚀 Быстрый старт	Запустите свою первую рабочую нагрузку на AI Runtime с терминала.
🧭 Обзор	Узнайте ключевые вещи о AI Runtime: какие GPU доступны, как он работает и какие ограничения.
💡 Примеры	Просматривайте руководства по notebook и запускаемые рецепты Databricks CLI, организованные по задачам.

Подключитесь к GPU

Получить доступ к GPU можно через CLI Databricks, ноутбуки, Jobs или через Ray.

Функция	Description
Databricks CLI	Отправляйте и управляйте распределёнными заданиями по обучению GPU с вашего ноутбука с помощью конфигураций заданий YAML.
Ноутбуки	Подключите блокнот к AI Runtime и разрабатывайте интерактивно, без настройки кластера.
Работы	Запланируйте нагрузку на GPU в AI Runtime как повторяющуюся задачу и оркестрируйте её с задачами upstream и downstream.
Луч	Запускайте Ray Core, Ray Data, Ray Train и Ray Tune на AI Runtime.

Разрабатывайте рабочие нагрузки

Загружайте данные эффективно, настраивайте окружение и разрабатывайте рабочие процессы с помощью агентов для программирования.

Функция	Description
Загрузить данные в GPU	Передавайте данные в потоковом режиме из томов Unity Catalog, используя отказоустойчивые загрузчики, обеспечивающие высокую загрузку GPU.
Готовые среды	Начните с минимальной среды Standard или AI-среды Databricks с предварительной загрузкой ML-фреймворков.
Пользовательские образы Docker	Берите свой собственный образ Docker, когда ваша рабочая нагрузка требует пользовательских системных библиотек или зависимостей.
Агенты для программирования	Используйте Genie Code и навык агента databricks-ai-runtime для создания, отправки и управления нагрузками GPU.

Отслеживайте, отлаживайте и развертывайте

Отслеживайте эксперименты, проверяйте журналы, диагностируйте отказы и планируйте рабочие нагрузки в промышленной среде.

Функция	Description
MLflow для отладки	Отслеживайте эксперименты, метрики и запуски с помощью MLflow.
Просмотр журналов	Просматривайте результаты обучения, отслеживайте использование ресурсов GPU, пока ваш код выполняется, и выполняйте отладку с помощью Genie Code.
Планировать рабочие нагрузки	Развертывайте обучающий код с помощью пакетов декларативной автоматизации, планируйте запуски и строите многозадачные рабочие процессы GPU и CPU.
Обслуживание обученных моделей	Развернуть модели, обученные на AI Runtime, в Model Serving.

Guides

Изучите руководства по миграции, учебные материалы и технические ресурсы для AI Runtime.

Resource	Description
Почему стоит использовать AI Runtime	Сравните AI Runtime с классическими вычислениями и Databricks Runtime ML по стоимости, опыту разработчика и масштабу.
Переход со Slurm	Сопоставьте ваши пакетные скрипты Slurm, средства запуска распределённых задач и общее хранилище данных с Databricks CLI.
Миграция классических рабочих нагрузок GPU	Перенести существующую нагрузку на глубокое обучение из классического кластера Databricks в AI Runtime.
Оптимизируйте производительность рабочих нагрузок	Повысить пропускную способность обучения и сделать долгосрочные работы более устойчивыми к неудачам.