Рэй на AI Runtime

Important

Эта функция доступна в общедоступной предварительной версии.

Замечание

Эта страница посвящена Рэю в AI Runtime. Если вы используете Ray на Databricks Classic Compute с Databricks Runtime ML, смотрите Ray на Databricks.

Ray — это открытый код фреймворк для масштабирования рабочих нагрузок на Python. Вы можете создавать кластеры Ray и запускать приложения Ray в AI Runtime, используя бессерверные GPU-ресурсы, которые автоматически обеспечивают развёртывание инфраструктуры.

AI Runtime CLI поддерживает Ray в конфигурациях с одним узлом и с несколькими узлами. Добавьте начальный скрипт в раздел command рабочей нагрузки, который запускает кластер Ray и координирует головной и рабочие узлы при запуске рабочей нагрузки. Примеры Ray hello world иллюстрируют этот шаблон.

AI Runtime поддерживает основные библиотеки Ray, включая Ray Core, Ray Data, Ray Train и Ray Tune. Установите библиотеку ray или соответствующий дополнительный пакет Ray (ray[data], ray[train], ray[tune]) в качестве зависимости для вашей рабочей нагрузки в стандартной среде Databricks. Если вы используете среду Databricks AI, ray предустановлен, но дополнительные компоненты необходимо устанавливать отдельно.

Examples

Example	Description
Примеры Hello World для Ray (CLI)	Минимальные примеры для одноузловых и многоузловых конфигураций Ray Core, Ray Train, Ray Data и Ray Tune, включая шаблон инициализации кластера.
Распределённое обучение с Ray Train (CLI)	Тонко настройте большую языковую модель на нескольких узлах с помощью Ray Train и PyTorch.
Пакетная инференция с помощью Ray Data и vLLM (CLI)	Запускайте крупномасштабный пакетный вывод с использованием Ray Data для распределённой загрузки данных и vLLM для эффективного обслуживания моделей.
Поиск гиперпараметров с помощью Ray Tune (CLI)	Подберите гиперпараметры дообучения LoRA для Qwen2.5 с помощью Ray Tune, запуская по одному эксперименту на каждом GPU и досрочно останавливая малоэффективные эксперименты с помощью планировщика ASHA.