Рэй на AI Runtime

Important

Эта функция доступна в общедоступной предварительной версии.

Замечание

Эта страница посвящена Рэю в AI Runtime. Если вы используете Ray на Databricks Classic Compute с Databricks Runtime ML, смотрите Ray на Databricks.

Ray — это открытый код фреймворк для масштабирования рабочих нагрузок на Python. Вы можете создавать кластеры Ray и запускать приложения Ray в AI Runtime, используя бессерверные GPU-ресурсы, которые автоматически обеспечивают развёртывание инфраструктуры.

Используйте Ray в тетрадях

Когда ваш ноутбук подключён к вычислениям AI Runtime GPU, используйте ray_init() из пакета serverless_gpu для запуска Ray на приложенном вычислительном устройстве:

from serverless_gpu import ray_init

ray_init()

ray_init() настраивает дашборд Ray для доступа через прокси драйвера Databricks и выводит URL-адрес дашборда в выводе блокнота. Используйте дашборд для проверки заданий, задач и использования ресурсов Ray во время выполнения кода.

Замечание

Для ray_init() требуется версия среды 5 или более поздняя. Databricks AI v6 включает Рэя. Если вы используете Standard v6, установите Ray перед вызовом ray_init().

Примеры записных книжек

Example	Description
Ray Core Hello World	Отправьте асинхронные задачи GPU на подключённых вычислительных ресурсах, проверьте планирование в панели управления Ray и получите результаты.
Пакетный инференс Qwen2.5-32B с помощью Ray Data и vLLM	Запустите многоязычную пакетную инференцию с восемью постоянно работающими репликами vLLM на 8 графических процессорах H100 и сохраните результаты в формате Parquet в Unity Catalog.

Используйте Ray с AI Runtime CLI

AI Runtime CLI поддерживает Ray в конфигурациях с одним узлом и с несколькими узлами. Добавьте начальный скрипт в раздел command рабочей нагрузки, который запускает кластер Ray и координирует головной и рабочие узлы при запуске рабочей нагрузки. Примеры Ray hello world иллюстрируют этот шаблон.

AI Runtime поддерживает основные библиотеки Ray, включая Ray Core, Ray Data, Ray Train и Ray Tune. В среде Standard добавьте ray или соответствующий дополнительный компонент (ray[data], ray[train] или ray[tune]) в зависимости вашей рабочей нагрузки. Среда искусственного интеллекта Databricks включает Ray.

Примеры интерфейса командной строки

Example	Description
Примеры Ray Hello World	Минимальные примеры для одноузловых и многоузловых конфигураций Ray Core, Ray Train, Ray Data и Ray Tune, включая шаблон инициализации кластера.
Распределенное обучение с помощью Ray Train	Тонко настройте большую языковую модель на нескольких узлах с помощью Ray Train и PyTorch.
Пакетный вывод с помощью Ray Data и vLLM	Запускайте крупномасштабный пакетный вывод с использованием Ray Data для распределённой загрузки данных и vLLM для эффективного обслуживания моделей.
Поиск по гиперпараметрам с помощью Ray Tune	Подберите гиперпараметры дообучения LoRA для Qwen2.5 с помощью Ray Tune, запуская по одному эксперименту на каждом GPU и досрочно останавливая малоэффективные эксперименты с помощью планировщика ASHA.