Распределенное обучение с несколькими GPU

Это важно

@distributed Декоратор, используемый в примерах с тетрадями, находится в Public Preview.

Эти примеры масштабируют обучение моделей на нескольких GPU и узлах в AI Runtime. Примеры в записных книжках используют serverless_gpu Python API на подключённых GPU-вычислениях. Примеры CLI Databricks предоставляют конфигурации рабочих нагрузок и исходный код для обучения с одним узлом и с несколькими узлами.

Замечание

Распределённое обучение с мульти-GPU в ноутбуках поддерживается на графических процессорах H100.

Выбор метода параллелизма

Выбирайте технику параллелизма, исходя из размера вашей модели, доступной памяти GPU и требований к производительности. В следующей таблице приведены варианты.

Техника	Когда использовать
DDP (параллельная распределенная передача данных)	Полная модель соответствует одной памяти GPU; требуется масштабирование пропускной способности данных
FSDP (полностью шардированный параллельный доступ к данным)	Очень большие модели, которые не помещаются в память одного GPU
DeepSpeed ZeRO	Большие модели с расширенными потребностями оптимизации памяти

Подробные сведения о каждом методе см. в разделе DDP, FSDP и DeepSpeed.

Для получения советов и шаблонов, которые помогут сделать ваш учебный процесс более эффективным и устойчивым, ознакомьтесь с руководством по эффективности и устойчивости.

Примеры ноутбуков по технике и фреймворку

Следующая таблица организует примеры блокнотов по фреймворку или библиотеке и применяемой технике параллелизма. В одной ячейке может появиться несколько записных книжек.

Платформа или библиотека	Примеры DDP	Примеры FSDP	Примеры DeepSpeed
PyTorch (встроенный)	Простая нейронная сеть MLP Обнаружение изображений RetinaNet	Преобразователь 10M параметров	—
Обнимать TRL	Настройка Gpt OSS 20B	Настройка Gpt OSS 120B	Тонкая настройка Llama 3.2 1B
Unsloth	Тонкая настройка Llama 3.2 3B	—	—
Axolotl	Тонко настроить Olmo3 7B	—	—
Молния	Система рекомендаций с двумя башнями	—	—

Примеры интерфейса командной строки

Следующие примеры ссылаются на исполняемые рецепты в AI Runtime Cookbook.

Example	Technique	Описание
Тонкая настройка ResNet-50 с помощью Ray Train	DDP	Тонко настройте ResNet-50 с одним рабочим Ray Train на каждый GPU A10 на двух узлах.
Тонкая настройка Qwen2.5-3B с помощью Ray Train	DDP	Дообучите Qwen2.5-3B с одним рабочим Ray Train на каждый GPU на узле 8x H100.
Многоузловая тонкая настройка Llama 3.1 8B	FSDP	Тонко настройте Llama 3.1 8B с PyTorch FSDP на двух 8x H100-узлах.
Многоузловая тонкая настройка Qwen3.8-27B	FSDP2	Тонко настройте Qwen3.8-27B с помощью PyTorch FSDP2 на четырёх 8x узлах H100.
Тонкая настройка Qwen3-8B для извлечения данных из счетов	DeepSpeed ZeRO-3	Тонко настройте Qwen3-8B для извлечения сущностей из счетов и квитанций с помощью TRL на одном узле 8x H100.

Начните с ноутбука

Используйте следующие учебники, чтобы приступить к работе с бессерверной библиотекой GPU Python для распределенного обучения:

Руководство	Описание
Среда выполнения ИИ с графическими процессорами H100	Узнайте, как использовать Databricks AI Runtime с акселераторами H100 для выполнения распределенных рабочих нагрузок GPU с помощью библиотеки Python serverless_gpu.