Entrenamiento distribuido con varias GPU

Importante

Esta característica se encuentra en su versión beta.

Estos ejemplos permiten escalar el entrenamiento de modelos entre múltiples GPU y nodos en AI Runtime. Los ejemplos de cuadernos de notas utilizan la serverless_gpu API de Python en el proceso de cómputo con GPU adjunto. Los ejemplos de la CLI de Databricks proporcionan configuraciones de carga de trabajo y código fuente para entrenamiento de un solo nodo y de varios nodos.

Nota:

El entrenamiento distribuido multi-GPU basado en notebooks es compatible con GPUs H100.

Elección de la técnica de paralelismo

Elige una técnica de paralelismo basada en el tamaño de tu modelo, la memoria disponible de la GPU y los requisitos de rendimiento. La siguiente tabla compara las opciones.

Técnica	Cuándo se deben usar
DDP (datos distribuidos paralelos)	El modelo completo se ajusta a una sola memoria de GPU; necesidad de escalar el rendimiento de los datos
FSDP (datos totalmente particionados paralelos)	Modelos muy grandes que no caben en una sola memoria de GPU
DeepSpeed ZeRO	Modelos grandes con necesidades avanzadas de optimización de memoria

Para obtener información detallada sobre cada técnica, consulte DDP, FSDP y DeepSpeed.

Para consejos y patrones que hagan tu pipeline de entrenamiento más eficiente y resiliente, consulta la guía de rendimiento y resiliencia.

Ejemplos de notebooks por técnica y framework

La siguiente tabla organiza ejemplos de cuadernos según el marco o biblioteca y la técnica de paralelismo aplicada. Pueden aparecer varios cuadernos de notas en una sola celda.

Marco de trabajo/Biblioteca	Ejemplos de DDP	Ejemplos de FSDP	Ejemplos de DeepSpeed
PyTorch (nativo)	Red neuronal de MLP simple Detección de imágenes de RetinaNet	Transformador de parámetros 10M	—
Huggingface TRL	Ajuste de gpt OSS 20B	Ajuste de gpt OSS 120B	Ajuste de Llama 3.2 1B
Unsloth	Ajuste de Llama 3.2 3B	—	—
Axolotl	Ajuste de Olmo3 7B	—	—
Relámpago	Sistema de recomendación de dos torres	—	—

Ejemplos de la CLI

Los siguientes ejemplos enlazan a recetas ejecutables en el AI Runtime Cookbook.

Example	Technique	Descripción
Ajuste fino de ResNet-50 con Ray Train	DDP	Afinar ResNet-50 con un trabajador Ray Train por cada GPU A10 en dos nodos.
Ajuste fino Qwen2.5-3B con Ray Train	DDP	Afinar Qwen2.5-3B con un trabajador de Ray Train por GPU en un nodo H100 8x.
Ajuste fino multi-nodo de Llama 3.1 8B	FSDP	Afinar Llama 3.1 8B con PyTorch FSDP en dos nodos 8x H100.
Fine-tuning multinodo de Qwen3.8-27B	FSDP2	Ajusta finamente Qwen3.8-27B con PyTorch FSDP2 en cuatro nodos 8x H100.
Ajuste fino Qwen3-8B para extracción de facturas	DeepSpeed ZeRO-3	Ajusta Qwen3-8B para la extracción de entidades de facturas y recibos con TRL en un nodo H100 8x.

Empieza en un cuaderno de notas

Use los siguientes tutoriales para empezar a trabajar con la biblioteca python de GPU sin servidor para el entrenamiento distribuido:

Tutorial	Descripción
Entorno de ejecución de IA con GPU H100	Aprenda a usar Databricks AI Runtime con aceleradores H100 para ejecutar cargas de trabajo distribuidas de GPU mediante la biblioteca de Python de serverless_gpu.