Treinamento distribuído com várias GPUs

Importante

Esse recurso está em Beta.

Esses exemplos escalam o treinamento de modelos entre múltiplas GPUs e nós no AI Runtime. Os exemplos de notebooks usam a serverless_gpu API Python em recurso de computação com GPU anexada. Os exemplos da CLI Databricks fornecem configurações de carga de trabalho e código-fonte para treinamento de nó único e de múltiplos nós.

Observação

Treinamento distribuído multi-GPU baseado em notebooks é suportado em GPUs H100.

Escolha sua técnica de paralelismo

Escolha uma técnica de paralelismo baseada no tamanho do seu modelo, memória disponível da GPU e requisitos de desempenho. A tabela a seguir compara as opções.

Técnica	Quando usar
DDP (Dados Distribuídos Paralelos)	O modelo completo se encaixa na memória de GPU única; precisa dimensionar a taxa de transferência de dados
FSDP (Fully Sharded Data Parallel)	Modelos muito grandes que não se encaixam na memória de GPU única
DeepSpeed ZeRO	Modelos grandes com necessidades avançadas de otimização de memória

Para obter informações detalhadas sobre cada técnica, consulte DDP, FSDP e DeepSpeed.

Para conselhos e padrões que tornem seu pipeline de treinamento mais eficiente e resiliente, consulte o guia de desempenho e resiliência.

Exemplos de cadernos por técnica e framework

A tabela a seguir organiza exemplos de cadernos pelo framework ou biblioteca e pela técnica de paralelismo aplicada. Vários notebooks podem aparecer em uma única célula.

Estrutura/Biblioteca	Exemplos de DDP	Exemplos de FSDP	Exemplos de DeepSpeed
PyTorch (nativo)	Rede neural MLP simples Detecção de imagens RetinaNet	Transformador de parâmetro de 10M	—
Huggingface TRL	Aperfeiçoar o GPT OSS 20B	Ajuste fino do GPT OSS 120B	Ajuste fino do Llama 3.2 1B
Unsloth	Ajuste fino do Llama 3.2 3B	—	—
Axolotl	Ajuste fino do Olmo3 7B	—	—
Relâmpago	Sistema de recomendação de duas torres	—	—

Exemplos da CLI

Os exemplos a seguir linkam para receitas executáveis no AI Runtime Cookbook.

Example	Technique	Descrição
Ajuste fino do ResNet-50 com Ray Train	DDP	Ajuste o ResNet-50 com um trabalhador Ray Train por GPU A10 em dois nós.
Qwen2.5-3B ajuste fino com Ray Train	DDP	Ajuste finamente o Qwen2.5-3B com um trabalhador Ray Train por GPU em um nó 8x H100.
Fine-tuning multinó do Llama 3.1 8B	FSDP	Ajuste fino do Llama 3.1 8B com PyTorch FSDP distribuído em dois nós 8x H100.
Ajuste refinado multinó do Qwen3.8-27B	FSDP2	Ajuste fino do Qwen3.8-27B com PyTorch FSDP2 em quatro nós 8x H100.
Ajuste fino Qwen3-8B para extração de faturas	DeepSpeed ZeRO-3	Ajuste fino do Qwen3-8B para extração de entidades de faturas e recibos com TRL em um nó 8x H100.

Comece em um notebook

Use os tutoriais a seguir para começar a usar a biblioteca Python de GPU sem servidor para treinamento distribuído:

Tutorial	Descrição
Runtime de IA com GPUs H100	Saiba como usar o Databricks AI Runtime com aceleradores H100 para executar cargas de trabalho de GPU distribuídas usando a biblioteca serverless_gpu Python.