Treinamento distribuído multi-GPU

Importante

Este recurso está em versão Beta.

Estes notebooks permitem escalar o treino de modelos em várias GPUs e nós no AI Runtime. Abrangem as três principais técnicas de paralelismo, DDP, FSDP e DeepSpeed ZeRO, utilizando a API serverless_gpu Python nas GPUs H100.

Observação

O treinamento distribuído multi-GPU é suportado por GPUs H100.

Escolha a sua técnica de paralelismo

Escolha uma técnica de paralelismo com base no tamanho do modelo, memória disponível da GPU e requisitos de desempenho. A tabela seguinte compara as opções.

Técnica	Quando utilizar
DDP (Dados Distribuídos Paralelos)	O modelo completo cabe na memória de uma única GPU, necessitando escalar a largura de banda de dados.
FSDP (Dados Totalmente Fragmentados em Paralelo)	Modelos muito grandes que não cabem numa única memória GPU
DeepSpeed ZeRO	Modelos grandes com necessidades avançadas de otimização de memória

Para informações detalhadas sobre cada técnica, veja DDP, FSDP e DeepSpeed.

Para conselhos e padrões que tornem o seu pipeline de treino mais eficiente e resiliente, consulte o guia de desempenho e resiliência.

Exemplos de cadernos por técnica e estrutura

A tabela seguinte organiza cadernos de exemplo pelo framework/biblioteca que está a usar e pela técnica de paralelismo aplicada. Podem aparecer vários cadernos numa única célula.

Framework/Biblioteca	Exemplos DDP	Exemplos de FSDP	Exemplos de DeepSpeed
PyTorch (nativo)	Rede neural MLP simples Deteção de imagem RetinaNet	Transformador de parâmetros de 10M	—
Huggingface TRL	Ajuste fino do Gpt OSS 20B	Ajuste fino Gpt OSS 120B	Ajuste fino do Llama 3.2 1B
Preguiça	Ajuste fino do Llama 3.2 3B	—	—
Axolote	Ajustar finamente Olmo3 7B	—	—
Relâmpago	Sistema de recomendação de duas torres	—	—

Introdução

Utilize os seguintes tutoriais para começar com a biblioteca Python da GPU serverless para treino distribuído:

Tutorial	Descrição
Runtime de IA com GPUs H100	Aprenda a usar o Databricks AI Runtime com aceleradores H100 para executar cargas de trabalho distribuídas de GPU usando a biblioteca serverless_gpu Python.