Entraînement distribué multi-GPU

Important

Le décorateur @distributed utilisé dans les exemples de notebooks se trouve dans la version préliminaire publique.

Ces exemples mettent à l’échelle l’entraînement de modèles sur plusieurs GPU et nœuds sur AI Runtime. Les exemples de notebooks utilisent l’API serverless_gpu Python sur une ressource de calcul GPU attachée. Les exemples de code de ligne de commande Databricks fournissent des configurations de charges de travail et du code source pour l’entraînement à nœud unique et multinœud.

Note

L’entraînement distribué multi-GPU basé sur des notebooks est pris en charge sur les GPU H100.

Choisir votre technique de parallélisme

Choisissez une technique de parallélisme basée sur la taille de votre modèle, la mémoire GPU disponible et les exigences de performance. Le tableau suivant compare les options.

Technique	Quand utiliser
DDP (Données Distribuées Parallèles)	Le modèle complet s’adapte à une seule mémoire GPU ; besoin de mettre à l’échelle le débit des données
FSDP (Parallelisation de données entièrement fragmentées)	Très grands modèles qui ne peuvent pas tenir dans la mémoire d'un seul GPU
DeepSpeed ZeRO	Modèles volumineux avec des besoins avancés d’optimisation de la mémoire

Pour plus d’informations sur chaque technique, consultez DDP, FSDP et DeepSpeed.

Pour des conseils et des schémas afin de rendre votre pipeline d’entraînement plus efficace et résilient, consultez le guide de la performance et de la résilience.

Exemples de notebooks par technique et infrastructure

Le tableau suivant organise les exemples de carnets selon le framework ou la bibliothèque et la technique de parallélisme appliquée. Plusieurs notebooks peuvent apparaître dans une même cellule.

Framework/Bibliothèque	Exemples DDP	Exemples FSDP	Exemples DeepSpeed
PyTorch (natif)	Réseau neuronal MLP simple Détection d’image RetinaNet	Transformateur de paramètre 10M	—
Huggingface TRL	Ajuster le Gpt OSS 20B	Ajuster le Gpt OSS 120B	Ajuster Llama 3.2 1B
Unsloth	Ajuster Llama 3.2 3B	—	—
Axolotl	Optimiser le réglage d'Olmo3 7B	—	—
Éclair	Système de recommandation à deux tours	—	—

Exemples CLI

Les exemples suivants renvoient à des recettes exécutables dans le AI Runtime Cookbook.

Example	Technique	Description
Réglage fin du ResNet-50 avec Ray Train	DDP	Ajustez ResNet-50 avec un travailleur Ray Train par GPU A10 réparti sur deux nœuds.
Réglage fin Qwen2.5-3B avec Ray Train	DDP	Ajustez Qwen2.5-3B avec un worker Ray Train par GPU sur un nœud H100 8x.
Réglage fin multi-nœuds de Llama 3.1 8B	FSDP	Ajustez Llama 3.1 8B avec PyTorch FSDP sur deux nœuds 8x H100.
Ajustement fin de Qwen3.8-27B sur plusieurs nœuds	FSDP2	Affinez Qwen3.8-27B avec PyTorch FSDP2 sur quatre nœuds 8x H100.
Qwen3-8B ajustement fin pour l’extraction des factures	DeepSpeed ZeRO-3	Ajustez Qwen3-8B pour l’extraction des entités de facture et de reçu avec TRL sur un nœud H100 8x.

Commencez dans un notebook

Utilisez les didacticiels suivants pour commencer à utiliser la bibliothèque Python GPU serverless pour l’entraînement distribué :

Tutoriel	Description
Runtime IA avec GPUs H100	Découvrez comment utiliser Databricks AI Runtime avec des accélérateurs H100 pour exécuter des charges de travail GPU distribuées à l’aide de la bibliothèque Python serverless_gpu.