Formation DDP (Distributed Data Parallel)

Important

Le décorateur @distributed utilisé dans les exemples de notebooks se trouve dans la version préliminaire publique.

Cette page contient des exemples de notebook pour l’utilisation de l’entraînement DDP (Distributed Data Parallel) sur AI Runtime. DDP est la technique de parallélisme la plus courante pour l’apprentissage distribué, où le modèle complet est répliqué sur chaque GPU et les lots de données sont divisés entre les GPU.

Quand utiliser DDP

Utilisez DDP quand :

• Votre modèle s’adapte complètement à la mémoire d’un seul GPU
• Vous souhaitez mettre à l’échelle l’entraînement en augmentant le débit des données
• Vous avez besoin de l’approche de formation distribuée la plus simple avec prise en charge automatique dans la plupart des frameworks

Pour les modèles plus volumineux qui ne tiennent pas dans une seule mémoire GPU, envisagez plutôt FSDP ou DeepSpeed .

Exemples

Tutoriel	Description
Formation d’un réseau neuronal de perceptron multicouche simple à l’aide de PyTorch DDP	Ce notebook démontre l’entraînement distribué d’un réseau neuronal simple à perceptron multicouche (MLP) en utilisant le module DDP de PyTorch sur AI Runtime.
Entraînement du modèle OpenAI GPT-OSS 20B, sur 8xH100, à l’aide de TRL et DDP	Ce notebook montre comment utiliser l'API Python GPU Serverless pour exécuter un réglage fin supervisé (SFT) sur le modèle GPT-OSS 20B de Hugging Face en utilisant la bibliothèque TRL (Transformer Reinforcement Learning). Cet exemple utilise DDP sur les 8 GPU H100 du nœud pour étendre la taille globale de la mini-série.
À l’aide d’Unsloth, réglage précis distribué de Llama 3.2 3B	Ce notebook démontre comment utiliser l’API Python GPU serverless pour ajuster un modèle Llama 3.2 3B avec la bibliothèque Unsloth sur 8 GPU A10. Unsloth fournit des optimisations d’entraînement à faible consommation de mémoire et utilise DDP grâce à Hugging Face Accelerate.
Optimisation distribuée d’Olmo3 7B à l’aide d’Axolotl	Ce notebook montre comment utiliser l’API Python Serverless GPU pour affiner un modèle Olmo3 7B avec la bibliothèque Axolotl sur 16 GPU H100. Axolotl est conçu pour simplifier la post-formation et le réglage précis des derniers LLM.
Entraînement d’un système de recommandation à deux tours à l’aide de PyTorch Lightning	Ce notebook montre comment entraîner un modèle de recommandation à deux réseaux à l’aide de PyTorch Lightning sur AI Runtime. PyTorch Lightning fournit une interface de haut niveau qui gère automatiquement la configuration DDP pour l’entraînement multi-GPU. L’exemple inclut la préparation des données au format Mosaic Streaming (MDS) et l’entraînement distribué entre les GPU A10 ou H100. Consultez la page Exemples de recommandations Deep Learning pour des notebooks complets.

Formation d’un réseau neuronal de perceptron multicouche simple à l’aide de PyTorch DDP

Le carnet suivant démontre l’entraînement distribué d’un réseau de neurones simple à perceptron multicouche (MLP) utilisant le module DDP de PyTorch sur AI Runtime.

PyTorch DDP

Obtenir un ordinateur portable

Formation d’un système de recommandation à deux colonnes à l’aide de PyTorch Lightning

Ce notebook montre comment entraîner un modèle de recommandation à deux réseaux à l’aide de PyTorch Lightning sur AI Runtime. PyTorch Lightning fournit une interface de haut niveau qui gère automatiquement la configuration DDP pour l’entraînement multi-GPU. L’exemple inclut la préparation des données au format Mosaic Streaming (MDS) et l’entraînement distribué entre les GPU A10 ou H100.

Consultez la page Exemples de recommandations Deep Learning pour des notebooks complets.