Verteilte Multi-GPU-Schulung

Von Bedeutung

Der @distributed-Dekorateur, der in den Notebook-Beispielen verwendet wird, befindet sich in Beta.

Diese Beispiele skalieren das Modelltraining über mehrere GPUs in AI Runtime. Die Notebook-Beispiele verwenden die serverless_gpu Python-API auf zugeordneter GPU-Rechenressource. Die Databricks-CLI-Beispiele bieten Workload-Konfigurationen und Quellcode für das Training mit einem einzelnen Knoten und mehreren GPUs.

Hinweis

Notebook-basiertes Multi-GPU-verteiltes Training wird auf H100-GPUs unterstützt.

Wählen Sie Ihre Parallelitätstechnik aus.

Wählen Sie eine Parallelismus-Technik basierend auf Ihrer Modellgröße, verfügbarem GPU-Speicher und Leistungsanforderungen. Die folgende Tabelle vergleicht die Optionen.

Verfahren Wann verwendet werden soll
DDP (Verteilte Daten parallel) Ein vollständiges Modell passt in den einzelnen GPU-Speicher; es wird notwendig sein, den Datendurchsatz zu skalieren.
FSDP (Vollständig geshardete Datenparallelität) Sehr große Modelle, die nicht in den einzelnen GPU-Speicher passen
DeepSpeed ZeRO Große Modelle mit erweiterten Speicheroptimierungsanforderungen

Ausführliche Informationen zu den einzelnen Techniken finden Sie unter DDP, FSDP und DeepSpeed.

Für Ratschläge und Muster, um Ihre Trainingspipeline effizienter und widerstandsfähiger zu machen, siehe den Leitfaden für Leistung und Resilienz.

Beispiele-Notebooks nach Technik und Framework

Die folgende Tabelle ordnet Notizbuchbeispiele nach Framework oder Bibliothek und der angewandten Parallelismus-Technik. Mehrere Notebooks könnten in einer einzigen Zelle erscheinen.

Framework/Bibliothek DDP-Beispiele FSDP-Beispiele DeepSpeed-Beispiele
PyTorch (nativ) Einfaches neurales MLP-Netzwerk
RetinaNet-Bilddetektion
10M-Parametertransformer —
Huggingface TRL Feinjustierung von Gpt OSS 20B Anpassen von GPT OSS 120B Feinabstimmung Llama 3.2 1B
Unsloth Feinabstimmung Llama 3.2 3B — —
Axolotl Feinabstimmung Olmo3 7B — —
Blitz Zwei-Turm-Empfehlungssystem — —

CLI-Beispiele

Die folgenden Beispiele verlinken zu ausführbaren Rezepten im AI Runtime Cookbook.

Example Technique Beschreibung
Qwen2.5-3B Feinabstimmung mit Ray Train DDP Feinjustiere Qwen2.5-3B mit einem Ray Train Worker pro GPU auf einem 8x H100-Knoten.
Qwen3-8B-Feinabstimmung für die Rechnungsextraktion DeepSpeed ZeRO-3 Feinjustieren Sie Qwen3-8B für die Entitätsextraktion aus Rechnungen und Quittungen mit TRL auf einem 8x H100-Knoten.
ModernBERT-Feinabstimmung mit DDP DDP Feinjustieren Sie ModernBERT für die Themenklassifikation mit PyTorch DDP auf einem 8x H100-Knoten.
LoRA-Feinabstimmung von Nemotron 3.5 Lightning FSDP2 und Expertenparallelität Nemotron 3.5 Lightning mit NeMo AutoModel auf acht H100-GPUs feinabstimmen.
LoRA-Feinabstimmung von Nemotron 3.5 Super VL FSDP2 und Expertenparallelität Optimieren Sie das Nemotron 3.5 Super VL Vision-Language-Modell mit dem NeMo AutoModel über acht H100-GPUs.

Fang mit einem Notebook an

Verwenden Sie die folgenden Lernprogramme, um mit der serverlosen GPU Python-Bibliothek für verteilte Schulungen zu beginnen:

Tutorial Beschreibung
AI-Runtime mit H100-GPUs Erfahren Sie, wie Sie Databricks AI Runtime mit H100-Beschleunigern verwenden, um verteilte GPU-Workloads mithilfe der serverless_gpu Python-Bibliothek auszuführen.