Gedistribueerde training met meerdere GPU's

Belangrijk

Deze functie bevindt zich in de bètaversie.

Deze voorbeelden schalen modeltraining over meerdere GPU's en nodes op AI Runtime. De notebookvoorbeelden gebruiken de serverless_gpu Python API op gekoppelde GPU-rekenresources. De Databricks CLI-voorbeelden bieden workloadconfiguraties en broncode voor single-node en multi-node training.

Opmerking

Notebook-gebaseerde multi-GPU gedistribueerde training wordt ondersteund op H100 GPU's.

Uw parallellismetechniek kiezen

Kies een parallelisme-techniek op basis van je modelgrootte, beschikbare GPU-geheugen en prestatie-eisen. De volgende tabel vergelijkt de opties.

Techniek	Wanneer gebruiken
DDP (gedistribueerde gegevens parallel)	Volledig model past in het geheugen van een enkele GPU; de gegevensdoorvoer moet worden opgeschaald.
FSDP (volledig gesharded Data Parallel)	Zeer grote modellen die niet passen in één GPU-geheugen
DeepSpeed ZeRO	Grote modellen met geavanceerde geheugenoptimalisatiebehoeften

Zie DDP, FSDP en DeepSpeed voor gedetailleerde informatie over elke techniek.

Voor advies en patronen om je trainingspijplijn efficiënter en veerkrachtiger te maken, zie de handleiding voor prestaties en veerkracht.

Voorbeelden van notitieboeken per techniek en raamwerk

De volgende tabel organiseert notitieboekvoorbeelden per framework of bibliotheek en de toegepaste parallelismetechniek. Meerdere notebooks kunnen in één cel verschijnen.

Framework/Bibliotheek	DDP-voorbeelden	FSDP-voorbeelden	DeepSpeed-voorbeelden
PyTorch (native)	Eenvoudig MLP-neuraal netwerk RetinaNet-afbeeldingsdetectie	10M-parametertransformator	—
Huggingface TRL	Gpt OSS 20B verfijnen	Gpt OSS 120B verfijnen	Llama 3.2 1B verfijnen
Unsloth	Llama 3.2 3B verfijnen	—	—
Axolotl	Olmo3 7B verfijnen	—	—
Bliksem	Aanbevelingssysteem met twee torens	—	—

CLI-voorbeelden

De volgende voorbeelden linken naar uitvoerbare recepten in het AI Runtime Cookbook.

Example	Technique	Beschrijving
ResNet-50 finetuning met Ray Train	DDP	Fijn afstellen van ResNet-50 met één Ray Train-worker per A10 GPU over twee nodes.
Qwen2.5-3B fijnafstelling met Ray Train	DDP	Fijn afstellen van Qwen2.5-3B met één Ray Train-worker per GPU op een 8x H100-node.
Multi-node fine-tuning van Llama 3.1 8B	FSDP	Fijn afstellen van Llama 3.1 8B met PyTorch FSDP over twee 8x H100-nodes.
Multi-node fine-tuning van Qwen3.8-27B	FSDP2	Fijn afstellen van Qwen3.8-27B met PyTorch FSDP2 over vier 8x H100-nodes.
Qwen3-8B fine-tuning voor factuur-extractie	DeepSpeed ZeRO-3	Stem Qwen3-8B af voor extractie van entiteiten uit facturen en bonnen met TRL op één 8x H100-knooppunt.

Ga aan de slag in een notebook

Gebruik de volgende handleidingen om aan de slag te gaan met de GPU-Python-bibliotheek voor serverloze toepassingen en gedistribueerde training.

Handleiding	Beschrijving
AI Runtime met H100 GPUs	Meer informatie over het gebruik van Databricks AI Runtime met H100-accelerators voor het uitvoeren van gedistribueerde GPU-workloads met behulp van de serverless_gpu Python-bibliotheek.