Distribuerad träning för multi-GPU

Viktigt!

Den här funktionen finns i Beta.

Dessa exempel skalar modellträning över flera GPU:er och noder på AI Runtime. Anteckningsboksexempel använder serverless_gpu Python API på ansluten GPU-beräkningsresurs. Databricks CLI-exempel tillhandahåller arbetsbelastningskonfigurationer och källkod för träning med en nod och flera noder.

Anmärkning

Notebook-baserad distribuerad träning med flera GPU:er stöds på H100-GPU:er.

Välj parallellitetsteknik

Välj en parallellismteknik baserat på din modellstorlek, tillgängligt GPU-minne och prestandakrav. Följande tabell jämför alternativen.

Teknik	När det bör användas
DDP (distribuerad dataparallellism)	Fullständig modell passar i ett enda GPU-minne; behöver skala dataflöde
FSDP (fullständigt fragmenterad dataparallell)	Mycket stora modeller som inte får plats i ett enda GPU-minne
DeepSpeed ZeRO	Stora modeller med avancerade minnesoptimeringsbehov

Detaljerad information om varje teknik finns i DDP, FSDP och DeepSpeed.

För råd och mönster för att göra din träningspipeline mer effektiv och motståndskraftig, se guiden för prestation och resiliens.

Exempel på notebookar efter teknik och ramverk

Följande tabell organiserar notebook-exempel efter ramverket eller biblioteket och den parallellismteknik som tillämpas. Flera anteckningsblock kan finnas i en enda cell.

Ramverk/bibliotek	DDP-exempel	FSDP-exempel	DeepSpeed-exempel
PyTorch (inbyggt)	Enkelt MLP-neuralt nätverk RetinaNet-avbildningsidentifiering	10M-parametertransformator	—
Huggingface TRL	Finjustera Gpt OSS 20B	Finjustera Gpt OSS 120B	Finjustera Llama 3.2 1B
Ta bort rullning	Finjustera Llama 3.2 3B	—	—
Axolotl	Finjustera Olmo3 7B	—	—
Lightning	Tvåtornsrekommendatorsystem	—	—

CLI-exempel

Följande exempel länkar till körbara recept i AI Runtime Cookbook.

Example	Technique	Beskrivning
Finjustering av ResNet-50 med Ray Train	DDP	Finjustera ResNet-50 med en Ray Train-arbetare per A10-GPU över två noder.
Qwen2.5-3B finjustering med Ray Train	DDP	Finjustera Qwen2.5-3B med en Ray Train-arbetare per GPU på en 8x H100-nod.
Finjustering av Llama 3.1 8B med flera noder	FSDP	Finjustera Llama 3.1 8B med PyTorch FSDP över två 8x H100-noder.
Fintrimning på flera noder av Qwen3.8-27B	FSDP2	Finjustera Qwen3.8-27B med PyTorch FSDP2 över fyra 8x H100-noder.
Qwen3-8B fintuning för fakturaextraktion	DeepSpeed ZeRO-3	Finjustera Qwen3-8B för faktura- och kvittoentitetsextraktion med TRL på en 8x H100-nod.

Kom igång i en notebook

Använd följande självstudier för att komma igång med det serverlösa GPU Python-biblioteket för distribuerad träning:

Handledning	Beskrivning
AI Runtime med H100 GPU:er	Lär dig hur du använder Databricks AI Runtime med H100-acceleratorer för att köra distribuerade GPU-arbetsbelastningar med hjälp av serverless_gpu Python-biblioteket.