Çoklu GPU dağıtık eğitim

Önemli

@distributed Defter örneklerinde kullanılan dekoratör Beta aşamasındadır.

Bu örnekler, AI Çalışma Zamanında birden fazla GPU üzerinde model eğitimini ölçeklendiriyor. Notebook örnekleri, bağlı GPU hesaplamasında serverless_gpu Python API'sini kullanır. Databricks CLI örnekleri, tek düğümlü, çoklu GPU eğitimi için iş yükü yapılandırmaları ve kaynak kod sağlar.

Uyarı

H100 GPU'larda notebook tabanlı çok GPU'lu dağıtık eğitim desteklenmektedir.

Paralellik tekniğinizi seçin

Model boyutunuza, mevcut GPU belleğinize ve performans gereksinimlerinize göre paralellik tekniği seçin. Aşağıdaki tablo seçenekleri karşılaştırmaktadır.

Teknik	Kullanılması gereken durumlar
DDP (Dağıtılmış Veri Paralel)	Tam model tek GPU belleğine uyar; veri aktarım hızını ölçeklendirme ihtiyacı
FSDP (Tam Parçalı Veri Paralel)	Tek GPU belleğine sığmayan çok büyük modeller
DeepSpeed ZeRO	Gelişmiş bellek iyileştirme gereksinimlerine sahip büyük modeller

Her teknik hakkında ayrıntılı bilgi için bkz. DDP, FSDP ve DeepSpeed.

Eğitim hattınızı daha verimli ve dayanıklı hale getirecek tavsiyeler ve kalıplar için performans ve dayanıklılık rehberine bakabilirsiniz.

Teknik ve çerçeveye göre notebook örnekleri

Aşağıdaki tablo, notebook örneklerini çerçeve veya kütüphane ve uygulanan paralellik tekniğine göre düzenler. Tek bir hücrede birden fazla notebook görünebilir.

Çerçeve/Kitaplık	DDP örnekleri	FSDP örnekleri	DeepSpeed örnekleri
PyTorch (doğal)	Basit MLP sinir ağı RetinaNet görüntü algılama	10M parametre transformatörü	—
Huggingface TRL	Gpt OSS 20B'de ince ayar yapma	Gpt OSS 120B'yi ince ayar yap	Lama 3.2 1B ince ayar
Serbest Bırakma	Llama 3.2 3B'yi ince ayar yapın	—	—
Axolotl	Olmo3 7B'yi ince ayarla	—	—
Yıldırım	İki kuleli tavsiye sistemi	—	—

CLI örnekleri

Aşağıdaki örnekler, AI Runtime Cookbook'taki çalıştırılabilir tariflere bağlantı vermektedir.

Example	Technique	Açıklama
Qwen2.5-3B Ray Train ile ince ayar	DDP	Qwen2.5-3B'yi GPU başına bir Ray Train çalışanı ile 8x H100 düğümünde ince ayar edin.
Qwen3-8B fatura çıkarma için ince ayar	DeepSpeed ZeRO-3	Qwen3-8B'yi TRL ile bir 8x H100 düğümünde fatura ve makbuz varlık çıkarımı için ince ayarla.
DDP ile ModernBERT ince ayarı	DDP	8x H100 düğümünde PyTorch DDP ile konu sınıflandırması için ModernBERT'i ince ayarla.
Nemotron 3.5 Lightning'in LoRA ince ayarı	FSDP2 ve Expert Parallelism	NeMo AutoModel ile Nemotron 3.5 Lightning'i sekiz H100 GPU üzerinden ince ayarla.
Nemotron 3.5 Super VL'nin LoRA ince ayarı	FSDP2 ve Expert Parallelism	NeMo AutoModel ile sekiz H100 GPU üzerinden Nemotron 3.5 Super VL görsel-dil modelini ince ayar edin.

Bir not defterinde başlayın

Dağıtılmış eğitim için sunucusuz GPU Python kitaplığını kullanmaya başlamak için aşağıdaki öğreticileri kullanın:

Kılavuz	Açıklama
H100 GPU'ları ile Yapay Zeka Çalışma Zamanı	Serverless_gpu Python kitaplığını kullanarak dağıtılmış GPU iş yüklerini çalıştırmak için H100 hızlandırıcılarıyla Databricks AI Runtime'ı kullanmayı öğrenin.