Çoklu GPU dağıtık eğitim

Önemli

Bu özellik Beta sürümündedir.

Bu örnekler, AI Çalışma Zamanında model eğitimini birden fazla GPU ve düğüm arasında ölçeklendirir. Notebook örnekleri, bağlı GPU hesaplamasında serverless_gpu Python API'sini kullanır. Databricks CLI örnekleri, tek ve çok düğümlü eğitim için iş yükü yapılandırmaları ve kaynak kod sağlar.

Uyarı

H100 GPU'larda notebook tabanlı çok GPU'lu dağıtık eğitim desteklenmektedir.

Paralellik tekniğinizi seçin

Model boyutunuza, mevcut GPU belleğinize ve performans gereksinimlerinize göre paralellik tekniği seçin. Aşağıdaki tablo seçenekleri karşılaştırmaktadır.

Teknik	Kullanılması gereken durumlar
DDP (Dağıtılmış Veri Paralel)	Tam model tek GPU belleğine uyar; veri aktarım hızını ölçeklendirme ihtiyacı
FSDP (Tam Parçalı Veri Paralel)	Tek GPU belleğine sığmayan çok büyük modeller
DeepSpeed ZeRO	Gelişmiş bellek iyileştirme gereksinimlerine sahip büyük modeller

Her teknik hakkında ayrıntılı bilgi için bkz. DDP, FSDP ve DeepSpeed.

Eğitim hattınızı daha verimli ve dayanıklı hale getirecek tavsiyeler ve kalıplar için performans ve dayanıklılık rehberine bakabilirsiniz.

Teknik ve çerçeveye göre notebook örnekleri

Aşağıdaki tablo, notebook örneklerini çerçeve veya kütüphane ve uygulanan paralellik tekniğine göre düzenler. Tek bir hücrede birden fazla notebook görünebilir.

Çerçeve/Kitaplık	DDP örnekleri	FSDP örnekleri	DeepSpeed örnekleri
PyTorch (doğal)	Basit MLP sinir ağı RetinaNet görüntü algılama	10M parametre transformatörü	—
Huggingface TRL	Gpt OSS 20B'de ince ayar yapma	Gpt OSS 120B'yi ince ayar yap	Lama 3.2 1B ince ayar
Serbest Bırakma	Llama 3.2 3B'yi ince ayar yapın	—	—
Axolotl	Olmo3 7B'yi ince ayarla	—	—
Yıldırım	İki kuleli tavsiye sistemi	—	—

CLI örnekleri

Aşağıdaki örnekler, AI Runtime Cookbook'taki çalıştırılabilir tariflere bağlantı vermektedir.

Example	Technique	Açıklama
Ray Train ile ResNet-50 ince ayar	DDP	ResNet-50'yi iki düğüm üzerinden her A10 GPU için bir Ray Train çalışanı ile ince ayar edin.
Qwen2.5-3B Ray Train ile ince ayar	DDP	Qwen2.5-3B'yi GPU başına bir Ray Train çalışanı ile 8x H100 düğümünde ince ayar edin.
Llama 3.1 8B'nin çok düğümlü ince ayarı	FSDP	PyTorch FSDP ile iki 8x H100 düğümü arasında Llama 3.1 8B'yi ince ayarlayın.
Qwen3.8-27B'nin çok düğümlü ince ayarı	FSDP2	Qwen3.8-27B'yi PyTorch FSDP2 ile dört adet 8x H100 düğümünde ince ayar edin.
Qwen3-8B fatura çıkarma için ince ayar	DeepSpeed ZeRO-3	Qwen3-8B'yi TRL ile bir 8x H100 düğümünde fatura ve makbuz varlık çıkarımı için ince ayarla.

Bir not defterinde başlayın

Dağıtılmış eğitim için sunucusuz GPU Python kitaplığını kullanmaya başlamak için aşağıdaki öğreticileri kullanın:

Kılavuz	Açıklama
H100 GPU'ları ile Yapay Zeka Çalışma Zamanı	Serverless_gpu Python kitaplığını kullanarak dağıtılmış GPU iş yüklerini çalıştırmak için H100 hızlandırıcılarıyla Databricks AI Runtime'ı kullanmayı öğrenin.