Dağıtılmış Veri Paralel (DDP) eğitimi

Önemli

Bu özellik Beta sürümündedir. Çalışma alanı yöneticileri Bu özelliğe erişimi Önizlemeler sayfasından denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.

Bu sayfada Sunucusuz GPU işlemlerinde Dağıtılmış Veri Paralel (DDP) eğitimini kullanmaya yönelik not defteri örnekleri bulunur. DDP, dağıtılmış eğitim için en yaygın paralellik tekniğidir. Burada tüm model her GPU'da çoğaltılır ve veri toplu işlemleri GPU'lar arasında bölünür.

DDP ne zaman kullanılır?

Aşağıdaki durumlarda DDP kullanın:

• Modeliniz tek bir GPU'nun belleğine tamamen sığar
• Veri aktarım hızını artırarak eğitimi ölçeklendirmek istiyorsunuz
• Çoğu çerçevede otomatik destekle en basit dağıtılmış eğitim yaklaşımına ihtiyacınız vardır

Tek GPU belleğine sığmayan daha büyük modeller için bunun yerine FSDP veya DeepSpeed'i göz önünde bulundurun.

PyTorch DDP kullanarak basit bir çok katmanlı algılama (MLP) sinir ağını eğitme

Aşağıdaki not defteri, sunucusuz GPU kaynaklarıyla Azure Databricks'te PyTorch'un DDP modülünü kullanarak basit bir çok katmanlı algılama (MLP) sinir ağının dağıtılmış eğitimini gösterir.

PyTorch DDP

Dizüstü bilgisayar al

TRL ve DDP kullanarak 8xH100 üzerinde OpenAI GPT-OSS 20B modelini eğitma

Bu not defteri, Transformer Reinforcement Learning (TRL) kitaplığını kullanarak Hugging Face'den GPT-OSS 20B modelinde denetimli ince ayarlama (SFT) çalıştırmak için Sunucusuz GPU Python API'sinin nasıl kullanılacağını gösterir. Bu örnek, genel toplu iş boyutunu ölçeklendirmek için düğümdeki tüm 8 H100 GPU'da DDP'yi kullanır.

TRL DDP

Dizüstü bilgisayar al

Unsloth kullanarak Llama 3.2 3B'nin dağıtılmış ince ayarlaması

Bu not defteri, 8 A10 GPU'da Unsloth kitaplığına sahip bir Llama 3.2 3B modeline ince ayar yapmak için Sunucusuz GPU Python API'sinin nasıl kullanılacağını gösterir. Unsloth, bellek verimliliği sağlayan eğitim optimizasyonları sunar ve arka planda Hugging Face Accelerate aracılığıyla DDP kullanır.

DDP'nin dağıtımını kaldırma

Dizüstü bilgisayar al

Olmo3 7B için Axolotl ile dağıtılmış ince ayar

Bu not defteri, 16 H100 GPU'da Axolotl kitaplığıyla Olmo3 7B modeline ince ayar yapmak için Sunucusuz GPU Python API'sinin nasıl kullanılacağını gösterir. Axolotl, en son LLM'ler için eğitim sonrası ve ince ayarlamayı kolaylaştıracak şekilde tasarlanmıştır.

Axolotl DDP

Dizüstü bilgisayar al

Llama 3.2 8B'nin dağıtılmış ince ayarı, Mosaic LLM Dökümhanesi kullanılarak yapıldı.

Bu not defteri, 16 A10 GPU'da Mozaik LLM Dökümhane kitaplığıyla bir Lama 3.2 8B modeline ince ayar yapmak için Sunucusuz GPU Python API'sinin nasıl kullanılacağını gösterir. Mozaik LLM Dökümhanesi, büyük dil modellerini eğitmek için kullanımı kolay, verimli ve esnek API'ler sağlar.

Dizüstü bilgisayar

Dizüstü bilgisayar al

Ray Train kullanarak dağıtılmış eğitim (görüntü işleme)

Bu not defteri, Databricks Sunucusuz GPU kümelerinde Ray Train ve Ray Data kullanarak FashionMNIST veri kümesi üzerinde bir PyTorch ResNet modelinin dağıtılmış eğitimini gösterir. Ray Train, üst düzey dağıtılmış eğitim düzenlemesi sağlar ve temel paralellik stratejisi olarak DDP kullanır. Bu örnek, Unity Catalog depolamasını ayarlamayı, çok düğümlü GPU eğitimi için Ray'i yapılandırmayı, modelleri MLflow ile günlüğe kaydetmeyi ve kaydetmeyi, ve model performansını değerlendirmeyi kapsar.

Ray DDP

Dizüstü bilgisayar al

PyTorch Lightning kullanarak iki kuleli bir öneri sistemini eğitme

Bu not defteri sunucusuz GPU işlemlerinde PyTorch Lightning kullanarak iki kuleli bir öneri modelini eğitmeyi gösterir. PyTorch Lightning, çoklu GPU eğitimi için DDP yapılandırmasını otomatik olarak işleyen üst düzey bir arabirim sağlar. Örnek, Mozaik Akış (MDS) biçimini kullanarak veri hazırlamayı ve A10 veya H100 GPU'lar arasında dağıtılmış eğitimi içerir.

Aşağıdakiler de dahil olmak üzere tüm not defterleri için Derin öğrenme önerisi örnekleri sayfasına bakın:

• Veri hazırlama ve MDS biçimi dönüştürme
• PyTorch Lightning ile iki kuleli öneri eğitimi