Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Önemli
Bu özellik Beta sürümündedir. Çalışma alanı yöneticileri Bu özelliğe erişimi Önizlemeler sayfasından denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.
Bu sayfada, Sunucusuz GPU işlem kullanılarak çok düğümlü ve çok GPUlu dağıtılmış eğitim için not defteri örnekleri yer alır. Bu örneklerde, gelişmiş performans için eğitimin birden çok GPU ve düğüm arasında nasıl ölçeklendirilecekleri gösterilmektedir.
Paralellik tekniğinizi seçin
Model eğitiminizi birden çok GPU arasında ölçeklendirirken, doğru paralellik tekniğini seçmek model boyutunuza, kullanılabilir GPU belleğinize ve performans gereksinimlerinize bağlıdır.
| Teknik | Kullanılması gereken durumlar |
|---|---|
| DDP (Dağıtılmış Veri Paralel) | Tam model tek GPU belleğine uyar; veri aktarım hızını ölçeklendirme ihtiyacı |
| FSDP (Tam Parçalı Veri Paralel) | Tek GPU belleğine sığmayan çok büyük modeller |
| DeepSpeed ZeRO | Gelişmiş bellek iyileştirme gereksinimlerine sahip büyük modeller |
Her teknik hakkında ayrıntılı bilgi için bkz. DDP, FSDP ve DeepSpeed.
Teknik ve çerçeveye göre örnek not defterleri
Aşağıdaki tablo, örnek not defterlerini kullandığınız çerçeveye/kitaplığa ve uygulanan paralellik tekniğine göre düzenler. Tek bir hücrede birden çok not defteri görünebilir.
| Çerçeve/Kitaplık | DDP örnekleri | FSDP örnekleri | DeepSpeed örnekleri |
|---|---|---|---|
| PyTorch (doğal) |
Basit MLP sinir ağı RetinaNet görüntü algılama |
10M parametre transformatörü | — |
| Huggingface TRL | Gpt OSS 20B'de ince ayar yapma | Gpt OSS 120B'yi ince ayar yap | Lama 3.2 1B ince ayar |
| Serbest Bırakma | Llama 3.2 3B'yi ince ayar yapın | — | — |
| Axolotl | Olmo3 7B'yi ince ayarla | — | — |
| Mozaik LLM Foundry | İnce ayar Lama 3.2 8B | — | — |
| Ray Train |
FashionMNIST üzerinde ResNet18 (görüntü işleme) XGBoost Hiperparametre Ayarlama |
— | — |
| Yıldırım | İki kuleli tavsiye sistemi | — | — |
Get started
Aşağıdaki not defterinde, dağıtılmış eğitim için birden çok A10 GPU başlatmak üzere Sunucusuz GPU Python API'sinin nasıl kullanılacağına ilişkin temel bir örnek yer almaktadır.