Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Penting
Fitur ini ada di Beta. Admin ruang kerja dapat mengontrol akses ke fitur ini dari halaman Pratinjau . Lihat Kelola Pratinjau Azure Databricks.
Notebook ini menskalakan pelatihan model di beberapa GPU dan node di AI Runtime. Mereka mencakup tiga teknik paralelisme utama, DDP, FSDP, dan DeepSpeed ZeRO, menggunakan API serverless_gpu Python pada GPU H100.
Nota
Pelatihan terdistribusi multi-GPU didukung pada GPU H100.
Pilih teknik paralelisme Anda
Saat menskalakan pelatihan model Anda di beberapa GPU, memilih teknik paralelisme yang tepat tergantung pada ukuran model, memori GPU yang tersedia, dan persyaratan performa Anda.
| Teknik | Kapan digunakan |
|---|---|
| DDP (Paralel Data Terdistribusi) | Model lengkap cocok dalam memori GPU tunggal; perlu menskalakan throughput data |
| FSDP (Paralel Data Sepenuhnya Terpecah) | Model yang sangat besar yang tidak cocok dalam memori GPU tunggal |
| DeepSpeed ZeRO | Model besar dengan kebutuhan pengoptimalan memori tingkat lanjut |
Untuk informasi terperinci tentang setiap teknik, lihat DDP, FSDP, dan DeepSpeed.
Untuk saran dan pola agar jalur pelatihan Anda lebih efisien dan tangguh, lihat panduan kinerja dan ketahanan.
Contoh buku catatan berdasarkan teknik dan kerangka kerja
Tabel berikut ini mengatur contoh buku catatan menurut kerangka kerja/pustaka yang Anda gunakan dan teknik paralelisme diterapkan. Beberapa buku catatan mungkin muncul dalam satu sel.
| Kerangka Kerja/Pustaka | Contoh DDP | Contoh FSDP | Contoh penggunaan DeepSpeed |
|---|---|---|---|
| PyTorch (bawaan) |
Jaringan neural MLP sederhana Deteksi gambar RetinaNet |
Transformer parameter 10M | — |
| Huggingface TRL | Menyempurnakan Gpt OSS 20B | Menyempurnakan Gpt OSS 120B | Menyempurnakan Llama 3.2 1B |
| Batalkan alas | Mengoptimalkan Llama 3.2 3B | — | — |
| Axolotl | Mengoptimalkan Olmo3 7B | — | — |
| Pabrik Pengecoran Mozaik LLM | Menyempurnakan Llama 3.2 8B | — | — |
| Kilat | Sistem pemberi rekomendasi dua menara | — | — |
Get started
Gunakan tutorial berikut untuk mulai menggunakan pustaka Python GPU tanpa server untuk pelatihan terdistribusi:
| Tutorial | Deskripsi |
|---|---|
| Runtime AI dengan GPU H100 | Pelajari cara menggunakan Databricks AI Runtime dengan akselerator H100 untuk menjalankan beban kerja GPU terdistribusi menggunakan pustaka serverless_gpu Python. |