Pelatihan multi-GPU terdistribusi

Penting

Fitur ini ada di Beta.

Contoh-contoh ini menskalakan pelatihan model di berbagai GPU dan node pada AI Runtime. Contoh notebook menggunakan serverless_gpu API Python pada komputasi GPU terlampir. Contoh Databricks CLI menyediakan konfigurasi beban kerja dan kode sumber untuk pelatihan satu node dan multi-node.

Nota

Pelatihan terdistribusi multi-GPU berbasis notebook didukung pada GPU H100.

Pilih teknik paralelisme Anda

Pilih teknik paralelisme berdasarkan ukuran model Anda, memori GPU yang tersedia, dan kebutuhan performa. Tabel berikut membandingkan opsi-opsi tersebut.

Teknik	Kapan digunakan
DDP (Paralel Data Terdistribusi)	Model lengkap cocok dalam memori GPU tunggal; perlu menskalakan throughput data
FSDP (Paralel Data Sepenuhnya Terpecah)	Model yang sangat besar yang tidak cocok dalam memori GPU tunggal
DeepSpeed ZeRO	Model besar dengan kebutuhan pengoptimalan memori tingkat lanjut

Untuk informasi terperinci tentang setiap teknik, lihat DDP, FSDP, dan DeepSpeed.

Untuk saran dan pola agar jalur pelatihan Anda lebih efisien dan tangguh, lihat panduan kinerja dan ketahanan.

Contoh notebook berdasarkan teknik dan kerangka kerja

Tabel berikut mengatur contoh notebook berdasarkan kerangka kerja atau perpustakaan dan teknik paralelisme yang diterapkan. Beberapa notebook mungkin muncul dalam satu sel.

Kerangka Kerja/Pustaka	Contoh DDP	Contoh FSDP	Contoh penggunaan DeepSpeed
PyTorch (bawaan)	Jaringan neural MLP sederhana Deteksi gambar RetinaNet	Transformer parameter 10M	—
Huggingface TRL	Menyempurnakan Gpt OSS 20B	Menyempurnakan Gpt OSS 120B	Menyempurnakan Llama 3.2 1B
Batalkan alas	Mengoptimalkan Llama 3.2 3B	—	—
Axolotl	Mengoptimalkan Olmo3 7B	—	—
Kilat	Sistem pemberi rekomendasi dua menara	—	—

Contoh CLI

Contoh berikut menautkan ke resep yang dapat dijalankan dalam AI Runtime Cookbook.

Example	Technique	Deskripsi
Penyempurnaan ResNet-50 dengan Ray Train	DDP	Fine-tune ResNet-50 dengan satu pekerja Ray Train per GPU A10 di dua node.
Penyetelan Qwen2.5-3B dengan Ray Train	DDP	Tuning Qwen2.5-3B dengan satu pekerja Ray Train per GPU pada node H100 8x.
Penyetelan halus multi-node Llama 3.1 8B	FSDP	Tuning Llama 3.1 8B dengan PyTorch FSDP di dua node H100 8x.
Penyetelan multi-node untuk Qwen3.8-27B	FSDP2	Tuning Qwen3.8-27B dengan PyTorch FSDP2 di empat node H100 8x.
Penyetelan Qwen3-8B untuk ekstraksi faktur	DeepSpeed ZeRO-3	Fine-tune Qwen3-8B untuk ekstraksi entitas faktur dan kuitansi dengan TRL pada satu node H100 8x.

Mulai di notebook

Gunakan tutorial berikut untuk mulai menggunakan pustaka Python GPU tanpa server untuk pelatihan terdistribusi:

Tutorial	Deskripsi
Runtime AI dengan GPU H100	Pelajari cara menggunakan Databricks AI Runtime dengan akselerator H100 untuk menjalankan beban kerja GPU terdistribusi menggunakan pustaka serverless_gpu Python.