Distribuované trénování s více GPU

Důležité

Dekorátor @distributed použitý v příkladech zápisníků je v beta verzi.

Tyto příklady škálují trénování modelů napříč více GPU v AI Runtime. Příklady notebooků používají rozhraní Python API serverless_gpu v připojeném výpočetním prostředí GPU. Příklady Databricks CLI poskytují konfigurace pracovní zátěže a zdrojový kód pro trénink na jednom uzlu a více GPU.

Poznámka:

Distribuované trénování v notebooku s více GPU je podporováno na GPU H100.

Volba techniky paralelismu

Vyberte techniku paralelismu podle velikosti modelu, dostupné GPU paměti a požadavků na výkon. Následující tabulka porovnává možnosti.

Technika Kdy ho použít
DDP (Distribuované paralelní zpracování dat) Plný model se vejde do paměti s jedním GPU; potřeba škálování propustnosti dat
FSDP (Plně rozdělená paralelní data) Velmi velké modely, které se nevejdou do jedné paměti GPU
DeepSpeed ZeRO Velké modely s pokročilými potřebami optimalizace paměti

Podrobné informace o jednotlivých technikách najdete v tématu DDP, FSDP a DeepSpeed.

Pro rady a vzorce, jak zefektivnit a učinit váš tréninkový proces efektivnějším a odolnějším, se podívejte na průvodce výkonem a odolností.

Příklady zápisníků podle techniky a frameworku

Následující tabulka organizuje příklady zápisníků podle rámce nebo knihovny a použité techniky paralelismu. V jedné buňce se může objevit více poznámkových bloků.

Framework/knihovna Příklady DDP Příklady FSDP Příklady DeepSpeed
PyTorch (nativní) Jednoduchá neurální síť MLP
Detekce obrazu pomocí RetinaNet
Transformátor parametrů 10M —
Huggingface TRL Vyladění operačního systému Gpt 20B Vyladění operačního systému Gpt 120B Vyladění Llama 3,2 1B
Unsloth Vyladění Llama 3,2 3B — —
Axolotl Vyladit Olmo3 7B — —
Blesk Dvouvěžový doporučovací systém — —

Příklady CLI

Následující příklady odkazují na spouštětelné recepty v AI Runtime Cookbook.

Example Technique Description
Qwen2.5-3B jemné ladění s Ray Train DDP Jemně doladit Qwen2.5-3B s jedním pracovním procesem Ray Train na každé GPU na uzlu 8x H100.
Qwen3-8B jemné ladění pro extrakci faktur DeepSpeed ZeRO-3 Jemně doladit Qwen3-8B pro extrakci entit faktur a účtenek pomocí TRL na jednom uzlu 8x H100.
ModernBERT jemné ladění s DDP DDP Ladit ModernBERT pro klasifikaci témat pomocí PyTorch DDP na 8x H100 uzlu.
LoRA jemné ladění Nemotron 3.5 Lightning FSDP2 a expertní paralelismus Dolaďte Nemotron 3.5 Lightning s NeMo AutoModel na osmi H100 GPU.
LoRA jemné ladění Nemotronu 3.5 Super VL FSDP2 a expertní paralelismus Dolaďte vizuálně-jazykový model Nemotron 3.5 Super VL pomocí NeMo AutoModel na osmi GPU H100.

Začněte v notebooku

Následující kurzy vám pomůžou začít s bezserverovou knihovnou GPU Python pro distribuované trénování:

Tutoriál Description
Modul runtime AI s grafickými procesory H100 Naučte se používat Databricks AI Runtime s akcelerátory H100 ke spouštění distribuovaných úloh GPU pomocí knihovny serverless_gpu Pythonu.