Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Důležité
Dekorátor @distributed použitý v příkladech zápisníků je v beta verzi.
Tyto příklady škálují trénování modelů napříč více GPU v AI Runtime. Příklady notebooků používají rozhraní Python API serverless_gpu v připojeném výpočetním prostředí GPU. Příklady Databricks CLI poskytují konfigurace pracovní zátěže a zdrojový kód pro trénink na jednom uzlu a více GPU.
Poznámka:
Distribuované trénování v notebooku s více GPU je podporováno na GPU H100.
Volba techniky paralelismu
Vyberte techniku paralelismu podle velikosti modelu, dostupné GPU paměti a požadavků na výkon. Následující tabulka porovnává možnosti.
| Technika | Kdy ho použít |
|---|---|
| DDP (Distribuované paralelní zpracování dat) | Plný model se vejde do paměti s jedním GPU; potřeba škálování propustnosti dat |
| FSDP (Plně rozdělená paralelní data) | Velmi velké modely, které se nevejdou do jedné paměti GPU |
| DeepSpeed ZeRO | Velké modely s pokročilými potřebami optimalizace paměti |
Podrobné informace o jednotlivých technikách najdete v tématu DDP, FSDP a DeepSpeed.
Pro rady a vzorce, jak zefektivnit a učinit váš tréninkový proces efektivnějším a odolnějším, se podívejte na průvodce výkonem a odolností.
Příklady zápisníků podle techniky a frameworku
Následující tabulka organizuje příklady zápisníků podle rámce nebo knihovny a použité techniky paralelismu. V jedné buňce se může objevit více poznámkových bloků.
| Framework/knihovna | Příklady DDP | Příklady FSDP | Příklady DeepSpeed |
|---|---|---|---|
| PyTorch (nativní) |
Jednoduchá neurální síť MLP Detekce obrazu pomocí RetinaNet |
Transformátor parametrů 10M | — |
| Huggingface TRL | Vyladění operačního systému Gpt 20B | Vyladění operačního systému Gpt 120B | Vyladění Llama 3,2 1B |
| Unsloth | Vyladění Llama 3,2 3B | — | — |
| Axolotl | Vyladit Olmo3 7B | — | — |
| Blesk | Dvouvěžový doporučovací systém | — | — |
Příklady CLI
Následující příklady odkazují na spouštětelné recepty v AI Runtime Cookbook.
| Example | Technique | Description |
|---|---|---|
| Qwen2.5-3B jemné ladění s Ray Train | DDP | Jemně doladit Qwen2.5-3B s jedním pracovním procesem Ray Train na každé GPU na uzlu 8x H100. |
| Qwen3-8B jemné ladění pro extrakci faktur | DeepSpeed ZeRO-3 | Jemně doladit Qwen3-8B pro extrakci entit faktur a účtenek pomocí TRL na jednom uzlu 8x H100. |
| ModernBERT jemné ladění s DDP | DDP | Ladit ModernBERT pro klasifikaci témat pomocí PyTorch DDP na 8x H100 uzlu. |
| LoRA jemné ladění Nemotron 3.5 Lightning | FSDP2 a expertní paralelismus | Dolaďte Nemotron 3.5 Lightning s NeMo AutoModel na osmi H100 GPU. |
| LoRA jemné ladění Nemotronu 3.5 Super VL | FSDP2 a expertní paralelismus | Dolaďte vizuálně-jazykový model Nemotron 3.5 Super VL pomocí NeMo AutoModel na osmi GPU H100. |
Začněte v notebooku
Následující kurzy vám pomůžou začít s bezserverovou knihovnou GPU Python pro distribuované trénování:
| Tutoriál | Description |
|---|---|
| Modul runtime AI s grafickými procesory H100 | Naučte se používat Databricks AI Runtime s akcelerátory H100 ke spouštění distribuovaných úloh GPU pomocí knihovny serverless_gpu Pythonu. |