Jegyzet
Az oldalhoz való hozzáférés engedélyezést igényel. Próbálhatod be jelentkezni vagy könyvtárat váltani.
Az oldalhoz való hozzáférés engedélyezést igényel. Megpróbálhatod a könyvtár váltását.
Fontos
Ez a funkció bétaverzióban érhető el. A munkaterület rendszergazdái az Előnézetek lapon szabályozhatják a funkcióhoz való hozzáférést. Lásd: Az Azure Databricks előzetes verziójának kezelése.
Ezen a lapon jegyzetfüzet-példákat talál többcsomópontos és több GPU-s elosztott betanításhoz kiszolgáló nélküli GPU-számítással. Ezek a példák bemutatják, hogyan méretezhetők a betanítások több GPU-n és csomóponton a jobb teljesítmény érdekében.
Válassza ki a párhuzamossági technikát
Ha a modell betanítását több GPU-n skálázza, a megfelelő párhuzamossági technika kiválasztása a modell méretétől, a rendelkezésre álló GPU-memóriától és a teljesítménykövetelményektől függ.
| Technika | Mikor érdemes használni? |
|---|---|
| DDP (Elosztott adatok párhuzamos feldolgozása) | A teljes modell egyetlen GPU-memóriába illeszkedik; az adatok átviteli sebességének skálázására van szükség |
| FSDP (teljesen szeletelt adatok párhuzamos feldolgozása) | Nagyon nagy modellek, amelyek nem férnek el egyetlen GPU-memóriában |
| DeepSpeed ZeRO | Nagy méretű modellek fejlett memóriaoptimalizálási igényekkel |
Az egyes technikákról részletes információt a DDP, az FSDP és a DeepSpeed című témakörben talál.
Példajegyzetfüzetek technika és keretrendszer szerint
Az alábbi táblázat a példajegyzetfüzeteket a használt keretrendszer/tár és a párhuzamossági technika alapján rendezi. Egyetlen cellában több jegyzetfüzet is megjelenhet.
| Keretrendszer/könyvtár | DDP-példák | FSDP-példák | DeepSpeed-példák |
|---|---|---|---|
| PyTorch (natív) |
Egyszerű MLP neurális hálózat RetinaNet-képészlelés |
10M paraméterátalakító | — |
| Huggingface TRL | Gpt OSS 20B finomhangolása | Gpt OSS 120B finomhangolása | Láma finomhangolása 3.2 1B |
| Unsloth | Llama 3.2 3B finomhangolása | — | — |
| Axolotl | Olmo3 7B finomhangolása | — | — |
| Mozaik LLM Foundry | Llama 3.2 8B finomhangolása | — | — |
| Ray Train |
ResNet18 a FashionMNIST-en (számítógépes látás) XGBoost hiperparaméter finomhangolása |
— | — |
| Villám | Kéttornyú ajánlórendszer | — | — |
Első lépések
Az alábbi jegyzetfüzet egy egyszerű példát mutat be arra, hogyan lehet a kiszolgáló nélküli GPU Python API-val több A10 GPU-t elindítani elosztott betanításhoz.