Több GPU-s elosztott betanítás

Fontos

Ez a funkció bétaverzióban érhető el. A munkaterület rendszergazdái az Előnézetek lapon szabályozhatják a funkcióhoz való hozzáférést. Lásd: Az Azure Databricks előzetes verziójának kezelése.

Ezen a lapon jegyzetfüzet-példákat talál a több GPU-s elosztott betanításhoz az AI-futtatókörnyezet használatával. Ezek a példák bemutatják, hogyan méretezhetők a betanítások több GPU-n és csomóponton a jobb teljesítmény érdekében.

Megjegyzés:

A több GPU-s elosztott betanítás támogatott a H100 GPU-kon.

Válassza ki a párhuzamossági technikát

Ha a modell betanítását több GPU-n skálázza, a megfelelő párhuzamossági technika kiválasztása a modell méretétől, a rendelkezésre álló GPU-memóriától és a teljesítménykövetelményektől függ.

Technika	Mikor érdemes használni?
DDP (Elosztott adatok párhuzamos feldolgozása)	A teljes modell egyetlen GPU-memóriába illeszkedik; az adatok átviteli sebességének skálázására van szükség
FSDP (teljesen szeletelt adatok párhuzamos feldolgozása)	Nagyon nagy modellek, amelyek nem férnek el egyetlen GPU-memóriában
DeepSpeed ZeRO	Nagy méretű modellek fejlett memóriaoptimalizálási igényekkel

Az egyes technikákról részletes információt a DDP, az FSDP és a DeepSpeed című témakörben talál.

Példajegyzetfüzetek technika és keretrendszer szerint

Az alábbi táblázat a példajegyzetfüzeteket a használt keretrendszer/tár és a párhuzamossági technika alapján rendezi. Egyetlen cellában több jegyzetfüzet is megjelenhet.

Keretrendszer/könyvtár	DDP-példák	FSDP-példák	DeepSpeed-példák
PyTorch (natív)	Egyszerű MLP neurális hálózat RetinaNet-képészlelés	10M paraméterátalakító	—
Huggingface TRL	Gpt OSS 20B finomhangolása	Gpt OSS 120B finomhangolása	Láma finomhangolása 3.2 1B
Unsloth	Llama 3.2 3B finomhangolása	—	—
Axolotl	Olmo3 7B finomhangolása	—	—
Mozaik LLM Foundry	Llama 3.2 8B finomhangolása	—	—
Villám	Kéttornyú ajánlórendszer	—	—

Első lépések

Az alábbi oktatóanyagokkal ismerkedhet meg a kiszolgáló nélküli GPU Python-kódtárral az elosztott betanításhoz:

Oktatóanyag	Leírás
AI-futtatókörnyezet H100 GPU-kkal	Megtudhatja, hogyan használhatja a Databricks AI-futtatókörnyezetet H100-gyorsítókkal elosztott GPU-számítási feladatok futtatására a serverless_gpu Python-kódtár használatával.