Elosztott képzés a DeepSpeed forgalmazóval
Ez a cikk azt ismerteti, hogyan végezhet elosztott betanítást PyTorch ML-modelleken a DeepSpeed forgalmazó használatával.
A DeepSpeed forgalmazó a TorchDistributorra épül, és ajánlott megoldás olyan modellekhez, amelyek nagyobb számítási teljesítményt igényelnek, de a memóriakorlátok korlátozzák őket.
A DeepSpeed-kódtár a Microsoft által fejlesztett nyílt forráskódú kódtár, amely a Databricks Runtime 14.0 ML-es vagy újabb verziójában érhető el. Optimalizált memóriahasználatot, csökkent kommunikációs többletterhelést és fejlett folyamat-párhuzamosságot biztosít, amely lehetővé teszi a modellek és a betanítási eljárások skálázását, amelyek egyébként elérhetetlenek lennének a standard hardvereken.
Az alábbi példaforgatókönyvek hasznosak a DeepSpeed-terjesztő számára:
- Alacsony GPU-memória.
- Nagy modell betanítása.
- Nagy bemeneti adatok, például kötegelt következtetés során.
Példajegyzetfüzet elosztott betanításhoz a DeepSpeed használatával
Az alábbi jegyzetfüzet-példa bemutatja, hogyan végezhet elosztott betanítást a DeepSpeed-terjesztővel.