Elosztott adatpárhuzamos (DDP) képzés

Fontos

Ez a funkció bétaverzióban érhető el. A munkaterület rendszergazdái az Előnézetek lapon szabályozhatják a funkcióhoz való hozzáférést. Lásd: Az Azure Databricks előzetes verziójának kezelése.

Ezen a lapon jegyzetfüzet-példákat talál az Elosztott adatok párhuzamos (DDP) betanítására az AI-futtatókörnyezetben. A DDP az elosztott betanítás leggyakoribb párhuzamossági technikája, ahol a teljes modell replikálva van minden GPU-n, és az adatkötegek gpu-kra vannak osztva.

Mikor érdemes használni a DDP-t?

A DDP használata a következő esetekben:

• A modell teljesen elfér egyetlen GPU memóriájában
• A betanítást az adatteljesítmény növelésével szeretné skálázni
• A legegyszerűbb elosztott betanítási megközelítésre van szükség automatikus támogatással a legtöbb keretrendszerben

Az olyan nagyobb modellek esetében, amelyek nem férnek el egyetlen GPU-memóriában, fontolja meg inkább az FSDP vagy a DeepSpeed használatát .

Examples

Oktatóanyag	Leírás
Egyszerű többrétegű perceptron (MLP) neurális hálózat betanítása a PyTorch DDP használatával	Ez a jegyzetfüzet egy egyszerű többrétegű perceptron (MLP) neurális hálózat elosztott betanítását mutatja be a PyTorch DDP-moduljával az Azure Databricksen kiszolgáló nélküli GPU-erőforrásokkal.
OpenAI GPT-OSS 20B modell betanítása 8xH100-on TRL és DDP használatával	Ez a notebook bemutatja, hogyan futtathat felügyelt finomhangolást (SFT) a Kiszolgálónélküli GPU Python API-val a Hugging Face GPT-OSS 20B modellen a Transformer Reinforcement Learning (TRL) kódtár használatával. Ez a példa a csomópont összes 8 H100 GPU-ján használja a DDP-t a globális kötegméret skálázásához.
Elosztott finomhangolás Llama 3.2 3B az Unsloth használatával	Ez a jegyzetfüzet bemutatja, hogyan használható a Kiszolgáló nélküli GPU Python API egy Llama 3.2 3B-modell finomhangolására a Unsloth-kódtárral 8 A10 GPU-n keresztül. Az Unsloth memóriahatékony tanítási optimalizálást biztosít, és DDP-t használ a háttérben a Hugging Face Accelerate révén.
Az Olmo3 7B elosztott finomhangolása az Axolotl használatával	Ez a jegyzetfüzet bemutatja, hogyan használható a Kiszolgáló nélküli GPU Python API egy Olmo3 7B-modell finomhangolására az Axolotl-kódtárral a 16 H100 GPU-k között. Az Axolotl úgy lett kialakítva, hogy egyszerűsítse a képzés utáni és a finomhangolási folyamatot a legújabb LLM-ekhez.
Kéttornyú ajánlórendszer betanítása a PyTorch Lightning használatával	Ez a jegyzetfüzet bemutatja, hogyan taníthat be kéttornyú javaslatmodellt a PyTorch Lightning használatával kiszolgáló nélküli GPU-n. A PyTorch Lightning egy magas szintű felületet biztosít, amely automatikusan kezeli a DDP konfigurációját a több GPU-s betanításhoz. A példa magában foglalja az adatok előkészítését a Mozaik streamelési (MDS) formátum segítségével, valamint az elosztott betanítást az A10 vagy H100 GPU-k segítségével. A teljes jegyzetfüzetek részletes tanulási javaslatokra vonatkozó példáinak lapja a következőket tartalmazza: Adatelőkészítés és MDS-formátum konvertálása Kéttornyos ajánló rendszer tanítása a PyTorch Lightning használatával

Egyszerű többrétegű perceptron (MLP) neurális hálózat betanítása a PyTorch DDP használatával

Az alábbi jegyzetfüzet egy egyszerű többrétegű perceptron (MLP) neurális hálózat elosztott betanítását mutatja be a PyTorch DDP-moduljával az Azure Databricksen kiszolgáló nélküli GPU-erőforrásokkal.

PyTorch DDP

Jegyzetfüzet szerezz

Kéttornyú ajánlórendszer betanítása a PyTorch Lightning használatával

Ez a jegyzetfüzet bemutatja, hogyan taníthat be kéttornyú javaslatmodellt a PyTorch Lightning használatával kiszolgáló nélküli GPU-számításon. A PyTorch Lightning egy magas szintű felületet biztosít, amely automatikusan kezeli a DDP konfigurációját a több GPU-s betanításhoz. A példa magában foglalja az adatok előkészítését a Mozaik streamelési (MDS) formátum segítségével, valamint az elosztott betanítást az A10 vagy H100 GPU-k segítségével.

A teljes jegyzetfüzetek részletes tanulási javaslatokra vonatkozó példáinak lapja a következőket tartalmazza:

• Adatelőkészítés és MDS-formátum konvertálása
• Kéttornyos ajánló rendszer tanítása a PyTorch Lightning használatával