Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Ważna
Dekorator @distributed użyty w przykładach notesów jest w Public Preview.
Ta strona zawiera przykłady notesów na potrzeby trenowania rozproszonego równoległego przetwarzania danych (DDP) w środowisku uruchomieniowym sztucznej inteligencji. DDP to najbardziej typowa technika równoległa dla trenowania rozproszonego, w której cały model jest replikowany na każdej karcie GPU, a dane są rozdzielane między GPU.
Kiedy należy używać protokołu DDP
Użyj protokołu DDP, gdy:
- Model całkowicie mieści się w pamięci pojedynczego procesora graficznego
- Chcesz skalować trenowanie przez zwiększenie przepływności danych
- Potrzebujesz najprostszego rozproszonego podejścia szkoleniowego z automatyczną obsługą w większości struktur
W przypadku większych modeli, które nie mieszczą się w pojedynczej pamięci procesora GPU, rozważ zamiast tego fsDP lub DeepSpeed .
Examples
| Tutorial | Opis |
|---|---|
| Trenowanie prostej wielowarstwowej sieci neuronowej typu perceptron (MLP) przy użyciu PyTorch DDP | Ten notatnik demonstruje rozproszone trenowanie prostej wielowarstwowej sieci perceptronowej (MLP) z wykorzystaniem modułu DDP firmy PyTorch na AI Runtime. |
| Trenowanie modelu OpenAI GPT-OSS 20B na 8xH100 przy użyciu bibliotek TRL i DDP | W tym notesie pokazano, jak używać bezserwerowego GPU API języka Python do nadzorowanego dostrajania (SFT) modelu GPT-OSS 20B od Hugging Face, przy użyciu biblioteki Transformer Reinforcement Learning (TRL). Ten przykład wykorzystuje protokół DDP dla wszystkich 8 procesorów GPU H100 w węźle w celu skalowania globalnego rozmiaru partii. |
| Rozproszone dostrajanie Llama 3.2 3B z użyciem Unsloth | W tym notesie pokazano, jak używać bezserwerowego interfejsu API GPU w języku Python, aby dostroić model Llama 3.2 3B z biblioteką Unsloth na 8 procesorach GPU A10. Unsloth zapewnia optymalizacje trenowania efektywne pod względem pamięci i używa metody DDP w tle poprzez Hugging Face Accelerate. |
| Rozproszone dostrajanie Olmo3 7B przy użyciu Axolotl | W tym notesie pokazano, jak korzystać z interfejsu API Python Serverless GPU, aby dostroić model Olmo3 7B za pomocą biblioteki Axolotl na 16 procesorach GPU H100. Firma Axolotl została zaprojektowana w celu usprawnienia po trenowaniu i dostrajaniu najnowszych maszyn LLM. |
| Trenowanie dwuwieżowego systemu rekomendacyjnego za pomocą PyTorch Lightning | W tym notesie pokazano, jak wytrenować model rekomendacji z dwiema wieżami przy użyciu rozwiązania PyTorch Lightning w środowisku AI Runtime. PyTorch Lightning zapewnia interfejs wysokiego poziomu, który automatycznie obsługuje konfigurację DDP na potrzeby trenowania wielu procesorów GPU. Przykład obejmuje przygotowywanie danych przy użyciu formatu Mosaic Streaming (MDS) i trenowania rozproszonego na układach GPU A10 lub H100. Zobacz stronę z przykładami rekomendacji dotyczących głębokiego uczenia , aby zobaczyć pełne zeszyty. |
Trenowanie prostej wielowarstwowej sieci neuronowej perceptron (MLP) za pomocą PyTorch DDP
Poniższy notatnik demonstruje rozproszone trenowanie prostego wielowarstwowego perceptronu (MLP) z wykorzystaniem modułu DDP firmy PyTorch na AI Runtime.
PyTorch DDP
Trenowanie systemu rekomendatora z dwiema wieżami przy użyciu PyTorch Lightning
W tym notesie pokazano, jak wytrenować model rekomendacji z dwiema wieżami przy użyciu rozwiązania PyTorch Lightning w środowisku AI Runtime. PyTorch Lightning zapewnia interfejs wysokiego poziomu, który automatycznie obsługuje konfigurację DDP na potrzeby trenowania wielu procesorów GPU. Przykład obejmuje przygotowywanie danych przy użyciu formatu Mosaic Streaming (MDS) i trenowania rozproszonego na układach GPU A10 lub H100.
Zobacz stronę z przykładami rekomendacji dotyczących głębokiego uczenia , aby zobaczyć pełne zeszyty.