Trenowanie rozproszone na wielu GPU

Ważna

Dekorator @distributed użyty w przykładach notatników jest w wersji beta.

Te przykłady skalują trening modeli na wielu GPU w AI Runtime. Przykłady notatników korzystają z interfejsu API języka Python serverless_gpu na dołączonych zasobach obliczeniowych GPU. Przykłady interfejsu wiersza polecenia Databricks dostarczają konfiguracji obciążeń i kodu źródłowego do treningu na pojedynczym węźle z użyciem wielu procesorów GPU.

Uwaga / Notatka

Na GPU H100 obsługiwane jest rozproszone trenowanie wieloGPU oparte na notebookach.

Wybierz technikę równoległości

Wybierz technikę równoległości w zależności od rozmiaru modelu, dostępnej pamięci GPU i wymagań dotyczących wydajności. Poniższa tabela porównuje opcje.

Technika Kiedy stosować
DDP (rozproszone dane równoległe) Pełny model pasuje do pojedynczej pamięci procesora GPU; konieczne jest skalowanie przepływności danych
FSDP (Równoległe Przetwarzanie Danych z Pełnym Podziałem na Fragmenty) Bardzo duże modele, które nie mieszczą się w pojedynczej pamięci procesora GPU
DeepSpeed ZeRO Duże modele z zaawansowanymi potrzebami optymalizacji pamięci

Aby uzyskać szczegółowe informacje na temat każdej techniki, zobacz DDP, FSDP i DeepSpeed.

Aby uzyskać porady i wzorce, dzięki którym proces trenowania będzie wydajniejszy i bardziej odporny, zobacz przewodnik dotyczący wydajności i odporności.

Przykłady notatników według techniki i frameworku

Poniższa tabela porządkuje przykłady notebooków według frameworku lub biblioteki oraz zastosowanej techniki równoległości. W jednej komórce może pojawić się wiele notesów.

Struktura/biblioteka Przykłady protokołu DDP Przykłady FSDP Przykłady deepSpeed
PyTorch (natywny) Prosta sieć neuronowa MLP
Wykrywanie obrazów RetinaNet
Transformator parametru 10M —
Huggingface TRL Dostrojenie Gpt OSS 20B Dostrojenie Gpt OSS 120B Dostrojenie Llama 3.2 1B
Unsloth Dostrojenie Llama 3.2 3B — —
Axolotl Dostrojenie Olmo3 7B — —
Lightning System rekomendatora z dwoma wieżami — —

Przykłady CLI

Poniższe przykłady zawierają linki do gotowych do uruchomienia przepisów w AI Runtime Cookbook.

Example Technique Opis
Precyzyjne dostrajanie Qwen2.5-3B z Ray Train DDP Dopracuj Qwen2.5-3B z jednym workerem Ray Train na każdym GPU na 8x węźle H100.
Qwen3-8B precyzyjne dostrajanie do ekstrakcji faktur DeepSpeed ZeRO-3 Dopracuj Qwen3-8B do ekstrakcji encji z faktur i paragonów za pomocą TRL na jednym węźle 8x H100.
Fine-tuning ModernBERT z DDP DDP Dopracuj ModernBERT do klasyfikacji tematów za pomocą DDP PyTorch na węźle 8x H100.
Dostrajanie LoRA modelu Nemotron 3.5 Lightning FSDP2 i ekspercki paralelizm Dopracuj Nemotron 3.5 Lightning z NeMo AutoModel na ośmiu kartach graficznych H100.
Dostrajanie LoRA modelu Nemotron 3.5 Super VL FSDP2 i ekspercki paralelizm Dopracuj model wizyjno-językowy Nemotron 3.5 Super VL za pomocą NeMo AutoModel na ośmiu kartach graficznych H100.

Rozpocznij pracę w notesie

Skorzystaj z poniższych samouczków, aby rozpocząć pracę z bezserwerową biblioteką języka Python procesora GPU na potrzeby trenowania rozproszonego:

Tutorial Opis
Środowisko uruchomieniowe sztucznej inteligencji z procesorami GPU H100 Dowiedz się, jak używać środowiska databricks AI Runtime z akceleratorami H100 do uruchamiania rozproszonych obciążeń procesora GPU przy użyciu biblioteki języka Python serverless_gpu.