Velké jazykové modely (LLM)

Důležité

Modul runtime AI pro úlohy s jedním uzlem je ve verzi Public Preview. Distribuované trénovací rozhraní API pro úlohy s více GPU zůstává v beta verzi.

Tyto poznámkové bloky slouží k doladění velkých jazykových modelů LLM na platformě AI Runtime. Pokrývají parametricky efektivní metody, jako je Low-Rank Adaptation (LoRA), a plné supervidované dolaďování napříč knihovnami včetně TRL, Unsloth, Axolotl a LLM Foundry, u modelů od Qwen2 a Llama až po GPT-OSS 120B.

Tutoriál	Description
Vyladění modelu Qwen3-4B	Plně dolaďte model Qwen3-4B na jediném GPU H100 pomocí Transformer Reinforcement Learning (TRL), se smíšenou přesností BF16 a gradient checkpointingem pro paměťově úsporné trénování.
Vyladění Llama-3.2-3B pomocí Unsloth	Jemně vylaďte Llama-3.2-3B pomocí knihovny Unsloth.
Vyladění GPT-OSS 20B	Dolaďte model OpenAI gpt-oss-20b na gpu 8 H100 pomocí distribuovaného datového paralelismu a LoRA pro vyladění parametrů.
Supervizované jemné ladění s využitím DeepSpeed a TRL	Pomocí bezserverového Python API GPU můžete provádět řízené doladění (SFT) za použití knihovny TRL (Transformer Reinforcement Learning) s využitím DeepSpeed ZeRO Stage 3.
Jemné ladění LoRA pomocí Axolotl	Pomocí bezserverového Python API pro GPU proveďte jemné doladění modelu Olmo3 7B metodou LoRA s využitím knihovny Axolotl.
Distribuované doladění Qwen2-0.5B	Dolaďte model Qwen2-0.5B pomocí technologií LoRA a Liger pro paměťově efektivní distribuované trénování s redukcí parametrů.
Distribuované doladění Llama-3.2-3B s Unsloth	Doladění modelu Llama-3.2-3B pomocí distribuovaného trénování na více GPU s knihovnou Unsloth pro optimalizované trénování efektivní z hlediska parametrů.
Vyladění Llama 3.1 8B pomocí LLM Foundry	Jemně vylaďte model Llama 3.1 8B s využitím aplikace Mosaic LLM Foundry s distribuovanými trénovacími strategiemi a vyhodnocením modelu.
Jemné doladění GPT-OSS 120B pomocí DDP a FSDP	Vyladění modelu OpenAI GPT-OSS 120B prostřednictvím řízeného jemného doladění na grafických procesorech H100 s využitím distribuovaných trénovacích strategií DDP a FSDP.
Distribuované trénování pomocí PyTorch FSDP	Trénování modelů Transformer pomocí PyTorch plně uspořádaného dělení dat paralelně (FSDP) k úplnému rozdělení parametrů modelu napříč několika GPU.

Ukázka videa

Toto video vás provede podrobným příkladem ladění Llama-3.2-3B pomocí ukázkového poznámkového bloku Unsloth (12 minut).