Velké jazykové modely (LLM)

Důležité

Tato funkce je ve verzi Public Preview.

Tyto notebooky spouštějí inferenci a doladění velkých jazykových modelů (LLM) v AI Runtime. Zahrnují dávkové inference pomocí Ray Data a vLLM, parametrově efektivní metody jako Low-Rank Adaptation (LoRA) a plné dohledové jemné ladění napříč knihovnami včetně TRL, Unsloth, Axolotl a LLM Foundry.

Tutoriál	Description
Dávková inference modelu Qwen2.5-32B pomocí Ray Data a vLLM	Spusť vícejazyčné dávkové inferování s osmi perzistentními replikami vLLM Qwen2.5-32B-Instruct na 8 H100 GPU a ulož výsledky do Unity Catalog.
Vyladění modelu Qwen3-4B	Plně dolaďte model Qwen3-4B na jediném GPU H100 pomocí Transformer Reinforcement Learning (TRL), se smíšenou přesností BF16 a gradient checkpointingem pro paměťově úsporné trénování.
Vyladění Llama-3.2-3B pomocí Unsloth	Jemně vylaďte Llama-3.2-3B pomocí knihovny Unsloth.
Vyladění GPT-OSS 20B	Dolaďte model OpenAI gpt-oss-20b na gpu 8 H100 pomocí distribuovaného datového paralelismu a LoRA pro vyladění parametrů.
Supervizované jemné ladění s využitím DeepSpeed a TRL	Pomocí bezserverového Python API GPU můžete provádět řízené doladění (SFT) za použití knihovny TRL (Transformer Reinforcement Learning) s využitím DeepSpeed ZeRO Stage 3.
Jemné ladění LoRA pomocí Axolotl	Pomocí bezserverového Python API pro GPU proveďte jemné doladění modelu Olmo3 7B metodou LoRA s využitím knihovny Axolotl.
Distribuované doladění Qwen2-0.5B	Dolaďte model Qwen2-0.5B pomocí technologií LoRA a Liger pro paměťově efektivní distribuované trénování s redukcí parametrů.
Distribuované doladění Llama-3.2-3B s Unsloth	Doladění modelu Llama-3.2-3B pomocí distribuovaného trénování na více GPU s knihovnou Unsloth pro optimalizované trénování efektivní z hlediska parametrů.
Vyladění Llama 3.1 8B pomocí LLM Foundry	Jemně vylaďte model Llama 3.1 8B s využitím aplikace Mosaic LLM Foundry s distribuovanými trénovacími strategiemi a vyhodnocením modelu.
Jemné doladění GPT-OSS 120B pomocí DDP a FSDP	Vyladění modelu OpenAI GPT-OSS 120B prostřednictvím řízeného jemného doladění na grafických procesorech H100 s využitím distribuovaných trénovacích strategií DDP a FSDP.
Distribuované trénování pomocí PyTorch FSDP	Trénování modelů Transformer pomocí PyTorch plně uspořádaného dělení dat paralelně (FSDP) k úplnému rozdělení parametrů modelu napříč několika GPU.

Ukázka videa

Toto video vás provede podrobným příkladem ladění Llama-3.2-3B pomocí ukázkového poznámkového bloku Unsloth (12 minut).