Velké jazykové modely (LLM)

Důležité

Tato funkce je v beta verzi.

Tato stránka obsahuje příklady poznámkových bloků pro vyladění velkých jazykových modelů (LLM) pomocí bezserverových výpočetních prostředků GPU. Tyto příklady ukazují různé přístupy k jemnému ladění, včetně metod efektivních parametrů, jako jsou Low-Rank Adaptace (LoRA) a úplné doladění pod dohledem.

Vyladění modelu Qwen2-0.5B

Následující poznámkový blok obsahuje příklad efektivního vyladění modelu Qwen2-0.5B pomocí:

• Transformátor výztužného učení (TRL) pro vyladění pod dohledem
• Liger Kernels pro paměťově úsporné trénování s optimalizovanými jádry Triton.
• LoRA pro vyladění efektivního parametru.

Notebook

Pořiďte si notebook

Vyladění Llama-3.2-3B pomocí unsloth

Tento poznámkový blok ukazuje, jak vyladit Llama-3.2-3B pomocí knihovny Unsloth.

Unsloth Llama

Pořiďte si notebook

Ukázka videa

Toto video vás podrobně provede poznámkovými bloky (12 minut).

Vyladění pod dohledem s využitím DeepSpeed a TRL

Tento poznámkový blok ukazuje, jak používat bezserverové rozhraní API GPU Pythonu ke spouštění ladění pod dohledem (SFT) pomocí knihovny Transformer Výztuže (TRL) s optimalizací DeepSpeed ZeRO Stage 3.

TRL DeepSpeed

Pořiďte si notebook