Duże modele językowe (LLMs)

Ważna

Środowisko uruchomieniowe sztucznej inteligencji dla zadań z jednym węzłem jest w publicznej wersji zapoznawczej. Rozproszony interfejs API trenowania dla obciążeń z wieloma procesorami GPU pozostaje w wersji beta.

Ta strona zawiera przykłady zeszytów do dostrajania dużych modeli językowych (LLM) przy użyciu AI Runtime. W tych przykładach przedstawiono różne podejścia do strojenia, w tym metody efektywne pod względem parametrów, takie jak Low-Rank Adaptation (LoRA) i pełne nadzorowane strojenie.

Tutorial	Opis
Dostrojenie modelu Qwen2-0.5B	Wydajnie dostroić model Qwen2-0.5B przy użyciu uczenia wzmacnianego transformatora (TRL), Liger Kernels do pamięciowo wydajnego treningu i LoRA w celu wydajnego dostrajania parametrów.
Dostrój Llama-3.2-3B za pomocą Unsloth	Dostrój Llama-3.2-3B przy użyciu biblioteki Unsloth.
Nadzorowane dostrajanie przy użyciu technologii DeepSpeed i TRL	Użyj bezserwerowego interfejsu API Python GPU, aby uruchomić nadzorowane dostrajanie (SFT) przy użyciu biblioteki Transformer Reinforcement Learning (TRL) z optymalizacją DeepSpeed ZeRO Stage 3.
Dostrajanie LORA przy użyciu Axolotl	Użyj interfejsu API Serverless GPU w języku Python do dostrojenia modelu Olmo3 7B za pomocą biblioteki Axolotl przy użyciu metody LORA.

Pokaz wideo

Ten film wideo szczegółowo omawia przykładowy notes Fine-tune Llama-3.2-3B z Unsloth (12 minut).