Stora språkmodeller (LLM: er)

Viktigt!

AI Runtime för aktiviteter med en nod finns i offentlig förhandsversion. Det distribuerade tränings-API:et för multi-GPU-arbetsbelastningar finns kvar i Beta.

Den här sidan innehåller notebook-exempel för finjustering av stora språkmodeller (LLM: er) med AI Runtime. Dessa exempel visar olika metoder för finjustering, inklusive parametereffektiva metoder som Low-Rank Adaptation (LoRA) och fullständig övervakad finjustering.

Handledning	Beskrivning
Finjustera Qwen2-0.5B-modellen	Finjustera effektivt Qwen2-0.5B-modellen med hjälp av Transformer reinforcement learning (TRL), Liger Kernels för minneseffektiv träning och LoRA för parametereffektiv finjustering.
Finjustera Llama-3.2-3B med Unsloth	Finjustera Llama-3.2-3B med hjälp av unsloth-biblioteket.
Övervakad finjustering med DeepSpeed och TRL	Använd Det serverlösa GPU Python-API:et för att köra övervakad finjustering (SFT) med hjälp av biblioteket Transformer Reinforcement Learning (TRL) med DeepSpeed ZeRO Steg 3-optimering.
LORA-finjustering med Axolotl	Använd Serverless GPU Python API för att LORA finjustera en Olmo3 7B-modell med hjälp av Axolotl-biblioteket.

Videodemo

Den här videon går igenom Fine-tune Llama-3.2-3B med Unsloth exempeldokumentet detaljerat (12 minuter).