Stora språkmodeller (LLM: er)

Viktigt!

Den här funktionen finns som allmänt tillgänglig förhandsversion.

Dessa notebooks kör inferens och finjustering av stora språkmodeller (LLM) i AI Runtime. De täcker batchinferens med Ray Data och vLLM, parametereffektiva metoder som Low-Rank Adaptation (LoRA) och fullständig övervakad finjustering över bibliotek inklusive TRL, Unsloth, Axolotl och LLM Foundry.

Handledning	Beskrivning
Qwen2.5-32B batchinferens med Ray Data och vLLM	Kör flerspråkig batchinferens med åtta persistenta vLLM-replikor av Qwen2.5-32B-Instruct på 8 H100-GPU:er och spara resultaten i Unity-katalogen.
Finjustera Qwen3-4B-modellen	Finjustera Qwen3-4B-modellen i fullvikt på en enda H100 GPU med Transformer Reinforcement Learning (TRL), med BF16 mixed precision och gradient checkpointing för minneseffektiv träning.
Finjustera Llama-3.2-3B med Unsloth	Finjustera Llama-3.2-3B med hjälp av unsloth-biblioteket.
Finjustera GPT-OSS 20B	Finjustera OpenAI:s gpt-oss-20b modell på 8 H100 GPU:er med distribuerad dataparallellitet och LoRA för parametereffektiv finjustering.
Övervakad finjustering med DeepSpeed och TRL	Använd Det serverlösa GPU Python-API:et för att köra övervakad finjustering (SFT) med hjälp av biblioteket Transformer Reinforcement Learning (TRL) med DeepSpeed ZeRO Steg 3-optimering.
LoRA-finjustering med hjälp av Axolotl	Använd det serverlösa GPU Python-API:et för att LoRA-finjustera en Olmo3 7B-modell med hjälp av Axolotl-biblioteket.
Finjustering av distribuerad Qwen2-0.5B	Finjustera Qwen2-0.5B-modellen med LoRA- och Liger Kernels för minneseffektiv distribuerad träning med parameterreduktion.
Distribuerad finjustering av Llama-3.2-3B med Unsloth	Finjustera Llama-3.2-3B med distribuerad träning över flera GPU:er med unsloth-biblioteket för optimerad parametereffektiv träning.
Finjustera Llama 3.1 8B med LLM Foundry	Finjustera Llama 3.1 8B-modellen med mosaic LLM Foundry med distribuerade träningsstrategier och modellutvärdering.
Finjustera GPT-OSS 120B med DDP och FSDP	Finjustera OpenAI:s GPT-OSS 120B-modell med övervakad finjustering på H100 GPU:er med DDP- och FSDP-distribuerade träningsstrategier.
Distribuerad träning med PyTorch FSDP	Träna transformeringsmodeller med PyTorch Fullständigt fragmenterad dataparallell (FSDP) för att fragmentera modellparametrar över flera GPU:er.

Videodemo

Den här videon går igenom Fine-tune Llama-3.2-3B med Unsloth exempeldokumentet detaljerat (12 minuter).