Büyük dil modelleri (LLM'ler)

Önemli

Bu özellik Genel Önizleme aşamasındadır.

Bu örnekler, AI Runtime'da büyük dil modellerine (LLM'lere) ince ayar çeker ve sonradan eğitir. TRL, Unsloth, Axolotl ve LLM Foundry gibi kütüphanelerde, Low-Rank Uyarlama (LoRA) gibi parametre açısından verimli yöntemleri ve tam denetimli ince ayarı ele alırlar. Toplu çıkarım örnekleri için bkz. Toplu çıkarım.

Example	Interface	Açıklama
Gemma4-2B'nin pekiştirmeli öğrenimi	Notebook	Unsloth kullanarak tek bir H100 GPU üzerinde Gemma4-2B’yi Grup Göreli Politika Optimizasyonu (GRPO) ve Düşük Dereceli Uyarlama (LoRA) ile eğitim sonrası ince ayar yapın.
Qwen3-4B'nin Denetimli İnce Ayarlaması (Tam)	Notebook	TRL kullanarak, BF16 karma hassasiyet ve gradyan denetim noktalama ile Qwen3-4B'yi tek bir H100 GPU üzerinde tam ağırlıklı olarak ince ayarla.
Llama-3.2-3B'nin Denetimli İnce Ayarlaması (LoRA)	Notebook	LoRA, Llama-3.2-3B'yi tek bir GPU'da Unsloth kütüphanesiyle ince ayarlar.
GPT-OSS 20B'nin Denetimli İnce Ayarlaması (LoRA)	Notebook	LoRA, TRL ve dağıtık veri paralelliği ile 8 H100 GPU'da 20B GPT-OSS ince ayarladı.
Llama-3.2-1B’nin Tam Denetimli İnce Ayarı	Notebook	TRL ve DeepSpeed ZeRO Stage 3 ile 8 H100 GPU üzerinde tam ağırlıklı ince ayar Llama-3.2-1B.
Olmo3 7B'nin Denetimli İnce Ayarlama (LoRA)	Notebook	LoRA, Olmo3 7B'yi Axolotl kütüphanesiyle birden fazla GPU üzerinde ince ayar yaptı.
Qwen3.5-0.8B'nin denetimli ince ayarı (Tam) ve sunumu	Notebook	Qwen3.5-0.8B'yi tek bir H100 GPU'da TRL ile ince ayar yapın, ardından vLLM Model Hizmet Uç noktasının arkasında servis edin.
Llama-3.2-3B'nin çoklu GPU'larda Denetimli İnce Ayarlaması	Notebook	LoRA, Unsloth kütüphanesiyle birden fazla GPU üzerinde Llama-3.2-3B'yi ince ayar etti.
GPT-OSS 120B'nin Denetimli İnce Ayarlama (LoRA)	Notebook	TRL ile, DDP ve FSDP kullanarak, GPT-OSS 120B modelini 8 adet H100 GPU üzerinde LoRA ile ince ayarlayın.
Transformatörleri birden fazla GPU üzerinde eğitme	Notebook	PyTorch Tam Parçalı Veri Paralel (FSDP) kullanarak Transformer modellerini birden çok GPU'da parça modeli parametrelerine eğitin.
Llama 3.1 8B'nin çok düğümlü FSDP ince ayarı	CLI	PyTorch FSDP ile iki 8x H100 düğümünde Llama 3.1 8B'ye denetimli ince ayar yaptı, eğitim kaybını MLflow'a kaydetti ve konsolide bir denetim noktasını kaydetti.
Qwen3.8-27B'nin çok düğümlü FSDP2 ince ayarı	CLI	Qwen3.8-27B'yi PyTorch FSDP2 ile dört 8x H100 düğümünde denetimli ince ayarlayın.
Qwen3-8B'nin fatura çıkarımı için tam ağırlıklı ince ayarı	CLI	Qwen3-8B'yi TRL ve DeepSpeed ZeRO-3 ile tek bir 8x H100 düğümünde fatura ve makbuz varlık çıkarımı için ince ayar yapın.
Qwen2.5-3B'nin Ray Train ile denetimli ince ayarlaması	CLI	Qwen2.5-3B'yi 8x H100 düğümünde her GPU için bir dağıtık veri paralel çalışanıyla ince ayar yapmak için Ray Train kullanın.
Qwen2.5-0.5B için LoRA hiperparametre araması	CLI	Ray Tune ve asenkron ardışık yarılama algoritmasını (ASHA) kullanarak dört A10 GPU'da LoRA yapılandırmalarını arayın ve en iyi yapılandırmayı MLflow'a kaydedin.

Video tanıtımı

Bu video, Llama-3.2-3B’nin Denetimli İnce Ayar (LoRA) örnek not defterini ayrıntılı olarak ele alıyor (12 dakika).