Büyük dil modelleri (LLM'ler)

Önemli

Bu özellik Beta sürümündedir. Çalışma alanı yöneticileri Bu özelliğe erişimi Önizlemeler sayfasından denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.

Bu sayfada, Sunucusuz GPU işlem kullanarak büyük dil modellerinde (LLM) ince ayar yapmak için not defteri örnekleri sağlanmaktadır. Bu örnekler, Low-Rank Adaptasyonu (LoRA) ve tam denetimli ince ayarlama gibi parametre verimli yöntemler dahil olmak üzere çeşitli ince ayarlama yaklaşımlarını gösterir.

Qwen2-0,5B modeline ince ayar yapma

Aşağıdaki not defteri, Qwen2-0.5B modelinin verimli bir şekilde ayarlanmasına dair bir örnek sunar.

• Denetimli ince ayar için transformatör güçlendirme öğrenmesi (TRL)
• İyileştirilmiş Triton çekirdekleri ile bellek açısından verimli eğitim için Liger Çekirdekleri.
• Parametre açısından verimli ince ayarlama için LoRA.

Dizüstü bilgisayar

Dizüstü bilgisayar al

Unsloth ile Lama-3.2-3B ince ayar

Bu not defteri, Unsloth kitaplığını kullanarak Llama-3.2-3B'de ince ayar yapmayı gösterir.

Unsloth Llama

Dizüstü bilgisayar al

Video tanıtımı

Bu video, not defterinde sizi adım adım ayrıntılı bir şekilde (12 dakika) götürmektedir.

DeepSpeed ve TRL kullanarak denetimli ince ayarlama

Bu not defteri, DeepSpeed ZeRO Stage 3 iyileştirmesi ile Transformer Reinforcement Learning (TRL) kitaplığını kullanarak denetimli ince ayarlama (SFT) çalıştırmak için Sunucusuz GPU Python API'sinin nasıl kullanılacağını gösterir.

TRL DeepSpeed

Dizüstü bilgisayar al

Axolotl kullanarak LORA ince ayarlama

Bu not defteri, Sunucusuz GPU Python API'sini kullanarak Axolotl kitaplığı ile bir Olmo3 7B modeline LORA ile ince ayar yapmayı gösterir.

Axolotl

Dizüstü bilgisayar al