Model bahasa besar (LLM)

Penting

Fitur ini ada di Pratinjau Umum.

Notebook ini menjalankan inferensi dan penyempurnaan model bahasa besar (LLM) pada AI Runtime. Mereka mencakup inferensi batch dengan Ray Data dan vLLM, metode efisien parameter seperti Low-Rank Adaptation (LoRA), dan penyempurnaan penuh yang diawasi di berbagai pustaka termasuk TRL, Unsloth, Axolotl, dan LLM Foundry.

Tutorial	Deskripsi
Inferensi batch Qwen2.5-32B dengan Ray Data dan vLLM	Jalankan inferensi batch multibahasa dengan delapan replika persisten vLLM Qwen2.5-32B-Instruct pada 8 GPU H100 dan simpan hasilnya ke Unity Catalog.
Menyempurnakan model Qwen3-4B	Menyempurnakan berat penuh model Qwen3-4B pada satu GPU H100 menggunakan Transformer Reinforcement Learning (TRL), dengan presisi campuran BF16 dan titik pemeriksaan gradien untuk pelatihan hemat memori.
Menyempurnakan Llama-3.2-3B dengan Unsloth	Melakukan fine-tuning pada Llama-3.2-3B menggunakan pustaka Unsloth.
Menyempurnakan GPT-OSS 20B	Sesuaikan model OpenAI gpt-oss-20b pada GPU 8 H100 menggunakan paralelisme data terdistribusi dan LoRA untuk penyempurnaan parameter yang efisien.
Penyempurnaan yang diawasi menggunakan DeepSpeed dan TRL	Gunakan API Python GPU Tanpa Server untuk menjalankan penyempurnaan yang diawasi (SFT) menggunakan pustaka Transformer Reinforcement Learning (TRL) dengan pengoptimalan DeepSpeed ZeRO Stage 3.
Penyempurnaan LoRA menggunakan Axolotl	Gunakan API Python GPU Tanpa Server untuk Menyempurnakan model Olmo3 7B LoRA menggunakan pustaka Axolotl.
Qwen2-0,5B penyempurnaan terdistribusi	Sesuaikan model Qwen2-0.5B menggunakan LoRA dan Liger Kernels untuk pelatihan terdistribusi yang efisien dalam penggunaan memori dengan pengurangan parameter.
Melakukan fine-tuning terdistribusi pada Llama-3.2-3B dengan Unsloth	Sesuaikan Llama-3.2-3B menggunakan pelatihan terdistribusi di beberapa GPU dengan pustaka Unsloth untuk pelatihan hemat parameter yang dioptimalkan.
Menyempurnakan Llama 3.1 8B dengan LLM Foundry	Sesuaikan model Llama 3.1 8B menggunakan Mosaic LLM Foundry dengan strategi pelatihan terdistribusi dan evaluasi model.
Menyempurnakan GPT-OSS 120B dengan DDP dan FSDP	Sesuaikan model OpenAI GPT-OSS 120B menggunakan penyempurnaan yang diawasi pada GPU H100 dengan strategi pelatihan terdistribusi DDP dan FSDP.
Pelatihan terdistribusi dengan PyTorch FSDP	Melatih model Transformer menggunakan PyTorch Fully Sharded Data Parallel (FSDP) untuk membagi parameter model ke beberapa GPU.

Demo video

Video ini memandu melalui Fine-tune Llama-3.2-3B dengan notebook contoh Unsloth secara rinci (12 menit).