大規模言語モデル (LLM)

Important

この機能は パブリック プレビュー段階です。

これらの例は、大規模言語モデル(LLM)をAIランタイム上でファインチューニングし、追加学習するものです。 これらでは、Low-Rank Adaptation（LoRA）のようなパラメータ効率の高い手法や、完全教師ありファインチューニングを、TRL、Unsloth、Axolotl、LLM Foundry などのライブラリにまたがって扱っています。 バッチ推論の例については「 バッチ推論」を参照してください。

Example	Interface	説明
Gemma4-2Bの強化学習	Notebook	Unslothを使用して、単一のH100 GPU上で、Group Relative Policy Optimization（GRPO）とLow-Rank Adaptation（LoRA）によりGemma4-2Bを事後学習する。
Qwen3-4Bの監督付き微調整(フル)	Notebook	TRLを使用して、BF16の混合精度と勾配チェックポイントを用い、単一のH100 GPUでQwen3-4Bをフルウェイトでファインチューニング。
Llama-3.2-3Bの監督式微調整(LoRA)	Notebook	LoRAはUnslothライブラリを使って単一のGPU上でLlama-3.2-3Bを微調整します。
GPT-OSS 20Bの監督付き微調整(LoRA)	Notebook	TRLと分散データ並列を使用して、8台のH100 GPUでGPT-OSS 20BをLoRAファインチューニングする。
Llama-3.2-1Bの監督付き微調整(フル)	Notebook	TRLとDeepSpeed ZeRO Stage 3を使用して、H100 GPU 8基でLlama-3.2-1Bをフルウェイトでファインチューニングする。
Olmo3 7Bの監督式ファインチューニング(LoRA)	Notebook	LoRAはAxolotlライブラリを使って複数のGPUでOlmo3 7Bを微調整します。
監督付き微調整(フル)およびQwen3.5-0.8Bの提供	Notebook	単一のH100 GPUでQwen3.5-0.8Bを微調整し、その後vLLMモデルサービングエンドポイント経由で提供する。
マルチGPU上のLlama-3.2-3Bの監督付き微調整	Notebook	LoRAはUnslothライブラリを使って複数のGPUでLlama-3.2-3Bを微調整します。
GPT-OSS 120Bの監督式微調整(LoRA)	Notebook	LoRAはDDPとFSDPを使い、TRL対応の8台のH100 GPU上で120B GPT-OSS 微調整しました。
マルチGPUでのトランスフォーマーの訓練	Notebook	PyTorch 完全シャード データ並列 (FSDP) を使用してトランスフォーマー モデルをトレーニングし、複数の GPU 間でモデル パラメーターをシャード化します。
Llama 3.1 8BのマルチノードFSDPファインチューニング	CLI	PyTorch FSDPで2つの8x H100ノードにわたりLlama 3.1 8Bの教師ありファインチューニングを行い、訓練損失をMLflowにログし、統合チェックポイントを保存する。
Qwen3.8-27BのマルチノードFSDP2ファインチューニング	CLI	Qwen3.8-27BをPyTorch FSDP2で4つの8台のH100ノードで監督ファインチューニングしました。
請求書抽出のためのQwen3-8Bのフルウェイト微調整	CLI	Qwen3-8Bを1つの8台のH100ノードでTRLとDeepSpeed ZeRO-3を使用して、請求書および領収書のエンティティ抽出向けに微調整します。
Ray Trainを用いたQwen2.5-3Bの監督付き微調整	CLI	Ray Trainを使って、8基のH100 GPUを搭載した1台のノード上で、GPUごとに1つの分散データ並列ワーカーを使用してQwen2.5-3Bを微調整します。
Qwen2.5-0.5BのLoRAハイパーパラメータ探索	CLI	Ray Tuneと非同期逐次ハルビングアルゴリズム（ASHA）を使って、4台のA10 GPUでLoRA構成を検索し、最適な構成をMLflowに記録します。

ビデオ デモ

この動画では、Llama-3.2-3B の教師あり微調整(LoRA) に関するサンプル ノートブックについて、詳しく解説しています (12 分)。