Important
単一ノード タスクの AI ランタイムは パブリック プレビュー段階です。 マルチ GPU ワークロード用の分散トレーニング API は ベータ版のままです。
このページでは、AI ランタイムを使用して大規模言語モデル (LLM) を微調整するためのノートブックの例を示します。 これらの例では、Low-Rank 適応 (LoRA) や完全な監視による微調整などのパラメーター効率の高い方法など、微調整のさまざまな方法を示します。
| チュートリアル | 説明 |
|---|---|
| Qwen2-0.5B モデルを微調整する | トランスフォーマー強化学習 (TRL) を使用して Qwen2-0.5B モデルを効率的に微調整し、メモリ効率の高いトレーニング用の Liger Kernels、パラメーター効率の高い微調整を行う LoRA を使用します。 |
| Unsloth で Llama-3.2-3B を微調整する | Unsloth ライブラリを使用して Llama-3.2-3B を微調整します。 |
| DeepSpeed と TRL を使用した監視対象の微調整 | サーバーレス GPU Python API を使用して、DeepSpeed ZeRO Stage 3 の最適化を使用してトランスフォーマー強化学習 (TRL) ライブラリを使用して監視微調整 (SFT) を実行します。 |
| Axolotl を使用した LORA の微調整 | サーバーレス GPU Python API を使用して、Axolotl ライブラリを使用して Olmo3 7B モデルを LORA で微調整します。 |
ビデオ デモ
このビデオでは、Unsloth を使って Llama-3.2-3B を微調整するサンプルノートブックを、12 分間にわたって詳しく説明します。