重要
この記事で "(プレビュー)" と付記されている項目は、現在、パブリック プレビュー段階です。 このプレビューはサービス レベル アグリーメントなしで提供されており、運用環境ではお勧めしません。 特定の機能はサポート対象ではなく、機能が制限されることがあります。 詳しくは、Microsoft Azure プレビューの追加使用条件に関するページをご覧ください。
Azure AI Foundry ポータルでは、蒸留を使用して学生モデルを効率的にトレーニングできます。
蒸留とは
機械学習での蒸留とは、大きくて複雑なモデル (しばしば "教師モデル" と呼ばれます) から、より小さくて単純なモデル ("学生モデル") に知識を転送するための手法です。 このプロセスは、より小さいモデルが、計算とメモリ使用量の点ではより効率的でありながら、大きいモデルと同様のパフォーマンスを実現するのに役立ちます。
蒸留の手順
知識蒸留の主な手順は次のとおりです。
教師モデルを使って、データセットの予測を生成します。
これらの予測を元のデータセットと共に使って、学生モデルをトレーニングし、教師モデルの動作を模倣します。
サンプル ノートブック
Azure AI Foundry ポータルでの蒸留は、現在、ノートブック エクスペリエンスでのみ利用可能です。 サンプル ノートブックを使って、蒸留を実行する方法を確認できます。 Microsoft モデルとモデル カタログで利用可能な一部の OSS (オープンソース ソフトウェア) モデルについては、モデル蒸留が利用可能です。 このサンプル ノートブックでは、教師モデルは Meta Llama 3.1 405B インストラクション モデルを使い、学生モデルは Meta Llama 3.1 8B インストラクション モデルを使います。
合成データ生成の間に高度なプロンプトを使いました。 高度なプロンプトには、Chain-of-Thought (COT) 推論が組み込まれているため、合成データでのデータ ラベルの正確性が高くなります。 このラベル付けにより、蒸留モデルの正確性がさらに向上します。