この記事では、Azure Kubernetes Service (AKS)で GPU 信号を監視および解釈するためのベスト プラクティスについて説明します。 NVIDIA GPU メトリックを分離して調べるのではなく、使用率、メモリ、ワークロード コンテキスト全体でシグナルを関連付けて、長期的なパフォーマンスとノードの効率を向上させます。
Important
AKS のプレビュー機能は、セルフサービスのオプトイン単位で利用できます。 プレビューは、"現状有姿のまま" および "利用可能な限度" で提供され、サービス レベル アグリーメントおよび限定保証から除外されるものとします。 AKS プレビューは、ベストエフォート ベースでカスタマー サポートによって部分的にカバーされます。 そのため、これらの機能は運用環境での使用を目的としていません。 詳細については、次のサポート記事を参照してください。
GPU 使用率と飽和状態を理解する
NVIDIA DCGM メトリック DCGM_FI_DEV_GPU_UTIL を直接的な効率スコアとして扱ってはいけません。
DCGM_FI_DEV_GPU_UTIL は、カーネルがアクティブになっている頻度のみを示すので、ワークロードがコンピューティング効率に優れているかどうかは示されません。 個別に読み取るのではなく、使用率シグナルを関連付けることで、より正確なガイダンスを得ることができます。
DCGM_FI_DEV_GPU_UTILとDCGM_FI_PROF_SM_ACTIVEを比較し、DCGM_FI_PROF_SM_ACTIVEとDCGM_FI_PROF_DRAM_ACTIVEを比較して、ボトルネックがコンピューティング、メモリ、起動、同期のオーバーヘッドであるかどうかを特定します。
DCGM_FI_DEV_GPU_UTILが高く、DCGM_FI_PROF_SM_ACTIVEが低いことは、多くの場合、起動オーバーヘッド、同期の停止、またはメモリ競合を指します。
DCGM_FI_PROF_SM_ACTIVEが高くDCGM_FI_PROF_DRAM_ACTIVEが低い場合は、計算負荷の高い動作とより一致します。
DCGM_FI_PROF_DRAM_ACTIVEが高く、DCGM_FI_PROF_SM_ACTIVEが低い場合、通常、メモリ バウンド実行を指します。
Note
DCGM_FI_PROF_SM_ACTIVE および DCGM_FI_PROF_DRAM_ACTIVE は DCGM プロファイル フィールドであり、Azure仮想マシン (VM) サイズで提供されるすべての NVIDIA GPU アーキテクチャの種類に既定では表示されない場合があります。
この相関関係優先のアプローチは、ルートの問題がカーネル効率またはメモリ アクセス パターンである可能性がある場合にスケールアウトを回避するのに役立ちます。 詳細なメトリック セマンティクスについては、 NVIDIA DCGM ユーザー ガイドを参照してください。
主要なスケジューリング信号としてメモリ負荷を使用する
メモリがメモリ不足のしきい値に繰り返し近づく場合は、そのパターンを不安定性の初期インジケーターとして扱います。 Kubernetes にはネイティブ GPU メモリの圧力信号がないため、VRAM の枯渇は通常、コンテナー OOM の強制終了とポッドの中断としてのみ発生します。多くの場合、DCGM テレメトリが傾向を示した後によく発生します。
GPU 正常性シグナルからのノード ライフサイクル アクションを自動化する
この方法は、ホストのエージングがノード間で異なる可能性がある有効期間の長い AKS GPU ノード プールでは特に重要です。
可観測信号をスケーリングの決定に合わせる
垂直方向のスケーリングの場合は、異なるAzure GPU 対応 VM SKU に新しいノード プールを作成し、電力または熱制約でスループットが上限に達した場合 (たとえば、DCGM_FI_DEV_POWER_USAGE が制限に近いままで、DCGM_FI_PROF_SM_ACTIVEが需要にもかかわらずフラットなままである場合など)、ワークロードを移行します。
MIG と MIG 以外の監視ポリシーを分離する
MIG を有効にすると、各メトリックのスコープが変化するため、シグナルの解釈は異なります。
コストに対応した GPU 効率メトリックを公開する
パフォーマンスだけでなく、コストの可視性を最適化します。 AKS プラットフォーム チームの価値の高い派生メトリックは、使用された GPU 秒と割り当てられた GPU 秒です。 DCGM テレメトリと Kubernetes コンテキスト結合を使用して、名前空間とワークロード クラス別にこのメトリックを発行し、プラットフォームチームと財務チームの共有 KPI として時間をかけて確認します。 このアプローチは、最適化の決定に関する共通の信頼のソースを定義し、使用率の集計平均によって過剰割り当てが非表示にならないようにするのに役立ちます。
次のステップ
- AKS の GPU のベスト プラクティスを確認します。
- AKS マネージド GPU の可観測性の利用を開始しましょう。
- マルチインスタンス GPU (MIG) ノードを使用して割り当てを最適化します。
- KEDA と DCGM メトリックを使用して GPU 信号に基づいてスケーリングします。