適用対象: Windows Server 上の AKS
グラフィカル処理ユニット (GPU) は、機械学習、ディープ ラーニングなどのコンピューティング集中型ワークロードに使用されます。 この記事では、Windows Server 上の AKS でコンピューティング集中型ワークロードに GPU を使用する方法について説明します。
開始する前に
GPU 対応ノード プールを実行している 2022 年 10 月より前のプレビュー バージョンから AKS を更新する場合は、開始する前に、GPU を実行しているすべてのワークロード クラスターを削除してください。 このセクションの手順に従います。
手順 1: Nvidia ホスト ドライバーをアンインストールする
各ホスト コンピューターで、[プログラムの追加と削除コントロール パネル >に移動し NVIDIA ホスト ドライバーをアンインストールしてから、コンピューターを再起動します。 マシンの再起動後、ドライバーが正常にアンインストールされたことを確認します。 管理者特権の PowerShell ターミナルを開き、次のコマンドを実行します。
Get-PnpDevice | select status, class, friendlyname, instanceid | findstr /i /c:"3d video"
次の出力例に示すように、GPU デバイスがエラー状態で表示されます。
Error 3D Video Controller PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&32EEF88F&0&0000
Error 3D Video Controller PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&3569C1D3&0&0000
手順 2: ホストからホスト ドライバーをマウント解除する
ホスト ドライバーをアンインストールすると、物理 GPU はエラー状態になります。 すべての GPU デバイスをホストからマウント解除する必要があります。
GPU (3D ビデオ コントローラー) デバイスごとに、PowerShell で次のコマンドを実行します。 インスタンス ID をコピーします。たとえば、前のコマンド出力から PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&32EEF88F&0&0000 します。
$id1 = "<Copy and paste GPU instance id into this string>"
$lp1 = (Get-PnpDeviceProperty -KeyName DEVPKEY_Device_LocationPaths -InstanceId $id1).Data[0]
Disable-PnpDevice -InstanceId $id1 -Confirm:$false
Dismount-VMHostAssignableDevice -LocationPath $lp1 -Force
GPU がホストから正しくマウント解除されたことを確認するには、次のコマンドを実行します。 GPU は Unknown 状態にする必要があります。
Get-PnpDevice | select status, class, friendlyname, instanceid | findstr /i /c:"3d video"
Unknown 3D Video Controller PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&32EEF88F&0&0000
Unknown 3D Video Controller PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&3569C1D3&0&0000
手順 3: NVIDIA 軽減ドライバーをダウンロードしてインストールする
本ソフトウェアには、NVIDIA Corporation またはそのライセンサーによって開発および所有されているコンポーネントが含まれる場合があります。 これらのコンポーネントの使用は、 NVIDIA エンド ユーザー 使用許諾契約書によって管理されます。
NVIDIA 軽減ドライバーをダウンロードするには、 NVIDIA データ センターのドキュメント を参照してください。 ドライバーをダウンロードした後、アーカイブを展開し、各ホスト コンピューターに軽減ドライバーをインストールします。
Invoke-WebRequest -Uri "https://docs.nvidia.com/datacenter/tesla/gpu-passthrough/nvidia_azure_stack_inf_v2022.10.13_public.zip" -OutFile "nvidia_azure_stack_inf_v2022.10.13_public.zip"
mkdir nvidia-mitigation-driver
Expand-Archive .\nvidia_azure_stack_inf_v2022.10.13_public.zip .\nvidia-mitigation-driver\
軽減ドライバーをインストールするには、抽出されたファイルが格納されているフォルダーに移動し、 nvidia_azure_stack_T4_base.inf ファイルを右クリックして、[インストール] を選択 します。 正しいドライバがあることを確認してください。AKS では現在、NVIDIA Tesla T4 GPU のみがサポートされています。
フォルダーに移動し、次のコマンドを実行して軽減ドライバーをインストールすることで、コマンド ラインを使用してインストールすることもできます。
pnputil /add-driver nvidia_azure_stack_T4_base.inf /install
pnputil /scan-devices
軽減ドライバーをインストールすると、GPU は [Nvidia T4_base - マウント解除] の下に [OK] 状態で表示されます。
Get-PnpDevice | select status, class, friendlyname, instanceid | findstr /i /c:"nvidia"
OK Nvidia T4_base - Dismounted PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&32EEF88F&0&0000
OK Nvidia T4_base - Dismounted PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&3569C1D3&0&0000
手順 4: 手順 1 から 3 を繰り返す
フェールオーバー クラスター内のノードごとに手順 1 から 3 を繰り返します。
重要
GPU 対応の仮想マシンは、Windows Server 2019 および Windows Server 2022 のフェールオーバー クラスタリングには追加されません。
AKS のインストールまたは更新
PowerShell を使用するか、Windows Admin Center を使用して Windows Server に AKS をインストールまたは更新する AKS クイック スタートを参照してください。
GPU 対応ノード プールを使用して新しいワークロード クラスターを作成する
現在、GPU 対応ノード プールの使用は Linux ノード プールでのみ使用できます。
New-AksHciCluster -Name "gpucluster" -nodePoolName "gpunodepool" -nodeCount 2 -osType linux -nodeVmSize Standard_NK6
ワークロード クラスターをインストールした後、次のコマンドを実行して Kubeconfig を取得します。
Get-AksHciCredential -Name gpucluster
GPU をスケジュールできることを確認する
GPU ノード プールが作成されたら、Kubernetes で GPU をスケジュールできることを確認します。 まず、kubectl get nodes コマンドを使用して、クラスター内のノードを一覧表示します。
kubectl get nodes
NAME STATUS ROLES AGE VERSION
moc-l9qz36vtxzj Ready control-plane,master 6m14s v1.22.6
moc-lhbkqoncefu Ready <none> 3m19s v1.22.6
moc-li87udi8l9s Ready <none> 3m5s v1.22.6
次に、 kubectl describe node コマンドを使用して、GPU をスケジュールできることを確認します。 Capacity セクションでは、GPU は nvidia.com/gpu: 1 として表示されます。
kubectl describe <node> | findstr "gpu"
出力にはワーカー ノードからの GPU が表示され、次のようになります。
nvidia.com/gpu.compute.major=7
nvidia.com/gpu.compute.minor=5
nvidia.com/gpu.count=1
nvidia.com/gpu.family=turing
nvidia.com/gpu.machine=Virtual-Machine
nvidia.com/gpu.memory=16384
nvidia.com/gpu.product=Tesla-T4
Annotations: cluster.x-k8s.io/cluster-name: gpucluster
cluster.x-k8s.io/machine: gpunodepool-md-58d9b96dd9-vsdbl
cluster.x-k8s.io/owner-name: gpunodepool-md-58d9b96dd9
nvidia.com/gpu: 1
nvidia.com/gpu: 1
ProviderID: moc://gpunodepool-97d9f5667-49lt4
kube-system gpu-feature-discovery-gd62h 0 (0%) 0 (0%) 0 (0%) 0 (0%) 7m1s
nvidia.com/gpu 0 0
GPU 対応ワークロードの実行
前の手順を完了したら、テスト用の新しい YAML ファイルを作成します。たとえば、 gpupod.yaml。 次の YAML をコピーして、 gpupod.yaml という名前の新しいファイルに貼り付け保存します。
apiVersion: v1
kind: Pod
metadata:
name: cuda-vector-add
spec:
restartPolicy: OnFailure
containers:
- name: cuda-vector-add
image: "k8s.gcr.io/cuda-vector-add:v0.1"
resources:
limits:
nvidia.com/gpu: 1
次のコマンドを実行して、サンプル アプリケーションをデプロイします。
kubectl apply -f gpupod.yaml
ポッドが起動し、実行が完了し、GPU が割り当てられていることを確認します。
kubectl describe pod cuda-vector-add | findstr 'gpu'
前のコマンドでは、1 つの GPU が割り当てられている必要があります。
nvidia.com/gpu: 1
nvidia.com/gpu: 1
ポッドのログ ファイルを調べて、テストに合格したかどうかを確認します。
kubectl logs cuda-vector-add
前のコマンドからの出力例を次に示します。
[Vector addition of 50000 elements]
Copy input data from the host memory to the CUDA device
CUDA kernel launch with 196 blocks of 256 threads
Copy output data from the CUDA device to the host memory
Test PASSED
Done
ドライバーを呼び出すときにバージョンの不一致エラーが発生する場合 ("CUDA ドライバーのバージョンは CUDA ランタイム バージョンでは不十分です" など)、 NVIDIA ドライバー マトリックスの互換性グラフを確認してください。
よくあるご質問
GPU 対応ノード プールのアップグレード中はどうなりますか?
GPU 対応ノード プールのアップグレードは、通常のノード プールに使用されるのと同じローリング アップグレード パターンに従います。 新しい VM 内の GPU 対応ノード プールを物理ホスト マシンに正常に作成するには、デバイスの割り当てを成功させるために 1 つ以上の物理 GPU を使用できる必要があります。 この可用性により、Kubernetes がこのアップグレードされたノードでポッドをスケジュールするときに、アプリケーションの実行を続行できます。
アップグレードする前に、次の手順を実行します。
- アップグレード中のダウンタイムを計画します。
- Standard_NK6を実行している場合は物理ホストごとに 1 つの GPU を追加し、Standard_NK12を実行している場合は 2 つの GPU を追加します。 フル容量で実行していて、追加の GPU がない場合は、アップグレードの前にノード プールを 1 つのノードにスケールダウンしてから、アップグレードが成功した後にスケールアップすることをお勧めします。
アップグレード中に物理マシンに追加の物理 GPU がない場合はどうなりますか?
ローリング アップグレードを容易にするために GPU リソースを追加せずにクラスターでアップグレードがトリガーされた場合、GPU が使用可能になるまでアップグレード プロセスがハングします。 完全な容量で実行し、GPU が追加されていない場合は、アップグレードの前にノード プールを 1 つのノードにスケールダウンしてから、アップグレードが成功した後にスケールアップすることをお勧めします。