在 Azure Kubernetes Service (AKS)上使用 NVIDIA GPU 操作員

NVIDIA GPU作員會自動管理及部署布建 GPU 所需的所有 NVIDIA 軟體元件，包括驅動程式安裝、 適用於 Kubernetes 的 NVIDIA 裝置外掛程式、NVIDIA 容器運行時間等等。 由於 NVIDIA GPU作員會處理這些元件，因此不需要在 AKS 叢集上安裝 NVIDIA 裝置外掛程式。 這也表示應該略過自動 GPU 驅動程式安裝，才能在 AKS 上使用 NVIDIA GPU 操作員。

提示

如果你不需要完全控制 NVIDIA GPU Operator，AKS 管理的 GPU 節點池（預覽版）會幫 你安裝並維護 NVIDIA 驅動程式、Kubernetes 裝置外掛和 DCGM 指標匯出器。

這很重要

整個 AKS 文件和範例都會提及開放原始碼的軟體。 您部署的軟體會從 AKS 服務等級協定、有限保固和 Azure 支援 中排除。 當您搭配 AKS 使用開放原始碼技術時，請參閱個別社群和專案維護人員所提供的支援選項，以開發計畫。

Microsoft負責建置我們在 AKS 上部署的開放原始碼套件。 該責任包括擁有組建、掃描、簽署、驗證和 Hotfix 程式的完整擁有權，以及控制容器映像中的二進位檔。 如需詳細資訊，請參閱 AKS 和 AKS 支援涵蓋範圍的弱點管理。

開始之前

  • 本文假設您目前擁有 AKS 叢集。 如果您沒有叢集，請使用 Azure CLI、 Azure PowerShell 或 Azure 入口 網站建立叢集。
  • 您需要安裝 Azure CLI 2.72.2 版或更新版本，才能設定 --gpu-driver 欄位。 執行 az --version 以尋找版本。 如果您需要安裝或升級，請參閱 安裝 Azure CLI。

備註

已啟用 GPU 的 VM 包含專用硬體，其受限於較高的價格和區域可用性。 如需詳細資訊，請參閱定價工具和區域可用性。

局限性

取得叢集的認證

使用 az aks get-credentials 命令取得 AKS 叢集的認證。 下列範例命令會取得叢集 myAKSCluster 在資源群組 myResourceGroup 中的憑證：

az aks get-credentials --resource-group myResourceGroup --name myAKSCluster

備註

NVIDIA GPU作員與相同 AKS 叢集上的多個 OS 版本不相容。

  1. 透過使用 az aks nodepool add 命令建立啟用 NVIDIA GPU 的節點集區，並將 API 欄位 --gpu-driver 設為 none，即可略過自動安裝 GPU 驅動程式。 將此 API 欄位設為 none 節點池建立時會跳過預設的 GPU 驅動程式安裝。 舉例來說，請參見 跳過 GPU 驅動程式安裝。 這個設定不會改變任何現有節點。 您可以將節點集區調整為零，然後進行備份，以讓變更生效。
az aks nodepool add \
--resource-group myResourceGroup \
--cluster-name myAKSCluster \
--name gpunp \
--node-count 1 \
--node-vm-size Standard_NC4as_T4_v3 \
--node-taints sku=gpu:NoSchedule \
--gpu-driver none

  1. 請遵循 NVIDIA 文件來 安裝 GPU Operator。

  2. 安裝 GPU Operator 後，檢查你的 GPU 是否可排程 並 執行 GPU 工作負載。

備註

使用 NVIDIA GPU Operator 並部署在 SPOT 執行個體上時，可能需要採取其他考量。 請參閱 https://github.com/NVIDIA/gpu-operator/issues/577

  • Last updated on