在 Azure Kubernetes Service (AKS) 中建立單一原則多執行個體 GPU 節點集區

某些 NVIDIA GPU 可被分割成最多七個獨立實例。 每個實例都有自己的串流多處理器(SM)和 GPU 記憶體,其中 SM 可平行執行指令。 欲了解更多關於 GPU 分割的資訊,請參閱 NVIDIA MIG。

在 AKS 叢集中使用單一原則多執行個體 GPU (MIG),以在統一大小的 GPU 分區上執行工作負載。 每個工作負載請求 nvidia.com/gpu,其中一個單元代表一個分割區,而非整個實體 GPU。 AKS 會安裝並設定 NVIDIA 驅動程式及裝置外掛以配合此路徑。 關於策略選擇與資源命名,請參見 AKS 中的多實例 GPU 策略。 要建立不同大小的分割區,請參見 配置混合 MIG 策略。

本文將引導你了解如何在 Azure Kubernetes Service (AKS) 叢集中使用相容的虛擬機大小,設定單一策略。

重要事項

AKS 預覽功能以自助方式提供,並採選擇加入制。 預覽版本係依「現狀」及「可用情況」提供,且不適用於服務等級協定與有限保固。 客戶支援部門會盡最大努力,部分支援 AKS 預覽。 因此,這些功能不適合實際執行用途。 如需詳細資訊,請參閱下列支援文章:

Limitations

  • 此功能目前沒有支援包含 AzureContainerLinux 和 Windows 作業系統 SKU 的節點池。
  • 建立 MIG 節點池後,你無法更改設定檔設定。 建立一個替代集區來變更配置或停止使用 MIG。 不要嘗試透過將策略更新為 None 來停用 MIG。

開始之前

  • Azure 訂用帳戶。 如果你沒有 Azure 免費帳號,請建立一個 Azure 免費帳號。
  • 安裝 Azure CLI 版本2.85.0或更新版本,以及aks-preview版本22.0.0b15或更新版本。 執行 az --version 以檢查您的 Azure CLI 版本。
  • 在你選擇的 AKS 區域內可用的 支援 MIG 的 GPU VM 大小。 確保你有足夠的區域性及GPU家族vCPU配額,以應付你計劃部署的虛擬機大小和節點數量。
  • 確保任何現有的自我管理 NVIDIA 裝置外掛或 GPU Operator 不會同時管理新 MIG 節點池的節點。

選擇統一的 GPU 配置檔

請為Single精確指定一個設定檔,以便 AKS 能建立統一分區配置。 下表列出了 NVIDIA A100 80 GB GPU 的配置檔。 計數是按實體 GPU 計算,不是按節點計數。 Standard_NC24ads_A100_v4 有一顆 A100 80 GB GPU,所以 MIG3g 在該虛擬機大小上有兩個分區。

設定檔引數 Partition 運算比例 記憶體比例 每張 GPU 的分割區數
MIG1g 1g.10gb 1/7 1/8 7
MIG2g 2G.20GB 2/7 2/8 3
MIG3g 3g.40gb 3/7 4/8 2
MIG4g 4g.40gb 4/7 4/8 1
MIG7g 7g.80gb 7/7 8/8 1

每個配置檔的 GPU 記憶體會依 NVIDIA GPU 型號而異。 在未確認 GPU 配置前,不要將這張表的記憶體大小或節點數量套用到不同的 SKU。

設定環境變數並準備你的 Azure 訂用帳戶

export SUBSCRIPTION_ID="<subscription-id>"
export RESOURCE_GROUP="<my-resource-group>"
export CLUSTER_NAME="<my-cluster-name>"
export SINGLE_POOL="migsingle"

選擇 Azure 訂閱:

az account set --subscription "$SUBSCRIPTION_ID"

連接你的 AKS 叢集:

az aks get-credentials \
  --resource-group "$RESOURCE_GROUP" \
  --name "$CLUSTER_NAME"

註冊預覽功能

安裝或更新所需的擴充功能:

az extension add --name aks-preview --upgrade --yes

註冊該 ManagedGPUExperiencePreview 功能:

az feature register \
  --namespace Microsoft.ContainerService \
  --name ManagedGPUExperiencePreview

註冊該 MixedMIGStrategyPreview 功能:

az feature register \
  --namespace Microsoft.ContainerService \
  --name MixedMIGStrategyPreview

請檢查每一項登記:

az feature show \
  --namespace Microsoft.ContainerService \
  --name ManagedGPUExperiencePreview \
  --query properties.state --output tsv
az feature show \
  --namespace Microsoft.ContainerService \
  --name MixedMIGStrategyPreview \
  --query properties.state --output tsv

兩者都返回 Registered後,重新整理服務提供者註冊:

az provider register --namespace Microsoft.ContainerService

在新節點池啟用單一策略 MIG

若要使用預設的 OS SKU,請建立節點集區,而不指定 OS SKU。 節點集區會根據叢集的 Kubernetes 版本來設定為預設作業系統。 使用--enable-managed-gpu=true建立統一集區,且只有一個 MIG 設定檔:

az aks nodepool add \
  --resource-group "$RESOURCE_GROUP" \
  --cluster-name "$CLUSTER_NAME" \
  --name "$SINGLE_POOL" \
  --node-vm-size Standard_NC24ads_A100_v4 \
  --enable-managed-gpu=true \
  --gpu-mig-strategy Single \
  --gpu-mig-profiles MIG3g \
  --node-count 1

驗證設定與 GPU 分割容量

檢查受控 GPU 設定、設定檔清單和 AKS 節點映像:

az aks nodepool show \
  --resource-group "$RESOURCE_GROUP" \
  --cluster-name "$CLUSTER_NAME" \
  --name "$SINGLE_POOL" \
  --query "{state:provisioningState,image:nodeImageVersion,gpu:gpuProfile.nvidia}" \
  --output json

在輸出中,請檢查以下數值。 GPU 的數值會出現在 gpu 索引鍵下。

輸出欄位 預期值
state Succeeded
gpu.managementMode Managed
gpu.driverMode DevicePlugin
gpu.migStrategy Single
gpu.migProfiles 只有你指定的設定檔(MIG3g 在這個例子中)
image 節點映像 VHD 版本 202609.01.0 或更新版本,這是 --gpu-mig-profiles 所必需的

等待池的節點變 為 Ready。

kubectl wait --for=condition=Ready node \
  -l agentpool="$SINGLE_POOL" --timeout=600s

檢查節點池中的所有節點:

kubectl describe nodes -l agentpool="$SINGLE_POOL"

對於帶有該MIG3g配置檔的單一Standard_NC24ads_A100_v4節點(一顆 A100 80 GB GPU,提供兩個分割區),該Allocatable區段應包含:

Allocatable:
  nvidia.com/gpu:  2

每個單元的容量為一個 3g.40gb MIG 分割區。

在一個 MIG 分割區執行一個工作負載

以下列資訊清單建立single-strategy-example.yaml 。 如果你更改了節點池名稱,請更新選擇器。

apiVersion: v1
kind: Pod
metadata:
  name: nvidia-single
spec:
  restartPolicy: Never
  nodeSelector:
    agentpool: migsingle
  containers:
    - name: gpu-test
      image: mcr.microsoft.com/azuredocs/samples-tf-mnist-demo:gpu
      command: ["nvidia-smi"]
      resources:
        limits:
          nvidia.com/gpu: "1"

選擇器很重要,因為全 GPU 集區也能宣告 nvidia.com/gpu。 Kubernetes 將未指定的 request 視為等同於延伸資源限制。 如果兩者都設定,請使用相等的整數值。

部署 Pod:

kubectl apply -f single-strategy-example.yaml

等待完成:

kubectl wait --for=jsonpath='{.status.phase}'=Succeeded \
  pod/nvidia-single --timeout=300s

請閱讀其裝置資訊:

kubectl logs nvidia-single

確認 nvidia-smi 可在沒有錯誤的情況下執行,並回報已指派的 MIG 裝置。 若要明確檢查裝置清單,請將範例指令改為 ["nvidia-smi", "-L"], 刪除已完成的 pod,然後重新套用清單。 再次等待完成並檢查日誌。 有了 Standard_NC24ads_A100_v4 和 MIG3g 設定檔,日誌中應該會列出一個被指派的 3g.40gb MIG 裝置。

了解驗證與現有功能相容性

比較單一策略 MIG 的配置方式

--gpu-instance-profile功能仍可用於設定您自己的 NVIDIA GPU 裝置外掛程式。 以下選項將 GPU 佈局配置與裝置插件擁有權分開。

設定路徑 Azure CLI 集區建立時的設定 裝置插件策略與擁有者 API 表示法
現有設定檔搭配自設定的外掛 --gpu-instance-profile <profile>未啟用受控 GPU 體驗。 你可以使用 migStrategy=single 安裝並設定自主管理的 NVIDIA 裝置外掛。 gpuInstanceProfile 規定統一版面配置。 自我管理裝置外掛的 migStrategy 設定不會儲存在新的 AKS 設定檔清單設定中。 你仍負責自我管理的裝置插件生命週期。
現有設定檔搭配受管理裝置外掛 --enable-managed-gpu=true --gpu-instance-profile <profile>。 AKS 負責管理統一單一原則路徑的外掛程式,不需要另外變更外掛程式。 該 --gpu-instance-profile 欄位依然存在。 僅提供 --gpu-instance-profile 時,API 不會合成 migProfiles 或 migStrategy。
使用受管理外掛的設定檔列表 --enable-managed-gpu=true --gpu-mig-strategy Single --gpu-mig-profiles <profile>。 只提供一個設定檔。 AKS 將受管理的 NVIDIA 裝置外掛外掛配置為 Single;無需手動設定。 gpuProfile.nvidia.migStrategy 並 gpuProfile.nvidia.migProfiles 明確描述該配置。

這三條單一策略路徑在 NVIDIA GPU 節點池上進行設定時,皆會將分割區公開為 nvidia.com/gpu。 僅靠資源名稱無法辨識分割區大小或 AKS 是否管理該外掛。

驗證 MIG 設定檔的設定

  • 對 Single 而言,請僅提供一個設定檔值給 --gpu-mig-profiles,不要以重複項目來指定分割區數量。
  • 不要同時提供 --gpu-instance-profile 旗標。 你不能在同一個 MIG 節點池同時使用 --gpu-instance-profile 和 --gpu-mig-profiles。

--gpu-instance-profile該旗標仍支援單一策略,且 AKS 不會自動將其轉換為 --gpu-mig-profiles。 要驗證一個使用 --gpu-mig-strategy 和 --gpu-mig-profiles 建立的新節點池,執行 az aks nodepool show 並檢查 gpuProfile.nvidia.migStrategy 和 gpuProfile.nvidia.migProfiles。

改用受管理的 MIG 設定檔

  1. 盤點目前集區的 VM 大小、gpuInstanceProfile、節點映像檔及通告的分區容量。 記錄工作負載選擇器、親和力、污點、容忍及 GPU 請求。 檢查現有的 NVIDIA 裝置外掛或 GPU 運算子是否同時服務其他節點池。

  2. 確保您的自控 NVIDIA 裝置外掛程式和任何 GPU 運算子不會協調替代 MIG 集區的節點。 使用適用於您的安裝環境的受支援組態來調整其節點定位。

  3. 建立一個名稱不同的替代 MIG 節點池。 例如,若要在 Standard_NC24ads_A100_v4 上保留 MIG3g 版面,請使用以下指令。 代入支援的 SKU 和與你遷移計畫相符的單一設定檔。 不要傳遞 --gpu-instance-profile。

    az aks nodepool add \
      --resource-group "$RESOURCE_GROUP" \
      --cluster-name "$CLUSTER_NAME" \
      --name migreplacement \
      --node-vm-size Standard_NC24ads_A100_v4 \
      --enable-managed-gpu=true \
      --gpu-mig-strategy Single \
      --gpu-mig-profiles MIG3g \
      --node-count 1
    
  4. 請針對 migreplacement 執行本文中的配置、準備度、容量與工作負載檢查。 將取樣選擇器更新為 agentpool: migreplacement。 在移動應用程式工作負載前,確認預期的分割區大小與裝置存取權。

  5. 透過更新集區選擇器或親和性及任何所需的容忍度,逐步移動工作負載。 單一策略工作負載持續要求使用 nvidia.com/gpu。 驗證替換池的應用程式行為、吞吐量、延遲及記憶體使用情況。

  6. 驗證替換後,將舊節點集區上的工作負載清空或淘汰,並刪除舊節點集區。 在容量允許的情況下,請保持舊集區可用,直到完成遷移驗證。 請僅在確認沒有剩餘的集區仍需要該自主管理 NVIDIA 裝置外掛安裝後,才將其移除。

排除故障並移除節點池

排程與分割區公告故障排除

若一個 pod 請求的 nvidia.com/gpu 資源超過符合資格節點所能提供的,則會處於等待狀態,並出現資源不足的排程事件。 檢視其狀態與事件:

kubectl describe pod nvidia-single

如果節點未通告分區,請檢查節點狀況、受控設定,以及所選映像檔和設定檔。 不要安裝第二個外掛或修補 AKS 管理的元件作為權宜之計。

建立節點池時可能發生以下錯誤:

錯誤代碼 Cause Resolution
MIGNotSupportedForVMSize 虛擬機大小不支援 MIG。 使用支援支援 MIG 的 GPU 虛擬機大小。
InvalidOrNoneMIGProfile 設定檔無效或您指定None。 為虛擬機大小指定恰好一個有效的 MIG 設定檔。
MIGProfilesNodeImageNotSupported AKS 節點映像檔比最小支援版本還要舊。 使用節點映像版本 202609.01.0 或更新版本。

Azure CLI 可能會顯示 BadRequest 為最上層代碼,所以也請閱讀驗證訊息。

刪除範例 pod 與 MIG 節點集區

刪除樣本 pod:

kubectl delete pod nvidia-single --ignore-not-found=true

在刪除執行其他工作負載的節點池之前,先建立替代容量、遷移工作負載並驗證應用程式健康狀態。 接著移除節點池:

az aks nodepool delete \
  --resource-group "$RESOURCE_GROUP" \
  --cluster-name "$CLUSTER_NAME" \
  --name "$SINGLE_POOL"

確認 MIG 節點池已被移除:

az aks nodepool list \
  --resource-group "$RESOURCE_GROUP" \
  --cluster-name "$CLUSTER_NAME" \
  --query "[?name=='$SINGLE_POOL'].name" --output json

輸出應該是 []。 確認池中沒有剩餘的 Kubernetes 節點:

kubectl get nodes -l agentpool="$SINGLE_POOL"

後續步驟