某些 NVIDIA GPU 可被分割成最多七個獨立實例。 每個實例都有自己的串流多處理器(SM)和 GPU 記憶體,其中 SM 可平行執行指令。 欲了解更多關於 GPU 分割的資訊,請參閱 NVIDIA MIG。
在 AKS 叢集中使用單一原則多執行個體 GPU (MIG),以在統一大小的 GPU 分區上執行工作負載。 每個工作負載請求 nvidia.com/gpu,其中一個單元代表一個分割區,而非整個實體 GPU。 AKS 會安裝並設定 NVIDIA 驅動程式及裝置外掛以配合此路徑。 關於策略選擇與資源命名,請參見 AKS 中的多實例 GPU 策略。 要建立不同大小的分割區,請參見 配置混合 MIG 策略。
本文將引導你了解如何在 Azure Kubernetes Service (AKS) 叢集中使用相容的虛擬機大小,設定單一策略。
重要事項
AKS 預覽功能以自助方式提供,並採選擇加入制。 預覽版本係依「現狀」及「可用情況」提供,且不適用於服務等級協定與有限保固。 客戶支援部門會盡最大努力,部分支援 AKS 預覽。 因此,這些功能不適合實際執行用途。 如需詳細資訊,請參閱下列支援文章:
Limitations
- 此功能目前沒有支援包含
AzureContainerLinux和Windows作業系統 SKU 的節點池。 - 建立 MIG 節點池後,你無法更改設定檔設定。 建立一個替代集區來變更配置或停止使用 MIG。 不要嘗試透過將策略更新為
None來停用 MIG。
開始之前
- Azure 訂用帳戶。 如果你沒有 Azure 免費帳號,請建立一個 Azure 免費帳號。
- 安裝 Azure CLI 版本
2.85.0或更新版本,以及aks-preview版本22.0.0b15或更新版本。 執行az --version以檢查您的 Azure CLI 版本。 - 在你選擇的 AKS 區域內可用的 支援 MIG 的 GPU VM 大小。 確保你有足夠的區域性及GPU家族vCPU配額,以應付你計劃部署的虛擬機大小和節點數量。
- 確保任何現有的自我管理 NVIDIA 裝置外掛或 GPU Operator 不會同時管理新 MIG 節點池的節點。
選擇統一的 GPU 配置檔
請為Single精確指定一個設定檔,以便 AKS 能建立統一分區配置。 下表列出了 NVIDIA A100 80 GB GPU 的配置檔。 計數是按實體 GPU 計算,不是按節點計數。
Standard_NC24ads_A100_v4 有一顆 A100 80 GB GPU,所以 MIG3g 在該虛擬機大小上有兩個分區。
| 設定檔引數 | Partition | 運算比例 | 記憶體比例 | 每張 GPU 的分割區數 |
|---|---|---|---|---|
MIG1g |
1g.10gb | 1/7 | 1/8 | 7 |
MIG2g |
2G.20GB | 2/7 | 2/8 | 3 |
MIG3g |
3g.40gb | 3/7 | 4/8 | 2 |
MIG4g |
4g.40gb | 4/7 | 4/8 | 1 |
MIG7g |
7g.80gb | 7/7 | 8/8 | 1 |
每個配置檔的 GPU 記憶體會依 NVIDIA GPU 型號而異。 在未確認 GPU 配置前,不要將這張表的記憶體大小或節點數量套用到不同的 SKU。
設定環境變數並準備你的 Azure 訂用帳戶
export SUBSCRIPTION_ID="<subscription-id>"
export RESOURCE_GROUP="<my-resource-group>"
export CLUSTER_NAME="<my-cluster-name>"
export SINGLE_POOL="migsingle"
選擇 Azure 訂閱:
az account set --subscription "$SUBSCRIPTION_ID"
連接你的 AKS 叢集:
az aks get-credentials \
--resource-group "$RESOURCE_GROUP" \
--name "$CLUSTER_NAME"
註冊預覽功能
安裝或更新所需的擴充功能:
az extension add --name aks-preview --upgrade --yes
註冊該 ManagedGPUExperiencePreview 功能:
az feature register \
--namespace Microsoft.ContainerService \
--name ManagedGPUExperiencePreview
註冊該 MixedMIGStrategyPreview 功能:
az feature register \
--namespace Microsoft.ContainerService \
--name MixedMIGStrategyPreview
請檢查每一項登記:
az feature show \
--namespace Microsoft.ContainerService \
--name ManagedGPUExperiencePreview \
--query properties.state --output tsv
az feature show \
--namespace Microsoft.ContainerService \
--name MixedMIGStrategyPreview \
--query properties.state --output tsv
兩者都返回 Registered後,重新整理服務提供者註冊:
az provider register --namespace Microsoft.ContainerService
在新節點池啟用單一策略 MIG
若要使用預設的 OS SKU,請建立節點集區,而不指定 OS SKU。 節點集區會根據叢集的 Kubernetes 版本來設定為預設作業系統。 使用--enable-managed-gpu=true建立統一集區,且只有一個 MIG 設定檔:
az aks nodepool add \
--resource-group "$RESOURCE_GROUP" \
--cluster-name "$CLUSTER_NAME" \
--name "$SINGLE_POOL" \
--node-vm-size Standard_NC24ads_A100_v4 \
--enable-managed-gpu=true \
--gpu-mig-strategy Single \
--gpu-mig-profiles MIG3g \
--node-count 1
驗證設定與 GPU 分割容量
檢查受控 GPU 設定、設定檔清單和 AKS 節點映像:
az aks nodepool show \
--resource-group "$RESOURCE_GROUP" \
--cluster-name "$CLUSTER_NAME" \
--name "$SINGLE_POOL" \
--query "{state:provisioningState,image:nodeImageVersion,gpu:gpuProfile.nvidia}" \
--output json
在輸出中,請檢查以下數值。 GPU 的數值會出現在 gpu 索引鍵下。
| 輸出欄位 | 預期值 |
|---|---|
state |
Succeeded |
gpu.managementMode |
Managed |
gpu.driverMode |
DevicePlugin |
gpu.migStrategy |
Single |
gpu.migProfiles |
只有你指定的設定檔(MIG3g 在這個例子中) |
image |
節點映像 VHD 版本 202609.01.0 或更新版本,這是 --gpu-mig-profiles 所必需的 |
等待池的節點變 為 Ready。
kubectl wait --for=condition=Ready node \
-l agentpool="$SINGLE_POOL" --timeout=600s
檢查節點池中的所有節點:
kubectl describe nodes -l agentpool="$SINGLE_POOL"
對於帶有該MIG3g配置檔的單一Standard_NC24ads_A100_v4節點(一顆 A100 80 GB GPU,提供兩個分割區),該Allocatable區段應包含:
Allocatable:
nvidia.com/gpu: 2
每個單元的容量為一個 3g.40gb MIG 分割區。
在一個 MIG 分割區執行一個工作負載
以下列資訊清單建立single-strategy-example.yaml 。 如果你更改了節點池名稱,請更新選擇器。
apiVersion: v1
kind: Pod
metadata:
name: nvidia-single
spec:
restartPolicy: Never
nodeSelector:
agentpool: migsingle
containers:
- name: gpu-test
image: mcr.microsoft.com/azuredocs/samples-tf-mnist-demo:gpu
command: ["nvidia-smi"]
resources:
limits:
nvidia.com/gpu: "1"
選擇器很重要,因為全 GPU 集區也能宣告 nvidia.com/gpu。 Kubernetes 將未指定的 request 視為等同於延伸資源限制。 如果兩者都設定,請使用相等的整數值。
部署 Pod:
kubectl apply -f single-strategy-example.yaml
等待完成:
kubectl wait --for=jsonpath='{.status.phase}'=Succeeded \
pod/nvidia-single --timeout=300s
請閱讀其裝置資訊:
kubectl logs nvidia-single
確認 nvidia-smi 可在沒有錯誤的情況下執行,並回報已指派的 MIG 裝置。 若要明確檢查裝置清單,請將範例指令改為 ["nvidia-smi", "-L"], 刪除已完成的 pod,然後重新套用清單。 再次等待完成並檢查日誌。 有了 Standard_NC24ads_A100_v4 和 MIG3g 設定檔,日誌中應該會列出一個被指派的 3g.40gb MIG 裝置。
了解驗證與現有功能相容性
比較單一策略 MIG 的配置方式
--gpu-instance-profile功能仍可用於設定您自己的 NVIDIA GPU 裝置外掛程式。 以下選項將 GPU 佈局配置與裝置插件擁有權分開。
| 設定路徑 | Azure CLI 集區建立時的設定 | 裝置插件策略與擁有者 | API 表示法 |
|---|---|---|---|
| 現有設定檔搭配自設定的外掛 |
--gpu-instance-profile <profile>未啟用受控 GPU 體驗。 |
你可以使用 migStrategy=single 安裝並設定自主管理的 NVIDIA 裝置外掛。 |
gpuInstanceProfile 規定統一版面配置。 自我管理裝置外掛的 migStrategy 設定不會儲存在新的 AKS 設定檔清單設定中。 你仍負責自我管理的裝置插件生命週期。 |
| 現有設定檔搭配受管理裝置外掛 |
--enable-managed-gpu=true --gpu-instance-profile <profile>。 |
AKS 負責管理統一單一原則路徑的外掛程式,不需要另外變更外掛程式。 | 該 --gpu-instance-profile 欄位依然存在。 僅提供 --gpu-instance-profile 時,API 不會合成 migProfiles 或 migStrategy。 |
| 使用受管理外掛的設定檔列表 |
--enable-managed-gpu=true --gpu-mig-strategy Single --gpu-mig-profiles <profile>。 只提供一個設定檔。 |
AKS 將受管理的 NVIDIA 裝置外掛外掛配置為 Single;無需手動設定。 |
gpuProfile.nvidia.migStrategy 並 gpuProfile.nvidia.migProfiles 明確描述該配置。 |
這三條單一策略路徑在 NVIDIA GPU 節點池上進行設定時,皆會將分割區公開為 nvidia.com/gpu。 僅靠資源名稱無法辨識分割區大小或 AKS 是否管理該外掛。
驗證 MIG 設定檔的設定
- 對
Single而言,請僅提供一個設定檔值給--gpu-mig-profiles,不要以重複項目來指定分割區數量。 - 不要同時提供
--gpu-instance-profile旗標。 你不能在同一個 MIG 節點池同時使用--gpu-instance-profile和--gpu-mig-profiles。
--gpu-instance-profile該旗標仍支援單一策略,且 AKS 不會自動將其轉換為 --gpu-mig-profiles。 要驗證一個使用 --gpu-mig-strategy 和 --gpu-mig-profiles 建立的新節點池,執行 az aks nodepool show 並檢查 gpuProfile.nvidia.migStrategy 和 gpuProfile.nvidia.migProfiles。
改用受管理的 MIG 設定檔
盤點目前集區的 VM 大小、
gpuInstanceProfile、節點映像檔及通告的分區容量。 記錄工作負載選擇器、親和力、污點、容忍及 GPU 請求。 檢查現有的 NVIDIA 裝置外掛或 GPU 運算子是否同時服務其他節點池。確保您的自控 NVIDIA 裝置外掛程式和任何 GPU 運算子不會協調替代 MIG 集區的節點。 使用適用於您的安裝環境的受支援組態來調整其節點定位。
建立一個名稱不同的替代 MIG 節點池。 例如,若要在
Standard_NC24ads_A100_v4上保留MIG3g版面,請使用以下指令。 代入支援的 SKU 和與你遷移計畫相符的單一設定檔。 不要傳遞--gpu-instance-profile。az aks nodepool add \ --resource-group "$RESOURCE_GROUP" \ --cluster-name "$CLUSTER_NAME" \ --name migreplacement \ --node-vm-size Standard_NC24ads_A100_v4 \ --enable-managed-gpu=true \ --gpu-mig-strategy Single \ --gpu-mig-profiles MIG3g \ --node-count 1請針對
migreplacement執行本文中的配置、準備度、容量與工作負載檢查。 將取樣選擇器更新為agentpool: migreplacement。 在移動應用程式工作負載前,確認預期的分割區大小與裝置存取權。透過更新集區選擇器或親和性及任何所需的容忍度,逐步移動工作負載。 單一策略工作負載持續要求使用
nvidia.com/gpu。 驗證替換池的應用程式行為、吞吐量、延遲及記憶體使用情況。驗證替換後,將舊節點集區上的工作負載清空或淘汰,並刪除舊節點集區。 在容量允許的情況下,請保持舊集區可用,直到完成遷移驗證。 請僅在確認沒有剩餘的集區仍需要該自主管理 NVIDIA 裝置外掛安裝後,才將其移除。
排除故障並移除節點池
排程與分割區公告故障排除
若一個 pod 請求的 nvidia.com/gpu 資源超過符合資格節點所能提供的,則會處於等待狀態,並出現資源不足的排程事件。 檢視其狀態與事件:
kubectl describe pod nvidia-single
如果節點未通告分區,請檢查節點狀況、受控設定,以及所選映像檔和設定檔。 不要安裝第二個外掛或修補 AKS 管理的元件作為權宜之計。
建立節點池時可能發生以下錯誤:
| 錯誤代碼 | Cause | Resolution |
|---|---|---|
MIGNotSupportedForVMSize |
虛擬機大小不支援 MIG。 | 使用支援支援 MIG 的 GPU 虛擬機大小。 |
InvalidOrNoneMIGProfile |
設定檔無效或您指定None。 |
為虛擬機大小指定恰好一個有效的 MIG 設定檔。 |
MIGProfilesNodeImageNotSupported |
AKS 節點映像檔比最小支援版本還要舊。 | 使用節點映像版本 202609.01.0 或更新版本。 |
Azure CLI 可能會顯示 BadRequest 為最上層代碼,所以也請閱讀驗證訊息。
刪除範例 pod 與 MIG 節點集區
刪除樣本 pod:
kubectl delete pod nvidia-single --ignore-not-found=true
在刪除執行其他工作負載的節點池之前,先建立替代容量、遷移工作負載並驗證應用程式健康狀態。 接著移除節點池:
az aks nodepool delete \
--resource-group "$RESOURCE_GROUP" \
--cluster-name "$CLUSTER_NAME" \
--name "$SINGLE_POOL"
確認 MIG 節點池已被移除:
az aks nodepool list \
--resource-group "$RESOURCE_GROUP" \
--cluster-name "$CLUSTER_NAME" \
--query "[?name=='$SINGLE_POOL'].name" --output json
輸出應該是 []。 確認池中沒有剩餘的 Kubernetes 節點:
kubectl get nodes -l agentpool="$SINGLE_POOL"
後續步驟
- 在 AKS 中比較單一與混合 MIG 分割策略。
- 設定混合 MIG 策略(預覽)。
- 了解更多關於 管理型 GPU 節點的資訊。