Créer un pool de nœuds GPU multi-instance à stratégie unique dans Azure Kubernetes Service (AKS)

Certains GPU NVIDIA peuvent être divisés en sept instances indépendantes au maximum. Chaque instance a son propre multiprocesseur de flux (SM), qui exécute des instructions en parallèle, ainsi que sa propre mémoire GPU. Pour plus d’informations sur le partitionnement GPU, consultez NVIDIA MIG.

Utilisez le GPU multi-instance (MIG) avec la stratégie Single dans votre cluster AKS pour exécuter des charges de travail sur des partitions GPU de taille uniforme. Chaque charge de travail demande nvidia.com/gpu, où une unité représente une partition plutôt qu’un GPU physique entier. AKS installe et configure le pilote NVIDIA et le plug-in de périphérique pour ce chemin d’accès. Pour connaître la sélection de stratégie et le nommage des ressources, consultez stratégies GPU multi-instances dans AKS. Pour créer des partitions de différentes tailles, consultez Configurer une stratégie MIG mixte.

Cet article vous explique comment définir une stratégie unique avec un pool de nœuds MIG à l’aide d’une taille de machine virtuelle compatible dans un cluster Azure Kubernetes Service (AKS).

Important

Les fonctionnalités d’évaluation AKS sont disponibles en libre-service et font l’objet d’un abonnement. Les versions préliminaires sont fournies « en l’état » et « selon leur disponibilité » et ne sont pas couvertes par les accords de niveau de service ni par la garantie limitée. Les versions préliminaires d’AKS sont partiellement couvertes par le support client, dans la limite du raisonnable. Par conséquent, ces fonctionnalités ne sont pas destinées à une utilisation en production. Pour plus d’informations, consultez les articles de support suivants :

Limitations

  • Les pools de nœuds avec les références SKU AzureContainerLinux et Windows du système d’exploitation ne sont actuellement pas pris en charge avec cette fonctionnalité.
  • Vous ne pouvez pas modifier la configuration du profil après la création du pool de nœuds MIG. Créez un pool de remplacement pour modifier la disposition ou cesser d’utiliser MIG. N’essayez pas de désactiver MIG en modifiant la stratégie en None.

Avant de commencer

  • Un abonnement Azure. Si vous n'en avez pas, créez un compte gratuit Azure.
  • Installez Azure CLI version 2.85.0 ou ultérieure et aks-preview version 22.0.0b15 ou ultérieure. Exécutez az --version pour vérifier votre version de Azure CLI.
  • Taille de machine virtuelle GPU compatible MIG prise en charge disponible dans votre région AKS sélectionnée. Vérifiez que vous disposez d’un quota de processeurs virtuels de famille GPU et régional suffisant pour le nombre de machines virtuelles et de nœuds que vous envisagez de déployer.
  • Vérifiez que tout plug-in d’appareil NVIDIA auto-géré existant ou opérateur GPU ne gère pas également les nœuds du nouveau pool de nœuds MIG.

Choisir un profil GPU uniforme

Spécifiez exactement un profil pour Single afin qu’AKS puisse créer la disposition de partition uniforme. Le tableau suivant répertorie les profils du GPU NVIDIA A100 80 Go. Les nombres sont par GPU physique, et non par nœud. Standard_NC24ads_A100_v4 a un GPU A100 80 Go, donc MIG3g donne deux partitions sur cette taille de machine virtuelle.

Argument de profil Partition Fraction de calcul Fraction de mémoire Partitions par GPU
MIG1g 1g.10gb 1/7 1/8 7
MIG2g 2g.20gb 2 juillet 2/8 3
MIG3g 3g.40gb 3/7 4/8 2
MIG4g 4g.40gb 4/7 4/8 1
MIG7g 7g.80gb 7/7 8/8 1

La mémoire GPU par profil varie selon le modèle GPU NVIDIA. N’appliquez pas les tailles de mémoire ou les nœuds de cette table à une autre référence SKU sans confirmer sa configuration GPU.

Définir des variables d’environnement et préparer votre abonnement Azure

export SUBSCRIPTION_ID="<subscription-id>"
export RESOURCE_GROUP="<my-resource-group>"
export CLUSTER_NAME="<my-cluster-name>"
export SINGLE_POOL="migsingle"

Sélectionnez l’abonnement Azure :

az account set --subscription "$SUBSCRIPTION_ID"

Connectez-vous à votre cluster AKS :

az aks get-credentials \
  --resource-group "$RESOURCE_GROUP" \
  --name "$CLUSTER_NAME"

Inscrire les fonctionnalités en préversion

Installez ou mettez à jour l’extension requise :

az extension add --name aks-preview --upgrade --yes

Enregistrez la fonctionnalité ManagedGPUExperiencePreview :

az feature register \
  --namespace Microsoft.ContainerService \
  --name ManagedGPUExperiencePreview

Enregistrez la fonctionnalité MixedMIGStrategyPreview :

az feature register \
  --namespace Microsoft.ContainerService \
  --name MixedMIGStrategyPreview

Vérifiez chaque inscription :

az feature show \
  --namespace Microsoft.ContainerService \
  --name ManagedGPUExperiencePreview \
  --query properties.state --output tsv
az feature show \
  --namespace Microsoft.ContainerService \
  --name MixedMIGStrategyPreview \
  --query properties.state --output tsv

Une fois que les deux renvoient Registered, actualisez l’inscription du fournisseur :

az provider register --namespace Microsoft.ContainerService

Activer MIG de stratégie unique sur un nouveau pool de nœuds

Pour utiliser la référence SKU de système d’exploitation par défaut, créez le pool de nœuds sans spécifier de référence SKU de système d’exploitation. Le pool de nœuds est configuré pour le système d’exploitation par défaut en fonction de la version Kubernetes du cluster. Créez le pool uniforme avec --enable-managed-gpu=true et exactement un profil MIG :

az aks nodepool add \
  --resource-group "$RESOURCE_GROUP" \
  --cluster-name "$CLUSTER_NAME" \
  --name "$SINGLE_POOL" \
  --node-vm-size Standard_NC24ads_A100_v4 \
  --enable-managed-gpu=true \
  --gpu-mig-strategy Single \
  --gpu-mig-profiles MIG3g \
  --node-count 1

Vérifier la configuration et la capacité de partition GPU

Vérifiez les paramètres du GPU managé, la liste des profils et l’image de nœud AKS :

az aks nodepool show \
  --resource-group "$RESOURCE_GROUP" \
  --cluster-name "$CLUSTER_NAME" \
  --name "$SINGLE_POOL" \
  --query "{state:provisioningState,image:nodeImageVersion,gpu:gpuProfile.nvidia}" \
  --output json

Dans la sortie, vérifiez les valeurs suivantes. Les valeurs GPU apparaissent sous la gpu clé.

Champ de sortie Valeur attendue
state Succeeded
gpu.managementMode Managed
gpu.driverMode DevicePlugin
gpu.migStrategy Single
gpu.migProfiles Seul le profil que vous avez spécifié (MIG3g dans cet exemple)
image Version VHD de l’image de nœud 202609.01.0 ou ultérieure, qui est requise pour --gpu-mig-profiles

Attendez que les nœuds du pool deviennent prêts.

kubectl wait --for=condition=Ready node \
  -l agentpool="$SINGLE_POOL" --timeout=600s

Vérifiez tous les nœuds dans le pool de nœuds :

kubectl describe nodes -l agentpool="$SINGLE_POOL"

Pour un Standard_NC24ads_A100_v4 nœud avec le MIG3g profil (un GPU A100 80 Go, qui donne deux partitions), la Allocatable section doit inclure :

Allocatable:
  nvidia.com/gpu:  2

Chaque unité a une capacité d’une 3g.40gb partition MIG.

Exécutez une charge de travail sur une partition MIG

Créez single-strategy-example.yaml avec le manifeste suivant. Mettez à jour le sélecteur si vous avez modifié le nom du pool de nœuds.

apiVersion: v1
kind: Pod
metadata:
  name: nvidia-single
spec:
  restartPolicy: Never
  nodeSelector:
    agentpool: migsingle
  containers:
    - name: gpu-test
      image: mcr.microsoft.com/azuredocs/samples-tf-mnist-demo:gpu
      command: ["nvidia-smi"]
      resources:
        limits:
          nvidia.com/gpu: "1"

Le sélecteur est important, car un pool GPU complet peut également publier nvidia.com/gpu. Kubernetes traite une demande non spécifiée comme égale à la limite de ressources étendue. Si vous définissez les deux, utilisez des valeurs entières égales.

Déployez le pod :

kubectl apply -f single-strategy-example.yaml

Attendez que l’opération se termine avec succès :

kubectl wait --for=jsonpath='{.status.phase}'=Succeeded \
  pod/nvidia-single --timeout=300s

Lisez ses informations sur l’appareil :

kubectl logs nvidia-single

Vérifiez que nvidia-smi s’exécute sans erreurs et signale un appareil MIG affecté. Pour une vérification explicite de la liste d’appareils, remplacez l’exemple de commande par ["nvidia-smi", "-L"], supprimez le pod terminé et appliquez à nouveau le manifeste. Répétez l’attente d’achèvement et la vérification du journal. Avec Standard_NC24ads_A100_v4 et le profil MIG3g, les journaux doivent répertorier un 3g.40gb appareil MIG affecté.

Comprendre la validation et la compatibilité des fonctionnalités existantes

Comparer les méthodes de configuration de MIG à stratégie unique

La --gpu-instance-profile fonctionnalité reste disponible pour la configuration de votre propre plug-in d’appareil GPU NVIDIA. Les options suivantes séparent la configuration de disposition GPU de la gestion par le plug-in d’appareil.

Chemin de configuration paramètres de Azure CLI lors de la création du pool Stratégie de plug-in d’appareil et propriétaire Représentation d’API
Profil existant avec un plug-in autoconfiguré --gpu-instance-profile <profile> sans activer l’expérience GPU managée. Vous installez et configurez le plug-in d’appareil NVIDIA auto-géré avec migStrategy=single. gpuInstanceProfile spécifie la disposition uniforme. Le paramètre migStrategy du plug-in d’appareil auto-géré n’est pas stocké en tant que nouveau paramètre de la liste des profils AKS. Vous restez responsable du cycle de vie du plug-in d’appareil auto-géré.
Profil existant avec un plug-in d’appareil géré --enable-managed-gpu=true --gpu-instance-profile <profile>. AKS gère le plug-in pour le chemin uniforme à stratégie unique et aucune modification de plug-in distincte n’est requise. Le champ --gpu-instance-profile reste présent. L’API ne synthétise ni migProfiles ni migStrategy lorsque seul --gpu-instance-profile est fourni.
Liste de profils avec un plug-in managé --enable-managed-gpu=true --gpu-mig-strategy Single --gpu-mig-profiles <profile>. Fournissez exactement un profil. AKS configure le plug-in d’appareil NVIDIA géré pour Single ; aucune configuration manuelle n’est requise. gpuProfile.nvidia.migStrategy et gpuProfile.nvidia.migProfiles décrivent explicitement la configuration.

Les trois chemins d’accès à stratégie unique exposent des partitions comme nvidia.com/gpu lorsqu’ils sont configurés sur un pool de nœuds GPU NVIDIA. Le nom de la ressource seul n’identifie pas la taille de partition ou si AKS gère le plug-in.

Valider la configuration des profils MIG

  • Fournissez exactement une valeur de profil pour --gpu-mig-profilesSingle, et non des entrées répétées pour spécifier un nombre de partitions.
  • Ne fournissez pas non plus d’option --gpu-instance-profile. Vous ne pouvez pas combiner --gpu-instance-profile et --gpu-mig-profiles sur le même pool de nœuds MIG.

L’indicateur --gpu-instance-profile reste pris en charge pour la stratégie unique et AKS ne le convertit pas automatiquement en --gpu-mig-profiles. Pour vérifier un nouveau pool de nœuds créé avec --gpu-mig-strategy et --gpu-mig-profiles, exécutez az aks nodepool show et vérifiez gpuProfile.nvidia.migStrategy et gpuProfile.nvidia.migProfiles.

Migrer pour utiliser les profils MIG managés

  1. Inventoriez la taille de machine virtuelle du pool actuel, le gpuInstanceProfile, l’image de nœud et la capacité de partition annoncée. Enregistrez les sélecteurs de charge de travail, l’affinité, les taints, les tolérances et les requêtes GPU. Vérifiez si le plug-in d’appareil NVIDIA existant ou l’opérateur GPU sert d’autres pools de nœuds.

  2. Assurez-vous que votre plug-in d’appareil NVIDIA autogéré et n’importe quel opérateur GPU ne gèrent pas les nœuds du pool MIG de remplacement. Ajustez leur ciblage de nœud à l’aide de la configuration prise en charge pour votre installation.

  3. Créez un pool de nœuds MIG de remplacement avec un nom distinct. Par exemple, pour conserver une MIG3g disposition sur Standard_NC24ads_A100_v4, utilisez la commande suivante. Remplacez la référence SKU prise en charge et le profil unique qui correspond à votre plan de migration. Ne transmettez pas --gpu-instance-profile.

    az aks nodepool add \
      --resource-group "$RESOURCE_GROUP" \
      --cluster-name "$CLUSTER_NAME" \
      --name migreplacement \
      --node-vm-size Standard_NC24ads_A100_v4 \
      --enable-managed-gpu=true \
      --gpu-mig-strategy Single \
      --gpu-mig-profiles MIG3g \
      --node-count 1
    
  4. Exécutez les vérifications de configuration, de préparation, de capacité et de charge de travail dans cet article sur migreplacement. Remplacez le sélecteur de l’exemple par agentpool: migreplacement. Vérifiez la taille de partition attendue et l’accès au périphérique avant de déplacer des charges de travail d’application.

  5. Déplacez progressivement les charges de travail en mettant à jour les sélecteurs de pool ou l’affinité et toutes les tolérances requises. Les charges de travail à stratégie unique continuent de demander nvidia.com/gpu. Vérifiez le comportement de l’application, le débit, la latence et l’utilisation de la mémoire sur le pool de remplacement.

  6. Après avoir vérifié le remplacement, videz ou retirez les charges de travail sur l’ancien pool de nœuds et supprimez-le. Conservez l’ancien pool disponible jusqu’à ce que votre validation de migration soit terminée si la capacité le permet. Supprimez l’installation du plug-in d’appareil NVIDIA auto-managé uniquement après avoir confirmé qu’aucun pool restant n’en a besoin.

Résoudre les problèmes et supprimer le pool de nœuds

Résoudre les problèmes de planification et d’annonce de partition

Un pod qui demande plus nvidia.com/gpu de ressources que les nœuds éligibles peuvent fournir reste en attente avec un événement de planification signalant des ressources insuffisantes. Inspectez son état et ses événements :

kubectl describe pod nvidia-single

Si les nœuds ne publient pas de partitions, inspectez les conditions des nœuds, les paramètres managés et l’image et le profil sélectionnés. N’installez pas de deuxième plug-in et ne modifiez pas les composants gérés par AKS en y appliquant des correctifs comme solution de contournement.

Les erreurs suivantes peuvent se produire lorsque vous créez le pool de nœuds :

Code d’erreur Cause Résolution
MIGNotSupportedForVMSize La taille de la machine virtuelle ne prend pas en charge MIG. Utilisez une taille de machine virtuelle GPU compatible MIG prise en charge.
InvalidOrNoneMIGProfile Le profil n’est pas valide ou vous avez spécifié None. Spécifiez exactement un seul profil MIG valide pour la taille de la machine virtuelle.
MIGProfilesNodeImageNotSupported L’image de nœud AKS est antérieure à la version minimale prise en charge. Utilisez une version d’image de nœud 202609.01.0 ou ultérieure.

Azure CLI peut afficher BadRequest comme code de niveau supérieur. Lisez également le message de validation.

Supprimer l’exemple de pod et le pool de nœuds MIG

Supprimez l’exemple de pod :

kubectl delete pod nvidia-single --ignore-not-found=true

Avant de supprimer un pool de nœuds qui exécute d’autres charges de travail, créez une capacité de remplacement, migrez les charges de travail et vérifiez l’intégrité de l’application. Supprimez ensuite le pool de nœuds :

az aks nodepool delete \
  --resource-group "$RESOURCE_GROUP" \
  --cluster-name "$CLUSTER_NAME" \
  --name "$SINGLE_POOL"

Vérifiez que le pool de nœuds MIG est supprimé :

az aks nodepool list \
  --resource-group "$RESOURCE_GROUP" \
  --cluster-name "$CLUSTER_NAME" \
  --query "[?name=='$SINGLE_POOL'].name" --output json

La sortie doit être []. Vérifiez qu’aucun nœud Kubernetes ne reste pour le pool :

kubectl get nodes -l agentpool="$SINGLE_POOL"

Étapes suivantes