Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Le GPU multi-instance (MIG) divise un GPU NVIDIA compatible en partitions avec des ressources de calcul et de mémoire dédiées. Dans un cluster AKS, les charges de travail demandent ces partitions via des ressources étendues Kubernetes. Utilisez la stratégie GPU multi-instance mixte (MIG) pour faire correspondre les tailles de partition GPU à vos charges de travail. Au lieu d’affecter un GPU entier à une charge de travail plus petite ou en utilisant la même taille de partition pour chaque charge de travail, exécutez des charges de travail avec des besoins de calcul et de mémoire différents sur un GPU. Chaque partition a des ressources de calcul et de mémoire isolées. Cette approche peut améliorer l’utilisation du GPU en permettant aux charges de travail plus petites de partager la capacité GPU avec des charges de travail plus volumineuses.
Par exemple, un GPU NVIDIA A100 80 Go peut fournir une partition volumineuse, une partition moyenne et deux petites partitions. Quatre charges de travail peuvent s’exécuter simultanément, chacune utilisant une partition dimensionnée pour ses besoins, comme indiqué dans l’exemple de disposition mixte suivant.
Cet article explique comment créer un pool de nœuds MIG mixte, vérifier l’allocation de partitions et exécuter des exemples de charges de travail.
Pour la sélection de stratégies, consultez GPU multi-instances dans AKS. Pour les partitions uniformes, consultez Créer un pool de nœuds MIG de stratégie unique.
Important
Les fonctionnalités d’évaluation AKS sont disponibles en libre-service et font l’objet d’un abonnement. Les versions préliminaires sont fournies « en l’état » et « selon leur disponibilité » et ne sont pas couvertes par les accords de niveau de service ni par la garantie limitée. Les versions préliminaires d’AKS sont partiellement couvertes par le support client, dans la limite du raisonnable. Par conséquent, ces fonctionnalités ne sont pas destinées à une utilisation en production. Pour plus d’informations, consultez les articles de support suivants :
Avant de commencer
Avant de configurer un pool de nœuds MIG mixte, vérifiez que vous disposez des conditions préalables suivantes :
- Cet article suppose que vous disposez d’un cluster AKS. Si vous n'avez pas de cluster, créez-en un à l'aide des Azure CLI, des Azure PowerShell ou du portail Azure.
- Vous avez installé Azure CLI version
2.85.0ou ultérieure et l’extensionaks-previewversion22.0.0b15ou ultérieure. Exécutezaz --versionpour vérifier votre version de Azure CLI. - Taille de machine virtuelle GPU compatible MIG prise en charge disponible dans votre région AKS sélectionnée. Vérifiez que vous disposez d’un quota de processeurs virtuels de famille GPU et régional suffisant pour le nombre de machines virtuelles et de nœuds que vous envisagez de déployer.
- Disposition MIG mixte compatible pour votre GPU sélectionné. Choisissez les profils de partition pris en charge qui répondent aux contraintes de capacité et de placement du GPU. Pour plus d’informations, consultez Comprendre les profils MIG mixtes.
- Le pool de nœuds MIG utilise une image de nœud Linux AKS basée sur la version de VHD
202609.01.0ou ultérieure. - Les fonctionnalités
ManagedGPUExperiencePreviewetMixedMIGStrategyPreviewinscrites dans votre abonnement. Pour obtenir des instructions, consultez Inscrire les fonctionnalités en préversion.
Limitations
- Les pools de nœuds avec les références SKU du système d’exploitation
AzureContainerLinuxetWindowsne sont actuellement pas pris en charge avec cette fonctionnalité. - Cette fonctionnalité ne prend actuellement pas en charge la mise à l’échelle automatique des nœuds MIG avec une stratégie mixte à l’aide de l’autoscaler de cluster AKS.
- Une configuration de stratégie mixte doit satisfaire les contraintes de partitionnement et de placement du GPU.
- Vous ne pouvez pas modifier la configuration du profil après la création du pool de nœuds MIG. Créez un pool de remplacement pour modifier la disposition ou cesser d’utiliser MIG. N’essayez pas de désactiver MIG en modifiant la stratégie en
None.
Comprendre les profils MIG mixtes
Un profil, tel que MIG3g, définit la taille d’une partition GPU. Un layout est l’ensemble de profils que vous configurez sur un pool de nœuds. Chaque profil de la disposition crée une partition que les charges de travail demandent en tant que ressource étendue.
La stratégie MIG contrôle à la fois la configuration de profil compatible et les noms de ressources demandés par les charges de travail.
| Strategy | Configuration du profil | Ressource de la charge de travail |
|---|---|---|
| Single | Spécifiez exactement un profil, puis AKS crée une disposition de partition uniforme. |
nvidia.com/gpu: chaque unité représente une partition MIG, et non l’ensemble du GPU physique. |
| Mixte | Spécifiez un ou plusieurs profils compatibles qui forment une disposition prise en charge. Répétez un profil pour demander plusieurs partitions de cette taille. | Ressource spécifique au profil, telle que nvidia.com/mig-1g.10gb. |
Les valeurs de profil prises en charge sont MIG1g, MIG2g, MIG3g, MIG4g et MIG7g. Le tableau suivant montre la partition que chaque profil crée sur un GPU NVIDIA A100 80 Go, tel que le GPU dans Standard_NC24ads_A100_v4. La mémoire GPU par profil dépend du modèle GPU NVIDIA.
| Profile | Tranches de calcul | Partition | Ressource de la charge de travail |
|---|---|---|---|
MIG1g |
1 | 1g.10gb |
nvidia.com/mig-1g.10gb |
MIG2g |
2 | 2g.20gb |
nvidia.com/mig-2g.20gb |
MIG3g |
3 | 3g.40gb |
nvidia.com/mig-3g.40gb |
MIG4g |
4 | 4g.40gb |
nvidia.com/mig-4g.40gb |
MIG7g |
7 | 7g.80gb |
nvidia.com/mig-7g.80gb |
Préparer votre environnement
Définissez vos variables d’environnement, inscrivez les fonctionnalités en préversion et connectez-vous à votre cluster existant avant d’ajouter le pool de nœuds MIG mixte.
Définir des variables d’environnement
Définissez les variables d’environnement suivantes pour votre cluster existant. Les exemples de manifestes plus loin dans cet article utilisent
migmixedpourMIXED_POOL.export SUBSCRIPTION_ID="<subscription-id>" export RESOURCE_GROUP="<my-resource-group>" export CLUSTER_NAME="<my-cluster-name>" export MIXED_POOL="<mig-pool-name>"
Inscrire les fonctionnalités en préversion
Installez ou mettez à jour l’extension
aks-preview.az extension add --name aks-preview --upgrade --yesInscrivez la fonctionnalité
ManagedGPUExperiencePreview.az feature register \ --namespace Microsoft.ContainerService \ --name ManagedGPUExperiencePreviewInscrivez la fonctionnalité
MixedMIGStrategyPreview.az feature register \ --namespace Microsoft.ContainerService \ --name MixedMIGStrategyPreviewConfirmez l’état d’inscription de la fonctionnalité GPU gérée.
az feature show \ --namespace Microsoft.ContainerService \ --name ManagedGPUExperiencePreview \ --query properties.state --output tsvConfirmez l’état d’inscription de la fonctionnalité MIG mixte.
az feature show \ --namespace Microsoft.ContainerService \ --name MixedMIGStrategyPreview \ --query properties.state --output tsvUne fois que les deux états renvoient
Registered, actualisez l’inscription du fournisseur de ressources.az provider register --namespace Microsoft.ContainerService
Se connecter à votre cluster AKS
Récupérez les informations d’identification du cluster.
az aks get-credentials \ --resource-group "$RESOURCE_GROUP" \ --name "$CLUSTER_NAME"Vérifiez la connexion et l’état des nœuds existants.
kubectl get nodes
Activer le mig mixte sur un nouveau pool de nœuds
Utilisez le Azure CLI pour créer un pool de nœuds MIG mixte. Sélectionnez l’onglet correspondant au SKU du système d’exploitation de votre nœud.
Pour utiliser la référence SKU de système d’exploitation par défaut, créez le pool de nœuds sans spécifier de référence SKU de système d’exploitation. Le pool de nœuds est configuré pour le système d’exploitation par défaut en fonction de la version Kubernetes du cluster.
Créez un pool de nœuds MIG mixte à l’aide de la disposition A100 suivante. Spécifiez --enable-managed-gpu=true, --gpu-mig-strategy Mixedet la liste des profils MIG ensemble. AKS préserve l’ordre de la liste fournie et gère l’ordre de positionnement pendant la configuration du nœud.
az aks nodepool add \
--resource-group "$RESOURCE_GROUP" \
--cluster-name "$CLUSTER_NAME" \
--name "$MIXED_POOL" \
--node-vm-size "Standard_NC24ads_A100_v4" \
--enable-managed-gpu=true \
--gpu-mig-strategy Mixed \
--gpu-mig-profiles MIG3g MIG2g MIG1g MIG1g \
--node-count 1
Vérifier la configuration MIG mixte
Vérifiez séparément la configuration du pool de nœuds, la préparation des nœuds et les ressources publiées. Le provisionnement de nœuds GPU réussi seul ne confirme pas qu’une charge de travail peut utiliser une partition.
Inspectez la configuration du pool et l’image de nœud.
az aks nodepool show \ --resource-group "$RESOURCE_GROUP" \ --cluster-name "$CLUSTER_NAME" \ --name "$MIXED_POOL" \ --query "{state:provisioningState,image:nodeImageVersion,gpu:gpuProfile.nvidia}" \ --output jsonVérifiez que la sortie correspond aux valeurs suivantes :
Champ de sortie Valeur attendue stateSucceededgpu.managementModeManagedgpu.driverModeDevicePlugingpu.migStrategyMixedgpu.migProfilesMIG3g,MIG2g,MIG1g,MIG1g(les deuxMIG1gentrées)Attendez que les nœuds du pool de nœuds MIG mixte deviennent
Ready.kubectl wait --for=condition=Ready node \ -l agentpool="$MIXED_POOL" --timeout=600sInspectez les ressources NVIDIA allocatables sur chaque nœud du pool.
kubectl describe nodes -l agentpool="$MIXED_POOL"Pour
Standard_NC24ads_A100_v4avec la dispositionMIG3g MIG2g MIG1g MIG1g, la sectionAllocatablede chaque nœud doit inclure les nombres de ressources suivants aux côtés de son processeur, sa mémoire et d’autres ressources :Allocatable: nvidia.com/mig-1g.10gb: 2 nvidia.com/mig-2g.20gb: 1 nvidia.com/mig-3g.40gb: 1Ces nombres correspondent à la capacité allouable, et non à une indication des partitions actuellement inutilisées. Inspectez les demandes de pod planifiées pour déterminer la capacité restante.
Exécuter des charges de travail sur différentes tailles de partition
Utilisez les noms de ressources étendus exacts publiés par vos nœuds. Les exemples suivants demandent une 3g.40gb partition et une 1g.10gb partition. Chaque conteneur s’exécute nvidia-smi une fois pour signaler les informations d’appareil GPU, puis quitte.
Créez un fichier nommé
mixed-mig-workloads.yamlavec le manifeste suivant. Lesagentpoolsélecteurs utilisent le nom dumigmixedpool. Si vous avez utilisé un autre nom pourMIXED_POOL, mettez à jour les deux sélecteurs.apiVersion: v1 kind: Pod metadata: name: mixed-mig-pod-3g spec: restartPolicy: Never nodeSelector: agentpool: migmixed containers: - name: gpu-test image: mcr.microsoft.com/azuredocs/samples-tf-mnist-demo:gpu command: ["nvidia-smi"] resources: limits: nvidia.com/mig-3g.40gb: "1" --- apiVersion: v1 kind: Pod metadata: name: mixed-mig-pod-1g spec: restartPolicy: Never nodeSelector: agentpool: migmixed containers: - name: gpu-test image: mcr.microsoft.com/azuredocs/samples-tf-mnist-demo:gpu command: ["nvidia-smi"] resources: limits: nvidia.com/mig-1g.10gb: "1"Kubernetes utilise une limite de ressources étendue comme demande lorsque vous omettez une demande distincte. Spécifiez un nombre entier de partitions. Si vous définissez des requêtes et des limites pour la même ressource GPU, utilisez des valeurs égales.
Déployez les exemples de pods.
kubectl apply -f mixed-mig-workloads.yamlAttendez que le pod de plus grande partition se termine correctement.
kubectl wait --for=jsonpath='{.status.phase}'=Succeeded \ pod/mixed-mig-pod-3g --timeout=300sAttendez que le pod de partition plus petite se termine correctement.
kubectl wait --for=jsonpath='{.status.phase}'=Succeeded \ pod/mixed-mig-pod-1g --timeout=300sVérifiez les affectations de nœuds des pods.
kubectl get pods mixed-mig-pod-3g mixed-mig-pod-1g -o wideLisez les informations du périphérique GPU du pod de la partition la plus grande.
kubectl logs mixed-mig-pod-3gVérifiez que
nvidia-smisignale le GPU et un périphérique MIG attribué sans erreur. Le pod demande la ressource annoncéenvidia.com/mig-3g.40gbdu nœud.Lisez les informations du périphérique GPU du pod de la partition la plus petite.
kubectl logs mixed-mig-pod-1gVérifiez que
nvidia-smisignale le GPU et un périphérique MIG attribué sans erreur. Le pod demande la ressource annoncéenvidia.com/mig-1g.10gbdu nœud. La mise en forme de sortie dépend de la version du pilote ; la commande par défaut n’affiche pas nécessairement les noms de profil. Les informations gpu physiques ne sont pas des preuves que le pod a accès à l’ensemble du GPU.Les pods terminés avec succès affichent
Completeddanskubectl get pods. Ils ne restent pas à l’état Prêt et ne conservent pas leur allocation de partition après la sortie du conteneur. Si une attente d’achèvement expire, inspectez l’état, les journaux et les événements du pod pour distinguer les problèmes de planification des échecs d’image ou de conteneur.
Pour un Single pool de stratégies, demandez nvidia.com/gpu: "1" au lieu d’une ressource spécifique au profil. Ne réutilisez pas ce nom de ressource pour demander une partition à partir du pool mixte dans cet exemple.
Mettre à l’échelle et gérer le pool de nœuds
La mise à l’échelle conserve la stratégie et la liste de profils d’origine du pool de nœuds MIG mixtes. Vérifiez que vous disposez d’un quota et d’une capacité GPU avant d’ajouter des nœuds.
az aks nodepool scale \
--resource-group "$RESOURCE_GROUP" \
--cluster-name "$CLUSTER_NAME" \
--name "$MIXED_POOL" \
--node-count 2
Répétez la préparation des nœuds et les vérifications des ressources allocatables pour tous les nœuds. Avec Standard_NC24ads_A100_v4 et la disposition MIG3g MIG2g MIG1g MIG1g, chaque nœud publie les quatre mêmes partitions : une 3g.40gb, une 2g.20gb et deux 1g.10gb. D’autres nœuds ajoutent de la capacité pour les types de partition configurés ; ils n’ajoutent pas de types manquants.
Mettez à jour l’image de nœud à l’aide de la commande node-image-only de mise à niveau. Planifiez les interruptions de charge de travail et le quota et la capacité gpu de nœud de remplacement pendant la maintenance.
az aks nodepool upgrade \
--resource-group "$RESOURCE_GROUP" \
--cluster-name "$CLUSTER_NAME" \
--name "$MIXED_POOL" \
--node-image-only
Optimiser l’utilisation des partitions pour l’évaluation de la charge de travail de production
Utilisez les pratiques suivantes pour évaluer votre combinaison de charges de travail de production dans un environnement de test AKS avant de planifier un déploiement de production.
- Dimensionnez les partitions à partir des mesures. Évaluez les charges de travail d’inférence, de traitement par lots et d’entraînement représentatives. Mesurez la mémoire maximale de l’appareil, l’utilisation du calcul, le débit et la latence sous une concurrence réaliste. Sélectionnez la plus petite partition qui répond aux exigences de votre charge de travail avec une marge de mémoire.
- Adaptez la disposition à la charge simultanée. La
MIG3g MIG2g MIG1g MIG1gdisposition surStandard_NC24ads_A100_v4fournit une grande, une moyenne et deux petites partitions par nœud. Deux requêtes simultanées pour une partition volumineuse ont besoin de deux nœuds même si les partitions plus petites sont inactives. Choisissez les configurations en fonction de la répartition de la demande simultanée, pas seulement de la mémoire GPU totale. - Considérez la capacité comme un type de ressource distinct. Effectuez le suivi de la capacité demandée et disponible pour chaque
nvidia.com/mig-*ressource. Kubernetes ne combine pas de petites partitions en une plus grande ou ne redimensionne pas la disposition configurée pour satisfaire un pod en attente. - Utilisez des pools distincts pour différentes classes de charge de travail. Conservez les charges de travail qui ont besoin d’un GPU nonpartitionné sur un pool créé sans paramètres MIG. Utilisez une stratégie unique uniforme lorsque tous les travaux ont besoin de la même taille de partition et des dispositions mixtes lorsque les charges de travail ont besoin de tailles différentes. Évaluez les performances des charges de travail distribuées ou multi-GPU séparément plutôt que de supposer qu’elles se comportent comme des charges de travail GPU complètes.
- Définissez les demandes de processeur et de mémoire ainsi que les limites du GPU. Une partition GPU disponible ne garantit pas qu’un nœud a suffisamment de mémoire hôte ou d’UC pour exécuter la charge de travail. Utilisez un déploiement ou un Job approprié au cycle de vie de votre application plutôt qu’aux pods d’inspection de cet article.
- Surveillez les résultats de la charge de travail et l’utilisation des partitions ensemble. Comparez la latence, le débit, la pression de la mémoire GPU et les échecs de planification par profil MIG.
- Validez votre pile applicative. Testez la compatibilité du framework, de CUDA, du pilote et des partitions. Épinglez les versions ou condensés des images d’application validées et n’utilisez pas l’image d’inspection comme image d’application de production.
Résoudre les problèmes de configuration et d'ordonnancement
Si un exemple de pod reste Pending, vérifiez ses événements de planification et les ressources allouées du nœud.
Inspectez les événements de planification d’un exemple de pod en attente, tel que mixed-mig-pod-3g, à partir de Exécuter des charges de travail sur différentes tailles de partition :
kubectl describe pod mixed-mig-pod-3g
Inspectez les demandes de ressources allouées sur les nœuds du pool de nœuds MIG mixtes :
kubectl describe nodes -l agentpool="$MIXED_POOL"
Les causes courantes sont les suivantes :
- Le pod demande une ressource que le pool ne publie pas. Par exemple, une demande de
nvidia.com/mig-4g.40gbreste en attente sur un pool créé avecMIG3g MIG2g MIG1g MIG1g, car le pool ne publie pas cette ressource. La mise à l’échelle du pool ne résout pas cette incompatibilité. - Le nœud ne dispose pas d’autres ressources. Si les partitions GPU apparaissent disponibles, vérifiez le CPU, la mémoire de l’hôte, les taints et l’affinité.
Pour obtenir des conseils connexes, consultez la résolution des problèmes MIG à stratégie unique et la vérification du GPU managé. Les exigences de configuration de cet article s’appliquent à la nouvelle préversion des profils mixtes.
Désactiver la stratégie MIG mixte et supprimer les ressources d’exemple
Désactivez l’utilisation mixte de MIG en migrant des charges de travail et en supprimant le pool de nœuds MIG mixte. La préversion ne permet ni de modifier la disposition sur place ni d’utiliser une stratégie None. La désinscription d’une fonctionnalité d’abonnement ne convertit pas les nœuds existants ni ne remplace la suppression du pool de nœuds.
Supprimer ou remplacer le pool de nœuds MIG mixte
Avant de supprimer un pool de nœuds qui exécute des charges de travail d’application, approvisionnez un pool MIG de remplacement avec une capacité suffisante, mettez à jour les demandes de ressources de charge de travail et les sélecteurs, puis vérifiez l’intégrité de l’application. Pour créer un pool GPU non partitionné, omettez à la fois --gpu-mig-strategy et --gpu-mig-profiles. Pour passer à une stratégie unique, créez un pool de nœuds avec --gpu-mig-strategy Single et exactement un profil.
Par exemple, créez un pool de nœuds de remplacement full-GPU managé uniquement si vos applications ont toujours besoin d’une capacité GPU :
az aks nodepool add \
--resource-group "$RESOURCE_GROUP" \
--cluster-name "$CLUSTER_NAME" \
--name gpufull \
--node-vm-size "Standard_NC24ads_A100_v4" \
--enable-managed-gpu=true \
--node-count 1
Vérifiez que le nœud de remplacement est Ready et annonce nvidia.com/gpu plutôt que des ressources de partition MIG :
kubectl describe nodes -l agentpool=gpufull
Dans la section Conditions de chaque nœud, vérifiez que Ready est True. Dans sa section Allocatable, vérifiez que nvidia.com/gpu est présent et que les ressources de partition MIG ne sont pas publiées.
Mettez à jour les charges de travail migrées pour demander nvidia.com/gpu et sélectionner agentpool: gpufull. Revalidez le dimensionnement et le comportement de l’application sur le GPU complet avant de supprimer l’ancien pool de nœuds. Si vous n’avez pas besoin de capacité GPU de remplacement, ignorez cet exemple et supprimez directement le pool d’exemple.
Supprimer les pods d'exemple et le pool de nœuds MIG mixtes
Supprimez les pods d’inspection.
kubectl delete pod mixed-mig-pod-3g mixed-mig-pod-1g \ --ignore-not-found=trueVérifiez que les pods d’exemple sont partis.
kubectl get pods \ --field-selector metadata.name=mixed-mig-pod-3gkubectl get pods \ --field-selector metadata.name=mixed-mig-pod-1gAprès la migration d’autres charges de travail, supprimez le pool de nœuds MIG mixte. Attendez que cette opération se termine avant de démarrer une autre opération de cluster.
az aks nodepool delete \ --resource-group "$RESOURCE_GROUP" \ --cluster-name "$CLUSTER_NAME" \ --name "$MIXED_POOL"Vérifiez que le pool de nœuds supprimé n’apparaît plus.
az aks nodepool list \ --resource-group "$RESOURCE_GROUP" \ --cluster-name "$CLUSTER_NAME" \ --query "[?name=='$MIXED_POOL'].name" \ --output jsonLa sortie doit être
[].Vérifiez qu’aucun nœud Kubernetes ne reste pour ce pool de nœuds.
kubectl get nodes -l agentpool="$MIXED_POOL"La commande ne doit signaler aucune ressource correspondante une fois la suppression terminée.
Étapes suivantes
- Découvrez les stratégies MIG prises en charge sur AKS.
- Passez en revue les nœuds GPU managés dans AKS.
- Comparez avec des exemples de configuration de stratégie unique dans Créer un pool de nœuds MIG à stratégie unique.