Stratégies de partitionnement GPU multi-instances (MIG) dans Azure Kubernetes Service (AKS)

Les équipes exécutant des charges de travail GPU en production doivent souvent équilibrer l’utilisation avec la mémoire, le débit et les exigences de latence. Les types GPU ont des capacités différentes et certaines charges de travail ne nécessitent pas toutes les ressources offertes par un GPU physique. L’affectation d’un GPU entier à chaque charge de travail peut laisser la capacité inactive, tandis que le choix d’une plus petite taille de GPU peut ne pas répondre aux exigences du travail. Ces incompatibilités rendent plus difficile l’utilisation efficace de la capacité disponible à mesure que la demande change.

Le GPU multi-instance (MIG) divise un GPU NVIDIA compatible en partitions avec des ressources de calcul et de mémoire dédiées. Dans un cluster AKS, les charges de travail demandent ces partitions via des ressources étendues Kubernetes. Plusieurs charges de travail peuvent partager un GPU physique, avec des tailles de partition mises en correspondance avec leurs besoins au lieu de chaque charge de travail nécessitant un GPU entier.

MIG prend en charge deux stratégies. Avec la stratégie unique, chaque partition d’un pool de nœuds utilise le même profil et le nœud publie chaque partition en tant que ressource GPU standard, par nvidia.com/gpuexemple . Avec la stratégie mixte, un pool de nœuds peut combiner des profils et le nœud publie chaque profil sous son propre nom de ressource, tel que nvidia.com/mig-1g.5gb.

Choisissez une stratégie unique lorsque plusieurs travaux ont besoin de la même taille de partition. Choisissez une stratégie mixte lorsque les charges de travail ont besoin de tailles différentes. La mise en correspondance de partitions aux exigences de charge de travail peut améliorer l’utilisation du GPU, mais la disposition appropriée dépend des exigences de mémoire et de débit mesurées.

Comprendre les partitions et les ressources Kubernetes

Une partition est une allocation matérielle de calcul et de mémoire au sein d’un GPU. Un profil définit la taille d’une partition, par 1g.5gbexemple . Une disposition est l’ensemble des profils configurés sur un GPU. Un nom de ressource est la ressource étendue Kubernetes qu’un nœud publie pour la planification, et les charges de travail le demandent par nom et nombre. Avec MIG, une demande d’une ressource GPU peut représenter une partition plutôt qu’un GPU physique entier. La mémoire de partition dépend du modèle GPU, donc inspectez les ressources publiées par vos nœuds avant d’écrire des manifestes de charge de travail.

Comparer des stratégies uniques et mixtes

Le tableau suivant compare les flux de travail de stratégie unique et de stratégie mixte.

Considérations Stratégie unique Stratégie mixte avec des dispositions mixtes
Tailles de partition Un profil crée une disposition uniforme. Une liste compatible crée des partitions de tailles différentes ou des partitions répétées de la même taille.
Qu’est-ce qu’une ressource GPU demandée représente ? Une partition du profil configuré du pool de nœuds. Une partition du profil MIG demandé.
Cas d’utilisation typique Workloads similaires avec des exigences GPU comparables. Charges de travail avec différentes exigences de calcul et de mémoire.
Planification de la capacité Compter les partitions disponibles de la taille uniforme. Compter les partitions disponibles séparément pour chaque type de ressource.
Nom de la ressource Kubernetes Nom partagé, tel que nvidia.com/gpu. Un nom par profil, tel que nvidia.com/mig-1g.5gb.
Guide de configuration Configurer un pool de nœuds MIG à stratégie unique Configurer un pool de nœuds MIG à stratégie mixte (préversion)

Tailles des machines virtuelles GPU prises en charge

Le tableau suivant répertorie les tailles de machine virtuelle Azure qui prennent en charge le partitionnement GPU à plusieurs instances.

Taille de la machine virtuelle Série VM Unité de traitement graphique (GPU)
Standard_NC24ads_A100_v4 NC A100 v4 A100
Standard_NC48ads_A100_v4 NC A100 v4 A100
Standard_NC96ads_A100_v4 NC A100 v4 A100
Standard_ND96asr_v4 ND A100 v4 A100
Standard_ND112asr_A100_v4 ND A100 v4 A100
Standard_ND120asr_A100_v4 ND A100 v4 A100
Standard_ND96amsr_A100_v4 NDm A100 v4 A100
Standard_ND112amsr_A100_v4 NDm A100 v4 A100
Standard_ND120amsr_A100_v4 NDm A100 v4 A100
Standard_ND96ams_A100_v4 NDm A100 v4 A100
Standard_ND96ams_v4 NDm A100 v4 A100
Standard_ND100isr_H100_v5 ND H100 v5 H100
Standard_ND100is_H100_v5 ND H100 v5 H100
Standard_ND50s_H100_v5 ND H100 v5 H100
Standard_ND96isr_H100_v5 ND H100 v5 H100
Standard_ND96is_H100_v5 ND H100 v5 H100
Standard_ND92isr_H100_v5 ND H100 v5 H100
Standard_ND92is_H100_v5 ND H100 v5 H100
Standard_ND46s_H100_v5 ND H100 v5 H100
Standard_NC40ads_H100_v5 NC H100 v5 H100
Standard_NC80adis_H100_v5 NC H100 v5 H100

Note

Les machines virtuelles avec GPU contiennent du matériel spécialisé, plus cher et dépendant de la disponibilité régionale. Pour plus d’informations, voir l’outil de tarification et la disponibilité régionale.

Utiliser MIG à stratégie unique pour des besoins de ressources cohérents

La stratégie unique convient aux charges de travail avec des exigences de calcul et de mémoire similaires. Les partitions uniformes permettent aux équipes de partager des GPU tout en conservant un nom de ressource GPU commun dans leurs manifestes Kubernetes. Cette cohérence peut simplifier l’allocation lorsqu’un pool de nœuds sert une classe de charge de travail cohérente.

Le compromis de la stratégie unique est que le nom de la ressource ne décrit pas la taille de partition. Utilisez un sélecteur de pool ou une affinité de nœud pour cibler la capacité prévue. Le nom de ressource seul ne distingue pas une partition MIG d’un GPU complet publié par un autre pool de nœuds MIG, ni ne distingue les tailles de partition dans différents pools à stratégie unique. Sans contrôles de placement, un pod peut recevoir un périphérique qui ne correspond pas aux hypothèses de dimensionnement de l’application.

Si les exigences de charge de travail varient considérablement, une disposition uniforme peut laisser des partitions plus volumineuses sous-utilisées ou rendre les petites partitions inadaptées à certains pods.

Utiliser la stratégie mixte MIG pour différents besoins en ressources

La stratégie mixte permet aux équipes d’allouer différentes tailles de partition sur le même GPU. Cette approche aide quand un pool partagé sert des charges de travail avec différentes exigences et alloue la même taille à chaque pod gaspille la capacité ou empêche l’exécution de charges de travail GPU plus volumineuses.

Avec la stratégie mixte, chaque type de partition a un nom de ressource Kubernetes distinct. Les manifestes de charge de travail demandent le type dont ils ont besoin. La sélection de la taille est donc explicite plutôt que de s’appuyer uniquement sur la configuration uniforme d’un pool. Les équipes doivent gérer ces demandes dans le cadre du dimensionnement et de la configuration de déploiement de leurs applications.

Le compromis de la stratégie mixte est la fragmentation de la capacité : un pod peut rester en attente même lorsque d’autres types de partition sont gratuits. Kubernetes ne combine pas de partitions plus petites et ne redimensionne pas automatiquement la disposition pour répondre à une demande. L’ajout de nœuds avec la même disposition augmente la capacité des types configurés de cette disposition, et non pas pour les types manquants dans la disposition. Planifiez la combinaison autour de la demande simultanée pour chaque taille, et non seulement l’utilisation totale du GPU.

Comment AKS configure la stratégie mixte pour MIG

Dans AKS, la stratégie mixte configure à la fois la disposition de partition et le plug-in d’appareil managé. AKS gère les composants côté Kubernetes, tandis que vous choisissez une disposition prise en charge et dimensionnez les demandes de vos charges de travail. La modification d’une disposition nécessite un pool de nœuds de remplacement et une migration de charge de travail.

Choisir une stratégie pour vos charges de travail

  • Évaluez les charges de travail GPU représentatives et sélectionnez une partition avec suffisamment de mémoire et de capacité de calcul pour répondre à vos besoins.
  • Utilisez la stratégie unique pour les charges de travail qui nécessitent constamment la même taille. Utilisez des dispositions mixtes lorsque la demande simultanée de ressources GPU comprend plusieurs tailles.
  • Prévoyez la capacité par type de ressource. La mémoire GPU de rechange ou les partitions inutilisées d’un autre type ne garantissent pas qu’un pod puisse être planifié.
  • Vérifiez la capacité du processeur hôte et de la mémoire, ainsi que la partition GPU (MIG ne supprime pas d’autres contraintes de planification).
  • Conservez les charges de travail nécessitant des GPU complets sur des pools nonpartitionnés distincts et validez les charges de travail distribuées par rapport aux fonctionnalités MIG spécifiques au GPU.
  • Planifiez les modifications de configuration comme des migrations de charges de travail vers des pools de remplacement, avec un quota pour les pools qui se chevauchent et des mécanismes de contrôle des interruptions des applications.

Étapes suivantes

Pour bien démarrer avec les fonctionnalités et les exemples de charge de travail MIG, utilisez le guide de votre stratégie MIG choisie :