Notes
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
À mesure que des GPU plus puissants deviennent disponibles sur la Place de marché et dans les centres de données Microsoft Azure, nous vous recommandons de réévaluer les performances de vos charges de travail et de prendre en compte la migration vers des GPU plus récents.
Pour la même raison, ainsi que pour maintenir une offre de service de haute qualité et fiable, Azure met régulièrement hors service le matériel qui alimente les tailles de machine virtuelle plus anciennes. Le premier groupe de produits GPU à mettre hors service dans Azure est les machines virtuelles de série NC, NC v2 et ND d’origine, alimentées respectivement par NVIDIA Tesla K80, P100 et P40 accélérateurs GPU de centre de données. Ces produits seront mis hors service le 31 août 2023 et les machines virtuelles les plus anciennes de cette série lancées en 2016.
Depuis lors, les GPU ont fait des progrès incroyables en même temps que l’ensemble du deep learning et de l’industrie HPC, dépassant généralement un doublement des performances entre les générations. Depuis le lancement des GPU NVIDIA K80, P40 et P100, Azure a livré plusieurs générations et catégories de produits de machine virtuelle destinés au calcul et à l’IA accélérés par GPU, basés sur les GPU T4, V100 et A100 GPU, et différenciés par des fonctionnalités facultatives telles que les infrastructures d’interconnexion basées sur InfiniBand. Il s’agit de toutes les options que nous encourageons les clients à explorer en tant que chemins de migration.
Dans la plupart des cas, l’augmentation spectaculaire des performances offertes par les nouvelles générations de GPU réduit le coût total total en réduisant la durée du travail, pour les travaux en rafale ou en réduisant la quantité de machines virtuelles avec GPU globales requises pour couvrir une demande de taille fixe pour les ressources de calcul, même si les coûts par heure GPU peuvent varier. En plus de ces avantages, les clients peuvent améliorer le délai à la solution via des machines virtuelles plus performantes et améliorer l’intégrité et la prise en charge de leur solution en adoptant des logiciels plus récents, le runtime CUDA et les versions de pilotes.
Migration et optimisation
Azure reconnaît que les clients ont une multitude d’exigences qui peuvent dicter la sélection d’un produit de machine virtuelle GPU spécifique, notamment les considérations architecturales gpu, les interconnexions, le TCO, le temps à la solution et la disponibilité régionale en fonction des exigences de conformité ou de latence, et certains d’entre eux changent même au fil du temps.
En même temps, l’accélération GPU est une zone nouvelle et en constante évolution.
Par conséquent, il n’existe pas de véritable solution universelle pour cette zone de produit, et une migration est un moment idéal pour réévaluer les changements potentiellement spectaculaires d'une charge de travail informatique, comme passer d’un modèle de déploiement en cluster à une machine virtuelle importante avec 8 GPU, ou inversement, en tirant parti de types de données à précision réduite, en adoptant des fonctionnalités telles que le Multi-Instance GPU, et bien plus encore.
Ces types de considérations - dans le contexte déjà dramatique des augmentations de performances par génération de GPU, où une fonctionnalité telle que l'ajout de TensorCores peut augmenter les performances d'un ordre de grandeur, sont extrêmement spécifiques à la charge de travail.
La combinaison de la migration avec la re-architecture d’application peut générer une valeur et une amélioration considérables des coûts et du délai de solution.
Toutefois, ces types d’améliorations dépassent l’étendue de ce document, qui vise à se concentrer sur les classes d’équivalence directe pour les charges de travail généralisées qui peuvent être exécutées par les clients aujourd’hui, afin d’identifier les options de machine virtuelle les plus similaires dans les prix et les performances par GPU aux familles de machines virtuelles existantes en cours de mise hors service.
Ainsi, ce document suppose que l’utilisateur n’a pas d’insights ni de contrôle sur les propriétés spécifiques à la charge de travail, comme le nombre d’instances de machine virtuelle requises, de GPU, d’interconnexions, etc.
Chemins de mise à niveau recommandés
machines virtuelles NC-Series avec gpu NVIDIA K80
Les machines virtuelles de la série NC (v1) sont le type de machine virtuelle de calcul accélérée par GPU le plus ancien d’Azure, alimentés par 1 à 4 accélérateurs GPU NVIDIA Tesla K80 jumelés avec des processeurs Intel Xeon E5-2690 v3 (Haswell). Autrefois un type phare de machine virtuelle pour les applications IA, ML et HPC exigeantes, ils sont restés un choix populaire bien tard dans le cycle de vie du produit (en particulier via la tarification promotionnelle de la série NC) pour les utilisateurs qui ont apprécié avoir un coût absolu très faible par heure de GPU, plutôt que des GPU offrant un meilleur débit par dollar.
Aujourd’hui, étant donné les performances de calcul relativement faibles de la plateforme GPU NVIDIA K80 vieillissante, par rapport à la série de machines virtuelles avec des GPU plus récentes, un cas d’usage populaire pour la série NC est des charges de travail d’inférence et d’analytique en temps réel, où une machine virtuelle accélérée doit être disponible dans un état stable pour traiter les demandes des applications à mesure qu’elles arrivent. Dans ces cas, la taille du volume ou du lot des requêtes peut être insuffisante pour bénéficier de GPU plus performants. Les machines virtuelles NC sont également populaires pour les développeurs et les étudiants qui apprennent, développent ou expérimentent avec l’accélération GPU, qui ont besoin d’une cible de déploiement CUDA basée sur le cloud peu coûteuse sur laquelle itérer qui n’a pas besoin d’effectuer à des niveaux de production.
En général, les clients NC-Series doivent envisager de passer directement de tailles NC à des tailles NC T4 v3, la nouvelle plateforme accélérée par GPU d’Azure pour les charges de travail légères alimentées par les GPU NVIDIA Tesla T4.
| Taille actuelle de machine virtuelle | Taille de machine virtuelle cible | Différence de spécification |
|---|---|---|
| Standard_NC6 Standard_NC6_Promo |
Standard_NC4as_T4_v3 ou Standard_NC8as_T4 |
Processeur : Intel Haswell vs AMD Rome Nombre de GPU : 1 (identique) Génération de GPU : NVIDIA Keppler vs. Turing (+2 générations, ~2x FP32 FLOPs) Mémoire GPU (Gio par GPU) : 16 (+4) processeur virtuel : 4 (-2) ou 8 (+2) Mémoire (Gio) : 16 (-40) ou 56 (identique) Stockage temporaire (SSD) en Gio : 180 (-160) ou 360 (+20) Nombre maximal de disques de données : 8 (-4) ou 16 (+4) Mise en réseau accélérée : Oui (+) Stockage Premium : Oui (+) |
| Standard_NC12 Standard_NC12_Promo |
Standard_NC16as_T4_v3 | Processeur : Intel Haswell vs AMD Rome Nombre de GPU : 1 (-1) Génération de GPU : NVIDIA Keppler vs. Turing (+2 générations, ~2x FP32 FLOPs) Mémoire GPU (Gio par GPU) : 16 (+4) processeur virtuel : 16 (+4) Mémoire (Gio) : 110 (-2) Stockage temporaire (SSD) en Gio : 360 (+320) Nombre maximal de disques de données : 48 (+16) Mise en réseau accélérée : Oui (+) Stockage Premium : Oui (+) |
| Standard_NC24 Standard_NC24_Promo |
Standard_NC64as_T4_v3* | Processeur : Intel Haswell vs AMD Rome Nombre de GPU : 4 (identique) Génération de GPU : NVIDIA Keppler vs. Turing (+2 générations, ~2x FP32 FLOPs) Mémoire GPU (Gio par GPU) : 16 (+4) processeur virtuel : 64 (+40) Mémoire (Gio) : 440 (+216) Stockage temporaire (SSD) : 2880 (+1440) GiB Nombre maximal de disques de données : 32 (-32) Mise en réseau accélérée : Oui (+) Stockage Premium : Oui (+) |
| Standard_NC24r Standard_NC24r_Promo |
Standard_NC64as_T4_v3* | Processeur : Intel Haswell vs AMD Rome Nombre de GPU : 4 (identique) Génération de GPU : NVIDIA Keppler vs. Turing (+2 générations, ~2x FP32 FLOPs) Mémoire GPU (Gio par GPU) : 16 (+4) processeur virtuel : 64 (+40) Mémoire (Gio) : 440 (+216) Stockage temporaire (SSD) en Gio : 2 880 (+1 440) Nombre maximal de disques de données : 32 (-32) Mise en réseau accélérée : Oui (+) Stockage Premium : Oui (+) Interconnexion InfiniBand : Non |
Machines virtuelles de série NC v2 avec GPU NVIDIA Tesla P100
Les machines virtuelles de la série NC v2 sont une plateforme phare conçue à l’origine pour les charges de travail IA et Deep Learning. Ils offrent d’excellentes performances pour l’apprentissage profond, avec des performances par GPU environ 2x celle de l'NC-Series d’origine et sont alimentées par les GPU NVIDIA Tesla P100 et Intel Xeon E5-2690 v4 (Broadwell). Comme la série NC et ND, la série NC v2 offre une configuration avec un réseau secondaire à faible latence, à débit élevé via RDMA et infiniBand, afin de pouvoir exécuter des tâches de formation à grande échelle couvrant de nombreux GPU.
En général, les clients NCv2-Series devraient envisager de passer directement aux configurations NC A100 v4, la nouvelle plateforme Azure à accélération GPU, alimentée par les GPU NVIDIA Ampere A100 PCIe.
| Taille actuelle de machine virtuelle | Taille de machine virtuelle cible | Différence de spécification |
|---|---|---|
| Standard_NC6s_v2 | Standard_NC24ads_A100_v4 | PROCESSEUR : Intel Broadwell vs AMD Milan Nombre de GPU : 1 (identique) Génération de GPU : NVIDIA Pascal vs. Ampere (+2 génération) Mémoire GPU (Gio par GPU) : 80 (+64) processeur virtuel : 24 (+18) Mémoire (en Gio) : 220 (+108) Stockage temporaire (SSD) (en Gio) : 1 123 (+387) Nombre maximal de disques de données : 12 (identiques) Mise en réseau accélérée : Oui (+) Stockage Premium : Oui (+) |
| Standard_NC12s_v2 | Standard_NC48ads_A100_v4 | PROCESSEUR : Intel Broadwell vs AMD Milan Nombre de GPU : 2 (identique) Génération de GPU : NVIDIA Pascal vs. Ampere (+2 générations) Mémoire GPU (Gio par GPU) : 80 (+64) processeur virtuel : 48 (+36) Mémoire (Gio) : 440 (+216) Stockage temporaire (SSD) (en Gio) : 2 246 (+772) Nombre maximal de disques de données : 24 (identique) Mise en réseau accélérée : Oui (+) Stockage Premium : Oui (+) |
| Standard_NC24s_v2 | Standard_NC96ads_A100_v4 | PROCESSEUR : Intel Broadwell vs AMD Milan Nombre de GPU : 4 (identique) Génération de GPU : NVIDIA Pascal vs. Ampere (+2 générations) Mémoire GPU (Gio par GPU) : 80 (+64) processeur virtuel : 96 (+72) Mémoire (en Gio) : 880 (+432) Stockage temporaire (SSD) (en Gio) : 4 492 (+1 544) Nombre maximal de disques de données : 32 (identique) Mise en réseau accélérée : Oui (+) Stockage Premium : Oui (+) |
| Standard_NC24rs_v2 | Standard_NC96ads_A100_v4 | PROCESSEUR : Intel Broadwell vs AMD Milan Nombre de GPU : 4 (Identique) Génération de GPU : NVIDIA Pascal vs. Ampere (+2 générations) Mémoire GPU (Gio par GPU) : 80 (+64) processeur virtuel : 96 (+72) Mémoire (en Gio) : 880 (+432) Stockage temporaire (SSD) (en Gio) : 4 492 (+1 544) Nombre maximal de disques de données : 32 (identique) Mise en réseau accélérée : Oui (+) Stockage Premium : Oui (+) Interconnexion InfiniBand : Non (-) |
machines virtuelles ND-Series avec GPU NVIDIA Tesla P40
Les machines virtuelles de la série ND sont une plateforme de taille moyenne conçue à l’origine pour les charges de travail IA et Deep Learning. Elles offrent d’excellentes performances pour l’inférence par lots via des opérations à virgule flottante simple précision améliorées par rapport à leurs prédécesseurs. Elles fonctionnent avec des GPU NVIDIA Tesla P40 et des processeurs Intel Xeon E5-2690 v4 (Broadwell). Comme la série NC et NC v2, le ND-Series offre une configuration avec un réseau secondaire à faible latence, à débit élevé via RDMA et une connectivité InfiniBand afin de pouvoir exécuter des tâches de formation à grande échelle couvrant de nombreux GPU.
| Taille actuelle de machine virtuelle | Taille de machine virtuelle cible | Différence de spécification |
|---|---|---|
| Standard_ND6 | Standard_NC4as_T4_v3 ou Standard_NC8as_T4_v3 |
PROCESSEUR : Intel Broadwell vs AMD Rome Nombre de GPU : 1 (identique) Génération de GPU : NVIDIA Pascal et Turing (+1 génération) Mémoire GPU (Gio par GPU) : 16 (-8) processeur virtuel : 4 (-2) ou 8 (+2) Mémoire (Gio) : 16 (-40) ou 56 (-56) Stockage temporaire (SSD) en Gio : 180 (-552) ou 360 (-372) Nombre maximal de disques de données : 8 (-4) ou 16 (+4) Mise en réseau accélérée : Oui (+) Stockage Premium : Oui (+) |
| Standard_ND12 | Standard_NC16as_T4_v3 | PROCESSEUR : Intel Broadwell vs AMD Rome Nombre de GPU : 1 (-1) Génération de GPU : NVIDIA Pascal vs. Turing (+1 générations) Mémoire GPU (Gio par GPU) : 16 (-8) processeur virtuel : 16 (+4) Mémoire (Gio) : 110 (-114) Stockage temporaire (SSD) en Gio : 360 (-1 114) Nombre maximal de disques de données : 48 (+16) Mise en réseau accélérée : Oui (+) Stockage Premium : Oui (+) |
| Standard_ND24 | Standard_NC64as_T4_v3* | PROCESSEUR : Intel Broadwell vs AMD Rome Nombre de GPU : 4 (identique) Génération de GPU : NVIDIA Pascal vs. Turing (+1 générations) Mémoire GPU (Gio par GPU) : 16 (-8) processeur virtuel : 64 (+40) Mémoire (Gio) : 440 (identique) Stockage temporaire (SSD) en Gio : 2 880 (identique) Nombre maximal de disques de données : 32 (identique) Mise en réseau accélérée : Oui (+) Stockage Premium : Oui (+) |
| Standard_ND24r | Standard_ND96amsr_A100_v4 | PROCESSEUR : Intel Broadwell vs AMD Rome Nombre de GPU : 8 (+4) Génération de GPU : NVIDIA Pascal vs. Ampere (+2 génération) Mémoire GPU (Gio par GPU) : 80 (+56) processeur virtuel : 96 (+72) Mémoire (en Gio) : 1 900 (+1 452) Stockage temporaire (SSD) (en Gio) : 6 400 (+3 452) Nombre maximal de disques de données : 32 (identique) Mise en réseau accélérée : Oui (+) Stockage Premium : Oui (+) Interconnexion InfiniBand : Oui (identique) |
Étapes de migration
Modifications générales
Choisissez une gamme et une taille pour la migration. Tirez parti de la calculatrice de prix pour obtenir d’autres informations.
Obtenir le quota pour la série de machines virtuelles cibles
Redimensionnez la taille actuelle de la machine virtuelle de la série N* sur la taille cible. Cela peut également être un bon moment pour mettre à jour le système d’exploitation utilisé par votre image de machine virtuelle ou adopter l’une des images HPC avec des pilotes préinstallés comme point de départ.
Important
Votre image de machine virtuelle peut avoir été produite avec une version antérieure du runtime CUDA, du pilote NVIDIA et (le cas échéant, pour les tailles compatibles RDMA uniquement) les pilotes Mellanox OFED que votre nouvelle série de machines virtuelles GPU nécessite, ce qui peut être mis à jour en suivant les instructions de la documentation Azure.
Changements significatifs
Sélectionner la taille cible pour la migration
Après avoir évalué votre utilisation actuelle, choisissez le type de machine virtuelle GPU dont vous avez besoin. Selon les exigences de charge de travail, vous avez quelques choix différents.
Remarque
Une bonne pratique consiste à sélectionner une taille de machine virtuelle en fonction des coûts et des performances. Les recommandations de ce guide sont basées sur une comparaison à usage général des métriques de performances et de la correspondance la plus proche dans une autre série de machines virtuelles. Avant de décider de la taille appropriée, obtenez une comparaison des coûts à l’aide de la calculatrice de prix Azure.
Important
Toutes les tailles héritées NC, NC v2 et ND-Series sont disponibles en tailles multi-GPU, y compris les tailles 4-GPU avec et sans interconnexion InfiniBand, pour les charges de travail en expansion parallèle et étroitement couplées nécessitant plus de puissance de calcul qu’une seule machine virtuelle 4-GPU, ou qu’un seul GPU K80, P40 ou P100 peut fournir respectivement. Bien que les recommandations ci-dessus offrent un chemin d’accès simple, les utilisateurs de ces tailles doivent envisager d’atteindre leurs objectifs de performances avec des séries de machines virtuelles NVIDIA V100 basées sur GPU plus puissantes, comme la série NC v3-Series et ND v2, qui permettent généralement le même niveau de performances de charge de travail à moindre coût et avec une meilleure facilité de gestion en fournissant des performances considérablement supérieures par GPU et par machine virtuelle avant que les configurations multi-GPU et multi-nœuds soient requises, respectivement.
Obtenir le quota pour la famille de machines virtuelles cible
Suivez le guide pour demander une augmentation du quota de processeurs virtuels par famille de machines virtuelles. Sélectionnez la taille de machine virtuelle cible que vous avez sélectionnée pour la migration.
Redimensionner la machine virtuelle actuelle
Vous pouvez redimensionner la machine virtuelle.
Étapes suivantes
Pour obtenir la liste complète des tailles de machines virtuelles avec GPU activées, consultez GPU - Vue d’ensemble du calcul accéléré