Guia de Migração para Cargas de Trabalho de Computação de GPU no Azure
À medida que as GPUs mais poderosas ficam disponíveis no marketplace e nos datacenters do Microsoft Azure, recomendamos que revalorize o desempenho das suas cargas de trabalho e considere migrar para GPUs mais recentes.
Pela mesma razão, bem como para manter uma oferta de serviço de alta qualidade e fiável, o Azure extingue periodicamente o hardware que alimenta tamanhos de VM mais antigos. O primeiro grupo de produtos GPU a ser descontinuado no Azure são as VMs originais da série NC, NC v2 e ND, com tecnologia NVIDIA Tesla K80, P100 e P40 datacenter GPU, respetivamente. Estes produtos serão descontinuados a 31 de agosto de 2023 e as VMs mais antigas desta série lançadas em 2016.
Desde então, as GPUs têm feito passos incríveis ao lado de toda a aprendizagem profunda e da indústria HPC, tipicamente excedendo uma duplicação no desempenho entre gerações. Desde o lançamento de GPUs NVIDIA K80, P40 e P100, o Azure enviou várias gerações e categorias mais recentes de produtos de VM orientados para a computação acelerada por GPU e IA, com base nos T4, V100 e A100 GPUs da NVIDIA, e diferenciado por funcionalidades opcionais como recursos de interligação baseados em InfiniBand. Estas são todas as opções que incentivamos os clientes a explorar como caminhos de migração.
Na maioria dos casos, o aumento dramático do desempenho oferecido pelas gerações mais recentes de GPUs reduz o TCO global ao diminuir a duração do trabalho, para trabalhos expansíveis ou reduzir a quantidade de VMs globais preparadas para GPU necessárias para cobrir uma procura de tamanho fixo para recursos de computação, embora os custos por hora de GPU possam variar. Além destes benefícios, os clientes podem melhorar o Time-to-Solution através de VMs de maior desempenho e melhorar o estado de funcionamento e a capacidade de suporte da solução através da adoção de software mais recente, runtime CUDA e versões de controlador.
Migração vs. Otimização
O Azure reconhece que os clientes têm uma multiplicidade de requisitos que podem ditar a seleção de um produto de VM de GPU específico, incluindo considerações de arquitetura de GPU, interligações, TCO, Hora para Solução e disponibilidade regional com base em requisitos de localidade ou latência de conformidade e alguns deles até mudam ao longo do tempo.
Ao mesmo tempo, a aceleração da GPU é uma área nova e em rápida evolução.
Assim, não existe uma verdadeira documentação de orientação de tamanho único para esta área de produto e uma migração é o momento perfeito para reavaliar alterações potencialmente dramáticas para uma carga de trabalho, como passar de um modelo de implementação em cluster para uma única VM de 8 GPUs ou vice-versa, tirar partido de tipos de dados de precisão reduzidos, adotar funcionalidades como a GPU de Várias Instâncias e muito mais.
Este tipo de considerações: quando o contexto do desempenho da GPU por geração já dramático aumenta, em que uma funcionalidade como a adição de TensorCores pode aumentar o desempenho por uma ordem de magnitude, são extremamente específicas da carga de trabalho.
Combinar a migração com a nova arquitetura da aplicação pode gerar imenso valor e melhoria no custo e no tempo para a solução.
No entanto, estes tipos de melhorias estão fora do âmbito deste documento, que visa focar-se nas classes de equivalência direta para cargas de trabalho generalizadas que podem ser executadas pelos clientes atualmente, para identificar as opções de VM mais semelhantes tanto no preço como no desempenho por GPU para as famílias de VMs existentes que estão a ser descontinuadas.
Assim, este documento pressupõe que o utilizador pode não ter qualquer informação ou controlo sobre propriedades específicas da carga de trabalho, como o número de instâncias de VM necessárias, GPUs, interligações e muito mais.
Caminhos de Atualização Recomendados
NC-Series VMs com GPUs NVIDIA K80
As VMs da Série NC (v1) são o tipo de VM de computação acelerada por GPU mais antiga do Azure, com tecnologia de 1 a 4 aceleradores de GPU de datacenter NVIDIA Tesla K80 emparelhados com processadores Intel Xeon E5-2690 v3 (Haswell). Uma vez que um tipo de VM principal para exigir aplicações de IA, ML e HPC, eles continuaram a ser uma escolha popular no final do ciclo de vida do produto (particularmente através de preços promocionais da série NC) para os utilizadores que valorizavam ter um custo absoluto muito baixo por GPU-hora sobre GPUs com débito mais elevado por dólar.
Atualmente, dado o desempenho de computação relativamente baixo da plataforma de GPU NVIDIA K80 antiga, em comparação com a série de VMs com GPUs mais recentes, um caso de utilização popular para a série NC é inferência em tempo real e cargas de trabalho de análise, onde uma VM acelerada tem de estar disponível num estado estável para servir o pedido das aplicações à medida que chegam. Nestes casos, o tamanho do volume ou do lote de pedidos pode ser insuficiente para beneficiar de GPUs mais eficazes. As VMs NC também são populares para programadores e estudantes que aprendem sobre, desenvolvem ou experimentam a aceleração de GPU, que precisam de um destino de implementação CUDA baseado na cloud barato para iterar que não precisa de executar para níveis de produção.
Em geral, NC-Series clientes devem considerar mover-se diretamente entre tamanhos NC para tamanhos NC T4 v3 , a nova plataforma acelerada por GPU do Azure para cargas de trabalho leves com tecnologia NVIDIA Tesla T4 GPUs.
| Tamanho da VM Atual | Tamanho da VM de Destino | Diferença na Especificação |
|---|---|---|
| Standard_NC6 Standard_NC6_Promo |
Standard_NC4as_T4_v3 ou Standard_NC8as_T4 |
CPU: Intel Haswell vs AMD Rome Contagem de GPUs: 1 (o mesmo) Geração de GPU: NVIDIA Keppler vs. Turing (+2 gerações, ~2x FP32 FLOPs) Memória da GPU (GiB por GPU): 16 (+4) vCPU: 4 (-2) ou 8 (+2) GiB de Memória: 16 (-40) ou 56 (o mesmo) GiB de Armazenamento Temporário (SSD): 180 (-160) ou 360 (+20) Discos de dados máximos: 8 (-4) ou 16 (+4) Redes Aceleradas: Sim (+) Armazenamento Premium: Sim (+) |
| Standard_NC12 Standard_NC12_Promo |
Standard_NC16as_T4_v3 | CPU: Intel Haswell vs AMD Rome Contagem de GPUs: 1 (-1) Geração de GPU: NVIDIA Keppler vs. Turing (+2 gerações, ~2x FP32 FLOPs) Memória da GPU (GiB por GPU): 16 (+4) vCPU: 16 (+4) GiB de Memória: 110 (-2) GiB do Armazenamento Temporário (SSD): 360 (-320) Máximo de discos de dados: 48 (+16) Redes Aceleradas: Sim (+) Armazenamento Premium: Sim (+) |
| Standard_NC24 Standard_NC24_Promo |
Standard_NC64as_T4_v3* | CPU: Intel Haswell vs AMD Rome Contagem de GPUs: 4 (o mesmo) Geração de GPU: NVIDIA Keppler vs. Turing (+2 gerações, ~2x FP32 FLOPs) Memória da GPU (GiB por GPU): 16 (+4) vCPU: 64 (+40) GiB de Memória: 440 (+216) GiB do Armazenamento Temporário (SSD): 2880 (+1440) Máximo de discos de dados: 32 (-32) Redes Aceleradas: Sim (+) Armazenamento Premium: Sim (+) |
| Standard_NC24r Standard_NC24r_Promo |
Standard_NC64as_T4_v3* | CPU: Intel Haswell vs AMD Rome Contagem de GPUs: 4 (o mesmo) Geração de GPU: NVIDIA Keppler vs. Turing (+2 gerações, ~2x FP32 FLOPs) Memória da GPU (GiB por GPU): 16 (+4) vCPU: 64 (+40) GiB de Memória: 440 (+216) GiB do Armazenamento Temporário (SSD): 2880 (+1440) Máximo de discos de dados: 32 (-32) Redes Aceleradas: Sim (+) Armazenamento Premium: Sim (+) Interligação InfiniBand: Não |
VMs da Série NC v2 com GPUs NVIDIA Tesla P100
As máquinas virtuais da série NC v2 são uma plataforma principal originalmente concebida para cargas de trabalho de IA e Aprendizagem Profunda. Ofereceram um excelente desempenho para a formação de Aprendizagem Profunda, com um desempenho por GPU aproximadamente 2x o da NC-Series original e são alimentados por GPUs NVIDIA Tesla P100 e CPUs Intel Xeon E5-2690 v4 (Broadwell). Tal como o NC e o ND -Series, a Série NC v2 oferece uma configuração com uma rede secundária de baixa latência e débito elevado através de RDMA e conectividade InfiniBand para que possa executar tarefas de preparação em larga escala que abrangem muitas GPUs.
Em geral, NCv2-Series clientes devem considerar mover-se diretamente para tamanhos NC A100 v4 , a nova plataforma acelerada por GPU do Azure com tecnologia NVIDIA Ampere A100 PCIe GPUs.
| Tamanho da VM Atual | Tamanho da VM de Destino | Diferença na Especificação |
|---|---|---|
| Standard_NC6s_v2 | Standard_NC24ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Contagem de GPUs: 1 (o mesmo) Geração de GPU: NVIDIA Pascal vs. Ampere (+2 geração) Memória da GPU (GiB por GPU): 80 (+64) vCPU: 24 (+18) GiB de Memória: 220 (+108) GiB de Armazenamento Temporário (SSD): 1123 (+387) Máximo de discos de dados: 12 (o mesmo) Redes Aceleradas: Sim (+) Armazenamento Premium: Sim (+) |
| Standard_NC12s_v2 | Standard_NC48ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Contagem de GPUs: 2 (mesmo) Geração de GPU: NVIDIA Pascal vs. Ampere (+2 gerações) Memória da GPU (GiB por GPU): 80 (+64) vCPU: 48 (+36) GiB de Memória: 440 (+216) GiB de Armazenamento Temporário (SSD): 2246 (+772) Máximo de discos de dados: 24 (o mesmo) Redes Aceleradas: Sim (+) Armazenamento Premium: Sim (+) |
| Standard_NC24s_v2 | Standard_NC96ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Contagem de GPUs: 4 (o mesmo) Geração de GPU: NVIDIA Pascal vs. Ampere (+2 gerações) Memória da GPU (GiB por GPU): 80 (+64) vCPU: 96 (+72) GiB de Memória: 880 (+432) GiB de Armazenamento Temporário (SSD): 4492 (+1544) Máximo de discos de dados: 32 (o mesmo) Redes Aceleradas: Sim (+) Armazenamento Premium: Sim (+) |
| Standard_NC24rs_v2 | Standard_NC96ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Contagem de GPUs: 4 (Mesmo) Geração de GPU: NVIDIA Pascal vs. Ampere (+2 gerações) Memória da GPU (GiB por GPU): 80 (+64) vCPU: 96 (+72) GiB de Memória: 880 (+432) GiB de Armazenamento Temporário (SSD): 4492 (+1544) Máximo de discos de dados: 32 (o mesmo) Redes Aceleradas: Sim (+) Armazenamento Premium: Sim (+) Interligação InfiniBand: Não (-) |
ND-Series VMs com GPUs NVIDIA Tesla P40
As máquinas virtuais da série ND são uma plataforma de média gama originalmente concebida para cargas de trabalho de IA e Aprendizagem Profunda. Ofereceram um excelente desempenho para inferência de lotes através de operações de vírgula flutuante de precisão única melhoradas sobre os seus antecessores e são alimentadas por GPUs NVIDIA Tesla P40 e CPUs Intel Xeon E5-2690 v4 (Broadwell). Tal como as séries NC e NC v2, o ND-Series oferece uma configuração com uma rede secundária de baixa latência e débito elevado através de RDMA e conectividade InfiniBand para que possa executar tarefas de preparação em grande escala que abrangem muitas GPUs.
| Tamanho da VM Atual | Tamanho da VM de Destino | Diferença na Especificação |
|---|---|---|
| Standard_ND6 | Standard_NC4as_T4_v3 ou Standard_NC8as_T4_v3 |
CPU: Intel Broadwell vs AMD Rome Contagem de GPUs: 1 (mesmo) Geração de GPU: NVIDIA Pascal vs. Turing (+1 geração) Memória de GPU (GiB por GPU): 16 (-8) vCPU: 4 (-2) ou 8 (+2) GiB de Memória: 16 (-40) ou 56 (-56) GiB de Armazenamento Temporário (SSD): 180 (-552) ou 360 (-372) Máximo de discos de dados: 8 (-4) ou 16 (+4) Redes Aceleradas: Sim (+) Armazenamento Premium: Sim (+) |
| Standard_ND12 | Standard_NC16as_T4_v3 | CPU: Intel Broadwell vs AMD Rome Contagem de GPUs: 1 (-1) Geração de GPU: NVIDIA Pascal vs. Turing (+1 gerações) Memória de GPU (GiB por GPU): 16 (-8) vCPU: 16 (+4) GiB de Memória: 110 (-114) GiB de Armazenamento Temporário (SSD): 360 (-1,114) Máximo de discos de dados: 48 (+16) Redes Aceleradas: Sim (+) Armazenamento Premium: Sim (+) |
| Standard_ND24 | Standard_NC64as_T4_v3* | CPU: Intel Broadwell vs AMD Rome Contagem de GPUs: 4 (o mesmo) Geração de GPU: NVIDIA Pascal vs. Turing (+1 gerações) Memória de GPU (GiB por GPU): 16 (-8) vCPU: 64 (+40) GiB de Memória: 440 (o mesmo) GiB de Armazenamento Temporário (SSD): 2880 (mesmo) Máximo de discos de dados: 32 (o mesmo) Redes Aceleradas: Sim (+) Armazenamento Premium: Sim (+) |
| Standard_ND24r | Standard_ND96amsr_A100_v4 | CPU: Intel Broadwell vs AMD Rome Contagem de GPUs: 8 (+4) Geração de GPU: NVIDIA Pascal vs. Ampere (+2 geração) Memória de GPU (GiB por GPU): 80 (+56) vCPU: 96 (+72) GiB de Memória: 1900 (+1452) GiB de Armazenamento Temporário (SSD): 6400 (+3452) Máximo de discos de dados: 32 (o mesmo) Redes Aceleradas: Sim (+) Armazenamento Premium: Sim (+) Interligação InfiniBand: Sim (Mesmo) |
Passos de Migração
Alterações Gerais
Escolha uma série e tamanho para migração. Tire partido da calculadora de preços para obter mais informações.
Obter quota para a série de VMs de destino
Redimensione o tamanho atual da VM da série N* para o tamanho de destino. Esta também pode ser uma boa altura para atualizar o sistema operativo utilizado pela imagem da Máquina Virtual ou adotar uma das imagens de HPC com controladores pré-instalados como ponto de partida.
Importante
A sua imagem de VM pode ter sido produzida com uma versão mais antiga do runtime CUDA, controlador NVIDIA e (se aplicável, apenas para tamanhos preparados para RDMA) controladores Mellanox OFED do que a nova série de VMs de GPU requer, que podem ser atualizados ao seguir as instruções na Documentação do Azure.
Alterações Interruptivas
Selecionar o tamanho de destino para a migração
Depois de avaliar a utilização atual, decida que tipo de VM de GPU precisa. Consoante os requisitos da carga de trabalho, tem algumas opções diferentes.
Nota
Uma melhor prática é selecionar um tamanho de VM com base no custo e no desempenho. As recomendações neste guia baseiam-se numa comparação de fins gerais, um-para-um das métricas de desempenho e a correspondência mais próxima noutra série de VMs. Antes de decidir o tamanho certo, obtenha uma comparação de custos com a Calculadora de Preços do Azure.
Importante
Todos os tamanhos de NC, NC v2 e ND-Series legados estão disponíveis em tamanhos de várias GPUs, incluindo tamanhos de 4 GPUs com e sem interligação InfiniBand para cargas de trabalho de escalamento horizontal e fortemente conjugadas que exigem mais poder de computação do que uma única VM de 4 GPUs, ou uma única GPU K80, P40 ou P100, respetivamente. Embora as recomendações acima ofereçam um caminho simples para a frente, os utilizadores destes tamanhos devem considerar alcançar os seus objetivos de desempenho com séries de VM baseadas em GPU NVIDIA V100 mais poderosas, como a série NC v3 e a série ND v2, que normalmente permitem o mesmo nível de desempenho da carga de trabalho a custos mais baixos e com uma capacidade de gestão melhorada, proporcionando um desempenho consideravelmente maior por GPU e por VM antes de configurações multi-GPU e vários nós são necessárias, respetivamente.
Obter quota para a família de VMs de destino
Siga o guia para pedir um aumento da quota de vCPU por parte da família de VMs. Selecione o tamanho da VM de destino que selecionou para migração.
Redimensionar a máquina virtual atual
Pode redimensionar a máquina virtual.
Passos seguintes
Para obter uma lista completa dos tamanhos das máquinas virtuais ativadas para GPU, veja GPU – descrição geral da computação acelerada
Comentários
Brevemente: Ao longo de 2024, vamos descontinuar progressivamente o GitHub Issues como mecanismo de feedback para conteúdos e substituí-lo por um novo sistema de feedback. Para obter mais informações, veja: https://aka.ms/ContentUserFeedback.
Submeter e ver comentários