Visão geral de máquina virtual da série HBv3
Cuidado
Este artigo faz referência ao CentOS, uma distribuição do Linux que está se aproximando do status de EOL (fim da vida útil). Considere seu uso e planeje adequadamente. Para obter mais informações, veja as Orientações sobre fim da vida útil do CentOS.
Aplica-se a: ✔️ VMs do Linux ✔️ VMs do Windows ✔️ Conjuntos de dimensionamento flexíveis ✔️ Conjuntos de dimensionamento uniformes
Um servidor da série HBv3 apresenta 2 CPUs 64-core EPYC 7V73X para um total de 128 núcleos "Zen3" físicos com cache V AMD 3D. O SMT (multithreading simultâneo) está desabilitado no HBv3. Esses 128 núcleos são divididos em 16 seções (8 por soquete), cada seção contendo 8 núcleos de processador com acesso uniforme a um cache L3 de 96 MB. Os servidores HBv3 do Azure também executam as seguintes configurações de BIOS da AMD:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
Como resultado, o servidor é inicializado com 4 domínios NUMA (2 por soquete) cada um com 32 núcleos de tamanho. Cada NUMA tem acesso direto a 4 canais de DRAM física que operam a 3200 MT/s.
Para fornecer espaço para o hipervisor do Azure operar sem interferir na VM, reservamos 8 núcleos físicos por servidor.
Topologia da VM
O diagrama a seguir mostra a topologia do servidor. Reservamos esses 8 núcleos de host de hipervisor (amarelo) simetricamente nos dois soquetes da CPU, usando os dois primeiros núcleos de CCDs (Core Complex Dies) em cada domínio NUMA, com os núcleos restantes para a VM da série HBv3 (verde).
O limite de CCD não é equivalente a um limite de NUMA. No HBv3, um grupo de quatro CCDs consecutivos (4) é configurado como um domínio NUMA, tanto no nível de servidor de host quanto em uma VM convidada. Assim, todos os tamanhos de VM HBv3 expõem 4 domínios NUMA que aparecem para um sistema operacional e aplicativo, conforme mostrado. 4 domínios NUMA uniformes, cada um com um número diferente de núcleos, dependendo do tamanho da VM HBv3 específico.
Cada tamanho de VM HBv3 é semelhante em layout físico, recursos e desempenho de uma CPU diferente da AMD série EPYC 7003, da seguinte maneira:
| Tamanho da VM da série HBv3 | Domínios NUMA | Núcleos por domínio NUMA | Similaridade com AMD EPYC |
|---|---|---|---|
| Standard_HB120rs_v3 | 4 | 30 | EPYC 7773X de dois soquetes |
| Standard_HB120-96rs_v3 | 4 | 24 | EPYC 7643 de dois soquetes |
| Standard_HB120-64rs_v3 | 4 | 16 | EPYC 7573X de dois soquetes |
| Standard_HB120-32rs_v3 | 4 | 8 | EPYC 7373X de dois soquetes |
| Standard_HB120-16rs_v3 | 4 | 4 | EPYC 72F3 de dois soquetes |
Observação
Os tamanhos de VM de núcleos restritos reduzem apenas o número de núcleos físicos expostos à VM. Todos os ativos compartilhados globais (RAM, largura de banda de memória, cache L3, conectividade GMI e xGMI, InfiniBand, rede Ethernet do Azure, SSD local) permanecem constantes. Isso permite que o cliente escolha um tamanho de VM mais adequado para determinado conjunto de cargas de trabalho ou necessidades de licenciamento de software.
O mapeamento NUMA virtual de cada tamanho de VM HBv3 é mapeado para a topologia NUMA física subjacente. Não há uma abstração potencialmente enganosa da topologia de hardware.
A topologia exata para o tamanho de VM de vários HBv3 é exibida da seguinte maneira usando a saída de lstopo:
lstopo-no-graphics --no-io --no-legend --of txt
Clique aqui para ver a saída de lstopo de Standard_HB120rs_v3
Clique aqui para ver a saída de lstopo de Standard_HB120rs-96_v3
Clique aqui para ver a saída de lstopo de Standard_HB120rs-64_v3
Clique aqui para ver a saída de lstopo de Standard_HB120rs-32_v3
Clique aqui para ver a saída de lstopo de Standard_HB120rs-16_v3
Rede InfiniBand
As VMs HBv3 também apresentam adaptadores de rede NVIDIA Mellanox HDR (ConnectX-6) que opera em até 200 gigabits/s. A NIC é passada para a VM via SRIOV, permitindo que o tráfego de rede ignore o hipervisor. Como resultado, os clientes carregam drivers Mellanox OFED padrão em VMs HBv3 como seriam um ambiente bare-metal.
As VMs HBv3 dão suporte ao roteamento adaptável, ao transporte conectado dinâmico (DCT, junto com transportes Standard RC e UD), e ao descarregamento baseado em hardware de MPI coletiva para o processador integrado do adaptador ConnectX-6. Esses recursos aprimoram o desempenho, a escalabilidade e a consistência do aplicativo, e seu uso é recomendado.
Armazenamento temporário
As VMs HBv3 apresentam 3 dispositivos SSD fisicamente locais. Um dispositivo é pré-formatado para servir como um arquivo de paginação e apareceu na sua VM como um dispositivo "SSD" genérico.
Dois outros, SSDs maiores, são fornecidos como dispositivos de bloco NVMe não formatado via NVMeDirect. Como o dispositivo de bloco NVMe ignora o hipervisor, ele tem maior largura de banda, IOPS maior e menor latência por IOP.
Quando emparelhado em uma matriz distribuída, o SSD de NVMe fornece leituras de até 7 GB/s e gravações de 3 GB/s e até 186.000 IOPS (leituras) e 201.000 IOPS (gravações) para obter profundidades de fila profundas.
Especificações de hardware
| Especificações de hardware | VMs da série HBv3 |
|---|---|
| Núcleos | 120, 96, 64, 32 ou 16 (SMT desabilitado) |
| CPU | AMD EPYC 7V73X |
| Frequência de CPU (não AVX) | 3,0 GHz (todos os núcleos), 3,5 GHz (até 10 núcleos) |
| Memória | 448 GB (RAM por núcleo depende do tamanho da VM) |
| Disco local | 2 * 960 GB NVMe (bloco), SSD de 480 GB (arquivo de paginação) |
| Infiniband | 200 GB/s Mellanox ConnectX-6 HDR InfiniBand |
| Rede | 50 GB/s de Ethernet (40 GB/s utilizáveis) Azure Second Gen SmartNIC |
Especificações de software
| Especificações de software | VMs da série HBv3 |
|---|---|
| Tamanho máximo do trabalho de MPI | 36,000 núcleos (300 VMs em um único Conjunto de Dimensionamento de Máquinas Virtuais com singlePlacementGroup=true) |
| Suporte a MPI | HPC-X, Intel MPI, OpenMPI, MVAPICH2, MPICH |
| Estruturas adicionais | UCX, libfabric, PGAS |
| Suporte ao Armazenamento do Azure | Discos Standard e Premium (máximo de 32 discos) |
| Suporte do sistema operacional para SRIOV RDMA | CentOS/RHEL 7.9+, Ubuntu 18.04+, SLES 15.4, WinServer 2016+ |
| Sistema operacional recomendado para desempenho | CentOS 8.1, Windows Server 2019+ |
| Suporte do Orchestrator | Azure CycleCloud, Azure Batch, AKS; opções de configuração de cluster |
Observação
O Windows Server 2012 R2 não é compatível com HBv3 e outras VMs com mais de 64 núcleos (virtuais ou físicos). Para mais detalhes, confira Sistemas operacionais convidados do Windows com suporte para Hyper-V no Windows Server.
Importante
Este documento faz referência a uma versão de lançamento do Linux que está se aproximando ou em Fim da Vida Útil(EOL). Considere atualizar para uma versão mais recente.
Próximas etapas
- Leia informações sobre comunicados mais recentes, exemplos de cargas de trabalho de HPC e resultados de desempenho nos Blogs do programa Tech Groups da Computação do Azure.
- Para obter uma visão de nível superior da arquitetura de execução de cargas de trabalho de HPC, confira HPC (computação de alto desempenho) no Azure.