Ativar o Infiniband

  • Artigo

Atenção

Este artigo faz referência ao CentOS, uma distribuição Linux que está se aproximando do status de Fim da Vida Útil (EOL). Por favor, considere o seu uso e planeje de acordo. Para obter mais informações, consulte as diretrizes de Fim da Vida Útil do CentOS.

Aplica-se a: ✔️ VMs ✔️ Linux VMs ✔️ do Windows Conjuntos ✔️ de escala flexíveis Conjuntos de balanças uniformes

As VMs HB-series e N-series compatíveiscom RDMA comunicam através da rede InfiniBand de baixa latência e alta largura de banda. A capacidade RDMA em tal interconexão é fundamental para aumentar a escalabilidade e o desempenho de cargas de trabalho de HPC e IA de nó distribuído. As VMs das séries HB e N habilitadas para InfiniBand são conectadas em uma árvore de gordura sem bloqueios com um design de baixo diâmetro para um desempenho RDMA otimizado e consistente.

Há várias maneiras de habilitar o InfiniBand nos tamanhos de VM capazes.

Imagens VM com drivers InfiniBand

Consulte Imagens de VM para obter uma lista de imagens de VM suportadas no Marketplace, que vêm pré-carregadas com drivers InfiniBand (para VMs SR-IOV ou não-SR-IOV) ou podem ser configuradas com os drivers apropriados para VMs compatíveis com RDMA. As imagens de VM Ubuntu-HPC e AlmaLinux-HPC no mercado são a maneira mais fácil de começar.

Extensões de VM do driver InfiniBand

No Linux, a extensão InfiniBandDriverLinux VM pode ser usada para instalar os drivers Mellanox OFED e habilitar o InfiniBand nas VMs HB-series e N-series habilitadas para SR-IOV.

No Windows, a extensão InfiniBandDriverWindows VM instala drivers Windows Network Direct (em VMs não-SR-IOV) ou drivers Mellanox OFED (em VMs SR-IOV) para conectividade RDMA. Em determinadas implantações de instâncias A8 e A9, a extensão HpcVmDrivers é adicionada automaticamente. Observe que a extensão de VM HpcVmDrivers está sendo preterida; não será atualizado.

Para adicionar a extensão de VM a uma VM, você pode usar cmdlets do Azure PowerShell . Para obter mais informações, consulte Extensões e recursos de máquina virtual. Você também pode trabalhar com extensões para VMs implantadas no modelo de implantação clássico.

Instalação manual

Os drivers Mellanox OpenFabrics (OFED) podem ser instalados manualmente nas VMs HB-series e N-series habilitadaspara SR-IOV.

Linux

Os drivers OFED para Linux podem ser instalados com o exemplo abaixo. Embora o exemplo aqui seja para RHEL / CentOS, mas as etapas são gerais e podem ser usadas para qualquer sistema operacional Linux compatível, como Ubuntu (18.04, 19.04, 20.04) e SLES (12 SP4+ e 15). Mais exemplos para outras distros estão no repositório azhpc-images. Os drivers da caixa de entrada também funcionam, mas os drivers Mellanox OFED fornecem mais recursos.

MLNX_OFED_DOWNLOAD_URL=http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz
# Optionally verify checksum
wget --retry-connrefused --tries=3 --waitretry=5 $MLNX_OFED_DOWNLOAD_URL
tar zxvf MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz

KERNEL=( $(rpm -q kernel | sed 's/kernel\-//g') )
KERNEL=${KERNEL[-1]}
# Uncomment the lines below if you are running this on a VM
#RELEASE=( $(cat /etc/centos-release | awk '{print $4}') )
#yum -y install http://olcentgbl.trafficmanager.net/centos/${RELEASE}/updates/x86_64/kernel-devel-${KERNEL}.rpm
sudo yum install -y kernel-devel-${KERNEL}
sudo ./MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64/mlnxofedinstall --kernel $KERNEL --kernel-sources /usr/src/kernels/${KERNEL} --add-kernel-support --skip-repo

Windows

Para Windows, baixe e instale os drivers Mellanox OFED para Windows.

Ativar IP sobre InfiniBand (IB)

Se você planeja executar trabalhos MPI, normalmente não precisa de IPoIB. A biblioteca MPI usará a interface de verbos para comunicação IB (a menos que você use explicitamente o canal TCP/IP da biblioteca MPI). Mas se você tem um aplicativo que usa TCP/IP para comunicação e deseja executar sobre IB, você pode usar IPoIB sobre a interface IB. Use os seguintes comandos (para RHEL/CentOS) para habilitar o IP sobre InfiniBand.

Importante

Para evitar problemas, certifique-se de que não está a executar versões mais antigas do Microsoft Azure Linux Agent (waagent). Recomendamos usar pelo menos a versão 2.4.0.2 antes de ativar o IP sobre IB.

sudo sed -i -e 's/# OS.EnableRDMA=n/OS.EnableRDMA=y/g' /etc/waagent.conf
sudo systemctl restart waagent

Próximos passos