InfiniBand inschakelen

Van toepassing op: ✔️ Linux-VM's ✔️ Windows-VM's ✔️ Flexibele schaalsets ✔️ Uniforme schaalsets

RDMA-compatibele VM's uit de H-serie en N-serie communiceren via het InfiniBand-netwerk met lage latentie en hoge bandbreedte. De RDMA-functionaliteit via een dergelijke verbinding is essentieel om de schaalbaarheid en prestaties van HPC- en AI-workloads op gedistribueerde knooppunten te vergroten. De VM's uit de voor InfiniBand geschikte H-serie en N-serie zijn verbonden binnen een niet-blokkerende FAT-structuur met een ontwerp met een lage diameter voor optimale en consistente RDMA-prestaties.

Er zijn verschillende manieren om InfiniBand in te schakelen op de compatibele VM-grootten.

VM-installatiekopieën met InfiniBand-stuurprogramma's

Zie VM-installatiekopieën voor een lijst met ondersteunde VM-installatiekopieën op de Marketplace, die vooraf zijn geladen met InfiniBand-stuurprogramma's (voor SR-IOV- of niet-SR-IOV-VM's) of kunnen worden geconfigureerd met de juiste stuurprogramma's voor VM's die geschikt zijn voor RDMA. De VM-installatiekopieën CentOS-HPC en Ubuntu-HPC in marketplace zijn de eenvoudigste manier om aan de slag te gaan.

VM-extensies voor InfiniBand-stuurprogramma

In Linux kan de VM-extensie InfiniBandDriverLinux worden gebruikt om de Mellanox OFED-stuurprogramma's te installeren en InfiniBand in te schakelen op de VM's uit de H- en N-serie met SR-IOV.

In Windows installeert de VM-extensie InfiniBandDriverWindows Windows Network Direct-stuurprogramma's (op niet-SR-IOV-VM's) of Mellanox OFED-stuurprogramma's (op SR-IOV-VM's) voor RDMA-connectiviteit. In bepaalde implementaties van A8- en A9-exemplaren wordt de extensie HpcVmDrivers automatisch toegevoegd. Houd er rekening mee dat de VM-extensie HpcVmDrivers wordt afgeschaft; het wordt niet bijgewerkt.

Als u de VM-extensie wilt toevoegen aan een VM, kunt u Azure PowerShell cmdlets gebruiken. Zie Extensies en functies van virtuele machines voor meer informatie. U kunt ook werken met extensies voor VM's die zijn geïmplementeerd in het klassieke implementatiemodel.

Handmatige installatie

Mellanox OpenFabrics-stuurprogramma's (OFED) kunnen handmatig worden geïnstalleerd op de VM's uit de H- en N-serie met SR-IOV-functionaliteit.

Linux

De OFED-stuurprogramma's voor Linux kunnen worden geïnstalleerd met het onderstaande voorbeeld. Hoewel het voorbeeld hier voor RHEL/CentOS is, zijn de stappen algemeen en kunnen worden gebruikt voor elk compatibel Linux-besturingssysteem, zoals Ubuntu (16.04, 18.04 19.04, 20.04) en SLES (12 SP4 en 15). Meer voorbeelden voor andere distributies vindt u in de opslagplaats azhpc-images. De stuurprogramma's voor Postvak IN werken ook, maar de Mellanox OFED-stuurprogramma's bieden meer functies.

MLNX_OFED_DOWNLOAD_URL=http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz
# Optionally verify checksum
wget --retry-connrefused --tries=3 --waitretry=5 $MLNX_OFED_DOWNLOAD_URL
tar zxvf MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz

KERNEL=( $(rpm -q kernel | sed 's/kernel\-//g') )
KERNEL=${KERNEL[-1]}
# Uncomment the lines below if you are running this on a VM
#RELEASE=( $(cat /etc/centos-release | awk '{print $4}') )
#yum -y install http://olcentgbl.trafficmanager.net/centos/${RELEASE}/updates/x86_64/kernel-devel-${KERNEL}.rpm
yum install -y kernel-devel-${KERNEL}
./MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64/mlnxofedinstall --kernel $KERNEL --kernel-sources /usr/src/kernels/${KERNEL} --add-kernel-support --skip-repo

Windows

Voor Windows downloadt en installeert u de Mellanox OFED voor Windows-stuurprogramma's.

IP via InfiniBand (IB) inschakelen

Als u van plan bent om MPI-taken uit te voeren, hebt u doorgaans geen IPoIB nodig. De MPI-bibliotheek gebruikt de interface voor werkwoorden voor IB-communicatie (tenzij u expliciet het TCP/IP-kanaal van de MPI-bibliotheek gebruikt). Maar als u een app hebt die gebruikmaakt van TCP/IP voor communicatie en u wilt over IB gaan, kunt u IPoIB gebruiken via de IB-interface. Gebruik de volgende opdrachten (voor RHEL/CentOS) om IP via InfiniBand in te schakelen.

sudo sed -i -e 's/# OS.EnableRDMA=n/OS.EnableRDMA=y/g' /etc/waagent.conf
sudo systemctl restart waagent

Volgende stappen