Aktivera InfiniBand

  • Artikel

Varning

Den här artikeln refererar till CentOS, en Linux-distribution som närmar sig EOL-status (End Of Life). Överväg att använda och planera i enlighet med detta. Mer information finns i CentOS End Of Life-vägledningen.

Gäller för: ✔️ Virtuella Linux-datorer ✔️ med virtuella Windows-datorer ✔️ – flexibla skalningsuppsättningar ✔️ Enhetliga skalningsuppsättningar

RDMA-kompatiblavirtuella datorer i HB-serien och N-serien kommunicerar över infiniBand-nätverket med låg svarstid och hög bandbredd. RDMA-funktionen för en sådan sammankoppling är avgörande för att öka skalbarheten och prestandan för distribuerade HPC- och AI-arbetsbelastningar. InfiniBand-aktiverade virtuella datorer i HB-serien och N-serien är anslutna i ett icke-blockerande fettträd med en design med låg diameter för optimerade och konsekventa RDMA-prestanda.

Det finns olika sätt att aktivera InfiniBand på de kompatibla VM-storlekarna.

VM-avbildningar med InfiniBand-drivrutiner

Se VM-avbildningar för en lista över vm-avbildningar som stöds på Marketplace, som är förinstallerade med InfiniBand-drivrutiner (för virtuella SR-IOV- eller icke-SR-IOV-datorer) eller som kan konfigureras med lämpliga drivrutiner för virtuella RDMA-kompatibla datorer. Ubuntu-HPC- och AlmaLinux-HPC VM-avbildningarna på marketplace är det enklaste sättet att komma igång.

Vm-tillägg för InfiniBand-drivrutin

I Linux kan infiniBandDriverLinux VM-tillägget användas för att installera Mellanox OFED-drivrutinerna och aktivera InfiniBand på de SR-IOV-aktiverade virtuella datorerna i HB-serien och N-serien.

I Windows installerar InfiniBandDriverWindows VM-tillägget Windows Network Direct-drivrutiner (på virtuella datorer som inte är SR-IOV) eller Mellanox OFED-drivrutiner (på virtuella SR-IOV-datorer) för RDMA-anslutning. I vissa distributioner av A8- och A9-instanser läggs HpcVmDrivers-tillägget till automatiskt. Observera att tillägget för den virtuella HpcVmDrivers-datorn håller på att bli inaktuellt. den kommer inte att uppdateras.

Om du vill lägga till VM-tillägget till en virtuell dator kan du använda Azure PowerShell-cmdletar . Mer information finns i Tillägg och funktioner för virtuella datorer. Du kan också arbeta med tillägg för virtuella datorer som distribueras i den klassiska distributionsmodellen.

Manuell installation

Mellanox OpenFabrics-drivrutiner (OFED) kan installeras manuellt på de SR-IOV-aktiveradevirtuella datorerna i HB-serien och N-serien.

Linux

OFED-drivrutinerna för Linux kan installeras med exemplet nedan. Även om exemplet här är för RHEL/CentOS, men stegen är allmänna och kan användas för alla kompatibla Linux-operativsystem som Ubuntu (18.04, 19.04, 20.04) och SLES (12 SP4+ och 15). Fler exempel för andra distributioner finns på lagringsplatsen azhpc-images. Inkorgsdrivrutinerna fungerar också, men Mellanox OFED-drivrutinerna ger fler funktioner.

MLNX_OFED_DOWNLOAD_URL=http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz
# Optionally verify checksum
wget --retry-connrefused --tries=3 --waitretry=5 $MLNX_OFED_DOWNLOAD_URL
tar zxvf MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz

KERNEL=( $(rpm -q kernel | sed 's/kernel\-//g') )
KERNEL=${KERNEL[-1]}
# Uncomment the lines below if you are running this on a VM
#RELEASE=( $(cat /etc/centos-release | awk '{print $4}') )
#yum -y install http://olcentgbl.trafficmanager.net/centos/${RELEASE}/updates/x86_64/kernel-devel-${KERNEL}.rpm
sudo yum install -y kernel-devel-${KERNEL}
sudo ./MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64/mlnxofedinstall --kernel $KERNEL --kernel-sources /usr/src/kernels/${KERNEL} --add-kernel-support --skip-repo

Windows

För Windows laddar du ned och installerar Mellanox OFED för Windows-drivrutiner.

Aktivera IP via InfiniBand (IB)

Om du planerar att köra MPI-jobb behöver du vanligtvis inte IPoIB. MPI-biblioteket använder verbgränssnittet för IB-kommunikation (såvida du inte uttryckligen använder MPI-bibliotekets TCP/IP-kanal). Men om du har en app som använder TCP/IP för kommunikation och du vill köra över IB kan du använda IPoIB via IB-gränssnittet. Använd följande kommandon (för RHEL/CentOS) för att aktivera IP via InfiniBand.

Viktigt!

Undvik problem genom att se till att du inte kör äldre versioner av Microsoft Azure Linux Agent (waagent). Vi rekommenderar att du använder minst version 2.4.0.2 innan du aktiverar IP via IB.

sudo sed -i -e 's/# OS.EnableRDMA=n/OS.EnableRDMA=y/g' /etc/waagent.conf
sudo systemctl restart waagent

Nästa steg