Povolení sítí Infiniband

  • Článek

Upozornění

Tento článek odkazuje na CentOS, linuxovou distribuci, která se blíží stavu Konec životnosti (EOL). Zvažte své použití a odpovídajícím způsobem naplánujte. Další informace najdete v doprovodných materiálech CentOS End Of Life.

Platí pro: ✔️ Virtuální počítače s Windows s Linuxem ✔️ ✔️ – Flexibilní škálovací sady Uniform Scale Sets ✔️

Virtuální počítače řady HB-series a N-series s podporouRDMA komunikují přes síť InfiniBand s nízkou latencí a velkou šířkou pásma. Schopnost RDMA přes takové propojení je důležitá pro zvýšení škálovatelnosti a výkonu úloh PROSTŘEDÍ HPC a AI distribuovaných uzlů. Virtuální počítače řady HB-series s podporou infiniBand a N-series jsou připojené v neblokující tukové stromě s nízkým průměrem pro optimalizovaný a konzistentní výkon RDMA.

Existují různé způsoby, jak povolit InfiniBand na velikostech virtuálních počítačů podporujících.

Image virtuálních počítačů s ovladači InfiniBand

Seznam podporovaných imagí virtuálních počítačů na Marketplace, které jsou předem načtené s ovladači InfiniBand (pro SR-IOV nebo jiné virtuální počítače než SR-IOV) nebo je možné nakonfigurovat s příslušnými ovladači pro virtuální počítače podporující RDMA. Image virtuálních počítačů Ubuntu-HPC a AlmaLinux-HPC na marketplace představují nejjednodušší způsob, jak začít.

Rozšíření virtuálních počítačů ovladače InfiniBand

V Linuxu lze rozšíření virtuálního počítače InfiniBandDriverLinux použít k instalaci ovladačů Mellanox OFED a povolení infiniBand na virtuálních počítačích řady HB-series s podporou SR-IOV a N-series.

V systému Windows nainstaluje rozšíření virtuálního počítače InfiniBandDriverWindows ovladače Windows Network Direct (na virtuální počítače jiné než SR-IOV) nebo Ovladače Mellanox OFED (na virtuálních počítačích SR-IOV) pro připojení RDMA. V některých nasazeních instancí A8 a A9 se rozšíření HpcVmDrivers přidá automaticky. Mějte na paměti, že rozšíření virtuálního počítače HpcVmDrivers je zastaralé; nebude aktualizován.

K přidání rozšíření virtuálního počítače do virtuálního počítače můžete použít rutiny Azure PowerShellu . Další informace najdete v tématu Rozšíření a funkce virtuálních počítačů. Můžete také pracovat s rozšířeními pro virtuální počítače nasazené v modelu nasazení Classic.

Ruční instalace

Ovladače Mellanox OpenFabrics (OFED) je možné ručně nainstalovat na virtuální počítače řady HB-series s podporouSR-IOV a N-series.

Linux

Ovladače OFED pro Linux je možné nainstalovat pomocí následujícího příkladu. I když tady je příklad pro RHEL/CentOS, ale postup je obecný a lze ho použít pro jakýkoli kompatibilní operační systém Linux, jako je Ubuntu (18.04, 19.04, 20.04) a SLES (12 SP4+ a 15). Další příklady pro jiné distribuce jsou v úložišti azhpc-images. Ovladače doručené pošty také fungují, ale ovladače Mellanox OFED poskytují více funkcí.

MLNX_OFED_DOWNLOAD_URL=http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz
# Optionally verify checksum
wget --retry-connrefused --tries=3 --waitretry=5 $MLNX_OFED_DOWNLOAD_URL
tar zxvf MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz

KERNEL=( $(rpm -q kernel | sed 's/kernel\-//g') )
KERNEL=${KERNEL[-1]}
# Uncomment the lines below if you are running this on a VM
#RELEASE=( $(cat /etc/centos-release | awk '{print $4}') )
#yum -y install http://olcentgbl.trafficmanager.net/centos/${RELEASE}/updates/x86_64/kernel-devel-${KERNEL}.rpm
sudo yum install -y kernel-devel-${KERNEL}
sudo ./MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64/mlnxofedinstall --kernel $KERNEL --kernel-sources /usr/src/kernels/${KERNEL} --add-kernel-support --skip-repo

Windows

Pro Windows si stáhněte a nainstalujte Mellanox OFED pro ovladače Systému Windows.

Povolení IP adresy přes InfiniBand (IB)

Pokud plánujete spouštět úlohy MPI, obvykle nepotřebujete IPoIB. Knihovna MPI použije rozhraní příkazů pro komunikaci IB (pokud explicitně nepoužíváte kanál TCP/IP knihovny MPI). Pokud ale máte aplikaci, která ke komunikaci používá protokol TCP/IP a chcete běžet přes IB, můžete použít IPoIB přes rozhraní IB. Pomocí následujících příkazů (pro RHEL/CentOS) povolte IP adresu přes InfiniBand.

Důležité

Abyste se vyhnuli problémům, ujistěte se, že nepoužíváte starší verze agenta Microsoft Azure Linux (waagent). Před povolením IP adresy přes IB doporučujeme používat aspoň verzi 2.4.0.2 .

sudo sed -i -e 's/# OS.EnableRDMA=n/OS.EnableRDMA=y/g' /etc/waagent.conf
sudo systemctl restart waagent

Další kroky