Infiniband engedélyezése

  • Cikk

Figyelemfelhívás

Ez a cikk a CentOS-ra, egy olyan Linux-disztribúcióra hivatkozik, amely közel áll az élettartam (EOL) állapotához. Fontolja meg a használatát, és ennek megfelelően tervezze meg. További információ: CentOS End Of Life útmutató.

A következőkre vonatkozik: ✔️ Linux rendszerű virtuális gépek ✔️ Windows rendszerű virtuális gépek Rugalmas méretezési ✔️ csoportok ✔️ Egységes méretezési csoportok

Az RDMA-kompatibilisHB-sorozatú és N sorozatú virtuális gépek alacsony késéssel és nagy sávszélességű InfiniBand-hálózaton keresztül kommunikálnak. Az ilyen összekapcsolások RDMA-képessége kritikus fontosságú az elosztott csomópontú HPC- és AI-számítási feladatok méretezhetőségének és teljesítményének növelése érdekében. Az InfiniBand-kompatibilis HB-sorozatú és N sorozatú virtuális gépek egy nem blokkoló zsírfában csatlakoznak, alacsony átmérőjű kialakítással az optimalizált és konzisztens RDMA-teljesítmény érdekében.

Az InfiniBand különböző módokon engedélyezve van a megfelelő virtuálisgép-méreteken.

Virtuálisgép-rendszerképek InfiniBand-illesztőprogramokkal

Tekintse meg a virtuálisgép-rendszerképek listáját a Marketplace-en támogatott virtuálisgép-rendszerképek listájáról, amelyek előre betöltődnek az InfiniBand illesztőprogramokkal (SR-IOV vagy nem SR-IOV virtuális gépekhez), vagy konfigurálhatók az RDMA-kompatibilis virtuális gépek megfelelő illesztőprogramjaival. A legegyszerűbben az Ubuntu-HPC és az AlmaLinux-HPC virtuálisgép-rendszerképek érhetők el a piactéren.

InfiniBand illesztőprogram virtuálisgép-bővítmények

Linux rendszeren az InfiniBandDriverLinux virtuálisgép-bővítmény a Mellanox OFED illesztőprogramok telepítéséhez és az InfiniBand engedélyezéséhez használható az SR-IOV-kompatibilis HB-sorozatú és N sorozatú virtuális gépeken.

Windows rendszeren az InfiniBandDriverWindows virtuálisgép-bővítmény telepíti a Windows Network Direct illesztőprogramokat (nem SR-IOV virtuális gépeken) vagy Mellanox OFED illesztőprogramokat (SR-IOV virtuális gépeken) RDMA-kapcsolathoz. Az A8- és A9-példányok egyes üzemelő példányaiban a HpcVmDrivers bővítmény automatikusan hozzáadódik. Vegye figyelembe, hogy a HpcVmDrivers virtuálisgép-bővítmény elavult; nem frissül.

Ha hozzá szeretné adni a virtuálisgép-bővítményt egy virtuális géphez, használhatja az Azure PowerShell-parancsmagokat . További információ: Virtuálisgép-bővítmények és -funkciók. A klasszikus üzemi modellben üzembe helyezett virtuális gépek bővítményeivel is dolgozhat.

Manuális telepítés

A Mellanox OpenFabrics illesztőprogramok (OFED) manuálisan telepíthetők az SR-IOV-kompatibilisHB-sorozatú és N sorozatú virtuális gépekre.

Linux

A LinuxHOZ készült OFED-illesztőprogramok az alábbi példával telepíthetők. Bár az alábbi példa az RHEL/CentOS esetében van, a lépések általánosak, és bármilyen kompatibilis Linux operációs rendszerhez használhatók, például az Ubuntu (18.04, 19.04, 20.04) és az SLES (12 SP4+ és 15). További példák más disztribúciókra az azhpc-images adattárban találhatók. A beérkezett üzenetek illesztőprogramjai is működnek, de a Mellanox OFED illesztőprogramok további funkciókat biztosítanak.

MLNX_OFED_DOWNLOAD_URL=http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz
# Optionally verify checksum
wget --retry-connrefused --tries=3 --waitretry=5 $MLNX_OFED_DOWNLOAD_URL
tar zxvf MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz

KERNEL=( $(rpm -q kernel | sed 's/kernel\-//g') )
KERNEL=${KERNEL[-1]}
# Uncomment the lines below if you are running this on a VM
#RELEASE=( $(cat /etc/centos-release | awk '{print $4}') )
#yum -y install http://olcentgbl.trafficmanager.net/centos/${RELEASE}/updates/x86_64/kernel-devel-${KERNEL}.rpm
sudo yum install -y kernel-devel-${KERNEL}
sudo ./MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64/mlnxofedinstall --kernel $KERNEL --kernel-sources /usr/src/kernels/${KERNEL} --add-kernel-support --skip-repo

Windows

Windows esetén töltse le és telepítse a Mellanox OFED for Windows-illesztőprogramokat.

IP-cím engedélyezése Az InfiniBand (IB) használatával

Ha MPI-feladatok futtatását tervezi, általában nincs szükség IPoIB-ra. Az MPI-kódtár az IB-kommunikáció verbs felületét használja (kivéve, ha kifejezetten az MPI-kódtár TCP/IP-csatornáját használja). Ha azonban rendelkezik olyan alkalmazással, amely TCP/IP protokollt használ a kommunikációhoz, és át szeretné futtatni az IB-t, használhatja az IPoIB-t az IB-felületen. Az INFINIBand ip-címének engedélyezéséhez használja az alábbi parancsokat (RHEL/CentOS esetén).

Fontos

A problémák elkerülése érdekében győződjön meg arról, hogy nem a Microsoft Azure Linux Agent (waagent) régebbi verzióit futtatja. Javasoljuk, hogy az IP-cím IB-n keresztüli engedélyezése előtt legalább a 2.4.0.2-es verziót használja.

sudo sed -i -e 's/# OS.EnableRDMA=n/OS.EnableRDMA=y/g' /etc/waagent.conf
sudo systemctl restart waagent

Következő lépések