InfiniBand’i etkinleştirme

  • Makale

Dikkat

Bu makalede, Kullanım Süresi Sonu (EOL) durumuna yakın bir Linux dağıtımı olan CentOS'a başvuruda bulunur. Lütfen kullanımınızı göz önünde bulundurun ve uygun şekilde planlayın. Daha fazla bilgi için bkz . CentOS Kullanım Süresi Sonu kılavuzu.

Şunlar için geçerlidir: ✔️ Linux VM'leri ✔️ Windows VM'leri ✔️ Esnek ölçek kümeleri ✔️ Tekdüzen ölçek kümeleri

RDMA özellikliHB serisi ve N serisi VM'ler düşük gecikme süresi ve yüksek bant genişliğine sahip InfiniBand ağı üzerinden iletişim kurar. Bu tür bir bağlantı üzerindeki RDMA özelliği, dağıtılmış düğüm HPC ve AI iş yüklerinin ölçeklenebilirliğini ve performansını artırmak için kritik öneme sahiptir. InfiniBand özellikli HB serisi ve N serisi VM'ler, iyileştirilmiş ve tutarlı RDMA performansı için düşük çaplı tasarıma sahip, engelleyici olmayan bir yağ ağacına bağlanır.

Yetenekli VM boyutlarında InfiniBand'i etkinleştirmenin çeşitli yolları vardır.

InfiniBand sürücülerine sahip VM Görüntüleri

InfiniBand sürücüleri (SR-IOV veya SR-IOV olmayan VM'ler için) ile önceden yüklenmiş olarak gelen veya RDMA özellikli VM'ler için uygun sürücülerle yapılandırılan Market'te desteklenen VM Görüntülerinin listesi için bkz. VM Görüntüleri. Marketteki Ubuntu-HPC ve AlmaLinux-HPC VM görüntüleri, kullanmaya başlamanın en kolay yoludur.

InfiniBand Sürücüsü VM Uzantıları

Linux'ta, InfiniBandDriverLinux VM uzantısı Mellanox OFED sürücülerini yüklemek ve SR-IOV özellikli HB serisi ve N serisi VM'lerde InfiniBand'i etkinleştirmek için kullanılabilir.

Windows'da InfiniBandDriverWindows VM uzantısı, RDMA bağlantısı için Windows Ağ Doğrudan sürücülerini (SR-IOV olmayan VM'lerde) veya Mellanox OFED sürücülerini (SR-IOV VM'lerinde) yükler. A8 ve A9 örneklerinin belirli dağıtımlarında HpcVmDrivers uzantısı otomatik olarak eklenir. HpcVmDrivers VM uzantısının kullanım dışı bırakıldığını unutmayın; güncelleştirilmez.

VM uzantısını bir VM'ye eklemek için Azure PowerShell cmdlet'lerini kullanabilirsiniz. Daha fazla bilgi için bkz . Sanal makine uzantıları ve özellikleri. Klasik dağıtım modelinde dağıtılan VM'lerin uzantılarıyla da çalışabilirsiniz.

El ile yükleme

Mellanox OpenFabrics sürücüleri (OFED), SR-IOV özellikliHB serisi ve N serisi VM'lere el ile yüklenebilir.

Linux

Linux için OFED sürücüleri aşağıdaki örnekle yüklenebilir. Buradaki örnek RHEL/CentOS için olsa da, adımlar geneldir ve Ubuntu (18.04, 19.04, 20.04) ve SLES (12 SP4+ ve 15) gibi uyumlu herhangi bir Linux işletim sistemi için kullanılabilir. Diğer dağıtımlar için diğer örnekler azhpc-images deposundadır. Gelen kutusu sürücüleri de çalışır, ancak Mellanox OFED sürücüleri daha fazla özellik sağlar.

MLNX_OFED_DOWNLOAD_URL=http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz
# Optionally verify checksum
wget --retry-connrefused --tries=3 --waitretry=5 $MLNX_OFED_DOWNLOAD_URL
tar zxvf MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz

KERNEL=( $(rpm -q kernel | sed 's/kernel\-//g') )
KERNEL=${KERNEL[-1]}
# Uncomment the lines below if you are running this on a VM
#RELEASE=( $(cat /etc/centos-release | awk '{print $4}') )
#yum -y install http://olcentgbl.trafficmanager.net/centos/${RELEASE}/updates/x86_64/kernel-devel-${KERNEL}.rpm
sudo yum install -y kernel-devel-${KERNEL}
sudo ./MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64/mlnxofedinstall --kernel $KERNEL --kernel-sources /usr/src/kernels/${KERNEL} --add-kernel-support --skip-repo

Windows

Windows için, Windows sürücüleri için Mellanox OFED'i indirin ve yükleyin.

InfiniBand üzerinden IP'yi etkinleştirme (IB)

MPI işlerini çalıştırmayı planlıyorsanız genellikle IPoIB'ye ihtiyacınız yoktur. MPI kitaplığı, IB iletişimi için fiil arabirimini kullanır (MPI kitaplığının TCP/IP kanalını açıkça kullanmadığınız sürece). Ancak iletişim için TCP/IP kullanan bir uygulamanız varsa ve IB üzerinden çalıştırmak istiyorsanız, IB arabirimi üzerinden IPoIB kullanabilirsiniz. InfiniBand üzerinden IP'yi etkinleştirmek için aşağıdaki komutları kullanın (RHEL/CentOS için).

Önemli

Sorunlardan kaçınmak için Microsoft Azure Linux Aracısı'nın (waagent) eski sürümlerini çalıştırmadığınızdan emin olun. IB üzerinden IP'yi etkinleştirmeden önce en az 2.4.0.2 sürümünü kullanmanızı öneririz.

sudo sed -i -e 's/# OS.EnableRDMA=n/OS.EnableRDMA=y/g' /etc/waagent.conf
sudo systemctl restart waagent

Sonraki adımlar