Mengaktifkan InfiniBand

  • Artikel

Perhatian

Artikel ini mereferensikan CentOS, distribusi Linux yang mendekati status End Of Life (EOL). Harap pertimbangkan penggunaan dan rencanakan yang sesuai. Untuk informasi selengkapnya, lihat panduan Akhir Masa Pakai CentOS.

Berlaku untuk: ✔️ Mesin virtual Linux ✔️ Mesin virtual Windows ✔️ Set skala fleksibel ✔️ Set skala seragam

VM seri HB dan seri N berkemampuanRDMA berkomunikasi melalui latensi rendah dan jaringan InfiniBand bandwidth tinggi. Kemampuan RDMA melalui interkoneksi tersebut sangat penting untuk meningkatkan skalabilitas dan kinerja HPC node terdistribusi dan beban kerja AI. VM seri HB dan seri N yang diaktifkan InfiniBand terhubung dalam pohon lemak yang tidak memblokir dengan desain berdiameter rendah untuk performa RDMA yang dioptimalkan dan konsisten.

Terdapat berbagai cara untuk mengaktifkan InfiniBand pada ukuran VM yang mumpuni.

Gambar VM dengan driver InfiniBand

Lihat Gambar VM untuk daftar Gambar VM yang didukung pada Marketplace, yang hadir dengan driver InfiniBand yang sudah dimuat sebelumnya (untuk VM SR-IOV atau non-SR-IOV) atau dapat dikonfigurasi dengan driver yang sesuai untuk VM berkemampuan RDMA. Gambar VM Ubuntu-HPC dan AlmaLinux-HPC di marketplace adalah cara term mudah untuk memulai.

Ekstensi VM Driver InfiniBand

Di Linux, ekstensi VM InfiniBandDriverLinux dapat digunakan untuk menginstal driver Mellanox OFED dan mengaktifkan InfiniBand pada VM seri HB dan seri N yang diaktifkan SR-IOV.

Pada Windows, ekstensi VM InfiniBandDriverWindows menginstal driver Windows Network Direct (pada VM non-SR-IOV) atau driver OFED Mellanox (pada VM SR-IOV) untuk konektivitas RDMA. Dalam penyebaran instans A8 dan A9 tertentu, ekstensi HpcVmDrivers ditambahkan secara otomatis. Perhatikan bahwa ekstensi HpcVmDrivers VM tidak digunakan lagi; ekstensi tidak akan diperbarui.

Untuk menambahkan ekstensi VM ke suatu VM, Anda dapat menggunakan cmdlet Azure PowerShell. Untuk informasi lebih lanjut, lihat Ekstensi dan fitur komputer virtual. Anda juga dapat bekerja dengan ekstensi untuk VM yang disebarkan pada model penyebaran klasik.

Penginstalan manual

Driver Mellanox OpenFabrics (OFED) dapat diinstal secara manual pada VM seri HB dan seri N yang diaktifkanSR-IOV.

Linux

Driver OFED untuk Linux dapat diinstal dengan contoh di bawah. Meskipun contoh di sini adalah untuk RHEL/CentOS, tetapi langkah-langkahnya umum dan dapat digunakan untuk sistem operasi Linux yang kompatibel seperti Ubuntu (18.04, 19.04, 20.04) dan SLES (12 SP4+ dan 15). Contoh lainnya untuk distro lain ada di repositori azhpc-images. Driver kotak masuk juga berfungsi, tetapi driver Mellanox OFED menyediakan lebih banyak fitur.

MLNX_OFED_DOWNLOAD_URL=http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz
# Optionally verify checksum
wget --retry-connrefused --tries=3 --waitretry=5 $MLNX_OFED_DOWNLOAD_URL
tar zxvf MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz

KERNEL=( $(rpm -q kernel | sed 's/kernel\-//g') )
KERNEL=${KERNEL[-1]}
# Uncomment the lines below if you are running this on a VM
#RELEASE=( $(cat /etc/centos-release | awk '{print $4}') )
#yum -y install http://olcentgbl.trafficmanager.net/centos/${RELEASE}/updates/x86_64/kernel-devel-${KERNEL}.rpm
sudo yum install -y kernel-devel-${KERNEL}
sudo ./MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64/mlnxofedinstall --kernel $KERNEL --kernel-sources /usr/src/kernels/${KERNEL} --add-kernel-support --skip-repo

Windows

Untuk Windows, unduh dan instal driver Mellanox OFED for Windows.

Mengaktifkan IP melalui InfiniBand (IB)

Jika Anda berencana untuk menjalankan pekerjaan MPI, Anda biasanya tidak memerlukan IPoIB. Pustaka MPI akan menggunakan antarmuka verba untuk komunikasi IB (kecuali jika Anda secara eksplisit menggunakan saluran TCP/IP pustaka MPI). Tetapi jika Anda memiliki aplikasi yang menggunakan TCP/IP untuk komunikasi dan Anda ingin menjalankan melaluiu IB, Anda dapat menggunakan IPoIB melalui antarmuka IB. Gunakan perintah berikut (untuk RHEL/CentOS) untuk mengaktifkan IP melalui InfiniBand.

Penting

Untuk menghindari masalah, pastikan Anda tidak menjalankan versi Microsoft Azure Linux Agent (waagent) yang lebih lama. Sebaiknya gunakan setidaknya versi 2.4.0.2 sebelum mengaktifkan IP melalui IB.

sudo sed -i -e 's/# OS.EnableRDMA=n/OS.EnableRDMA=y/g' /etc/waagent.conf
sudo systemctl restart waagent

Langkah berikutnya