Abilitare InfiniBand

Si applica a: ✔️ Macchine virtuali Linux Macchine ✔️ ✔️ virtuali Windows Set di scalabilità flessibili Set ✔️ di scalabilità uniformi

Le macchine virtuali serie H e serie Ncon supporto per RDMA comunicano tramite la rete InfiniBand a bassa latenza e larghezza di banda elevata. La funzionalità RDMA su un'interconnessione di questo tipo è fondamentale per migliorare la scalabilità e le prestazioni dei carichi di lavoro HPC e di intelligenza artificiale su nodi distribuiti. Le macchine virtuali serie H e serie N abilitate per InfiniBand sono connesse in strutture Fat Tree non bloccanti a diametro ridotto per prestazioni RDMA ottimizzate e coerenti.

Esistono diversi modi per abilitare InfiniBand nelle dimensioni delle macchine virtuali in grado di supportare.

Immagini di macchine virtuali con driver InfiniBand

Per un elenco delle immagini di macchine virtuali supportate nel Marketplace, che vengono precaricati con driver InfiniBand (per le macchine virtuali SR-IOV o non SR-IOV) o possono essere configurati con i driver appropriati per le macchine virtuali con supporto per RDMA. Le immagini delle macchine virtuali CentOS-HPC e Ubuntu-HPC nel Marketplace sono il modo più semplice per iniziare.

Estensioni macchina virtuale del driver InfiniBand

In Linux l'estensione vm InfiniBandDriverLinux può essere usata per installare i driver Mellanox OFED e abilitare InfiniBand nelle macchine virtuali H- e N abilitate per SR-IOV.

In Windows l'estensione macchina virtuale InfiniBandDriverWindows installa i driver Windows Network Direct (in macchine virtuali non SR-IOV) o i driver MEllanox OFED (nelle macchine virtuali SR-IOV) per la connettività RDMA. In determinate distribuzioni di istanze A8 e A9, l'estensione HpcVmDrivers viene aggiunta automaticamente. Si noti che l'estensione macchina virtuale HpcVmDrivers è deprecata; non verrà aggiornato.

Per aggiungere l'estensione macchina virtuale a una macchina virtuale, è possibile usare i cmdlet di Azure PowerShell. Per altre informazioni, vedere Estensioni e funzionalità della macchina virtuale. È anche possibile usare estensioni delle macchine virtuali nel modello di distribuzione classico.

Installazione manuale

I driver Mellanox OpenFabrics (OFED) possono essere installati manualmente nelle macchine virtuali serie H e serie Nabilitate per SR-IOV.

Linux

I driver OFED per Linux possono essere installati con l'esempio seguente. Anche se l'esempio è per RHEL/CentOS, ma i passaggi sono generali e possono essere usati per qualsiasi sistema operativo Linux compatibile, ad esempio Ubuntu (16.04, 18.04 19.04, 20.04) e SLES (12 SP4 e 15). Altri esempi per altre distribuzioni sono disponibili nel repository azhpc-images. Anche i driver posta in arrivo funzionano, ma i driver Mellanox OFED offrono più funzionalità.

MLNX_OFED_DOWNLOAD_URL=http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz
# Optionally verify checksum
wget --retry-connrefused --tries=3 --waitretry=5 $MLNX_OFED_DOWNLOAD_URL
tar zxvf MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz

KERNEL=( $(rpm -q kernel | sed 's/kernel\-//g') )
KERNEL=${KERNEL[-1]}
# Uncomment the lines below if you are running this on a VM
#RELEASE=( $(cat /etc/centos-release | awk '{print $4}') )
#yum -y install http://olcentgbl.trafficmanager.net/centos/${RELEASE}/updates/x86_64/kernel-devel-${KERNEL}.rpm
yum install -y kernel-devel-${KERNEL}
./MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64/mlnxofedinstall --kernel $KERNEL --kernel-sources /usr/src/kernels/${KERNEL} --add-kernel-support --skip-repo

Windows

Per Windows, scaricare e installare Mellanox OFED per i driver di Windows.

Abilitare IP su InfiniBand (IB)

Se si prevede di eseguire processi MPI, in genere non è necessario IPoIB. La libreria MPI userà l'interfaccia dei verbi per la comunicazione IB (a meno che non si usi in modo esplicito il canale TCP/IP della libreria MPI). Tuttavia, se si dispone di un'app che usa TCP/IP per la comunicazione e si vuole eseguire su IB, è possibile usare IPoIB sull'interfaccia IB. Usare i comandi seguenti (per RHEL/CentOS) per abilitare l'indirizzo IP su InfiniBand.

sudo sed -i -e 's/# OS.EnableRDMA=n/OS.EnableRDMA=y/g' /etc/waagent.conf
sudo systemctl restart waagent

Passaggi successivi