VM's configureren en optimaliseren

Van toepassing op: ✔️ Virtuele Linux-machines voor Windows-VM's ✔️ ✔️ Flexibele schaalsets Uniform schaalsets ✔️

Dit artikel bevat enkele richtlijnen voor het configureren en optimaliseren van de VM's uit de H-serie en N-serie voor HPC met infiniBand.

VM-installatiekopieën

Op VM's met InfiniBand (IB) zijn de juiste stuurprogramma's vereist om RDMA in te schakelen.

  • De CentOS-HPC VM-installatiekopieën in marketplace zijn vooraf geconfigureerd met de juiste IB-stuurprogramma's.
    • De vm-installatiekopieën van CentOS-HPC versie 7.9 worden bovendien vooraf geconfigureerd met de Nvidia GPU-stuurprogramma's.
  • De VM-installatiekopieën van Ubuntu-HPC in marketplace zijn vooraf geconfigureerd met de juiste IB-stuurprogramma's en GPU-stuurprogramma's.

Deze VM-installatiekopieën zijn gebaseerd op de basisinstallatiekopieën van CentOS en Ubuntu Marketplace VM. Scripts die worden gebruikt bij het maken van deze VM-installatiekopieën op basis van de CentOS Marketplace-installatiekopie, bevinden zich in de opslagplaats azhpc-images.

Op VM's uit de N-serie met GPU zijn de juiste GPU-stuurprogramma's ook vereist. Dit kan beschikbaar zijn met de volgende methoden:

  • Gebruik de installatiekopieën van ubuntu-HPC-VM's en CentOS-HPC VM-installatiekopie versie 7.9 die vooraf zijn geconfigureerd met de Nvidia GPU-stuurprogramma's en GPU-rekensoftwarestack (CUDA, NCCL).
  • Voeg de GPU-stuurprogramma's toe via de VM-extensies.
  • Installeer de GPU-stuurprogramma's handmatig.
  • Sommige andere VM-installatiekopieën op marketplace zijn ook vooraf geïnstalleerd met de Nvidia GPU-stuurprogramma's, waaronder enkele VM-installatiekopieën van Nvidia.

Afhankelijk van de Linux-distributie en versiebehoeften van de workloads, zijn zowel de Installatiekopieën van centOS-HPC-VM's als ubuntu-HPC-VM-installatiekopieën in Marketplace de eenvoudigste manier om aan de slag te gaan met HPC- en AI-workloads in Azure. Het wordt ook aanbevolen om aangepaste VM-installatiekopieën te maken met specifieke aanpassings- en configuratieworkloads en deze herhaaldelijk opnieuw te gebruiken.

VM-grootten die worden ondersteund door de HPC VM-installatiekopieën

Ondersteuning voor InfiniBand OFED

De nieuwste Azure HPC Marketplace-installatiekopieën worden geleverd met Mellanox OFED 5.1 en hoger, die geen ondersteuning bieden voor ConnectX3-Pro InfiniBand-kaarten. Deze VM-installatiekopieën ondersteunen alleen ConnextX-5- en nieuwere InfiniBand-kaarten. Dit impliceert de volgende vm-grootteondersteuningsmatrix voor de InfiniBand OFED in deze HPC VM-installatiekopieën:

Ondersteuning voor GPU-stuurprogramma's

Momenteel zijn alleen de installatiekopieën van de Ubuntu-HPC-VM's en CentOS-HPC VM-installatiekopieën versie 7.9 vooraf geconfigureerd met de Nvidia GPU-stuurprogramma's en GPU-rekensoftwarestack (CUDA, NCCL).

De ondersteuningsmatrix voor de VM-grootte voor de GPU-stuurprogramma's in ondersteunde HPC VM-installatiekopieën is als volgt:

  • N-serie: NDv2, NDv4 VM-grootten worden ondersteund met de Nvidia GPU-stuurprogramma's en GPU-rekensoftwarestack (CUDA, NCCL).
  • De andere VM-grootten 'NC' en 'ND' in de N-serie worden ondersteund met de Nvidia GPU-stuurprogramma's.

Alle VM-grootten in de N-serie ondersteunen Gen 2-VM's, hoewel sommige oudere vm's ook gen 1-VM's ondersteunen. Gen 2-ondersteuning wordt ook aangegeven met een '01' aan het einde van de URN of versie van de installatiekopieën.

CentOS-HPC VM-installatiekopieën

VM's met SR-IOV

Voor VM's die geschikt zijn voor SR-IOV, zijn CentOS-HPC VM-installatiekopieën versie 7.6 en hoger geschikt. Deze VM-installatiekopieën worden geoptimaliseerd en vooraf geladen met de Mellanox OFED-stuurprogramma's voor RDMA en verschillende veelgebruikte MPI-bibliotheken en wetenschappelijke computingpakketten. Raadpleeg de ondersteuningsmatrix voor VM-grootte hierboven.

  • De beschikbare of nieuwste versies van de VM-installatiekopieën kunnen worden vermeld met de volgende informatie met behulp van CLI of Marketplace.
    "publisher": "OpenLogic",
    "offer": "CentOS-HPC",
    
  • Scripts die worden gebruikt bij het maken van de CentOS-HPC-versie 7.6 en nieuwere VM-installatiekopieën van een basisinstallatiekopie van CentOS Marketplace, bevinden zich in de opslagplaats azhpc-images.
  • Daarnaast vindt u meer informatie over wat er is opgenomen in de Vm-installatiekopieën van CentOS-HPC versie 7.6 en hoger en hoe u deze implementeert in een TechCommunity-artikel.

Notitie

Onder de Installatiekopieën van centOS-HPC-VM's wordt momenteel alleen de vm-installatiekopie van versie 7.9 vooraf geconfigureerd met de Nvidia GPU-stuurprogramma's en GPU-rekensoftwarestack (CUDA, NCCL).

Notitie

VM-grootten uit de N-serie MET SR-IOV met FDR InfiniBand (bijvoorbeeld NCv3 en ouder) kunnen de volgende Installatiekopieën van centOS-HPC VM's of oudere versies van Marketplace gebruiken:

  • OpenLogic:CentOS-HPC:7.6:7.6.2020062900
  • OpenLogic:CentOS-HPC:7_6gen2:7.6.2020062901
  • OpenLogic:CentOS-HPC:7.7:7.7.2020062600
  • OpenLogic:CentOS-HPC:7_7-gen2:7.7.2020062601
  • OpenLogic:CentOS-HPC:8_1:8.1.2020062400
  • OpenLogic:CentOS-HPC:8_1-gen2:8.1.2020062401

Niet-SR-IOV ingeschakelde VM's

Voor niet-SR-IOV geschikte RDMA-compatibele VM's, CentOS-HPC versie 6.5 of een latere versie, zijn maximaal 7.4 in de Marketplace geschikt. Voor VM's uit de H16-serie wordt versie 7.1 tot en met 7.4 aanbevolen. Deze VM-installatiekopieën worden vooraf geladen met de Network Direct-stuurprogramma's voor RDMA en Intel MPI versie 5.1.

Notitie

Op deze HPC-installatiekopieën op basis van CentOS voor niet-SR-IOV-vm's worden kernelupdates uitgeschakeld in het yum-configuratiebestand . Dit komt doordat de RDMA-stuurprogramma's van NetworkDirect Linux worden gedistribueerd als een RPM-pakket en stuurprogramma-updates mogelijk niet werken als de kernel wordt bijgewerkt.

Ubuntu-HPC VM-installatiekopieën

Voor VM's die geschikt zijn voor RDMA met SR-IOV zijn ubuntu-HPC VM-installatiekopieën versie 18.04 en 20.04 geschikt. Deze VM-installatiekopieën worden geoptimaliseerd en vooraf geladen met de Mellanox OFED-stuurprogramma's voor RDMA, Nvidia GPU-stuurprogramma's, GPU-rekensoftwarestack (CUDA, NCCL) en verschillende veelgebruikte MPI-bibliotheken en wetenschappelijke computingpakketten. Raadpleeg de ondersteuningsmatrix voor VM-grootte hierboven.

  • De beschikbare of nieuwste versies van de VM-installatiekopieën kunnen worden vermeld met de volgende informatie met behulp van CLI of Marketplace.
    "publisher": "Microsoft-DSVM",
    "offer": "Ubuntu-HPC",
    
  • Scripts die worden gebruikt bij het maken van de Ubuntu-HPC VM-installatiekopieën van een basisinstallatiekopie van Ubuntu Marketplace, bevinden zich in de opslagplaats voor azhpc-images.
  • Daarnaast vindt u meer informatie over wat is opgenomen in de installatiekopieën van ubuntu-HPC-VM's en hoe u deze implementeert in een TechCommunity-artikel.

RHEL-/CentOS-VM-installatiekopieën

De basis-RHEL- of CentOS-installatiekopieën van niet-HPC-VM's op de Marketplace kunnen worden geconfigureerd voor gebruik op vm's die geschikt zijn voor SR-IOV. Meer informatie over het inschakelen van InfiniBand en het instellen van MPI op de VM's.

  • Scripts die worden gebruikt bij het maken van centOS-HPC versie 7.6 en hoger van vm-installatiekopieën van een CentOS Marketplace-basisinstallatiekopie uit de opslagplaats voor azhpc-images kunnen ook worden gebruikt.

Ubuntu VM-installatiekopieën

De basisinstallatiekopieën van Ubuntu Server 16.04 LTS, 18.04 LTS en 20.04 LTS VM's in Marketplace worden ondersteund voor zowel SR-IOV als niet-SR-IOV RDMA-compatibele VM's. Meer informatie over het inschakelen van InfiniBand en het instellen van MPI op de VM's.

  • Instructies voor het inschakelen van InfiniBand op de Ubuntu VM-installatiekopieën staan in een TechCommunity-artikel.
  • Scripts die worden gebruikt bij het maken van de op Ubuntu 18.04 en 20.04 LTS gebaseerde HPC VM-installatiekopieën op basis van een Ubuntu Marketplace-installatiekopie bevinden zich in de opslagplaats azhpc-images.

Notitie

Mellanox OFED 5.1 en hoger bieden geen ondersteuning voor ConnectX3-Pro InfiniBand-kaarten op VM-grootten uit de SR-IOV-serie met FDR InfiniBand (bijvoorbeeld NCv3). Gebruik LTS Mellanox OFED versie 4.9-0.1.7.0 of ouder op de VM's uit de N-serie met ConnectX3-Pro kaarten. Zie Linux InfiniBand-stuurprogramma's voor meer informatie.

SUSE Linux Enterprise Server VM-installatiekopieën

SLES 12 SP3 voor HPC, SLES 12 SP3 voor HPC (Premium), SLES 12 SP1 voor HPC, SLES 12 SP1 voor HPC (Premium), SLES 12 SP4 en SLES 15 VM-installatiekopieën in marketplace worden ondersteund. Deze VM-installatiekopieën worden vooraf geladen met de Network Direct-stuurprogramma's voor RDMA (op de niet-SR-IOV VM-grootten) en Intel MPI versie 5.1. Meer informatie over het instellen van MPI op de VM's.

VM's optimaliseren

Hier volgen enkele optionele optimalisatie-instellingen voor verbeterde prestaties op de VIRTUELE machine.

LIS bijwerken

Indien nodig voor functionaliteit of prestaties kunnen LIS-stuurprogramma's (Linux Integration Services) worden geïnstalleerd of bijgewerkt op ondersteunde os-distributies, met name het implementeren met behulp van een aangepaste installatiekopieën of een oudere versie van het besturingssysteem, zoals CentOS/RHEL 6.x of eerdere versie van 7.x.

wget https://aka.ms/lis
tar xzf lis
pushd LISISO
./upgrade.sh

Geheugen vrijmaken

Verbeter de prestaties door automatisch geheugen vrij te maken om externe geheugentoegang te voorkomen.

echo 1 >/proc/sys/vm/zone_reclaim_mode

U kunt dit behouden nadat de VM opnieuw is opgestart:

echo "vm.zone_reclaim_mode = 1" >> /etc/sysctl.conf sysctl -p

Firewall en SELinux uitschakelen

systemctl stop iptables.service
systemctl disable iptables.service
systemctl mask firewalld
systemctl stop firewalld.service
systemctl disable firewalld.service
iptables -nL
sed -i -e's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

Cpu-vermogen uitschakelen

service cpupower status
if enabled, disable it:
service cpupower stop
sudo systemctl disable cpupower

WALinuxAgent configureren

sed -i -e 's/# OS.EnableRDMA=y/OS.EnableRDMA=y/g' /etc/waagent.conf

Optioneel kan de WALinuxAgent worden uitgeschakeld als een stap vóór de taak en kan na de taak worden ingeschakeld voor maximale beschikbaarheid van VM-resources voor de HPC-workload.

Volgende stappen