Azure HPC VM görüntüleri

Şunlar için geçerlidir: ✔️ Linux VM'leri ✔️ Esnek ölçek kümeleri ✔️ Tekdüzen ölçek kümeleri

Bu makalede, InfiniBand özellikli H serisi ve GPU özellikli N serisi VM'leri başlatmak için kullanılacak HPC VM görüntüleri hakkında bazı bilgiler paylaşılır.

Azure HPC ekibi, HPC ve AI iş yükleri için iyileştirilmiş ve önceden yapılandırılmış Linux VM görüntüleri sunar. Bu VM görüntüleri şunlardır:

• Yukarı akış Ubuntu ve AlmaLinux market vm görüntülerini temel alır.
• InfiniBand için NVIDIA Mellanox OFED sürücüsü, NVIDIA GPU sürücüleri, popüler MPI kitaplıkları, satıcı tarafından ayarlanmış HPC kitaplıkları ve önerilen performans iyileştirmeleri ile önceden yapılandırılmıştır.
• En iyi performans, tutarlılık ve güvenilirlik sağlamak için iyileştirmeler ve önerilen yapılandırmalar dahil.

Azure'da kullanılabilirlik

AZURE MARKET veya Azure CLI'dan VM oluştururken HPC görüntülerini kullanabilirsiniz. Diğer dağıtım yöntemleri için HPC VM Görüntülerini Dağıtma bölümüne bakın.

Azure Market

için Ubuntu HPC yayımcıya veya AlmaLinux HPC yayımcıya Microsoft-DSVMAlmaLinuxgöre arayın.

Azure CLI

HPC görüntülerinin görüntü URL'lerini bulmak için aşağıdaki komutları çalıştırın:

Ubuntu-HPC

az vm image list --publisher microsoft-dsvm --offer ubuntu-hpc --output table --all

Tüm görüntüler 2. Nesil VM'leri destekler.

AlmaLinux-HPC

az vm image list --publisher almalinux --offer almalinux-hpc --output table --all

Tüm görüntüler hem 1. Nesil hem de 2. Nesil VM'leri destekler.

Desteklenen VM boyutları

HPC VM görüntüleri aşağıdaki VM boyutlarını destekler:

• Standard_HB60rs
• Standard_HB120rs_v2
• Standard_HB120rs_v3
• Standard_HB120rs_v4
• Standard_HC44rs
• Standard_ND40rs_v2
• Standard_ND96asr_v4
• Standard_ND96amsr_A100_v4
• Standard_ND96isr_H100_v5

En son H ve N serisi VM boyutu destek matrisi için Azure VM boyutları konusuna bakın.

Yüklü yazılım paketleri

• Mellanox OFED 24.01-0.3.3.1
• Önceden yapılandırılmış IPoIB (InfiniBand üzerinden IP)
• Popüler InfiniBand tabanlı MPI Kitaplıkları
  • PMIx-4 ile/PMIx-4 olmadan HPC-X v2.18
  • Intel MPI 2021.12.0
  • MVAPICH2 2.3.7-1
  • PMIx-4 ile OpenMPI 5.0.2
• İletişim Çalışma Zamanları
  • Libfabric
  • OpenUCX
  • NCCL 2.21.5-1
  • NCCL RDMA Keskin Eklentisi
• İyileştirilmiş kitaplıklar
  • AMD İyileştirilmesi C/C++ ve Fortran Derleyicileri 4.0.0-1
  • Intel MKL 2024.0.0.49673
• GPU Sürücüleri
  • NVIDIA GPU Sürücüsü 535.161.08
  • NVIDIA Eş Belleği (GPU Doğrudan RDMA)
  • NVIDIA Fabric Manager
  • CUDA 12.4
• GDRCopy 2.3
• Veri Merkezi GPU Yöneticisi 3.3.3
• Azure HPC Tanılama Aracı
• SKU tabanlı özelleştirmeler
  • Topoloji dosyaları
  • NCCL yapılandırması
• Moby 24.0.7-ubuntu22.04u1
• NVIDIA Docker kapsayıcısı 24.0.7-1
• Azure Yönetilen Lustre 2.15.4-42-gd6d405d
• Moneo v0.3.5
• Azure HPC Sistem Durumu Denetimleri v0.4.2

VM görüntüsünde yüklü bir sürüm dizini şu konumda bulunur: /opt/azurehpc/component_versions.txt.

MPI kitaplıkları ve yazılım paketleri ortam modülleri olarak kullanılabilir. MPI kitaplığını/paketini yüklemek için şunu çalıştırın:

module load mpi/<mpi-library-name>
module load <package-name>

Yapılandırma ve iyileştirme

Her vm görüntüsüne hangi paketlerin ve yapılandırmanın dahil olduğuna ilişkin en son ayrıntılar için GitHub'daki azhpc-images deposuna bakın. Dahil edilen yapılandırmalar, satıcılardan ve iş ortaklarından gelen iyileştirme önerilerinin yanı sıra geleneksel HPC sistemlerindeki yaygın HPC iş yüklerinden ve kullanım uygulamalarından elde edilen öğrenimleri temel alır.

• Azure Linux Aracısı (WAAgent)

  • Waagent'ın (her Azure Linux VM'sinde çalışan VM aracısı) CPU/bellek kaynaklarının kullanımını sınırlayın.
  • İsteğe bağlı olarak, iş betiğinizin başında waagent'ı devre dışı bırakmayı ve cpu duyarlı iş yükleri için en sonunda etkinleştirmeyi aşağıdaki gibi göz önünde bulundurun:

  sudo systemctl stop waagent
  <HPC job>
  sudo systemctl restart waagent
  

• Daha Yüksek Bellek Sınırları

  • Maksimum kilitli bellek sınırını sınırsız olarak ayarlayın
  • Açık dosya sayısı sınırını 65535 olarak ayarlayın

• Bölge Geri Kazanma modu

  • zone_reclaim_mode 1 olarak ayarlayın

• MPI iş başlatıcılarına yardımcı olmak için güvenlik duvarı daemon'larını devre dışı bırakma

HPC VM görüntülerini dağıtma

Gösterildiği gibi HPC VM görüntüleri Azure Market ve Azure CLI'dan kullanılabilir. Bunlar Azure'daki çeşitli dağıtım araçları (Azure CycleCloud, Azure Batch, ARM şablonları vb.) aracılığıyla dağıtılabilir. AzureHPC betikleri , bu görüntüleri kullanarak bir HPC kümesini hızla dağıtmanın kolay bir yolunu sağlar.