Batch havuzlarında RDMA veya GPU örnekleri kullanma

Dikkat

Bu makalede, Kullanım Süresi Sonu (EOL) durumuna yakın bir Linux dağıtımı olan CentOS'a başvuruda bulunur. Lütfen kullanımınızı ve buna uygun planlamayı göz önünde bulundurun. Daha fazla bilgi için bkz . CentOS Kullanım Süresi Sonu kılavuzu.

Belirli Batch işlerini çalıştırmak için büyük ölçekli hesaplama için tasarlanmış Azure VM boyutlarından yararlanabilirsiniz. Örneğin:

  • Çok örnekli MPI iş yüklerini çalıştırmak için H serisini veya Uzaktan Doğrudan Bellek Erişimi (RDMA) için ağ arabirimi olan diğer boyutları seçin. Bu boyutlar, düğümler arası iletişim için bir InfiniBand ağına bağlanır ve bu da MPI uygulamalarını hızlandırabilir.

  • CUDA uygulamaları için NVIDIA Tesla grafik işlem birimi (GPU) kartları içeren N serisi boyutları seçin.

Bu makalede, Batch havuzlarında Azure'ın özelleştirilmiş boyutlarından bazılarını kullanmaya yönelik yönergeler ve örnekler sağlanmaktadır. Belirtimler ve arka plan için bkz:

Not

Batch hesaplarınızı oluşturduğunuz bölgelerde belirli VM boyutları kullanılamayabilir. Bir boyutun kullanılabilir olup olmadığını denetlemek için bkz . Bölgeye göre kullanılabilir ürünler ve Batch havuzu için VM boyutu seçme.

Bağımlılıklar

Batch'te işlem yoğunluklu boyutların RDMA veya GPU özellikleri yalnızca belirli işletim sistemlerinde desteklenir. (Desteklenen işletim sistemlerinin listesi, bu boyutlarda oluşturulan sanal makineler için desteklenenlerin bir alt kümesidir.) Batch havuzunuzu nasıl oluşturduğunuza bağlı olarak, düğümlere ek sürücü veya başka bir yazılım yüklemeniz veya yapılandırmanız gerekebilir. Aşağıdaki tablolarda bu bağımlılıklar özetlenebilir. Ayrıntılar için bağlantılı makalelere bakın. Batch havuzlarını yapılandırma seçenekleri için bu makalenin devamında yer alan bölümüne bakın.

Linux havuzları - Sanal makine yapılandırması

Size Özellik İşletim sistemleri Gerekli yazılım Havuz ayarları
H16r, H16mr
NC24r, NC24rs_v2, NC24rs_v3, ND24rs*
RDMA Ubuntu 22.04 LTS veya
CentOS tabanlı HPC
(Azure Market)
Intel MPI 5

Linux RDMA sürücüleri
Düğümler arası iletişimi etkinleştirme, eşzamanlı görev yürütmeyi devre dışı bırakma
NC, NCv2, NCv3, NDv2 serisi NVIDIA Tesla GPU (seriye göre değişir) Ubuntu 22.04 LTS veya
CentOS 8.1
(Azure Market)
NVIDIA CUDA veya CUDA Araç Seti sürücüleri Yok
NV, NVv2, NVv4 serisi NVIDIA Tesla M60 GPU Ubuntu 22.04 LTS veya
CentOS 8.1
(Azure Market)
NVIDIA GRID sürücüleri Yok

*RDMA özellikli N serisi boyutları da NVIDIA Tesla GPU'larını içerir

Önemli

Bu belge, Linux'un Kullanım Süresi Sonu(EOL) veya yakınında olan bir sürüme başvurur. Lütfen daha güncel bir sürüme güncelleştirmeyi göz önünde bulundurun.

Windows havuzları - Sanal Makine Yapılandırması

Size Özellik İşletim sistemleri Gerekli yazılım Havuz ayarları
H16r, H16mr
NC24r, NC24rs_v2, NC24rs_v3, ND24rs*
RDMA Windows Server 2016, 2012 R2 veya
2012 (Azure Market)
Microsoft MPI 2012 R2 veya üzeri veya
Intel MPI 5

Windows RDMA sürücüleri
Düğümler arası iletişimi etkinleştirme, eşzamanlı görev yürütmeyi devre dışı bırakma
NC, NCv2, NCv3, ND, NDv2 serisi NVIDIA Tesla GPU (seriye göre değişir) Windows Server 2016 veya
2012 R2 (Azure Market)
NVIDIA CUDA veya CUDA Araç Seti sürücüleri Yok
NV, NVv2, NVv4 serisi NVIDIA Tesla M60 GPU Windows Server 2016 veya
2012 R2 (Azure Market)
NVIDIA GRID sürücüleri Yok

*RDMA özellikli N serisi boyutları da NVIDIA Tesla GPU'larını içerir

Windows havuzları - Cloud Services Yapılandırması

Uyarı

Cloud Services Yapılandırma havuzları kullanım dışıdır. Lütfen bunun yerine Sanal Makine Yapılandırma havuzlarını kullanın.

Size Özellik İşletim sistemleri Gerekli yazılım Havuz ayarları
H16r, H16mr RDMA Windows Server 2016, 2012 R2, 2012 veya
2008 R2 (Konuk işletim sistemi ailesi)
Microsoft MPI 2012 R2 veya üzeri veya
Intel MPI 5

Windows RDMA sürücüleri
Düğümler arası iletişimi etkinleştirin,
eşzamanlı görev yürütmeyi devre dışı bırakma

Not

N serisi boyutları Cloud Services Yapılandırma havuzlarında desteklenmez.

Havuz yapılandırma seçenekleri

Batch havuzunuz için özelleştirilmiş bir VM boyutu yapılandırmak için gerekli yazılımları veya sürücüleri yüklemek için çeşitli seçenekleriniz vardır:

  • Sanal makine yapılandırmasındaki havuzlar için sürücülerin ve yazılımların önceden yüklenmiş olduğu önceden yapılandırılmış bir Azure Market VM görüntüsü seçin. Örnekler:

  • Üzerine sürücüleri, yazılımları veya VM boyutu için gereken diğer ayarları yüklediğiniz özel bir Windows veya Linux VM görüntüsü oluşturun.

  • Sıkıştırılmış bir sürücüden veya uygulama yükleyicisinden bir Batch uygulama paketi oluşturun ve Batch'i, paketi havuz düğümlerine dağıtacak ve her düğüm oluşturulduğunda bir kez yükleyecek şekilde yapılandırın. Örneğin, uygulama paketi bir yükleyiciyse, uygulamayı tüm havuz düğümlerine sessizce yüklemek için bir başlangıç görevi komut satırı oluşturun. İş yükünüz belirli bir sürücü sürümüne bağlıysa bir uygulama paketi ve havuz başlangıç görevi kullanmayı göz önünde bulundurun.

    Not

    Başlangıç görevi yükseltilmiş (yönetici) izinlerle çalışmalı ve başarıyı beklemelidir. Uzun süre çalışan görevler Batch havuzu sağlama süresini artırır.

Örnek: Windows NC VM havuzunda NVIDIA GPU sürücüleri

CUDA uygulamalarını bir Windows NC düğümleri havuzunda çalıştırmak için NVDIA GPU sürücülerini yüklemeniz gerekir. Aşağıdaki örnek adımlarda NVIDIA GPU sürücülerini yüklemek için bir uygulama paketi kullanılır. İş yükünüz belirli bir GPU sürücüsü sürümüne bağlıysa bu seçeneği belirleyebilirsiniz.

  1. Windows Server 2016'da GPU sürücüleri için NVIDIA web sitesinden (örneğin, sürüm 411.82) bir kurulum paketi indirin. dosyayı GPUDriverSetup.exe gibi kısa bir ad kullanarak yerel olarak kaydedin.
  2. Paketin zip dosyasını oluşturun.
  3. Paketi Batch hesabınıza yükleyin. Adımlar için uygulama paketleri kılavuzuna bakın. GPUDriver gibi bir uygulama kimliği ve 411.82 gibi bir sürüm belirtin.
  4. Batch API'lerini veya Azure portalını kullanarak sanal makine yapılandırmasında istenen sayıda düğüm ve ölçekle bir havuz oluşturun. Aşağıdaki tabloda, bir başlangıç görevi kullanarak NVIDIA GPU sürücülerini sessizce yüklemek için örnek ayarlar gösterilmektedir:
Ayar Value
Görüntü Türü Market (Linux/Windows)
Yayımcı MicrosoftWindowsServer
Teklif WindowsServer
Sku 2016-Datacenter
Düğüm boyutu NC6 Standard
Uygulama paketi başvuruları GPUDriver, sürüm 411.82
Görevi başlat etkin True
Komut satırı - cmd /c "%AZ_BATCH_APP_PACKAGE_GPUDriver#411.82%\\GPUDriverSetup.exe /s"
Kullanıcı kimliği - Havuz otomatik kullanıcısı, yönetici
Başarıyı bekle - Doğru

Örnek: Linux NC VM havuzunda NVIDIA GPU sürücüleri

CUDA uygulamalarını Linux NC düğümlerinden oluşan bir havuzda çalıştırmak için CUDA Toolkit'ten gerekli NVIDIA Tesla GPU sürücülerini yüklemeniz gerekir. Aşağıdaki örnek adımlar GPU sürücüleriyle özel bir Ubuntu 22.04 LTS görüntüsü oluşturup dağıtır:

  1. Ubuntu 22.04 LTS çalıştıran bir Azure NC serisi VM dağıtın. Örneğin, VM'yi ABD Orta Güney bölgesinde oluşturun.
  2. Azure portalını , Azure aboneliğine bağlanan bir istemci bilgisayarı veya Azure Cloud Shell'i kullanarak NVIDIA GPU Sürücüleri uzantısını VM'ye ekleyin. Alternatif olarak, VM'ye bağlanma ve CUDA sürücülerini el ile yükleme adımlarını izleyin.
  3. Batch için Azure İşlem Galerisi görüntüsü oluşturma adımlarını izleyin.
  4. NC VM'lerini destekleyen bir bölgede Batch hesabı oluşturun.
  5. Batch API'lerini veya Azure portalını kullanarak, özel görüntüyü kullanarak ve istenen sayıda düğüm ve ölçekle bir havuz oluşturun. Aşağıdaki tabloda, görüntü için örnek havuz ayarları gösterilmektedir:
Ayar Value
Görüntü Türü Özel Görüntü
Özel Görüntü Görüntünün adı
Düğüm aracısı SKU'su batch.node.ubuntu 22.04
Düğüm boyutu NC6 Standard

Örnek: Windows H16r VM havuzunda Microsoft MPI

Windows MPI uygulamalarını Azure H16r VM düğümleri havuzunda çalıştırmak için HpcVmDrivers uzantısını yapılandırmanız ve Microsoft MPI'yi yüklemeniz gerekir. Gerekli sürücüler ve yazılımla özel bir Windows Server 2016 görüntüsü dağıtmaya yönelik örnek adımlar şunlardır:

  1. Windows Server 2016 çalıştıran bir Azure H16r VM dağıtın. Örneğin, VM'yi ABD Batı bölgesinde oluşturun.
  2. Azure aboneliğinize bağlanan bir istemci bilgisayardan Azure PowerShell komutu çalıştırarak veya Azure Cloud Shell kullanarak HpcVmDrivers uzantısını VM'ye ekleyin.
  3. VM'ye Uzak Masaüstü bağlantısı oluşturun.
  4. Microsoft MPI'nin en son sürümü için kurulum paketini (MSMpiSetup.exe) indirin ve Microsoft MPI'yi yükleyin.
  5. Batch için Azure İşlem Galerisi görüntüsü oluşturma adımlarını izleyin.
  6. Batch API'lerini veya Azure portalını kullanarak Azure İşlem Galerisi'ni kullanarak ve istenen sayıda düğüm ve ölçekle bir havuz oluşturun. Aşağıdaki tabloda, görüntü için örnek havuz ayarları gösterilmektedir:
Ayar Value
Görüntü Türü Özel Görüntü
Özel Görüntü Görüntünün adı
Düğüm aracısı SKU'su batch.node.windows amd64
Düğüm boyutu H16r Standard
Düğümler arası iletişim etkinleştirildi True
Düğüm başına en fazla görev 1

Örnek: Linux H16r VM havuzunda Intel MPI

MPI uygulamalarını Linux HB serisi düğümler havuzunda çalıştırmak için bir seçenek, Azure Market CentOS tabanlı 8.1 HPC görüntüsünü kullanmaktır. Linux RDMA sürücüleri ve Intel MPI önceden yüklenmiş. Bu görüntü Docker kapsayıcı iş yüklerini de destekler.

Batch API'lerini veya Azure portalını kullanarak, bu görüntüyü kullanarak ve istenen sayıda düğüm ve ölçekle bir havuz oluşturun. Aşağıdaki tabloda örnek havuz ayarları gösterilmektedir:

Ayar Value
Görüntü Türü Market (Linux/Windows)
Yayımcı OpenLogic
Teklif CentOS-HPC
Sku 8.1
Düğüm boyutu H16r Standard
Düğümler arası iletişim etkinleştirildi True
Düğüm başına en fazla görev 1

Sonraki adımlar

  • MPI işlerini bir Azure Batch havuzunda çalıştırmak için Windows veya Linux örneklerine bakın.