Hızlı Başlangıç - Market'i kullanarak Slurm için Azure CycleCloud Çalışma Alanı'nı dağıtma

Slurm için Azure CycleCloud Çalışma Alanı, HPC ve AI iş yükleri için işlem ve depolama kaynaklarını yönetmek için basit, güvenli ve ölçeklenebilir bir yol sağlayan ücretsiz bir Market uygulamasıdır. Bu hızlı başlangıçta Market uygulamasını kullanarak Slurm için CycleCloud Çalışma Alanı'nı yükleyeceksiniz.

Önkoşullar

Bu hızlı başlangıç için şunları yapmanız gerekir:

1. Etkin aboneliği olan bir Azure hesabı
2. Abonelik düzeyinde kullanıcı erişim yöneticisi rollerini Katkıda Bulunan ve

Nasıl dağıtılır?

• Azure portalındaoturum açın.
• Sol üst + Create a Resource seçeneğine tıklayın
• kutusuna Slurm girin ve Slurmiçin Azure CycleCloud Çalışma Alanı'nı seçin.
• Slurm için Azure CycleCloud Çalışma Alanı sayfasındaOluştur'u seçin.

Temel

• Slurm hesabı için Yeni Azure CycleCloud Çalışma Alanı sayfasında aşağıdaki ayrıntıları girin veya seçin.
  • abonelik: Henüz seçili değilse kullanılacak aboneliği seçin.
  • Bölge: Slurm ortamı için CycleCloud Çalışma Alanınızı dağıtmak istediğiniz Azure bölgesini seçin.
  • Kaynak grubu: Slurm hesabı için Azure CycleCloud Çalışma Alanı için kaynak grubunu seçin veya yeni bir hesap oluşturun.
  • CycleCloud VM Boyutu: Yeni bir VM Boyutu seçin veya varsayılan vm boyutunu koruyun
  • Yönetici Kullanıcı: CycleCloud yönetici hesabı için bir ad ve parola girin.
  • Yönetici SSH Ortak Anahtarı: Doğrudan yönetici hesabının genel SSH anahtarını veya Azure'da bir SSH anahtarı kaynağında depolanıyorsa seçin.

Dosya sistemi

Kullanıcıların giriş dizini - Yeni Oluştur

Kullanıcıların giriş dizininin nerede bulunacağını belirtin. Yeni bir Oluşturma Yerleşik NFS, zamanlayıcı VM'sini ekli veri diski olan bir NFS sunucusu olarak kullanır.

Yeni bir Azure NetApp Files oluşturun anf hesabı, havuzu ve belirtilen kapasite ve hizmet düzeyinin hacmini oluşturur. için Dosya sistemi bağlama ekran görüntüsü

Kullanıcıların giriş dizini - Varolanı Kullan

Mevcut bir NFS bağlama noktanız varsa Mevcut kullan seçeneğini seçin ve bağlama ayarlarını belirtin. için Dosya sistemi bağlama ekran görüntüsü

Ek dosya sistemi bağlaması - Yeni Oluştur

Proje verileriniz için ek bir dosya sistemi bağlamanız gerekiyorsa, yeni bir tane oluşturabilir veya var olan bir dosya sistemini belirtebilirsiniz. Yeni bir Azure NetApp Files birimi veya Azure Yönetilen Lustre Dosya Sistemi oluşturabilirsiniz.

oluşturmak için Ek Dosya sistemi bağlama işleminin ekran görüntüsü

oluşturmak için Ek Dosya sistemi bağlamasının ekran görüntüsü

Ek dosya sistemi bağlama - Varolanı Kullan

Mevcut bir dış NFS bağlama noktanız veya Azure Yönetilen Lustre Dosya Sisteminiz varsa bağlama seçeneklerini belirtebilirsiniz.

için Ek Dosya sistemi bağlamasının ekran görüntüsü

Ağ

Yeni bir Sanal Ağ ve alt ağlar oluşturmak veya mevcut bir sanal ağı kullanmak istiyorsanız burada belirtin.

Yeni sanal ağ oluşturma

oluşturmaya yönelik Ağ seçeneklerinin ekran görüntüsü

• Hedeflediğiniz işlem düğümü sayısıyla eşleşecek CIDR'yi seçin ve bir temel IP adresi belirtin,
• Kurumsal BT'niz tarafından sağlanan doğrudan bağlantınız yoksa Bastion oluşturmak en iyi yöntemdir.
• İnternet'e giden bağlantı sağlamak için NAT Ağ Geçidi oluşturmak gerekir. Bu, 2025'te zorunlu hale gelecek ve bazı şirketler tarafından zaten uygulanan düşünce ilkeleri,
• Bastion ve VPN ağ geçidi gibi hizmetler sunabilen eşlemek istediğiniz bir HUB'ına zaten sahipseniz mevcut bir Sanal Ağ ile eşle. Eşlenen sanal ağınızla uyumlu bir temel IP adresi seçmeye dikkat edin. Eşlenen sanal ağda ağ geçidi varsa Ağ geçidi aktarımına izin ver'i denetleyin.

Mevcut Sanal Ağı kullanma

Mevcut bir sanal ağı kullanmadan önce CycleCloud Çalışma Alanınızı Slurm Dağıtımı için Planlama'nde önkoşulları denetleyin

kullanmak için ağ seçeneklerinin ekran görüntüsü

Slurm Ayarları

Zamanlayıcı ve Oturum Açma düğümleri için kullanılacak VM boyutunu ve görüntüsünü belirtin. Görüntüler, Azure Market'te ilişkili URI'lerle birlikte sağlanan HPC Görüntüleridir:

Resim Adı	URI
Alma Linux 8.7	almalinux:almalinux-hpc:8_7-hpc-gen2:latest
Ubuntu 20.04	microsoft-dsvm:ubuntu-hpc:2004:latest
Ubuntu 22.04	microsoft-dsvm:ubuntu-hpc:2204:latest
Özel Görüntü	Bir görüntü URN'si veya görüntü kimliği belirtmeniz gerekir

Custom Image seçerseniz mevcut market görüntüsü için bir görüntü URN'si veya Azure İşlem Galerisi'ndeki bir görüntü için görüntü kimliği belirtmeniz gerekir.

Zamanlayıcı, Oturum Açma Düğümleri ve işlem düğümlerinin aynı görüntüyü kullanmasını istiyorsanız Use image on all nodes de de kontrol edebilirsiniz.

Başlangıçta sağlamak istediğiniz oturum açma düğümü sayısını ve en fazla sayıyı ayarlayın. Son olarak, sistem durumu denetimlerinin etkinleştirilmesi HPC ve GPU bölümleri için düğüm sistem durumu denetimlerini yürüterek iyi durumda olmayan düğümleri başlatıldığında otomatik olarak kaldırır.

ekran görüntüsü

Slurm İş Muhasebesi'ni etkinleştirmek istiyorsanız, bağlantı seçeneklerini görüntülemek için onay kutusunu işaretleyin. Daha önce dağıtılmış bir MySQL için Azure Veritabanı esnek sunucu kaynağınız olması gerektiğini lütfen unutmayın. Dağıtımınızın bir parçası olarak yeni bir sanal ağ oluştururken kendi sanal ağınızı sağlamayı veya sanal ağ eşlemesini kullanmayı seçerseniz FQDN veya özel IP sağlama yoluyla bağlantı sağlanır. Ayrıca, yeni bir sanal ağ oluşturmayı seçerseniz Özel Uç Nokta üzerinden bağlantı sağlanır.

için Slurm Ayarı seçeneklerinin ekran görüntüsü

iş hesaplama veritabanı için Slurm Ayarı seçeneklerinin ekran görüntüsü

Bölüm Ayarları

Slurm için Azure CycleCloud Çalışma Alanı, 3 tanımlı Slurm bölümüyle birlikte gelir:

• HTC: MPI olmayan embarassinging işler için,
• HPC: Çoğunlukla InfiniBand desteğine sahip VM türlerini kullanan sıkı bir şekilde bağlanmış MPI işleri için,
• GPU : MPI ve MPI olmayan GPU işleri için

Görüntüyü ve her bölüm için CycleCloud tarafından dinamik olarak sağlanacak en fazla düğüm sayısını ayarlayabilirsiniz. HpC ve GPU işleri için Spot örneklerini kullanmak genellikle en iyi yöntem olmadığından yalnızca HTC bölümü Spot örneklerinin kullanılmasına izin verir. Ancak bu ayarlar CycleCloud kullanıcı arabiriminde dağıtımdan sonra geçersiz kılınabilir.

Etiketler

Gerekli kaynaklar için ilgili etiketleri ayarlayın. Node Array etiketleri CycleCloud tarafından dinamik olarak sağlanan Sanal Makinelere uygulanır.

Gözden Geçir+Oluştur

Seçeneklerinizi gözden geçirin. Bu adım bazı doğrulamaları da işler. gözden geçirme ekran görüntüsü

Geçiş yapıldığında, dağıtımı başlatmak için Oluştur düğmesine tıklayın

Dağıtım durumunu ve adımlarını izleyin.

Dağıtımınızı denetleme

Dağıtım sırasında belirtilen kullanıcı adı ve SSH anahtarlarıyla Bastion kullanarak ccw-cyclecloud-vm bağlanın.

Bağlandığınızda, her şeyin doğru olduğunu doğrulamak için cloud-init günlüklerini denetleyin.

$tail -f -n 25 /var/log/cloud-init-output.log
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Starting cluster ccws....
----------------------------
ccws : allocation -> started
----------------------------
Resource group: 
Cluster nodes:
    scheduler: Off -- --  
Total nodes: 1
CC start_cluster successful
/
exiting after install
Cloud-init v. 23.4-7.el8_10.alma.1 running 'modules:final' at Wed, 12 Jun 2024 10:15:53 +0000. Up 11.84 seconds.
Cloud-init v. 23.4-7.el8_10.alma.1 finished at Wed, 12 Jun 2024 10:28:15 +0000. Datasource DataSourceAzure [seed=/dev/sr0].  Up 754.29 seconds

Ardından istemci makinenizle CycleCloud VM arasında bağlantı kurun. Bu, şirketinizin BT'sinden, VPN'den, Bastion tünelinden, şirketiniz izin veriyorsa ekli genel IP'den olabilir. https://<cycleccloud_ip>adresine göz atarak web arabirimine bağlanın ve dağıtım sırasında sağlanan kullanıcı adı ve parolayla kimlik doğrulamasından geçin. Hem Zamanlayıcı hem de Oturum Açma düğümlerinin çalıştığını onaylayın.

Oturum açma düğümüne bağlanma

Bastion'ı kullanırken, buradasağlanan, bağlanmak için yardımcı program/ssh_thru_bastion.sh veya yardımcı program/tunnel_thru_bastion.sh yardımcı program betiklerinden birini kullanın. Bastion kullanmıyorsanız doğrudan bağlantıyı kendiniz kurmanız gerekir.