Hızlı Başlangıç - Azure Market'i kullanarak Slurm için Azure CycleCloud Çalışma Alanı dağıtma

Slurm için Azure CycleCloud Çalışma Alanı, HPC ve AI iş yükleri için işlem ve depolama kaynaklarını yönetmek için basit, güvenli ve ölçeklenebilir bir yol sağlayan ücretsiz bir Market uygulamasıdır. Bu hızlı başlangıçta Azure Market uygulamasını kullanarak Slurm için CycleCloud Workspace'i yükleyeceksiniz.

Microsoft Entra Id kimlik doğrulaması ile Slurm için CycleCloud Çalışma Alanı'nı dağıtma ve yapılandırmaya yönelik ana adımlar şunlardır:

1. Başlamadan önce şu yönergeleri gözden geçirin: CycleCloud Çalışma Alanınızı Slurm Dağıtımı için planlayın.
2. Azure Market'i kullanarak Slurm ortamı için cyclecloud çalışma alanı dağıtma (bu hızlı başlangıç).
3. Microsoft Entra Id uygulaması kaydetme: Slurm için Azure CycleCloud ve Azure CycleCloud Çalışma Alanı ile kullanmak üzere bir Microsoft Entra uygulama kaydı oluşturun.
4. Open OnDemand'ı Microsoft Entra ID uygulamasını kullanacak şekilde yapılandırma: Open OnDemand'ı CycleCloud ile yapılandırma
5. Kayıtlı Microsoft Entra ID uygulamasına kullanıcı ekleme: CycleCloud için kullanıcılara izin verme

Önkoşullar

Bu hızlı başlangıç için şunları yapmanız gerekir:

1. Etkin aboneliği olan bir Azure hesabı
2. Abonelik düzeyinde Katkıda Bulunan ve Kullanıcı Erişimi Yöneticisi rolleri
3. Open OnDemand dağıtmanız gerekiyorsa küme tarafından kullanılan sanal ağa doğrudan bağlantı (Azure Bastion'ı kullanmamak)
4. Open OnDemand dağıtmanız gerekiyorsa Microsoft Entra ID uygulamasını kaydetme izni

Dağıtma

1. Azure portalınaoturum açın.
2. + Kaynak Oluştur’u seçin.
3. Hizmetler ve market araması kutusuna Slurm yazın ve ardından Slurmiçin Azure CycleCloud Çalışma Alanı'nı seçin.
4. Slurm için Azure CycleCloud Çalışma Alanı sayfasında Oluştur'u seçin.

Temel bilgiler

• Slurm hesabı için Yeni Azure CycleCloud Çalışma Alanı sayfasında aşağıdaki ayrıntıları girin veya seçin.
  • Abonelik: Henüz seçili değilse kullanılacak aboneliği seçin.
  • Bölge: Slurm ortamı için CycleCloud Çalışma Alanınızı dağıtmak istediğiniz Azure bölgesini seçin.
  • Kaynak grubu: Slurm hesabı için Azure CycleCloud Çalışma Alanı için kaynak grubunu seçin veya yeni bir hesap oluşturun.
  • CycleCloud VM Boyutu: Yeni bir VM Boyutu seçin veya varsayılan vm boyutunu koruyun.
  • Yönetici Kullanıcı: CycleCloud yönetici hesabı için bir ad ve parola girin.
  • Yönetici SSH Ortak Anahtarı: Doğrudan yönetici hesabının genel SSH anahtarını veya Azure'da bir SSH anahtarı kaynağında depolanıyorsa seçin.

Dosya sistemi

Kullanıcıların giriş dizini - Yeni oluştur

Kullanıcıların giriş dizininin nereye yerleştirileceğini belirtin.

• Yerleşik NFS - Zamanlayıcı VM'sini ekli veri diski olan bir NFS sunucusu olarak kullanır.

• Azure NetApp Files - Belirtilen kapasite ve hizmet düzeyine sahip bir ANF hesabı, havuzu ve birimi oluşturur.

Kullanıcıların giriş dizini - Varolanı Kullan

Mevcut bir NFS bağlama noktanız varsa Var Olanı Kullan seçeneğini belirleyin ve bağlama ayarlarını belirtin.

Ek dosya sistemi montajı - Yeni oluştur

Proje verileriniz için başka bir dosya sistemi bağlamanız gerekiyorsa, yeni bir dosya oluşturabilir veya var olan bir dosya sistemini belirtebilirsiniz. Yeni bir Azure NetApp Files birimi veya Azure Yönetilen Lustre Dosya Sistemi oluşturabilirsiniz.

Ek dosya sistemi bağlama - Mevcut olanı kullan

Mevcut bir dış NFS bağlama noktanız veya Azure Yönetilen Lustre Dosya Sisteminiz varsa bağlama seçeneklerini belirtebilirsiniz.

Ağ

Yeni bir sanal ağ ve alt ağlar oluşturmak mı yoksa var olan bir ağı kullanmak mı istediğinizi belirtin.

Yeni sanal ağ oluşturma

• Hedeflediğiniz işlem düğümlerinin sayısına karşılık gelen CIDR'yi seçin ve bir temel IP adresi belirtin.
• Kurumsal BT'niz doğrudan bağlantı sağlamıyorsa bastion oluşturun.
• İnternet'e giden bağlantı sağlamak için bir NAT Ağ Geçidi oluşturun.
• Mevcut bir sanal ağa, Bastion ve VPN ağ geçidi gibi hizmetler sunabilen bir HUB'ınıza sahipseniz, eşleştirme yapın. Eşlenmiş sanal ağınızla uyumlu bir temel IP adresi seçtiğinizden emin olun. Eşlenen sanal ağın bir ağ geçidi varsa Ağ geçidi aktarımına izin ver seçeneğini işaretleyin.

Mevcut sanal ağı ekleme

Mevcut bir sanal ağı kullanmadan önce CycleCloud Çalışma Alanınızı Slurm Dağıtımı için planlama bölümünde önkoşulları denetleyin.

CycleCloud projelerini özel bir DNS bölgesiyle depolamak için depolama hesabı için kullanılan özel uç noktanın kaydının nasıl yönetileceğini belirtin. Yeni bir özel DNS bölgesi oluşturmayı, var olan bir DNS bölgesini kullanmayı veya kaydetmemeyi seçebilirsiniz.

Slurm ayarları

Zamanlayıcı ve kimlik doğrulama düğümleri için sanal makine boyutunu ve görüntüsünü belirtin. Görüntüler, Aşağıdaki URI'lere sahip Azure Market'teki HPC görüntüleridir:

Resim Adı	URI (Evrensel Kaynak Tanımlayıcısı)
Alma Linux 8.10	almalinux:almalinux-hpc:8_10-hpc-gen2:latest
Ubuntu 20.04	microsoft-dsvm:ubuntu-hpc:2004:latest
Ubuntu 22.04	microsoft-dsvm:ubuntu-hpc:2204:latest
Özel Görüntü	Bir görüntü URN'si veya görüntü kimliği belirtmelisiniz

Bir Custom Image seçerseniz, mevcut bir market görüntüsü için bir görüntü URN'si veya Azure İşlem Galerisi'ndeki bir görüntü için bir görüntü kimliği belirtin.

Zamanlayıcı, kimlik doğrulama düğümleri ve işlem düğümleri için aynı görüntüyü kullanmak için Tüm düğümlerde görüntü kullan'ı seçin.

Başlangıçta sağlamak istediğiniz kimlik doğrulama düğümlerinin sayısını ve izin verilen en fazla sayıyı belirtin. Sistem durumu denetimlerini etkinleştirdiğinizde, çözüm HPC ve GPU bölümleri için düğüm sistem durumu denetimlerini otomatik olarak çalıştırır ve iyi durumda olmayan düğümleri kaldırır. CycleCloud portalı aracılığıyla daha fazla ayar yapılandırmanız gerekiyorsa kümenin başlatılmasını geciktirebilirsiniz.

Slurm İş Muhasebesi'ni etkinleştirmek için bağlantı seçeneklerini görüntülemek için kutuyu işaretleyin. Daha önce dağıttığınız bir MySQL için Azure Veritabanı esnek sunucu kaynağınız olduğundan emin olun.

Kendi sanal ağınızı sağladığınızda FQDN veya özel IP kullanarak bağlanabilirsiniz. Dağıtımınızın bir parçası olarak yeni bir sanal ağ oluştururken sanal ağ eşlemesini de kullanabilirsiniz. Yeni bir sanal ağ oluşturmayı seçerseniz, özel bir uç nokta üzerinden de bağlanabilirsiniz.

Bölüm ayarları

Slurm için Azure CycleCloud Çalışma Alanı üç tanımlı Slurm bölümü içerir:

• HTC: MPI olmayan işler için utanç verici derecede paralel.
• HPC: Çoğunlukla InfiniBand desteği olan veya olmayan VM türlerini kullanan sıkı bir şekilde bağlanmış MPI işleri için.
• GPU: InfiniBand desteği olan veya olmayan VM türlerini kullanan MPI ve MPI olmayan GPU işleri için.

CycleCloud'un dinamik olarak oluşturduğu her bölüm için görüntüyü ve en fazla düğüm sayısını ayarlayabilirsiniz. Yalnızca HTC bölümü, spot örnekleri kullanmanıza olanak tanır, çünkü spot örnekleri HPC ve GPU işlerinde iyi çalışmaz.

OnDemand'i açma

Open OnDemand'ı kullanmak için onay kutusunu seçin ve aşağıdaki bilgileri girin:

• resim adı,
• sistemin kullanıcı adını (contoso.com) almak için kullandığı etki alanı adı (user@contoso.com) ve bunu CycleCloud'un kimlik doğrulaması için yönettiği yerel Linux hesabıyla (user) eşleştirmek,
• Open OnDemand web sunucusunun tam etki alanı adı (FQDN) (özel IP adresini kullanmak istiyorsanız boş bırakın).
• mevcut bir Microsoft Entra ID uygulamasını kullanmayı veya daha sonra manuel olarak kaydetmeyi planlıyorsanız. Automatically register Entra ID application , yalnızca CLI dağıtımı kullandığınızda görüntülenen ek bir seçenektir.

Uyarı

Kullanıcı kimlik doğrulaması için bir Microsoft Entra ID uygulaması gerekir. Betiklerimiz uygulama oluşturmazsa el ile oluşturun. Daha fazla bilgi için bkz. Slurm için Azure CycleCloud ve Azure CycleCloud Çalışma Alanı ile kullanmak üzere Microsoft Entra uygulama kaydı oluşturma.

Gelişmiş

Küme işlem düğümleri ve yeni dosya sistemi kaynakları için kullanılabilirlik alanlarını etkinleştirebilirsiniz. İşlem düğümlerini ve depolamayı aynı kullanılabilirlik alanına yerleştirmek, aralarında en az gecikme olmasını sağlar.

Etiketler

Gerekli kaynaklara uygun etiketleri atayın. CycleCloud, sanal makineleri dinamik olarak sağlar ve bunlara Düğüm Dizisi etiketleri uygular.

Gözden geçirme ve oluşturma

Seçeneklerinizi gözden geçirin. Bu adım bazı doğrulamaları da içerir.

Doğrulamalar tamamlandığında, dağıtımı başlatmak için Oluştur'u seçin.

Dağıtım durumunu ve adımlarını izleyin.

Dağıtımınızı kontrol edin

Belirttiğiniz kullanıcı adı ve SSH anahtarlarıyla, dağıtım sırasında Bastion kullanarak ccw-cyclecloud-vm bağlanın.

Bağlandıktan sonra her şeyin doğru olduğunu doğrulamak için cloud-init günlüklerini denetleyin.

$tail -f -n 25 /var/log/cloud-init-output.log
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Starting cluster ccws....
----------------------------
ccws : allocation -> started
----------------------------
Resource group: 
Cluster nodes:
    scheduler: Off -- --  
Total nodes: 1
CC start_cluster successful
/
exiting after install
Cloud-init v. 23.4-7.el8_10.alma.1 running 'modules:final' at Wed, 12 Jun 2024 10:15:53 +0000. Up 11.84 seconds.
Cloud-init v. 23.4-7.el8_10.alma.1 finished at Wed, 12 Jun 2024 10:28:15 +0000. Datasource DataSourceAzure [seed=/dev/sr0].  Up 754.29 seconds

Ardından, istemci makinenizle CycleCloud VM arasında bağlantı kurun. Şirketinizin BT departmanının, şirketiniz izin veriyorsa VPN, Bastion tüneli veya ekli genel IP üzerinden bağlantı kurmanıza yardımcı olması gerekebilir. Tarayıcınızdan https://<cyclecloud_ip> adresine giderek web arabirimine erişin. Dağıtım sırasında sağladığınız kullanıcı adı ve parolayla oturum açın. Hem zamanlayıcının hem de oturum açma düğümlerinin çalıştığını doğrulayın.

Kaynaklar

• Slurm için Azure CycleCloud ve Azure CycleCloud Çalışma Alanı ile kullanmak üzere bir Microsoft Entra uygulama kaydı oluşturma
• CycleCloud ile Open OnDemand'ı yapılandırma
• Kayıtlı Microsoft Entra ID uygulamanıza kullanıcı ekleme
• Bastion aracılığıyla CycleCloud Portalı'na bağlanma
• Bastion aracılığıyla Oturum Açma Düğümüne bağlanma
• CLI kullanarak Slurm ortamı için CycleCloud Çalışma Alanı dağıtma