Slurm için Azure CycleCloud Çalışma Alanı nedir?

Slurm, yapay zeka, HPC ve bulut bilişim için en popüler ve yaygın olarak kullanılan açık kaynak iş yükü yöneticilerinden biridir. Slurm ile bir dizi işlem düğümü arasında büyük ölçekli paralel ve dağıtılmış uygulamalar çalıştırabilirsiniz. İş zamanlama, kaynak yönetimi, hataya dayanıklılık ve güç yönetimi gibi özellikler sağlar. Dünyanın en iyi süper bilgisayarlarının, araştırma enstitülerinin, üniversitelerin ve kuruluşların birçoğu Slurm kullanıyor.

Ancak, özellikle bulut ortamını veya Slurm yapılandırmasını bilmiyorsanız, bulutta Slurm kümelerini ayarlamak ve yönetmek zor olabilir ve zaman alabilir. İşlem düğümlerini sağlama ve ölçeklendirme, Slurm yazılımını yükleme ve güncelleştirme, ağ ve depolamayı yapılandırma, küme durumunu ve performansını izleme ve sorunları giderme gibi görevleri işlemeniz gerekir. Bu görevler, temel araştırmalarınızın veya iş hedeflerinizin dikkatini dağıtabilir ve yapay zeka ve HPC iş yüklerinizin üretkenliğini ve verimliliğini azaltabilir.

Slurm için Azure CycleCloud Çalışma Alanı, Azure'da CycleCloud ile önceden tanımlanmış Slurm kümeleri oluşturmak, yapılandırmak ve dağıtmak için kullanabileceğiniz bir Azure Market çözüm şablonudur. Şablonu dağıtmak için önceden Azure veya Slurm bilgisine ihtiyacınız yok, ancak ortamı işletmek ve özelleştirmek bu becerileri gerektirir. Çözüm, kapsayıcılı AI/HPC Slurm işlerini desteklemek için PMix v4, Pyxis ve enroot ile Slurm kümelerini önceden yapılandırır. SSH veya Visual Studio Code kullanarak sağlanan giriş düğümüne erişerek Slurm işlerini göndermek ve yönetmek gibi yaygın görevleri gerçekleştirebilirsiniz.

Azure CycleCloud bu görevlerden bazılarını gerçekleştirmenize zaten izin veriyor olsa da yapay zeka/HPC altyapısını sizin için dağıtmaz. CycleCloud'u yükleme ve yapılandırma, ağ ve depolamayı yapılandırma ve Slurm kümesi oluşturma ve yapılandırma gibi görevlerle ilgilenmeniz gerekir. Slurm için Azure CycleCloud Çalışma Alanı, bu görevleri sizin için doğrudan Azure portalından veya Azure CLI aracılığıyla dağıtabileceğiniz bir Market çözümü şablonunda yürütür. Günler veya haftalar içinde değil, dakikalar içinde hazırsınız.

Bir Azure orkestrasyon seçeneği seçin

Ekibinizin ihtiyaç duyduğu planlama deneyimi ve altyapı kontrolü seviyesine göre bir seçenek seçin:

Seçenek En uygun İşletim modeli
Slurm için Azure CycleCloud Çalışma Alanı HPC veya yapay zeka iş yükleri için hazır bir Slurm ortamı isteyen ekipler Bir Marketplace çözümü, Azure aboneliğinizde CycleCloud, Slurm, ağ, depolama ve erişim bileşenlerini yerleştirir.
Azure CycleCloud Slurm dışında bir zamanlayıcı, özel küme topolojisi veya mevcut on-premises iş akışlarıyla yakın uyum gerektiren HPC ortamları CycleCloud'u kurup zamanlayıcı, küme, ağ ve depolama sistemlerini yapılandırıyorsunuz. CycleCloud, Azure altyapısını sağlar ve otomatik ölçekler.
Azure Batch Zamanlayıcı yazılım çalıştırmanızı gerektirmeyen paralel ve yüksek verimlilikli iş yükleri Azure, zamanlama hizmeti sunar. Batch API’leri ve araçlarıyla geliştirme yaparken, Batch havuzları, düğümleri, işleri ve görevleri yönetir.

Mevcut ortamınızı belirleyici faktör olarak kullanın:

Başlangıç noktası Tercih Neden?
Slurm’un ve önceden tanımlanmış ağ, depolama, erişim ve küme mimarisinin gereksinimlerinizi karşılamasını istiyorsunuz. Slurm için Azure CycleCloud Çalışma Alanı Marketplace çözümü, çalışan bir Slurm ortamına giden yolu kısaltır ve kaynakları aboneliğinizde korur.
Slurm dışında bir zamanlayıcıya ihtiyacınız var ya da çözüm tasarımının ötesinde topoloji, zamanlayıcı politikaları veya altyapıyı özelleştirmeniz gerekir. Azure CycleCloud CycleCloud, zamanlayıcı ve küme yapılandırması üzerinde kontrol sağlar.
Uygulamanız havuzlar, işler ve görevler kullanabilir ve zamanlayıcı uyumluluğu gerektirmez. Azure Batch Batch, zamanlamayı bir hizmet olarak sağlar ve Slurm'u çalıştırma ihtiyacını ortadan kaldırır.

Yönetilen bir platform hizmeti bekliyorsanız Workspace for Slurm seçmeyin. Ekibiniz hâlâ dağıtılan Azure kaynaklarına, Slurm yapılandırmasına, güvenliklere, izlemeye, yükseltmelere ve iş yükü işlemlerine sahip. Önceden tanımlanmış mimari gerekli topoloji veya entegrasyonu karşılamadığında özel CycleCloud seçin.

Üretim uygulamasından önce, Workspace for Slurm'un neden uyduğunu, hangi alternatifleri reddettiğinizi, dağıtımın yeşil alan olup olmadığını, mevcut kaynakları yeniden kullanıp kullanmadığını, ağ ve kimlik tasarımını, depolama kıyaslamasını, bölgesel VM kotası ve kapasitesini, kurtarma yaklaşımını, operasyon sahibini ve temsilci iş başına zaman ve maliyeti kaydedin. Dağıtım planlaması ile başlayın. Özel bir CycleCloud kümesi için bkz. HPC kümelerini planlamak ve boyutlandırmak.

Slurm için Azure CycleCloud Çalışma Alanı'nın avantajları

Azure CycleCloud, şirket içi yapay zeka/HPC iş yükünüzün bir kısmını kaldırıp kaydırmak veya yeni bir iş yükü oluşturmak için Azure'da yapay zeka/HPC ortamı oluşturmak istediğinizde harika bir çözümdür. Ancak tam kapsamlı bir uçtan uca yapay zeka/HPC ortamı oluşturmak kolay bir iş değildir. Ağınızı nasıl tasarlayabileceğinize, paylaşılan dosya sistemi olarak hangi depolama bileşenini kullanacağınıza, iş yükünüzü çalıştırmak için hangi VM türünün kullanılacağına ve projenizin teslimini karmaşık hale getirebilecek birçok küçük şeye karar vermeniz gerekir.

Slurm için Azure CycleCloud Çalışma Alanı, Azure'da Slurm iş yüklerini çalıştırmak isteyen kullanıcılar için aşağıdakiler gibi çeşitli avantajlar sunar:

  • Kolay ve hızlı küme oluşturma: GUI'deki birkaç basit adımı izleyerek Azure'da birkaç dakika içinde Slurm kümeleri oluşturabilirsiniz. Bu işlem, Slurm için Azure CycleCloud Çalışma Alanı olmadan geçmişteki çalışma günlerinden veya haftalardan daha hızlıdır. Çeşitli Azure sanal makine (VM) boyutları ve türleri arasından seçim yapabilirsiniz. Düğüm sayısı, ağ yapılandırması, Azure NetApp Files'dan Azure Yönetilen Lustre Dosya Sistemi'ne depolama seçenekleri ve Slurm parametreleri gibi küme ayarlarını özelleştirebilirsiniz.

  • Esnek ve dinamik küme yönetimi: Azure CycleCloud Slurm kümelerinin ölçeğini büyütür veya küçültür. Küme durumunu, performansını ve kullanımını izleyebilirsiniz. GUI'de küme günlüklerini ve ölçümlerini görüntüleyebilirsiniz. Ayrıca artık gerekli olmadığında Slurm kümelerinizi silebilir ve yalnızca kullandığınız kaynaklar için ödeme yapabilirsiniz.

Slurm için azure cyclecloud çalışma alanını nasıl oluşturabilirim?

Slurm için Azure CycleCloud Çalışma Alanı'nı Azure Market'ten veya Azure CLI kullanarak dağıtabilirsiniz. Market'ten dağıtmak için Slurm araması yapın ve Oluştur'u seçin. Azure CLI kullanarak dağıtmak için önce bir giriş parametresi dosyası oluşturmanız ve ardından komutunu kullanarak az deployment sub create dağıtmanız gerekir. Ayrıntılı yönergeler için bkz . CLI kullanarak CycleCloud Slurm Çalışma Alanı ortamını dağıtma.

Slurm için Azure CycleCloud Çalışma Alanı Ne Değildir?

Slurm için Azure CycleCloud Çalışma Alanı bir PaaS hizmeti değildir. Altyapının tamamı kiracınıza dağıtılır ve bu sayede her şeyi (yeşil alan dağıtımı) dağıtabilir veya hedef kaynak grubu, sanal ağ, Azure NetApp Files ve daha fazlası gibi yeniden kullanılacak mevcut kaynakları (brownfield dağıtımı) belirtebilirsiniz.

Slurm Dağıtılan Ortamı için Azure CycleCloud Çalışma Alanı Nasıl Görünür?

Genel Bakış Mimarisi

Slurm için Azure CycleCloud Çalışma Alanı'nın dağıttığı tipik mimari aşağıda verilmiştir. Mimaride CycleCloud çalıştırmak için sanal makine, kullanıcı giriş dizinleri için paylaşılan dosya sistemi ve CycleCloud projeleri depolaması için bir depolama hesabı gibi zorunlu kaynaklar bulunur.

Slurm için Azure CycleCloud Çalışma Alanı sanal ağı dağıtabilir veya mevcut bir sanal ağı kaynak oluşturmak için kullanabilirsiniz. İsteğe bağlı olarak, kendi alt ağında Azure Yönetilen Lustre Dosya Sistemi oluşturabilirsiniz.

Şirketinizin güvenlik kuralları genel IP adreslerine izin vermiyorsa (ve birçoğu izin vermiyorsa), merkez-uç düzenindeki mevcut bir sanal ağ ile sanal ağ eşlemesi oluşturabilirsiniz. Hub, sanal ağ geçidi veya Azure Bastion gibi tüm bağlantı hizmetlerini içerir.

Son olarak, genel IP ve VPN olmayan bir ortamda Bastion gerekir. Bastion, CycleCloud web portalına güvenli erişim sağlar ve kimlik doğrulama düğümlerine bağlanmak için SSH kullanmanızı sağlar.

Sonraki Adımlar