Slurm için Azure CycleCloud Çalışma Alanı nedir?
Slurm, yapay zeka/HPC ve bulut bilişim için en popüler ve yaygın olarak kullanılan açık kaynak iş yükü yöneticilerinden biridir. Slurm, kullanıcıların bir dizi işlem düğümünde büyük ölçekli paralel ve dağıtılmış uygulamalar çalıştırmasına olanak tanır ve iş zamanlama, kaynak yönetimi, hataya dayanıklılık ve güç yönetimi gibi özellikler sağlar. Slurm dünyanın en iyi süper bilgisayarlarının, araştırma enstitülerinin, üniversitelerin ve kuruluşların birçoğu tarafından kullanılır.
Ancak, bulutta Slurm kümelerini ayarlamak ve yönetmek, özellikle bulut ortamı veya Slurm yapılandırması hakkında bilgi sahibi olmayan kullanıcılar için zorlayıcı ve zaman alabilir. Kullanıcıların işlem düğümlerini sağlama ve ölçeklendirme, Slurm yazılımını yükleme ve güncelleştirme, ağ ve depolamayı yapılandırma, küme durumunu ve performansını izleme ve sorunları giderme gibi görevlerle ilgilenmesi gerekir. Bu görevler kullanıcıların temel araştırma veya iş hedeflerinin dikkatini dağıtabilir ve yapay zeka/HPC iş yüklerinin üretkenliğini ve verimliliğini azaltabilir.
Slurm için Azure CycleCloud Çalışma Alanı, kullanıcıların Azure'da CycleCloud ile önceden tanımlanmış Slurm kümeleri oluşturmasına, yapılandırmasına ve dağıtmasına olanak tanıyan bir Azure Market çözüm şablonudur. Slurm kümeleri, kapsayıcılı AI/HPC Slurm işlerini desteklemek için PMix v4, Pyxis ve enroot ile önceden yapılandırılır. Kullanıcılar, Slurm işlerini gönderme ve yönetme gibi yaygın görevleri gerçekleştirmek için SSH veya Visual Studio Code kullanarak sağlanan oturum açma düğümüne erişebilir.
Azure CycleCloud bunlardan bazılarını yapmanıza zaten izin veriyor olsa da yapay zeka/HPC altyapısını sizin için dağıtmaz. Kullanıcıların CycleCloud'u yükleme ve yapılandırma, ağ ve depolamayı yapılandırma ve Slurm kümesini oluşturma ve yapılandırma gibi görevlerle ilgilenmesi gerekir. Slurm için Azure CycleCloud Çalışma Alanı, bu görevleri sizin için doğrudan Azure Portalı'ndan veya Azure CLI aracılığıyla dağıtabileceğiniz bir Market Çözümü Şablonunda yürütür. Günler veya haftalar içinde değil dakikalar içinde hazır olursunuz.
Slurm için Azure CycleCloud Çalışma Alanı'nın avantajları nelerdir?
Azure CycleCloud, şirket içi yapay zeka/HPC iş yükünüzün bir kısmını kaldırıp kaydırmak veya yeni bir iş yükü oluşturmak için Azure'da yapay zeka/HPC ortamı oluşturmak istediğinizde harika bir çözümdür. Ancak tam kapsamlı bir uçtan uca yapay zeka/HPC ortamı oluşturmak kolay bir iş değildir ve ağınızı nasıl tasarlamanız gerektiğine, paylaşılan dosya sistemi olarak hangi depolama bileşeninin kullanılacağına, iş yükünüzü çalıştırmak için hangi VM türüne ve projenizi karmaşık hale getirebilecek birçok küçük şeye karar vermeniz gerekir.
Slurm için Azure CycleCloud Çalışma Alanı, Azure'da Slurm iş yüklerini çalıştırmak isteyen kullanıcılar için aşağıdakiler gibi çeşitli avantajlar sunar:
Kolay ve hızlı küme oluşturma: Kullanıcılar, GUI'deki birkaç basit adımı izleyerek dakikalar içinde Azure'da Slurm kümeleri oluşturabilir. Bu, Slurm için Azure CycleCloud Çalışma Alanı olmadan geçmişteki günlerle veya haftalarla karşılaştırılmalıdır. Kullanıcılar çeşitli Azure sanal makine (VM) boyutları ve türleri arasından seçim yapabilir ve düğüm sayısı, ağ yapılandırması, Azure NetApp Files'dan Azure Yönetilen Lustre Dosya Sistemi'ne depolama seçenekleri ve Slurm parametreleri gibi küme ayarlarını özelleştirebilir.
Esnek ve dinamik küme yönetimi: Slurm kümelerinin ölçeği Azure CycleCloud tarafından artırılacak veya azaltılacaktır. Kullanıcılar ayrıca küme durumunu, performansını ve kullanımını izleyebilir ve GUI'de küme günlüklerini ve ölçümlerini görüntüleyebilir. Kullanıcılar artık gerekli olmadığında Slurm kümelerini silebilir ve yalnızca kullandıkları kaynaklar için ödeme yapabilir.
Slurm için Nasıl Azure CycleCloud Çalışma Alanı Oluşturabilirim?
Slurm için Azure CycleCloud Çalışma Alanı, Azure Market'ten veya Azure CLI kullanılarak dağıtılabilir. Market'ten dağıtmak için önce Slurm araması yapın, ardından Oluştur düğmesine tıklayın. Azure CLI kullanarak dağıtmak için önce bir giriş parametresi dosyası oluşturmanız ve ardından az deployment sub create komutunu kullanarak dağıtmanız gerekir. Cli kullanarak CycleCloud Slurm Çalışma Alanı ortamını dağıtma
Slurm için Azure CycleCloud Çalışma Alanı Nedir?
Slurm için Azure CycleCloud Çalışma Alanı bir PaaS hizmeti değildir: Altyapının tamamı kiracınıza dağıtılarak her şeyi dağıtmanıza (yeşil alan dağıtımı) veya hedef Kaynak Grubu, Sanal Ağ, Azure NetApp Files ve daha fazlası gibi yeniden kullanılacak mevcut kaynakları (brownfield dağıtımı) belirtmenize olanak tanır.
Slurm Dağıtılan Ortamı için Azure CycleCloud Çalışma Alanı Nasıl Görünür?
Slurm için Azure CycleCloud Çalışma Alanı tarafından dağıtılacak olan tipik mimari aşağıda verilmiştir. CycleCloud çalıştırmak için sanal makine, kullanıcıların giriş dizinleri için paylaşılan dosya sistemi, CycleCloud projeleri depolaması için bir depolama hesabı gibi zorunlu kaynaklar olacaktır.
Sanal Ağ, Slurm için Azure CycleCloud Çalışma Alanı tarafından veya kaynakların oluşturulacağı mevcut bir ağ tarafından dağıtılabilir. İsteğe bağlı olarak kendi alt akında bir Azure Yönetilen Lustre Dosya Sistemi oluşturulur.
Şirketinizin güvenlik kuralları genel IP'ye izin vermiyorsa (ve birçoğu izin verirse), her zamanki merkez ve uç düzeninde mevcut bir Sanal Ağ ile sanal ağ eşlemesi oluşturabilirsiniz. Ardından hub, Sanal Ağ Geçidi veya Azure Bastion gibi tüm bağlantı hizmetlerini içerir.
Son olarak, genel olmayan bir IP'de, VPN ortamında bir Bastion gerekli olacak ve oturum açma düğümlerinde CycleCloud web portalına ve SSH'ye bağlanmak için tüm güvenli bağlantıyı sağlayacaktır.
Sonraki Adımlar
- Slurm için Azure CycleCloud Çalışma Alanını Deneyin