CycleCloud: Temel kavramlar

En basit haliyle, Yüksek Performanslı Bilgi İşlem (HPC) sistemi, yüksek performanslı dosya sistemleri tarafından desteklenen ve düşük gecikmeli ağlarla birbirine bağlanan bir hesaplama kaynakları havuzudur. HPC zamanlayıcıları, işleri zamanlayan yazılım uygulamaları, genellikle bu hesaplama kaynaklarını yönetir.

Azure'da sanal makineler, diskler ve ağ arabirimleri gibi temel altyapı birimlerinden tek tek HPC sistemleri oluşturmak, özellikle de bu kaynaklar kısa ömürlüyse ( yalnızca HPC görevini çözmek için gereken süre boyunca mevcutsa) zahmetli olabilir. Ayrıca, çeşitli iş birimlerine, araştırma ekiplerine veya kişilere göre uyarlanmış birden çok ayrı HPC ortamı oluşturmak isteyebilirsiniz. Bu birden çok HPC sisteminin yönetilmesi operasyonel olarak karmaşık olabilir.

CycleCloud nedir?

Azure CycleCloud, Azure üzerinde HPC sistemleri oluşturmaya yardımcı olan bir araçtır. Bu sistemleri, temel Azure yapı taşları yönetme zahmetine girmeden HPC görevlerine göre esnek bir şekilde boyutlandıracak şekilde düzenler. Deneyimli HPC uzmanlarından oluşan bir ekip, CycleCloud'ı HPC yöneticileri ve kullanıcıları, özellikle de Azure'da kendi iç HPC altyapılarına benzeyen HPC sistemleri oluşturmak isteyen kullanıcılar için tasarladı.

CycleCloud, Azure'daki Linux VM'sine veya Azure API'lerine ve kaynaklarına erişimi olan bir şirket içi sunucuya yüklediğiniz bir uygulama sunucusudur. CycleCloud, zamanlayıcıları ve kullanıcı uygulamalarını tümleştirebilen CycleCloud kümeleri oluşturmak için Azure VM'lerini satın alır ve sağlar. CycleCloud, çeşitli HPC zamanlayıcıları için otomatik ölçeklendirme entegrasyonları ve Azure VM'lerinde çalışan bir CycleCloud ajanı da sağlar.

Uygulama sunucusu

Bu uygulama sunucusu şunları sağlar:

• Azure'da HPC sistemleri oluşturmak ve yönetmek için bir REST API'si.
• HPC sistemlerini yönetmek ve izlemek için kullandığınız grafik kullanıcı arabirimi.
• Mevcut iş akışlarına CycleCloud entegrasyonunu kolaylaştıran bir CLI.
• Dahili bir NoSQL veri deposu, küme ve düğüm durumunu önbelleğe alır.
• Azure VM'lerini alıp yöneten bir ayırma ve düzenleme sistemi.
• Mevcut sanal makineler için durum değişikliklerini bildiren bir düğüm izleme sistemi.

Entegrasyonlar

CycleCloud ayrıca ortak zamanlayıcılar ve Azure VM'leri ile tümleştirmeler sağlar. Bu tümleştirmeler şunları sağlar:

• Hazırlanmış bir VM'yi HPC düğümüne dönüştürmek için bir düğüm hazırlama ve yapılandırma sistemi.
• Yüksek Performanslı Hesaplama (HPC) zamanlayıcılarının görev gereksinimlerini Azure kaynaklarına dönüştüren HPC zamanlayıcıları için otomatik ölçeklendirme.

CycleCloud'un yapabilecekleri

CycleCloud, Azure'da HPC sistemlerini dağıtan HPC operatörlerini (yöneticiler ve kullanıcılar) hedefler. HpC zamanlayıcısından uygulama yüklemeleri ve veri erişimi için dosya sistemi bağlama noktalarına kadar dahili olarak çalıştırdıkları altyapıyı çoğaltmak isterler. Bu kullanıcılar özellikle iç işlemlerini yeniden uygulamak zorunda kalmadan uygulamalar, iş akışı altyapıları ve hesaplama işlem hatları için destek arar.

CycleCloud, HPC sisteminizi açıklamanızı sağlayan zengin ve bildirim temelli bir şablon söz dizimi sağlar. Her düğüme dağıttığınız küme düğümlerinin sayısını ve türlerini, bağlama noktalarını ve uygulamaları içeren küme topolojisini tanımlayabilirsiniz. CycleCloud PBSPro, Slurm, IBM LSF, Grid Engine ve HT Condor gibi HPC zamanlayıcılarıyla çalışacak şekilde tasarlanmıştır. Her zamanlayıcıda farklı kuyruklar oluşturabilir ve bunları Azure'da farklı VM boyutlarındaki işlem düğümleriyle eşleyebilirsiniz. Ayrıca, otomatik ölçeklendirme eklentileri zamanlayıcı ana düğümleriyle entegre edilmiştir. Her sistemdeki iş kuyruklarını dinler ve uygulama sunucusunda çalışan otomatik ölçeklendirme REST API'siyle etkileşim kurarak işlem kümesini boyutlandırırlar.

CycleCloud, HPC düğümleri sağlamanın ve oluşturmanın yanı sıra, bir sanal makineyi hazırlama ve yapılandırmaya yönelik bir çerçeve de sağlar. Çıplak vm'yi HPC sisteminin işlevsel bir bileşenine dönüştürmek için bir sistem sağlar. Bu çerçeve aracılığıyla, bir VM'de son aşama yapılandırmasını yapabilirsiniz.

Ayrıca, CycleCloud şu özellikleri sağlar:

• Kullanıcı erişimi

  CycleCloud, bir HPC sisteminin her düğümünde yerel kullanıcı hesapları oluşturmak için yerleşik desteğe sahiptir. Bu sistemle, bir dizin hizmeti dağıtmadan tek bir yönetim düzlemi üzerinden kullanıcı erişimini denetleyebilirsiniz.

• İzleme

  Düğüm düzeyi metrikler toplanır ve CycleCloud kullanıcı arayüzünde görüntülenir. Bu ölçümler, sistemdeki yükü izlemek için kullanışlıdır. Bunları raporlama ve uyarı hizmetlerine bağlayabilirsiniz.

• Loglama

  CycleCloud, düğüm ve uygulama sunucusu seviyesinde aktiviteler ve olaylar için bir kayıt sistemi sağlar.

• Taşınabilir -lik

  Sistem, belirli bir VM görüntüsünü veya işletim sistemini kullanmanızı zorunlu yapmaz. CycleCloud, HPC düğümlerinde en önemli Windows ve Linux işletim sistemlerini destekler. Ayrıca, kendi VM görüntünüzü derleyebilir ve HPC sisteminizde kullanabilirsiniz.

• Kod olarak altyapı

  CycleCloud'da oluşturulan her şey şablonlar ve yapılandırma betiklerinde tanımlandığından, CycleCloud aracılığıyla dağıtılan HPC sistemlerini yinelenebilir ve taşınabilir hale getirebilirsiniz. Bu yaklaşım HPC sistemlerini farklı ortamlarda dağıtan operatörler için tutarlılık sağlar: Korumalı Alan, Geliştirme, Test ve Üretim. Operatörler, farklı iş grupları veya ekipleri için muhasebe işlemlerini ayırmak amacıyla aynı HPC sistemlerini de kullanabilirler.

• Gevşek bağlı veya sıkı bağlı iş yükleri

  CycleCloud tarafından oluşturulan HPC kümeleri, ölçeğin (kümenin boyutu) birincil sorun olduğu, yalnızca gevşek bir şekilde bağlanmış veya oldukça paralel işler için değil, aynı zamanda başka işler için de destek sağlayacak şekilde tasarlanmıştır. CycleCloud kümeleri, sıkı bağlı veya MPI tabanlı iş yüklerini destekler ve düğüm yakınlığı ile ağ gecikmesinin kritik olduğu durumlar için Azure'ın InfiniBand omurgası göz önünde bulundurularak tasarlanmıştır. CycleCloud'un desteklediği ölçeklendirme ve sıkı bağlı kavramlar, zamanlayıcı entegrasyonlarına yerleşmiştir.

Küme ve Düğüm Kavramlarına Devam Et