Azure üzerinde yüksek performanslı bilgi işlem (HPC)
HPC'ye giriş
Büyük işlem olarak da adlandırılan yüksek performanslı bilgi işlem (HPC), karmaşık matematiksel görevleri çözmek için çok sayıda CPU veya GPU tabanlı bilgisayar kullanır.
HPC birçok sektörde en zor problemlerden bazılarını çözmek için kullanılır. Bunlar şu tür iş yükleridir:
Genomiks
Petrol ve doğalgaz simülasyonları
Finance
Yarı iletken tasarımı
Mühendislik
Hava durumu modelleme
Bulutta HPC ne açılardan farklıdır?
Şirket içi HPC sistemi ile buluttaki bir sistem arasındaki temel farklardan biri, kaynakların gerektiğinde dinamik olarak eklenebilmesi ve kaldırılabilmesidir. Dinamik ölçeklendirme işlem kapasitesinin yarattığı sorunları ortadan kaldırır ve bunun yerine müşterilerin iş gereksinimlerine göre altyapılarını doğru boyutlandırmalarına olanak tanır.
Aşağıdaki makalelerde bu dinamik ölçeklendirme özelliğiyle ilgili daha fazla ayrıntı sağlanır.
HPC sistemi oluşturmak için gereken birçok altyapı bileşeni vardır. HPC iş yüklerinizi nasıl yönetmeyi seçerseniz seçin, işlem, depolama ve ağ temel bileşenleri sağlar.
Compute
Azure hem CPU hem de GPU yoğun iş yükleri için optimize edilmiş çeşitli boyutlar sunar.
N serisi sanal makinelerde, yapay zeka (AI) öğrenmesi ve görselleştirmesi gibi yoğun işlem veya grafik kullanılan uygulamalar için tasarlanmış NVIDIA GPU'ları bulunur.
Büyük ölçekli Batch ve HPC iş yüklerinin, geleneksel bulut dosya sistemlerinin kapasitelerini aşan veri depolama ve erişim talepleri vardır. Azure'de HPC uygulamalarının hem hız hem de kapasite gereksinimlerini yöneten birçok çözüm vardır:
Azure üzerinde Lustre, GlusterFS ve BeeGFS karşılaştırması hakkında daha fazla bilgi için Azure e-kitabındaki Parallel Files Systems ve Azure blogundaki Lustre'yi gözden geçirin.
Ağ Kurma
H16r, H16mr, A8 ve A9 sanal makineleri yüksek aktarım hızına sahip arka uç RDMA ağına bağlanabilir. Bu ağ, MPI veya Intel MPI olarak bilinen Microsoft İleti Geçirme Arabirimi altında çalışan sıkı bağlı paralel uygulamaların performansını iyileştirebilir.
MPI veya GPU iş yüklerinin özelleştirilmiş donanım ve ağ bağlantılarını içeren HPC ve GPU VM boyutlarını seçin.
G/Ç yoğunluklu iş yükleri için yüksek performanslı depolama alanı ekleyin.
Hibrit ve bulut patlaması
Azure bağlanmak istediğiniz mevcut bir şirket içi HPC sisteminiz varsa, başlamanıza yardımcı olacak birkaç kaynak vardır.
Azure'a şirket içi bir ağı bağlama seçenekleri makalesini, belgelerdeki bağlantı seçenekleri bölümünde inceleyin. Buradan, bu bağlantı seçenekleri hakkında ek bilgi bulabilirsiniz:
Güvenli bir ağ bağlantısı kurduktan sonra, mevcut iş yükü yöneticinizin seri aktarım özellikleriyle isteğe bağlı bulut bilişim kaynaklarını kullanmaya başlayabilirsiniz.
Azure Batch, büyük ölçekli paralel ve HPC uygulamalarını bulutta verimli bir şekilde çalıştırmaya yönelik bir platform hizmetidir. Azure Batch, işlem yoğunluklu çalışmayı yönetilen bir sanal makine havuzunda çalışacak şekilde zamanlar ve işlem kaynaklarını işlerinizin gereksinimlerini karşılayacak şekilde otomatik olarak ölçeklendirebilir.
SaaS sağlayıcıları veya geliştiriciler BATCH SDK'larını ve araçlarını kullanarak HPC uygulamalarını veya kapsayıcı iş yüklerini Azure tümleştirebilir, verileri Azure için hazırlayabilir ve iş yürütme işlem hatları oluşturabilir.
Azure Batch tüm hizmetler Bulutta çalışır. Aşağıdaki görüntüde mimarinin Azure Batch ile nasıl göründüğü gösterilir ve sonuçlar ve raporlar şirket içi ortamınıza gönderilebilirken ölçeklenebilirlik ve iş zamanlama yapılandırmaları Bulutta çalışır.
Azure CycleCloud
Azure CycleCloud HPC iş yüklerini Azure'da herhangi bir zamanlayıcı (Slurm, Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro veya Symphony gibi) kullanarak yönetmenin en basit yolunu sağlar
CycleCloud ile şunlar yapılabilir:
Tam kümeleri ve diğer kaynakları; zamanlayıcı, bilgi işlem VM’leri, depolama, ağ ve önbellek dahil olmak üzere dağıtın.
İş, veri ve bulut iş akışlarını düzenleme
Yöneticilere hangi kullanıcıların hangi işleri nerede ve hangi maliyetle çalıştırabileceği üzerinde tam denetim verme
Maliyet denetimleri, Active Directory tümleştirme, izleme ve raporlama gibi gelişmiş ilke ve idare özellikleriyle kümeleri özelleştirme ve iyileştirme
Geçerli iş zamanlayıcınızı ve uygulamalarınızı değişiklik yapmadan kullanma
Çeşitli HPC iş yükleri ve sektörler için yerleşik otomatik ölçeklendirme ve test edilmiş başvuru mimarilerinden yararlanma
Hibrit / bulut yük boşaltma modeli
Bu Karma örnek diyagramında, bu hizmetlerin bulut ve şirket içi ortam arasında nasıl dağıtıldığını net bir şekilde görebiliriz. her iki iş yükünde de iş çalıştırma fırsatına sahip olma.
Bulutta yerel model
Aşağıdaki bulut yerel model örneği diyagramı, buluttaki iş yükünün şirket içi ortama bağlantıyı korurken her şeyi nasıl işleyeceğini gösterir.
Slurm, PBS Pro, LSF, Grid Engine ve HTCondor gibi standart HPC zamanlayıcılarını kullanın veya CycleCloud otomatik ölçeklendirme eklentilerini kendi zamanlayıcınızla çalışacak şekilde genişletin.
İşlem Kaynakları
Yazılım olarak Hizmet Düğümleri – Platform olarak Hizmet
Hizmet Olarak Platform Yazılımı – Platform Hizmeti Olarak Yazılım
İzleme Araçları
Azure İzleyici
Azure İzleyici, Grafana
Özelleştirme
Özel görüntü havuzları, Üçüncü Taraf görüntüleri, Batch API erişimi.
İşlevselliği özelleştirmek ve genişletmek, kendi zamanlayıcınızı dağıtmak ve mevcut iş yükü yöneticilerine destek sağlamak için kapsamlı RESTful API'sini kullanın
Entegrasyon
Microsoft Fabric içindeki Data Factory, Azure Data Factory, Azure CLI
Windows ve Linux içinBuilt-In CLI
Kullanıcı türü
Geliştiriciler
Klasik HPC yöneticileri ve kullanıcıları
İş Türü
Batch, İş Akışları
Sıkı bir şekilde bağlanmış (İleti Geçirme Arabirimi/MPI).
Windows Desteği
Evet
Zamanlayıcı seçimine bağlı olarak değişir
İş yükü yöneticileri
Aşağıda, Azure altyapısında çalışabilen küme ve iş yükü yöneticileri örnekleri verilmiştir. Azure VM'lerde bağımsız kümeler oluşturun veya şirket içi bir kümeden Azure VM'lerine geçiş yapın.
Kapsayıcılar bazı HPC iş yüklerini yönetmek için de kullanılabilir. Azure Kubernetes Service (AKS) gibi hizmetler, yönetilen bir Kubernetes kümesinin Azure'de dağıtılmasına basitlik getirir.
HPC maliyetinizi Azure yönetme işlemi birkaç farklı yolla yapılabilir. Kuruluşunuz için en uygun yöntemi bulmak için Azure satın alma seçeneklerini gözden geçirdiğinizden emin olun.
Güvenlik
Azure güvenlikle ilgili en iyi yöntemlere genel bakış için Azure Güvenlik Belgeleri gözden geçirin.
Cloud Bursting bölümünde bulunan ağ yapılandırmalarına ek olarak, işlem kaynaklarınızı yalıtmak için bir merkez/uç yapılandırması uygulayabilirsiniz:
Azure'de özel veya ticari HPC uygulamaları çalıştırın. Bu bölümdeki çeşitli örnekler ek sanal makineler veya işlem çekirdekleriyle verimli bir şekilde ölçeklendirme açısından değerlendirilmiştir. Dağıtıma hazır çözümler için Microsoft Market adresini ziyaret edin.
Uyarı
Bulutta çalışmayla ilgili lisans ya da başka kısıtlamalar için satıcıyla birlikte ticari uygulamaları denetleyin. Satıcıların tümü kullandıkça öde lisansı sunmaz. Çözümünüz için bulutta bir lisans sunucusu gerekebilir, bu olmuyorsa şirket içi bir lisans sunucusuna bağlanın.
EN düşük gecikme süresi, erişim ve Azure Sanal Masaüstü aracılığıyla uzaktan görselleştirmek için HPC çıkışıyla aynı bölgedeki Azure GPU destekli sanal makineleri çalıştırın.
`