Azure'da yüksek performanslı bilgi işlem (HPC)

  • Makale

HPC'ye giriş

"Büyük işlem" olarak da adlandırılan yüksek performanslı bilgi işlem (HPC), karmaşık matematiksel görevleri çözmek için çok sayıda CPU veya GPU tabanlı bilgisayar kullanır.

HPC birçok sektörde en zor problemlerden bazılarını çözmek için kullanılır. Bunlar şu tür iş yükleridir:

  • Genomiks
  • Petrol ve doğalgaz simülasyonları
  • Finance
  • Yarı iletken tasarımı
  • Mühendislik
  • Hava durumu modelleme

Bulutta HPC ne açılardan farklıdır?

Şirket içi HPC sistemi ile buluttaki bir sistem arasındaki temel farklardan biri, kaynakların gerektiğinde dinamik olarak eklenebilmesi ve kaldırılabilmesidir. Dinamik ölçeklendirme işlem kapasitesinin yarattığı sorunları ortadan kaldırır ve bunun yerine müşterilerin iş gereksinimlerine göre altyapılarını doğru boyutlandırmalarına olanak tanır.

Aşağıdaki makalelerde bu dinamik ölçeklendirme özelliğiyle ilgili daha fazla ayrıntı sağlanır.

Uygulama denetim listesi

Azure'da kendi HPC çözümünüzü uygulamak istiyorsanız, aşağıdaki konuları gözden geçirdiğinizden emin olun:

  • Gereksinimleriniz temelinde uygun mimariyi seçin
  • İş yükünüz için hangi işlem seçeneklerinin uygun olduğunu öğrenin
  • İhtiyaçlarınızı karşılayacak doğru depolama çözümünü belirleyin
  • Tüm kaynaklarınızı nasıl yöneteceğinize karar verin
  • Uygulamanızı bulut için iyileştirin
  • Altyapınızın güvenliğini sağlayın

Altyapı

HPC sistemi oluşturmak için gereken birçok altyapı bileşeni vardır. HPC iş yüklerinizi nasıl yönetmeyi seçerseniz seçin, işlem, depolama ve ağ temel bileşenleri sağlar.

HPC mimarisi örnekleri

AZURE'da HPC mimarinizi tasarlamanın ve uygulamanın birçok farklı yolu vardır. Binlerce işlem çekirdeğine ölçeklendirilebilen HPC uygulamaları şirket içi kümeleri genişletebilir veya bulutta %100 yerel bir çözüm olarak çalıştırabilir.

Aşağıdaki senaryolarda HPC çözümlerini oluşturmak için yaygın yollardan birkaçı açıklanmıştır.

  • Diyagram, Azure'da bilgisayar destekli mühendislik hizmetleri için örnek HPC mimarisini gösterir.

    Azure üzerinde bilgisayar destekli mühendislik

    Azure üzerinde bilgisayar destekli mühendisliğe (CAE) yönelik bir hizmet olarak yazılım (SaaS) platformu sağlayın.

  • Diyagramda, Azure'da hesaplamalı akışkanlar dinamiği simülasyonları için örnek HPC mimarisi gösterilmektedir.

    Azure üzerinde hesaplamalı akışkanlar dinamiği (CFD) benzetimleri

    Azure üzerinde hesaplamalı akışkanlar dinamiği (CFD) simülasyonlarını yürütün.

  • Diyagram, Azure'da 3B video işleme için örnek HPC mimarisini gösterir.

    Azure üzerinde 3B video işleme

    Azure Batch hizmetini kullanarak Azure’da yerel HPC iş yüklerini çalıştırın

İşlem

Azure hem CPU hem de GPU yoğun iş yükleri için iyileştirilmiş çeşitli boyutlar sunar.

CPU tabanlı sanal makineler

GPU özellikli sanal makineler

N serisi sanal makinelerde, yapay zeka (AI) öğrenmesi ve görselleştirmesi gibi yoğun işlem veya grafik kullanılan uygulamalar için tasarlanmış NVIDIA GPU'ları bulunur.

Depolama

Büyük ölçekli Batch ve HPC iş yüklerinin, geleneksel bulut dosya sistemlerinin kapasitelerini aşan veri depolama ve erişim talepleri vardır. Azure'da HPC uygulamalarının hem hız hem de kapasite gereksinimlerini yöneten birçok çözüm vardır:

Azure'da Lustre, GlusterFS ve BeeGFS karşılaştırması hakkında daha fazla bilgi için Azure'da Paralel Dosya Sistemleri e-kitabı ve Azure'da Lustre blogunu gözden geçirin.

Ağ

H16r, H16mr, A8 ve A9 sanal makineleri yüksek aktarım hızına sahip arka uç RDMA ağına bağlanabilir. Bu ağ, MPI veya Intel MPI olarak bilinen Microsoft İleti Geçirme Arabirimi altında çalışan sıkı bir şekilde bağlanmış paralel uygulamaların performansını iyileştirebilir.

Yönetim

Kendi kendinize yapın

Azure'da sıfırdan bir HPC sistemi oluşturmak önemli miktarda esneklik sunar, ancak genellikle çok yoğun bakım gerektirir.

  1. Azure sanal makinelerinde veya Sanal Makine Ölçek Kümeleri kendi küme ortamınızı ayarlayın.
  2. Önde gelen iş yükü yöneticilerini, altyapıyı ve uygulamaları dağıtmak için Azure Resource Manager şablonlarını kullanın.
  3. MPI veya GPU iş yüklerinin özelleştirilmiş donanım ve ağ bağlantılarını içeren HPC ve GPU VM boyutlarını seçin.
  4. G/Ç yoğunluklu iş yükleri için yüksek performanslı depolama alanı ekleyin.

Karma ve bulut seri aktarımı

Azure'a bağlanmak istediğiniz mevcut bir şirket içi HPC sisteminiz varsa, başlamanıza yardımcı olacak birkaç kaynak vardır.

İlk olarak, belgelerde Şirket içi ağı Azure'a bağlama seçenekleri makalesini gözden geçirin. Buradan, bu bağlantı seçenekleri hakkında ek bilgi bulabilirsiniz:

Güvenli bir ağ bağlantısı kurduktan sonra, mevcut iş yükü yöneticinizin seri aktarım özellikleriyle isteğe bağlı bulut bilişim kaynaklarını kullanmaya başlayabilirsiniz.

Market çözümleri

Azure Market sunulan birçok iş yükü yöneticisi vardır.

Azure Batch

Azure Batch , büyük ölçekli paralel ve HPC uygulamalarını bulutta verimli bir şekilde çalıştırmaya yönelik bir platform hizmetidir. Azure Batch, yönetilen sanal makineler havuzunda çalıştırılacak işlem yoğunluklu işi zamanlar ve işinizin gereksinimlerini karşılayacak işlem kaynaklarını otomatik olarak ölçekler.

SaaS sağlayıcıları ve geliştiricileri Batch SDK'larını ve araçlarını kullanarak HPC uygulamalarını veya kapsayıcı iş yüklerini Azure'la tümleştirebilir, verileri Azure'a hazırlayabilir ve iş yürütme işlem hatları oluşturabilir.

Azure Batch'te tüm hizmetler Bulutta çalıştırılırken, aşağıdaki görüntüde mimarinin Azure Batch ile nasıl göründüğü gösterilir ve sonuçlar ve raporlar şirket içi ortamınıza gönderilebilirken ölçeklenebilirlik ve iş zamanlama yapılandırmaları Bulutta çalışır.

Diyagramda Azure Batch için örnek HPC mimarisi gösterilmektedir.

Azure CycleCloud

Azure CycleCloud Azure’da herhangi bir zamanlayıcı (örn. Slurm, Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro veya Symphony) kullanarak HPC iş yüklerini yönetmenin en kolay yolunu sağlar

CycleCloud ile şunlar yapılabilir:

  • Tam kümeleri ve zamanlayıcı, bilgi işlem VM’leri, depolama, ağ ve önbellek dahil diğer kaynakları dağıtma
  • İş, veri ve bulut iş akışlarını düzenleme
  • Yöneticilere hangi kullanıcıların hangi işleri nerede ve hangi maliyetle çalıştırabileceği üzerinde tam denetim verme
  • Maliyet denetimleri, Active Directory tümleştirmesi, izleme ve raporlamayı içeren gelişmiş ilke ve yönetim özellikleri ile kümeleri özelleştirme ve iyileştirme
  • Geçerli iş zamanlayıcınızı ve uygulamalarınızı değişiklik yapmadan kullanma
  • Çeşitli HPC iş yükleri ve sektörler için yerleşik otomatik ölçeklendirme ve test edilmiş başvuru mimarilerinden yararlanma
Hibrit / bulut seri seri modeli

Bu Karma örnek diyagramında, bu hizmetlerin bulut ve şirket içi ortam arasında nasıl dağıtıldığını net bir şekilde görebiliriz. her iki iş yükünde de iş çalıştırma fırsatına sahip olma. Diyagramda Hibrit'te Azure'da CycleCloud için örnek HPC mimarisi gösterilmektedir.

Bulutta yerel model

Aşağıdaki buluta özel model örneği diyagramı, buluttaki iş yükünün şirket içi ortama bağlantıyı korurken her şeyi nasıl işleyeceğini gösterir.

Diyagram, Bulutta yerel modelde Azure'da CycleCloud için örnek HPC mimarisini gösterir.

Karşılaştırma grafiği

Özellik Azure Batch Azure CycleCloud
Scheduler Azure portalında (Bulutta Yerel) Batch API'leri, araçları ve komut satırı betikleri. Slurm, PBS Pro, LSF, Grid Engine ve HTCondor gibi standart HPC zamanlayıcılarını kullanın veya CycleCloud otomatik ölçeklendirme eklentilerini kendi zamanlayıcınızla çalışacak şekilde genişletin.
İşlem Kaynakları Hizmet Düğümleri Olarak Yazılım – Hizmet Olarak Platform Hizmet Olarak Platform Yazılımı – Hizmet Olarak Platform
İzleme Araçları Azure İzleyici Azure İzleyici, Grafana
Özelleştirme Özel görüntü havuzları, Üçüncü Taraf görüntüleri, Batch API erişimi. İşlevselliği özelleştirmek ve genişletmek, kendi zamanlayıcınızı dağıtmak ve mevcut iş yükü yöneticilerine destek sağlamak için kapsamlı RESTful API'sini kullanın
Tümleştirme Synapse Pipelines, Azure Data Factory, Azure CLI Windows ve Linux için Yerleşik CLI
Kullanıcı türü Geliştiriciler Klasik HPC yöneticileri ve kullanıcıları
İş Türü Batch, İş Akışları Sıkı bir şekilde bağlanmış (İleti Geçirme Arabirimi/MPI).
Windows Desteği Yes Zamanlayıcı seçimine bağlı olarak değişir

İş yükü yöneticileri

Aşağıda, Azure altyapısında çalıştırılabilecek örnek küme ve iş yükü yöneticileri yer alır. Azure sanal makinelerinde tek başına kümeler oluşturun veya şirket içi kümesinden Azure sanal makinelerine seri aktarım yapın.

Kapsayıcılar

Kapsayıcılar bazı HPC iş yüklerini yönetmek için de kullanılabilir. Azure Kubernetes Service (AKS) gibi hizmetler, Azure'a yönetilen bir Kubernetes kümesi dağıtmayı kolaylaştırır.

Maliyet yönetimi

Azure'da HPC maliyetiniz, birkaç farklı yolla yönetilebilir. Kuruluşunuza en uygun yöntemi bulmak için Azure satın alma seçeneklerini gözden geçirdiğinizden emin olun.

Güvenlik

Azure'daki en iyi güvenlik yöntemlerine genel bir bakış için Azure Güvenlik Belgelerini gözden geçirin.

Cloud Bursting bölümünde bulunan ağ yapılandırmalarına ek olarak, işlem kaynaklarınızı yalıtmak için bir merkez/uç yapılandırması uygulayabilirsiniz:

HPC uygulamaları

Azure'da özel veya ticari HPC uygulamaları çalıştırın. Bu bölümdeki çeşitli örnekler ek sanal makineler veya işlem çekirdekleriyle verimli bir şekilde ölçeklendirme açısından değerlendirilmiştir. Dağıtıma hazır çözümler için Azure Market'i ziyaret edin.

Not

Bulutta çalışmayla ilgili lisans ya da başka kısıtlamalar için satıcıyla birlikte ticari uygulamaları denetleyin. Satıcıların tümü kullandıkça öde lisansı sunmaz. Çözümünüz için bulutta bir lisans sunucusu gerekebilir, bu olmuyorsa şirket içi bir lisans sunucusuna bağlanın.

Mühendislik uygulamaları

Grafik ve işleme

AI ve derin öğrenme

MPI sağlayıcıları

Uzaktan görselleştirme

En düşük gecikme süresi, erişim ve Azure Sanal Masaüstü, Citrix veya VMware Horizon aracılığıyla uzaktan görselleştirmek için AZURE'da GPU destekli sanal makineleri HPC çıkışıyla aynı bölgede çalıştırın.

Performans karşılaştırmaları

Müşteri hikayeleri

HPC iş yükleri için Azure'ı kullanarak büyük başarılar elde eden birçok müşteri vardır. Aşağıda bu müşteri örnek olay incelemelerinin birkaçını bulabilirsiniz:

Diğer önemli bilgiler

  • Büyük ölçekli iş yüklerini çalıştırmayı denemeden önce vCPU kotanızın artırıldığından emin olun.

Sonraki adımlar

En son duyurular için aşağıdaki kaynaklara bakın:

Microsoft Batch Örnekleri

Bu öğreticiler, Microsoft Batch'te uygulama çalıştırma hakkında ayrıntılı bilgi sağlar: