Azure VM'lerinde büyük ölçekli HPC uygulama iş yüklerini hesaplama

Makale
10/10/2023

Büyük işlem terimi (HPC'ye başvuruda kullanılır), genellikle yüzlerce veya binlerce çekirdek gerektiren büyük ölçekli iş yüklerini açıklar. Görüntü işleme, sıvı dinamiği, finansal risk modelleme, petrol keşfi, ilaç tasarımı ve mühendislik gerilimi analizi gibi çeşitli senaryolar vardır.

Büyük işlem uygulamalarının tipik özellikleri şunlardır:

İş, pek çok çekirdekte aynı anda çalıştırılabilecek ayrı görevlere bölünebilir.
Her görev sonludur. Bir girdiyi alır, bir işlem yapar ve çıktı üretir. Uygulamanın tamamı sınırlı bir süreliğine (dakika-gün) çalışır. Yaygın bir desen, bir seri halinde birçok çekirdek ayarlamak ve uygulama tamamlandıktan sonra sıfıra inmektir.
Uygulamanın 7/24 ayakta kalması gerekmez. Ancak sistem düğüm hatalarını veya uygulama kilitlenmelerini işlemelidir.
Bazı uygulamalarda görevler birbirinden bağımsızdır ve paralel olarak çalıştırılabilir. Bazı durumlarda ise görevler birbirine sıkı bir şekilde bağlıdır, yani birbiriyle etkileşim kurmaları veya ara sonuç alışverişi yapmaları gerekir. Bu durumda, InfiniBand ve doğrudan uzak bellek erişimi (RDMA) gibi yüksek hızlı ağ teknolojileri kullanmayı göz önünde bulundurun.
İş yükünüze bağlı olarak, yoğun işlem gücü kullanımlı VM boyutlarını (H16r, H16mr ve A9) kullanabilirsiniz.

Azure, hem CPU hem de GPU yoğunluklu iş yükleri (hem işlem hem de görselleştirme) için iyileştirilmiş bir dizi VM örneği sunar. VM'ler, petrol ve gaz iş yüklerini çalıştırmak için idealdir.

Azure, InfiniBand özellikli donanıma sahip VM örnekleri sunan tek bulut platformudur. Bu özellik, rezervuar simülasyonu ve sismik iş yüklerini çalıştırmak için önemli bir performans avantajı sağlar. Geliştirilmiş performans, performans farkını daraltarak mevcut şirket içi altyapılara göre daha yakın veya daha iyi performans elde eder.

Azure VM'lerinin VM boyutları olarak bilinen birçok farklı seçeneği vardır. HPC ve GPU için iyileştirilmiş bilgi işlem için farklı vm boyutları serisi vardır. Kullanmak istediğiniz iş yükü için uygun VM boyutunu seçin. VM boyutlarını seçme hakkında daha fazla bilgi için bkz . Azure seçici aracında VM'lerin boyutları.

Tüm Azure ürünleri tüm Azure bölgelerinde kullanılamaz. Daha fazla bilgi için bölgeye göre kullanılabilir ürünlerin geçerli listesine bakın.

Azure işlem seçeneklerinizle ilgili en iyi yöntemler için Azure işlem bloguna bakın veya hizmet seçmek için Azure işlem hizmeti içeriğine bakın.

CPU tabanlı sanal makineler

GPU özellikli sanal makineler

N serisi VM'lerde yapay zeka (AI), öğrenme ve görselleştirme gibi yoğun işlem veya grafik kullanımı yoğun uygulamalar için tasarlanmış NVIDIA GPU'ları bulunur.

HPC SKU'ları yüksek performanslı senaryolar için özel olarak oluşturulur. Ancak Azure, HPC altyapınızda çalıştırdığınız belirli iş yükleri için uygun olabilecek başka SKU'lar da sunar. Bu SKU'ları daha ucuz donanımlarda etkili bir şekilde çalıştırabilirsiniz. Yaygın olarak kullanılan işlem SKU'larının bazıları E ve F serisidir.

HPC tasarımında dikkat edilmesi gerekenler

İş Zamanlayıcı , yönetilen bir sanal makine havuzunda çalıştırılacak işlem yoğunluklu çalışmayı zamanlamak için özel bir hizmettir. İşlem kaynaklarını işlerinizin gereksinimlerini karşılayacak şekilde otomatik olarak ölçeklendikleyebilirsiniz.

Azure Batch , büyük ölçekli HPC uygulamalarını çalıştırmaya yönelik yönetilen bir hizmettir. Azure Batch'i kullanarak bir VM havuzu yapılandırıp uygulamaları ve veri dosyalarını karşıya yüklersiniz. Ardından Batch hizmeti VM'leri yapılandırıp VM'lere görevler atar, görevleri çalıştırır ve ilerleme durumunu izler. Batch, değişen iş yüklerine yanıt olarak VM'lerin ölçeğini otomatik olarak artırıp küçültebilir. Batch ayrıca bir iş zamanlama işlevi de sağlar.

Azure CycleCloud , Azure'da HPC ve Big Compute kümelerini oluşturmaya, yönetmeye, çalıştırmaya ve iyileştirmeye yönelik bir araçtır. Azure CycleCloud ile kullanıcılar HPC Azure kümelerini dinamik olarak yapılandırabilir, hibrit ve bulut iş akışları için verileri ve işleri düzenleyebilir. Azure CycleCloud, Azure'da çeşitli iş yükü yöneticilerini (Kılavuz Altyapısı, HPC Pack, HTCondor, LSF, PBS Pro, Slurm veya Senfoni gibi) kullanarak HPC iş yüklerini yönetmenin en basit yolunu sağlar.

HPC tasarım önerileri

Hem rezervuar hem de sismik iş akışları genellikle işlem ve iş zamanlaması için benzer gereksinimlere sahiptir.
Bellek yoğunluklu sismik görüntüleme ve rezervuar simülasyonları için ağ gereksinimlerinizi göz önünde bulundursanız da Azure HPC, HBv2 ve HBv3 VM boyutları sunar.
Bellek bant genişliğine bağlı uygulamalar için HB VM'lerini ve işlem bağlantılı rezervuar simülasyonları için HC VM'lerini kullanın.
3B rezervuar modelleme ve sismik verileri görselleştirme işlemleri için NV VM'lerini kullanın.
GPU hızlandırılmış sismik FWI analizi için önerilen çözüm NCv4'dür. Veri yoğunluklu RTM işleme için NDv4 SKU, 7 TB kümülatif kapasiteye sahip NVMe sürücülerinin kullanılabilirliği sayesinde en iyi seçenektir. MPI iş yüklerine sahip HB serisi VM'lerde mümkün olan en iyi performansı elde etmek için işlemcilerin çekirdeklerine en uygun işlem sabitlemesini yapın. Daha fazla bilgi için Azure HB serisi VM'ler için en uygun MPI işlem yerleşimi blog gönderisine bakın. Burada açıklandığı gibi paralel uygulama işlemlerinin doğru sabitlenmiş olduğundan emin olmak için ayrılmış araçlar da sağlanır.
NDv4 serisi VM'lerin karmaşık mimarisi nedeniyle, GPU hızlandırmalı uygulamaları en iyi şekilde başlattığınızdan emin olmak için VM'leri yapılandırırken özellikle dikkat ettiğinizden emin olun. Azure yüksek performanslı bilgi işlem hakkında daha fazla bilgi için Azure ölçeklenebilir GPU VM blog gönderisine bakın.

HPC başvuru mimarisi

Enerji HPC ortamları için kullanım örneği ve başvuru mimarileri aşağıdadır.

Petrol ve gaz sismik ve rezervuar simülasyonu referans mimarisi kullanım örnekleri

Genellikle hem rezervuar hem de sismik iş akışlarının işlem ve iş zamanlaması için benzer gereksinimleri vardır. Ancak sismik iş yükleri, yüzlerce GB cinsinden ölçülebilecek potansiyel multi-PB depolama alanı ve aktarım hızı gereksinimleriyle depolama üzerindeki altyapıyı zorlar. Örneğin, tek bir sismik işleme projesi 500 TB ham veriyle başlayabilir ve bu da büyük olasılıkla birkaç PB uzun vadeli depolama alanı gerektirir. Aşağıda, uygulamanızı Azure'da çalıştırma hedeflerinize başarıyla ulaşmanıza yardımcı olabilecek birkaç başvuru mimarisi bulunmaktadır.

Sismik işleme için kullanım örneği ve başvuru mimarisi

Sismik işleme ve görüntüleme, petrol ve gaz işletmesi için temeldir çünkü araştırma verilerinin dışında bir alt yüz modeli oluştururlar. Alt yüzde olabilecekleri niteleme ve niceleme süreci genellikle jeobilimciler tarafından yürütülür. Coğrafi bilimciler genellikle veri merkezi ve buluta bağlı yazılımlar kullanır. Bazen sanal masaüstü teknolojisini uzaktan veya bulutta kullanarak yazılıma erişiyorlar.

Alt yüz modelinin kalitesi ve verilerin kalitesi ve çözümü, kiralamalarda teklif verme veya nerede detaylandırma yapılacağına karar verme konusunda doğru iş kararlarını vermek için çok önemlidir. Sismik görüntü yorumlama görüntüleri kuyuların konumunu iyileştirebilir ve "kuru delik" açma riskini azaltabilir. Petrol ve gaz şirketleri için, yüz altı yapılarını daha iyi anlamak, keşif riskini azaltmaya doğrudan çevrilir. Temel olarak, şirketin jeolojik alana bakış açısının doğruluğu ne kadar yüksekse, detaylandığında petrole isabet etme şansı o kadar yüksektir.

Bu iş veri ve işlem yoğunlukludur. Şirketin terabaytlar halindeki verileri işlemesi gerekiyor ve bu da hızlı ağ iletişimi de dahil olmak üzere çok büyük ve hızlı hesaplama gücü gerektirir. Sismik görüntülemenin veri ve bilgi işlem yoğunluklu yapısı nedeniyle şirketler, verileri işlemek ve derleme ve tamamlama süresini kısaltmak için paralel bilgi işlem kullanır. Şirketler, kurtarma operasyonları başlamadan önce alt yüzde bulunan rezervuarlardaki hidrokarbon içeriğini bulmak, doğru şekilde ölçmek ve nitelemek için büyük hacimli sismik alım verilerini acımasızca işlemektedir. Alım verileri yapılandırılmadığı ve potansiyel bir petrol ve gaz alanı için petabayt seviyelerine kolayca ulaşabildiği için, sismik işleme etkinliği ancak HPC ve uygun veri yönetimi stratejileri kullanılarak anlamlı bir zaman ölçeği içinde tamamlanabilir.

Rezervuar benzetimi ve modellemesi için kullanım örneği ve başvuru mimarisi

Rezervuar modellemesi ayrıca su doygunluğu, gözeneklilik ve geçirgenlik gibi fiziksel alt yüz özelliklerine de değer yerleştirir. Bu veriler, ne tür bir kurtarma yaklaşımının ve ekipmanın dağıtılacağı ve en sonunda kuyuların en iyi konumlandırılacağı yerin belirlenmesinde önemlidir.

Rezervuar modelleme iş yükü aynı zamanda rezervuar mühendisliğinin bir alanıdır. İş yükü, zaman içinde rezervuardaki akışkan davranışını analiz etmek ve tahmin etmek için bir rezervuar modelinde fizik, matematik ve bilgisayar programlamayı birleştirir. Bu analiz için yüksek hesaplama gücü ve genellikle hızlı ağ da dahil olmak üzere büyük işlem iş yükü talepleri gerekir.

Enerji kullanım örnekleri için HPC'yi destekleyen ilgili HPC ISV uygulamalarına yönelik başvuru mimarisi veya yemek kitapları hakkında daha fazla bilgi için bkz:

Azure HPC certification.github.io
Microsoft Azure HPC OnDemand Platformu. Tek başına başvuru mimarisi ALZ paradigması ile uyumlu olmayabilir.

Sonraki adımlar

Aşağıdaki makaleler, enerji HPC ortamları için bulut benimseme yolculuğundaki her adımla ilgili rehberlik sağlar.

Aracılığıyla paylaş