Enerjide Azure HPC için ağ topolojisi ve bağlantısı

Makale
10/10/2023

Bu makaledeki kılavuz, Microsoft Azure ve yüksek performanslı bilgi işlem (HPC) dağıtımları için ağ ve bağlantıyla ilgili tasarım konularını ve en iyi yöntemleri incelemenize yardımcı olabilir. Aşağıdaki öneriler, ağ topolojisi ve bağlantı için Azure giriş bölgesi makalesinde tanımlanan önemli noktalar ve önerilere dayalıdır.

IP adresleme, sanal ağlar ve alt ağlar

Şu durumlardan emin olmak için Azure'da IP adreslemesi planlamak çok önemlidir:

IP adresi alanı şirket içi konumlar ve Azure bölgeleri arasında çakışmaz.
Mevcut veya planlanan sanal ağlarla gelecekteki sanal ağ (VNet) eşlemesi mümkündür.
Sanal ağ doğru adres alanını içerir.
Alt ağ yapılandırması için uygun planlama önceden gerçekleşir.
Gelecekteki genişletmeler veya diğer hizmetler için yeterli fazla adresleme dikkate alınır.

Tasarımla ilgili dikkat edilecek noktalar

Ortamın işlevsel bileşenleri arasında IP adresleri atamak için ayrı alt ağlar oluşturmayı göz önünde bulundurun. Örneğin, ayrılmış bir HPC sanal ağı aşağıdaki alt ağları içerebilir:

İşlem
Depolama
Altyapı
Görselleştirme
Oturum açın
Azure NetApp Files
Azure HPC Önbelleği

Azure NetApp Files, Azure HPC Önbelleği ve gelecekteki depolama teklifleri gibi hizmetler düzgün çalışması için ayrılmış temsilci alt ağlar gerektirir. Bu hizmetlerden herhangi biri dikkate alınırsa uygun adresleme alanının planlandığından emin olun.

Şirket içi ve Azure kaynakları için DNS ve ad çözümlemesi

Etki alanı adı sistemi (DNS), genel Azure giriş bölgesi mimarisinde kritik bir tasarım konusudur. Bazı kuruluşlar mevcut DNS yatırımlarını kullanmak isteyebilirken, diğerleri bulut benimsemeyi iç DNS altyapılarını modernleştirmek ve yerel Azure özelliklerini kullanmak için bir fırsat olarak görebilir.

DNS tasarımında dikkat edilmesi gerekenler: Bir sanal makinenin DNS veya sanal adı geçiş sırasında değişmediğinde bu önerileri izleyin.

Arka plan DNS'leri ve sanal adları HPC ortamlarındaki birçok sistem arabirimini birbirine bağlar ve müşteriler yalnızca geliştiricilerin zaman içinde tanımlamış olduğu arabirimlerin farkında olur. Bağlan ion zorlukları, geçişlerden sonra sanal veya DNS adları değiştiğinde çeşitli sistemler arasında ortaya çıkar, bu nedenle bu tür zorlukları önlemek için DNS diğer adlarını tutmanız gerekir.
Korumalı alan, geliştirme, ön üretim ve üretim gibi ortamları birbirinden ayırmak için farklı DNS bölgeleri kullanın. Özel durum, özel DNS bölgeleri gerektirmeyen kendi sanal ağlarına sahip HPC dağıtımları içindir.
DEPOLAMA ve diğer kaynaklara erişebilmeleri için HPC önbelleği kullanılırken DNS desteği zorunludur.

Yüksek performanslı ağ hizmetleri

Hızlandırılmış ağ: Sismik işleme gibi birçok HPC iş yükü, Azure Blob, Azure NetApp Files, Lustre ClusterStor ve ağ üzerinden erişilen diğer özel depolama çözümleri gibi paylaşılan dosya sistemlerinde depolanan büyük miktarda veriyi işler. Yüksek performanslı bir ağ, veri aktarım süresini kısaltmak için kritik öneme sahiptir.

Hızlandırılmış ağ, VM'ler ve Azure hizmetleri arasında yüksek aktarım hızına sahip, düşük gecikme süreli bir bağlantı sağlar. Diğer avantajlar arasında düşük değişim ve en düşük CPU kullanımı yer alır.
InfiniBand: İleti Geçirme Arabirimi (MPI) kitaplıklarını kullanan paralel HPC uygulamalarının birçok VM arasında önemli miktarda veri aktarması gerekebilir. RDMA özellikli H serisi ve N serisi VM'lerde kullanılabilen InfiniBand bağlantısı, HPC ve derin öğrenme uygulamalarının performansını ve ölçeklenebilirliğini en üst düzeye çıkarmak için düşük gecikme süreli, yüksek bant genişliğine sahip bir bağlantı sağlar.

MPI işlerine örnek olarak moleküler dinamikler, hesaplama sıvısı dinamiği, petrol ve gaz rezervuarı simülasyonu ve ortaya çıkan dağıtılmış makine öğrenmesi iş yükleri verilebilir.

InfiniBand bağlantıları yalnızca aynı yerleştirme grubu içinde ayrılan VM'ler arasında mümkündür.
Azure ExpressRoute: Şirket içi veri kümelerinin paylaşıldığı ve Azure işleminin uzantı haline geldiği rezervuar simülasyonu ve modelleme için karma kurulum gibi hızlı bir uygulama söz konusu olduğunda ExpressRoute, şirket içi ortamınızı özel bir bağlantı üzerinden Microsoft buluta bağlar. ExpressRoute, kurumsal düzeyde dayanıklılık ve kullanılabilirlik ile Global ExpressRoute iş ortağı ekosisteminin avantajını sağlar. ExpressRoute kullanarak ağınızı Microsoft’a bağlama hakkında bilgi için bkz. ExpressRoute bağlantı modelleri.

ExpressRoute bağlantıları genel İnternet üzerinden gitmez ve tipik İnternet bağlantılarına göre daha fazla güvenilirlik, daha yüksek hız ve daha düşük gecikme süresi sunar. Noktadan siteye VPN ve siteden siteye VPN için, bu VPN seçeneklerinin ve Azure ExpressRoute'un herhangi bir bileşimini kullanarak şirket içi cihazları veya ağları bir sanal ağa bağlayabilirsiniz.

Azure ağ topolojisi tanımlama

Kurumsal ölçekli giriş bölgeleri iki ağ topolojisini destekler: biri Azure Sanal WAN, diğeri merkez-uç mimarisine dayalı geleneksel bir ağ topolojisi. Bu bölümde her iki dağıtım modeli için HPC yapılandırmaları ve uygulamaları önerilir.

Azure Sanal WAN: Kuruluşunuz şunları yapmayı planlıyorsa sanal WAN'ı temel alan bir ağ topolojisi kullanın:
- Kaynakları birkaç Azure bölgesine dağıtın ve genel konumlarınızı hem Azure'a hem de şirket içine bağlayın.
- Yazılım tanımlı WAN dağıtımlarını Azure ile tam olarak tümleştirin.
- Bir sanal WAN hub'ına bağlı tüm sanal ağlarda en fazla 2.000 VM iş yükü dağıtın.
Kuruluşlar, büyük ölçekli bağlantı gereksinimlerini karşılamak için Azure Sanal WAN kullanır. Microsoft, genel ağ karmaşıklığını azaltmaya ve kuruluşunuzun ağını modernleştirmeye yardımcı olan bu hizmeti yönetir.
Merkez-uç mimarisi: Kuruluşunuz:
- Kaynakları yalnızca belirli Azure bölgelerinde dağıtmayı planlar.
- Genel, birbirine bağlı bir ağa gerek yoktur.
- Bölge başına uzak veya dal konumları azdır ve 30'dan az IP güvenliği (IPsec) tüneli gerekir.
- Azure ağınızı el ile yapılandırmak için tam denetim ve ayrıntı düzeyi gerektirir.
Yerel ve genel sanal ağ eşlemesi bağlantı sağlar ve birden çok Azure bölgesinde HPC dağıtımları için giriş bölgeleri arasında bağlantı sağlamak için tercih edilen yaklaşımlardır.

Gelen ve giden İnternet bağlantısı

Azure Güvenlik Duvarı, Application Gateway üzerinde Azure Web Uygulaması Güvenlik Duvarı ve Azure Front Door gibi Azure yerel ağ güvenlik hizmetleri tam olarak yönetilen hizmetler olduğundan, büyük ölçekte karmaşık hale gelebilen altyapı dağıtımlarıyla ilişkili işletim ve yönetim maliyetlerine tabi olmazsınız.

HPC uygulaması için tasarım önerileri:

Küresel ayak izi olan müşteriler için Azure Front Door, Azure bölgeleri genelinde genel HTTP/S uygulamaları sunmak ve korumak için Azure Web Uygulaması Güvenlik Duvarı ilkelerini kullanarak HPC dağıtımlarına yardımcı olur.
HTTP/S uygulamalarını korumak için bu hizmeti ve Application Gateway'i kullanırken Azure Front Door'daki Web Uygulaması Güvenlik Duvarı ilkelerinden yararlanın. Yalnızca Azure Front Door'dan trafik almak için Application Gateway'i kilitleyin.

Ağ şifreleme gereksinimleri

HPC uygulamaları için tasarım konuları:

Özel eşlemeyi yapılandırmak için Azure ExpressRoute kullanıldığında trafik şu anda şifrelenmez.
HPC dağıtımları için ExpressRoute üzerinden gelen trafiğin şifrelenmesini gerekmez. IPsec tünelleri internet trafiğini varsayılan olarak şifreler ve şifreleme veya şifre çözme, trafiğin performansını olumsuz etkileyebilir.

Şirket içi ile Azure arasında ve Azure bölgeleri arasında ağları şifrelemeye yönelik önemli öneriler:

HPC trafiğinin şifrelenip şifrelenmemesi gerektiğini belirleyin. Kurumsal ölçekli giriş bölgelerindeki ağ şifreleme seçeneklerini anlamak için ağ topolojisini ve bağlantıyı keşfedin.
Şu durumlardan emin olmak için Azure'da IP adreslemesini planlayın:
- IP adresi alanı şirket içi konumlar ve Azure bölgeleri arasında çakışmaz.
- Sanal ağ doğru adres alanını içerir.
- Alt ağ yapılandırması için uygun planlama önceden gerçekleşir.

Aktarım hızı gecikmesi bant genişliği ağ gereksinimleri

Hem yalnızca buluttaki HPC hem de hibrit bulut dağıtım modellerinin, enerji iş yüklerinin bulut ortamlarına göre şirket içinde nasıl gönderildiğine ve yürütüldüklerine bağlı olarak kendi gecikme süresi ve aktarım hızı gereksinimleri vardır. Kullanıcılar HPC işlerini şirket içinden veya buluttan birçok dağıtım modunda gönderebilir.

Tek işler
- Uzak görselleştirme masaüstü kullanılıyorsa şirket içi ile Azure arasında bağlantı konusunda dikkat edilmesi gerekenler
Seri iş sayısı
- Bulutta işleri gönderen Zamanlayıcı kurulumu ağ konuları
- Azure Batch ağıyla ilgili dikkat edilmesi gerekenler
Hem şirket içinde hem de bulutta paralel iş akışları
Hibrid
- HPC önbelleği
Bulutta yerel
- Azure Kubernetes Service kapsayıcıları
- İşlevler

MPI ortamları, düğümler arasında düşük gecikme süreli iletişim gereksinimiyle benzersiz gereksinimlere sahip olduklarından ayrılmıştır. Düğümler yüksek hızlı bağlantı yoluyla bağlanır ve diğer iş yükleriyle paylaşılamaz. MPI uygulamaları, sanallaştırılmış ortamlarda geçiş modunu kullanarak yüksek performanslı bağlantıların tamamını kullanır. MPI düğümleri için Depolama genellikle yüksek hızlı ara bağlantı üzerinden de erişilen Lustre gibi paralel bir dosya sistemidir.

Sonraki adımlar

Aşağıdaki makaleler, enerji HPC ortamları için bulut benimseme yolculuğundaki her adım için rehberlik sağlar.

Aracılığıyla paylaş