Megosztás a következőn keresztül:

Hálózati topológia és kapcsolat az Azure HPC-hez az energiafelhasználásban

  • Cikk

A cikk útmutatása segítséget nyújt a Microsoft Azure és a nagy teljesítményű számítástechnika (HPC) üzemelő példányainak hálózatkezelésével és kapcsolatával kapcsolatos tervezési szempontok és ajánlott eljárások vizsgálatában. Az alábbi javaslatok az Azure-beli célzóna-cikkben a hálózati topológiával és a kapcsolattal kapcsolatos szempontokra és javaslatokra épülnek.

IP-címzés, virtuális hálózatok és alhálózatok

Az Azure-ban létfontosságú az IP-címzés megtervezése annak biztosítása érdekében, hogy:

  • Az IP-címtér nem fedi egymást a helyszíni helyek és az Azure-régiók között.
  • A jövőbeli virtuális hálózat (VNet) meglévő vagy tervezett virtuális hálózatokkal való társviszony-létesítése lehetséges.
  • A virtuális hálózat a megfelelő címteret tartalmazza.
  • Az alhálózat konfigurálásának megfelelő tervezése előre történik.
  • A jövőbeni bővítéshez vagy egyéb szolgáltatásokhoz elegendő többletcímzést kell figyelembe venni.

Kialakítási szempontok

Fontolja meg külön alhálózatok létrehozását, amelyekkel IP-címeket rendelhet a környezet funkcionális összetevőihez. Egy dedikált HPC virtuális hálózat például a következő alhálózatokat tartalmazhatja:

  • Compute
  • Storage
  • Infrastructure
  • Visualization
  • Bejelentkezés
  • Azure NetApp Files
  • Azure HPC Cache

Az olyan szolgáltatások, mint az Azure NetApp Files, az Azure HPC Cache és a jövőbeli tárolási ajánlatok, dedikált delegált alhálózatokat igényelnek a megfelelő működéshez. Győződjön meg arról, hogy a megfelelő címzési terület van megtervezve, ha ezen szolgáltatások bármelyikét figyelembe veszik.

DNS- és névfeloldás helyszíni és Azure-erőforrásokhoz

A tartománynévrendszer (DNS) kritikus tervezési témakör az Azure-beli kezdőzóna teljes architektúrájában. Előfordulhat, hogy egyes szervezetek szeretnék használni meglévő BEFEKTETÉSeiket a DNS-ben, míg mások a felhőbevezetést a belső DNS-infrastruktúra modernizálására és a natív Azure-képességek használatára tekinthetik.

DNS-tervezési szempontok: Kövesse ezeket a javaslatokat, ha a virtuális gép DNS-e vagy virtuális neve nem változik a migrálás során.

  • A háttérBELI DNS és a virtuális nevek számos rendszerillesztőt kötnek össze a HPC-környezetekben, és az ügyfelek néha csak a fejlesztők által meghatározott felületekkel tisztában vannak. Csatlakozás különböző rendszerek között akkor merülnek fel problémák, ha a virtuális vagy DNS-nevek a migrálás után megváltoznak, ezért az ilyen típusú nehézségek elkerülése érdekében meg kell őriznie a DNS-aliasokat.
  • Különböző DNS-zónák használatával megkülönböztethetők egymástól a környezetek, például a tesztkörnyezet, a fejlesztés, az előkészítés és az éles környezet. Ez alól kivételt képeznek a saját virtuális hálózattal rendelkező HPC-üzemelő példányok, amelyek nem igényelnek privát DNS-zónákat.
  • A DNS-támogatás a HPC-gyorsítótár használata során kötelező, hogy hozzáférhessenek a tárolóhoz és más erőforrásokhoz.

Nagy teljesítményű hálózati szolgáltatások

  • Gyorsított hálózatkezelés: Számos HPC-számítási feladat, például a szeizmikus feldolgozás, nagy mennyiségű, megosztott fájlrendszerben tárolt adatot dolgoz fel, például az Azure Blobban, az Azure NetApp Filesban, a Lustre ClusterStorban és más, a hálózaton keresztül elérhető egyéni tárolási megoldásokban. A nagy teljesítményű hálózat kritikus fontosságú az adatátviteli idő csökkentése érdekében.

    A gyorsított hálózatkezelés nagy átviteli sebességet és alacsony késésű kapcsolatot biztosít a virtuális gépek és az Azure-szolgáltatások között. Egyéb előnyök közé tartozik a csökkentett jitter és a minimális CPU-kihasználtság.

  • InfiniBand: A Message Passing Interface (MPI) kódtárakra támaszkodó párhuzamos HPC-alkalmazásoknak jelentős mennyiségű adatot kell továbbítaniuk számos virtuális gép között. Az RDMA-képes H sorozatú és N sorozatú virtuális gépeken elérhető InfiniBand-összekapcsolás alacsony késésű, nagy sávszélességű kapcsolatot biztosít a HPC- és mélytanulási alkalmazások teljesítményének és méretezhetőségének maximalizálása érdekében.

    Diagram of InfiniBand connection between VMs.

    Az MPI-feladatokra néhány példa a molekuláris dinamika, a számítási folyadékdinamika, az olaj- és gáztároló-szimuláció, valamint az újonnan megjelenő elosztott gépi tanulási számítási feladatok.

    Az InfiniBand-kapcsolatok csak az ugyanabban az elhelyezési csoportban lefoglalt virtuális gépek között lehetségesek.

  • Azure ExpressRoute: A tárolószimulációhoz és modellezéshez használt hibrid konfigurációhoz hasonló, kipukkasztott alkalmazások esetén, ahol a helyszíni adathalmazok meg vannak osztva, és az Azure-számítás bővítményré válik, az ExpressRoute privát kapcsolaton keresztül csatlakoztatja a helyszíni környezetet a Microsoft-felhőhöz. Az ExpressRoute nagyvállalati szintű rugalmasságot és rendelkezésre állást biztosít, valamint a globális ExpressRoute-partneri ökoszisztéma előnyeit. További információk a hálózat a Microsofthoz való csatlakoztatásáról az ExpressRoute használatával: ExpressRoute kapcsolati modellek.

    Az ExpressRoute-kapcsolatok nem mennek át a nyilvános interneten, és nagyobb megbízhatóságot, gyorsabb sebességet és kisebb késést kínálnak, mint a tipikus internetkapcsolatok. Pont–hely VPN és helyek közötti VPN esetén a helyszíni eszközöket vagy hálózatokat csatlakoztathatja egy virtuális hálózathoz ezen VPN-lehetőségek és az Azure ExpressRoute bármely kombinációjával.

Azure-hálózati topológia definiálása

A nagyvállalati szintű célzónák két hálózati topológiát támogatnak: az egyik az Azure Virtual WAN-on alapul, a másik pedig egy hagyományos, küllős architektúrán alapuló hálózati topológiát. Ez a szakasz a HPC konfigurációit és eljárásait ajánlja mindkét üzemi modellhez.

  • Azure Virtual WAN: Használjon egy virtuális WAN-alapú hálózati topológiát, ha a szervezet a következőket tervezi:

    • Több Azure-régióban is üzembe helyezhet erőforrásokat, és a globális helyeket az Azure-hoz és a helyszínen is csatlakoztathatja.
    • Szoftveralapú WAN-üzemelő példányok teljes integrálása az Azure-ral.
    • Akár 2000 virtuálisgép-számítási feladatot is üzembe helyezhet egy virtuális WAN-központhoz csatlakoztatott összes virtuális hálózaton.

    A szervezetek az Azure Virtual WAN használatával teljesítik a nagy léptékű összekapcsolhatósági követelményeket. A Microsoft kezeli ezt a szolgáltatást, amely segít csökkenteni a hálózat általános összetettségét, és modernizálni a szervezet hálózatát.

  • Küllős architektúra: Használjon hagyományos Azure-hálózati topológiát a küllős architektúra alapján, ha a szervezet:

    • Azt tervezi, hogy csak bizonyos Azure-régiókban helyezi üzembe az erőforrásokat.
    • Nincs szükség globális, összekapcsolt hálózatra.
    • Régiónként kevés távoli vagy ághely van, és kevesebb mint 30 IP-biztonsági (IPsec-) alagutat igényel.
    • Az Azure-hálózat manuális konfigurálásához teljes körű vezérlésre és részletességre van szükség.

    A helyi és a globális virtuális hálózatok közötti társviszony-létesítés biztosítja a kapcsolatot, és előnyben részesítik a több Azure-régióban üzemelő HPC-üzemelő példányok célzónái közötti kapcsolatot.

Bejövő és kimenő internetkapcsolat

Mivel az Azure-natív hálózati biztonsági szolgáltatások, például az Azure Firewall, az Application Gatewayen futó Azure Web Application Firewall és az Azure Front Door teljes mértékben felügyelt szolgáltatások, nem merülnek fel az infrastruktúra üzembe helyezésével kapcsolatos üzemeltetési és felügyeleti költségek, amelyek nagy léptékben bonyolulttá válhatnak.

Tervezési javaslatok a HPC implementálásához:

  • A globális lábnyommal rendelkező ügyfelek számára az Azure Front Door az Azure Web Application Firewall-szabályzatok használatával segíti a HPC-telepítéseket a globális HTTP/S-alkalmazások Azure-régiók közötti biztosításához és védelméhez.
  • Használja ki az Azure Front Door webalkalmazási tűzfalszabályzatait, amikor ezt a szolgáltatást és az Application Gatewayt használja a HTTP/S-alkalmazások védelméhez. Zárolja az Application Gatewayt, hogy csak az Azure Front Doorból fogadhassa a forgalmat.

Hálózati titkosítási követelmények

A HPC-implementációk tervezési szempontjai:

  • A forgalom jelenleg nincs titkosítva, ha az Azure ExpressRoute-et a privát társviszony-létesítés konfigurálásához használják.
  • A HPC-üzemelő példányok ExpressRoute-ra irányuló forgalmát nem kell titkosítani. Az IPsec-alagutak alapértelmezés szerint titkosítják az internetes forgalmat, és a titkosítás vagy visszafejtés negatívan befolyásolhatja a forgalom teljesítményét.

Főbb javaslatok a helyszíni és az Azure-beli hálózatok, valamint az Azure-régiók közötti hálózatok titkosításához:

  • Határozza meg, hogy a HPC-forgalmat titkosítani kell-e. A nagyvállalati szintű kezdőzónák hálózati titkosítási lehetőségeinek megismeréséhez vizsgálja meg a hálózati topológiát és a kapcsolatot.
  • Tervezze meg az Ip-címzést az Azure-ban, hogy biztosítsa a következőt:
    • Az IP-címtér nem fedi egymást a helyszíni helyek és az Azure-régiók között.
    • A virtuális hálózat a megfelelő címteret tartalmazza.
    • Az alhálózat konfigurálásának megfelelő tervezése előre történik.

Átviteli sebesség késésének sávszélességére vonatkozó hálózati követelmények

Mind a kizárólag felhőbeli HPC, mind a hibrid felhőbeli üzemi modellek saját késési és átviteli követelményeket támasztanak attól függően, hogy az energiaterheléseket hogyan küldi el és hajtja végre a helyszíni környezetben a felhőkörnyezetekhez képest. A felhasználók számos üzembe helyezési módban küldhetnek HPC-feladatokat a helyszínen vagy a felhőben.

  • Önálló feladatok
    • Helyszíni és Azure-beli kapcsolati szempontok távoli vizualizációs asztal használata esetén
  • Kipukkasztott feladatok
    • A feladatokat felhőben beküldő ütemező hálózati szempontok
    • Az Azure Batch hálózati szempontjai
  • Párhuzamos munkafolyamatok a helyszínen és a felhőben is
  • Hibrid
    • HPC-gyorsítótár
  • Natív felhő
    • Azure Kubernetes Service-tárolók
    • Funkciók

Az MPI-környezetek dedikáltak, mivel egyedi követelményekkel rendelkeznek, és a csomópontok közötti kis késésű kommunikációra van szükségük. A csomópontok nagy sebességű összekapcsoláson keresztül csatlakoznak, és nem oszthatók meg más számítási feladatokkal. Az MPI-alkalmazások a teljes nagy teljesítményű összekapcsolásokat használják átmenő módban virtualizált környezetekben. Az MPI-csomópontok tárolója általában egy párhuzamos fájlrendszer, például a Lustre, amely a nagy sebességű összekapcsoláson keresztül is elérhető.

Következő lépések

Az alábbi cikkek útmutatást nyújtanak az energia HPC-környezetek felhőbevezetési folyamatának minden lépéséhez.