Azure-beli kezdőzóna a HPC-hez

  • Cikk

Az Azure-hoz készült felhőadaptálási keretrendszer kész módszertana végigvezeti a környezet felhőbevezetésre való előkészítésén. A felkészülési fázisban használhat egy Azure-beli célzónát. A célzóna egy technikai gyorsító, amely minden felhőbevezetési környezet alapvető építőelemét biztosítja. A célzóna automatizálhatja az Azure-környezet konfigurálását, összhangban a felhőadaptálási keretrendszer ajánlott eljárásokkal. A nagy teljesítményű számítástechnikára (HPC) való felkészülés során olyan környezetkonfigurációkkal találkozhat, amelyek az iparág használati helyzetétől és követelményeitől függenek.

Az Azure célzóna elméleti architektúrája

A környezet tartós felhőbevezetésre való előkészítése során használhat egy Azure-beli célzóna fogalmi architektúrát, amely egy célvégállapotot jelöl. A HPC-hez több fogalmi architektúrahivatkozás is létezik, amelyek a felhőadaptálási keretrendszer által jelenleg használt három iparágon alapulnak:

Vegye figyelembe ezeket az architektúrahivatkozásokat, amikor hosszú távú elképzelést alakít ki a célzónára vonatkozóan. Ezek a hivatkozások kiindulópontot biztosítanak. A szervezet üzleti igényei és a végfelhasználók igényei alapján előfordulhat, hogy módosítania kell őket.

A HPC kiértékelése

A stratégiai hatásvizsgálat és a műszaki tervezés során hozott döntések befolyásolják a HPC Azure-beli üzembe helyezéséhez választott célzóna-konfigurációt. Javasoljuk, hogy fontolja meg a következő kérdéseket:

  • Mennyire érett a környezet az Azure-ban? A koncepciós szakaszban van? Vagy már egy kiforrott alkalmazás, amely kiszolgálja a felhasználókat? A szakasztól függően belefoglalhatja vagy kihagyhatja az irányítást, a biztonságot vagy az erőforrás-szervezetet.
  • Az Azure-ra épülő alkalmazás rövid élettartamú vagy hosszú távú projekt? A kérdésre adott válasz segíthet kiválasztani a számítási és tárolási lehetőségeket.
  • A szervezet megköveteli, hogy a felhasználók különböző szinteken férhessenek hozzá az Azure-erőforrásokhoz?

Ahogy ezekből a kérdésekből is látható, az üzembehelyezési modell az üzlettől, az iparágtól és az alkalmazáshasználattól függően változik.

Azure-beli kezdőzóna gyorsítása a HPC-hez

Az Azure Batch és az Azure CycleCloud egyaránt az Azure által biztosított első féltől származó szolgáltatás, míg az Azure HPC OnDemand Platform (AzHOP) az Azure Cycle Cloudra épülő automatizálás, amely teljes körű üzembe helyezési mechanizmust biztosít egy teljes KÖRŰ HPC-fürtmegoldáshoz az Azure-ban.

Azure Batch

  • A Batch úgy lett kialakítva, hogy nagy léptékű párhuzamos és HPC kötegelt feladatokat futtasson hatékonyan az Azure-ban.
  • A Batch számítási csomópontok vagy virtuális gépek készletét hozza létre és kezeli. A Batch használatával telepítheti a futtatni kívánt alkalmazásokat, és ütemezheti a feladatokat a csomópontokon való futtatásra.
  • Nincs fürt- vagy feladatütemező szoftver a telepítéshez, kezeléshez vagy méretezéshez.
  • A Batch nagyszerűen működik a belsőleg párhuzamos számítási feladatokkal. Ezek a számítási feladatok egymástól függetlenül futtatható alkalmazásokkal rendelkeznek, amelyek mindegyik példánya elvégzi a munka egy részét.
  • A Batch használatával szorosan összekapcsolt számítási feladatokat is futtathat, ahol a futtatott alkalmazásoknak nem egymástól függetlenül, hanem egymással kell kommunikálniuk.
  • A Batch-feladatok közvetlenül futtathatók virtuális gépeken vagy csomópontokon egy Batch-készletben. Beállíthat azonban egy Batch-készletet is, amely feladatokat futtat a Docker-kompatibilis tárolókban a csomópontokon.

Azure CycleCloud

  • Támogatja a különböző HPC ütemezőket, például az SLURM-t, az OpenPBS-t, a PBSPro-t, az LSF-t, a rácsmotort és a HTCondor12-t.
  • Lehetővé teszi az infrastruktúra kiépítését HPC-rendszerekhez, például virtuális gépekhez, méretezési csoportokhoz, hálózati adapterekhez és lemezekhez.
  • Automatikusan skálázza az infrastruktúrát, hogy a feladatok bármilyen skálán hatékonyan fussanak a feladatok terhelése, rendelkezésre állása és időigénye alapján.
  • Gazdag, deklaratív, csábító formátumot biztosít teljes HPC-környezetek létrehozásához az Azure-ban.
  • Integrálható az Azure-szolgáltatásokkal, például az Azure Monitorral és az Azure Cost Management-eszközökkel.

AzHop

  • Az AzHop egy végpontok közötti üzembe helyezési mechanizmust biztosít az Azure-beli alapSZINTŰ HPC-infrastruktúra számára a CycleCloud használatával a feladatok vezénylésére.
  • Egy teljes HPC-fürtmegoldást biztosít, amely készen áll arra, hogy a felhasználók alkalmazásokat futtasson, és így a HPC-rendszergazdák egyszerűen üzembe helyezhetik és kezelhetik őket.
  • Az AzHop különböző beépített alkalmazásokat használ, amelyek "ugyanúgy" használhatók, vagy egyszerűen testre szabhatja és kiterjesztheti azokat, hogy megfeleljenek a nem teljesített követelményeknek.
  • Tartalmaz egy Open OnDemand portált az egységes felhasználói hozzáféréshez, a távoli rendszerhéj-hozzáféréshez, a távoli vizualizációs hozzáféréshez, a feladatküldéshez, a fájlhozzáféréshez stb.
  • Az Active Directoryt használja a felhasználói hitelesítéshez és a tartományvezérléshez.
  • Az OpenPBS vagy a Simple Linux Utility for Resource Management (SLURM) függvényt használja feladatütemezőként.
  • A dinamikus erőforrás-kiépítést és az automatikus skálázást a CycleCloud előre konfigurált feladatsorai és az integrált állapot-ellenőrzések végzik, így gyorsan elkerülhetők a nem optimális csomópontok.
  • Az Azure NetApp Files egy megosztott fájlrendszert biztosít a kezdőkönyvtárhoz és az alkalmazásokhoz.

Összehasonlító diagram

Funkció Azure Batch Azure CycleCloud
Scheduler Batch API-k és eszközök érhetők el. Az Azure Portalon natív felhőbeli parancssori szkripteket is használhat. Használhat szabványos HPC-ütemezőket, például SLURM, OpenPBS, PBSPro, LSF, Grid Engine és HTCondor. Vagy kibővítheti az Azure CycleCloud automatikus skálázási beépülő moduljait, hogy saját ütemezővel működjön.
Számítási erőforrások Szolgáltatott szoftvercsomópontok (SaaS) – szolgáltatásként nyújtott platform (PaaS). PaaS-szoftver – PaaS.
Figyelési eszközök Azure Monitor. Azure Monitor és Grafana.
Testreszabás Használhat egyéni rendszerképkészleteket, külső lemezképeket vagy Batch API-hozzáférést. Az átfogó RESTful API-val testre szabhatja és kibővítheti a funkciókat, üzembe helyezheti saját ütemezőjét, és támogathatja a meglévő számítási feladatok kezelőit.
Integration Az Azure Synapse Analytics-folyamatok, az Azure Data Factory és az Azure CLI. Beépített parancssori felület Windowshoz és Linuxhoz.
Felhasználó típusa Fejlesztők, Klasszikus HPC-rendszergazdák és felhasználók.
Munka típusa Kötegek és munkafolyamatok. Szorosan összekapcsolt munkafolyamatok, amelyek üzenetátadási felületet (MPI) használnak.
Windows-támogatás Megadva. Az ütemező választásától függ.

Az Azure CycleCloud és az Azure Batch hatékony eszközök az Azure-ral kapcsolatos HPC-feladatokhoz, de különböző használati esetekhez vannak kialakítva.

Az Azure CycleCloud egy nagyvállalati szintű eszköz a HPC-környezetek Azure-beli vezénylése és kezelése érdekében. Olyan HPC-rendszergazdák és felhasználók számára van megcélzva, akik egy adott ütemezővel rendelkező HPC-környezetet szeretnének üzembe helyezni. Az Azure CycleCloud hatékony eszközöket biztosít teljes HPC-környezetek létrehozásához az Azure-ban, beleértve a hálózati fájlmegosztási (NFS-) kiszolgálókat, a párhuzamos fájlrendszereket, a bejelentkezési gazdagépeket, a licenckiszolgálókat és a címtárszolgáltatásokat. Olyan szervezetek számára hasznos, amelyek egy ideje HPC-környezeteket üzemeltetnek, és több éves szakértelemmel és házon belüli eszközökkel rendelkeznek egy adott ütemező körül.

Ezzel szemben a Batch elsősorban olyan fejlesztőknek és csapatoknak szól, akik saját termékükbe vagy szolgáltatásukba építenek egy képességet. A Batch saját ütemezőt tartalmaz, és nagy léptékű párhuzamos feladatok hatékony futtatására szolgál fürt- vagy feladatütemező szoftver nélkül. A Batch akkor hasznos, ha nem kell számítási feladatütemezőt kezelnie.

Összefoglalva, akkor használja az Azure CycleCloudot, ha egy adott ütemezővel rendelkező HPC-környezetet szeretne üzembe helyezni, és teljes HPC-környezetre van szüksége. A Batchet akkor használja, ha olyan terméket vagy szolgáltatást fejleszt, amely nagy léptékű párhuzamos feldolgozást igényel, és nem szeretne számítási feladatütemezőt kezelni.

További lépések