CycleCloud: Alapvető fogalmak

A nagy teljesítményű számítástechnika (HPC) a legapvetőbb esetben a teljesítményt nyújtó fájlrendszerek által támogatott és alacsony késésű hálózatok által összekapcsolt számítási erőforrások készlete. A HPC ütemezői, a feladatokat ütemező szoftveralkalmazások általában ezeket a számítási erőforrásokat kezelik.

Egyes HPC-rendszerek létrehozása az Azure-ban alapszintű infrastruktúraegységekből, például virtuális gépekből, lemezekből és hálózati adapterekből nehézkes lehet, különösen akkor, ha ezek az erőforrások rövid élettartamúak – csak a HPC-feladat megoldásához szükséges ideig léteznek. Emellett érdemes lehet több, különálló HPC-környezetet létrehozni, amelyeket különböző üzleti egységekre, kutatócsoportokra vagy egyénekre szabottak. A több HPC-rendszer kezelése üzemeltetési szempontból összetett lehet.

Mi az a CycleCloud?

Az Azure CycleCloud egy olyan eszköz, amely segít HPC-rendszerek létrehozásában az Azure-ban. Ezeket a rendszereket úgy vezénylik, hogy rugalmasan méretezzenek a HPC-feladatoknak megfelelően, anélkül, hogy az alapvető Azure-építőelemeket kezelnék. Tapasztalt HPC-szakemberekből álló csapat tervezte a CycleCloudot a HPC-rendszergazdák és -felhasználók számára, különösen azok számára, akik olyan HPC-rendszereket szeretnének létrehozni az Azure-ban, amelyek hasonlítanak a belső HPC-infrastruktúrájukra.

A CycleCloud egy olyan alkalmazáskiszolgáló, amelyet linuxos virtuális gépen telepít az Azure-ban, vagy egy helyszíni kiszolgálón, amely hozzáfér az Azure API-khoz és az erőforrásokhoz. CycleCloud Azure VM-eket szerez be és oszt ki olyan CycleCloud-fürtök létrehozásához, amelyek ütemezőket és felhasználói alkalmazásokat integrálhatnak. A CycleCloud emellett automatikus skálázási integrációt biztosít számos HPC-ütemezőhöz és egy Azure-beli virtuális gépeken futó CycleCloud-ügynökhöz.

Alkalmazáskiszolgáló

Ez az alkalmazáskiszolgáló a következő lehetőségeket biztosítja:

• REST API HPC-rendszerek létrehozásához és kezeléséhez az Azure-ban.
• A HPC-rendszerek kezeléséhez és monitorozásához használt grafikus felhasználói felület.
• A CycleCloud meglévő munkafolyamatokba való integrálását megkönnyítő parancssori felület.
• Egy belső NoSQL-adattár, amely gyorsítótárazza a fürt és a csomópont állapotát.
• Egy kiosztási és vezénylési rendszer, amely Azure-beli virtuális gépeket szerez be és kezel.
• Meglévő virtuális gépek csomópontfigyelési rendszere, amely riasztásokat küld az állapotváltozásokról.

Integrációk

A CycleCloud emellett integrációt biztosít a gyakori ütemezőkbe és az Azure-beli virtuális gépekbe. Ezek az integrációk a következőkre nyújtanak lehetőséget:

• Csomópont-előkészítési és konfigurációs rendszer a kiépített virtuális gép HPC-csomóponttá alakításához.
• A HPC ütemezőinek automatikus skálázása, amely a HPC ütemező feladatkövetelményeit Azure-erőforrásokra fordítja le.

Mit tehet a CycleCloud?

A CycleCloud olyan HPC-operátorokat (rendszergazdákat és felhasználókat) céloz meg, akik HPC-rendszereket helyeznek üzembe az Azure-ban. A belsőleg futó infrastruktúrát a HPC-ütemezőtől a fájlrendszer csatlakoztatási pontjaiig szeretnék replikálni az alkalmazástelepítésekhez és az adathozzáféréshez. Ezek a felhasználók különösen az alkalmazások, munkafolyamat-motorok és számítási folyamatok támogatását keresik anélkül, hogy újra kellene létrehozniuk a belső folyamatokat.

A CycleCloud gazdag és deklaratív templating szintaxist biztosít, amely lehetővé teszi a HPC-rendszer leírását. Megadhatja a fürttopológiát, amely tartalmazza az egyes csomópontokon üzembe helyezett fürtcsomópontok, csatlakoztatási pontok és alkalmazások számát és típusait. A CycleCloud olyan HPC ütemezőkkel használható, mint a PBSPro, a Slurm, az IBM LSF, a Grid Engine és a HT Condor. Minden ütemezőben létrehozhat különböző üzenetsorokat, és leképezheti őket különböző méretű virtuálisgép-csomópontokra az Azure-ban. Emellett az automatikus skálázási beépülő modulok integrálva vannak az ütemező fejcsomópontjaival. Az alkalmazáskiszolgálón futó automatikus skálázási REST API használatával figyelik az egyes rendszerek feladatsorait, és méretezik a számítási fürtöt.

A HPC-csomópontok kiépítése és létrehozása mellett a CycleCloud keretrendszert is biztosít a virtuális gépek előkészítéséhez és konfigurálásához. Egy olyan rendszert biztosít, amely lehetővé teszi, hogy a virtuális gépek a HPC-rendszer funkcionális összetevőivé alakulnak. Ezen a keretrendszeren keresztül az utolsó mérföldes konfigurációt végezheti el egy virtuális gépen.

A CycleCloud emellett a következő funkciókat is biztosítja:

• Felhasználói hozzáférés

  A CycleCloud beépített támogatást nyújt helyi felhasználói fiókok létrehozásához egy HPC-rendszer minden csomópontján. Ezzel a rendszerrel egyetlen felügyeleti síkon keresztül szabályozhatja a felhasználók hozzáférését címtárszolgáltatás üzembe helyezése nélkül.

• Megfigyelés

  A csomópontszintű metrikákat a Rendszer összegyűjti és megjeleníti a CycleCloud felhasználói felületén. Ezek a metrikák hasznosak a rendszer terhelésének monitorozásához. Összekapcsolhatja őket a jelentéskészítési és riasztási szolgáltatásokkal.

• Fakitermelés

  A CycleCloud egy rendszert biztosít a naplózási tevékenységekhez és eseményekhez a csomópont és az alkalmazáskiszolgáló szintjén.

• Hordozhatóság

  A rendszer nem kötelezi arra, hogy egy adott virtuálisgép-lemezképet vagy operációs rendszert használjon. A CycleCloud támogatja a fő Windows- és Linux-operációs rendszereket a HPC-csomópontokon. Emellett saját virtuálisgép-rendszerképet is létrehozhat, és használhatja a HPC-rendszerben.

• Infrastruktúra mint kód

  Mivel a CycleCloudban létrehozott összes elem sablonokban és konfigurációs szkriptekben van definiálva, megismételhetővé és hordozhatóvá teheti a CycleCloudon keresztül üzembe helyezett HPC-rendszereket. Ez a megközelítés konzisztenciát biztosít a HPC-rendszereket különböző környezetekben üzembe helyező operátorok számára: tesztkörnyezetben, fejlesztésben, tesztelésben és éles környezetben. Az operátorok azonos HPC-rendszereket is üzembe helyezhetnek különböző üzleti csoportokhoz vagy csapatokhoz a könyvelési szempontok elkülönítése érdekében.

• Lazán összekapcsolt vagy szorosan összekapcsolt számítási feladatok

  A CycleCloud által létrehozott HPC-fürtök nem csak lazán összekapcsolt vagy kínosan párhuzamos feladatokat támogatnak, ahol a skálázás (a fürt mérete) az elsődleges szempont. A CycleCloud-fürtök az Azure InfiniBand-gerincével is kialakításra kerülnek, és szorosan összekapcsolt vagy MPI-alapú számítási feladatokat támogatnak, ahol a csomópont közelsége és a hálózati késés kritikus fontosságú. Ezek a horizontális skálázási és szorosan összekapcsolt fogalmak szerves részét képezik a CycleCloud által támogatott ütemezőintegrációknak.

A fürt és a csomópont fogalmainak folytatása