Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
A Slurm az AI, HPC és felhőalapú számítástechnika egyik legnépszerűbb és széles körben használt nyílt forráskódú számítási feladatkezelője. A Slurm használatával nagy léptékű párhuzamos és elosztott alkalmazásokat futtathat több számítási csomóponton. Olyan funkciókat biztosít, mint a feladatütemezés, az erőforrás-kezelés, a hibatűrés és az energiagazdálkodás. A világ legtöbb szuperszámítógépe, kutatóintézete, egyeteme és vállalata használja a Slurmot.
A Slurm-fürtök felhőbeli beállítása és kezelése azonban kihívást jelenthet, különösen, ha nem ismeri a felhőkörnyezetet vagy a Slurm-konfigurációt, és időigényes is lehet. Olyan feladatokat kell kezelnie, mint a számítási csomópontok kiépítése és skálázása, a Slurm-szoftverek telepítése és frissítése, a hálózat és a tárolás konfigurálása, a fürt állapotának és teljesítményének monitorozása, valamint a hibaelhárítási problémák. Ezek a feladatok elvonhatják Önt az alapvető kutatási vagy üzleti céloktól, és csökkenthetik az AI- és HPC-számítási feladatok termelékenységét és hatékonyságát.
Az Azure CycleCloud Workspace for Slurm egy Azure Marketplace-megoldássablon, amellyel előre definiált Slurm-fürtöket hozhat létre, konfigurálhat és helyezhet üzembe az Azure-ban a CycleCloud használatával. A sablon telepítéséhez nincs szükség előzetes Azure vagy Slurm tudásra, de a környezet üzemeltetéséhez és testreszabásához ezek a készségek szükségesek. A megoldás előre konfigurálja a Slurm-fürtöket pMix v4, Pyxis és enroot használatával a tárolóalapú AI/HPC Slurm-feladatok támogatásához. A biztosított bejelentkezési csomóponthoz SSH vagy Visual Studio Code segítségével lehet hozzáférni gyakori feladatok elvégzéséhez, például Slurm feladatok beküldéséhez és kezeléséhez.
Bár az Azure CycleCloud már lehetővé teszi bizonyos feladatok elvégzését, nem telepíti az AI-/HPC-infrastruktúrát. Olyan feladatokkal kell foglalkoznia, mint a CycleCloud telepítése és konfigurálása, a hálózat és a tárolás konfigurálása, valamint a Slurm-fürt létrehozása és konfigurálása. Az Azure CycleCloud Workspace for Slurm ezeket a feladatokat egy Marketplace-megoldássablonban hajtja végre, amelyet közvetlenül az Azure Portalról vagy az Azure CLI-vel helyezhet üzembe. Már percek alatt kész, nem napokig vagy hetekig.
Válassz egy Azure orkestrációs opciót
Válasszon egy lehetőséget az alapján, hogy csapata milyen tapasztalattal rendelkezik az ütemezőkkel kapcsolatban, és mekkora infrastruktúra feletti irányításra van szüksége:
| Option | Optimális illesztés | Minősítési modell |
|---|---|---|
| Azure CycleCloud-munkaterület slurmhoz | Csapatok, akik kész telepítésre alkalmas Slurm környezetet szeretnének HPC vagy AI munkaterhelésekhez | Egy Marketplace megoldás telepíti a CycleCloud, Slurm, hálózati, tárolási és hozzáférési komponenseket az Azure előfizetésedben. |
| Azure CycleCloud | olyan HPC-környezetek, amelyek Slurmtől eltérő ütemezőt, egyedi klasztertopológiát vagy a meglévő helyszíni munkafolyamatokhoz való szoros illeszkedést igényelnek | Telepíted a CycleCloud-ot, és konfigurálod az ütemezőt, a klasztert, a hálózatot és a tárolást. A CycleCloud biztosítja és automatikusan skálázza az Azure infrastruktúráját. |
| Azure Batch | Párhuzamos és nagy áteresztőképességű munkaterhelések, amelyekhez nem kell időzítő szoftvert használni | Az Azure szolgáltatásként kínálja az ütemezést. Batch API-kkal és eszközökkel építesz, miközben a Batch a poolokat, csomópontokat, feladatokat és feladatokat kezeli. |
Használd a jelenlegi környezetedet döntő tényezőként:
| Kiindulópont | Előnyben részesít | Miért |
|---|---|---|
| A Slurm-ot szeretnéd, és az előre definiált hálózati, tárolási, hozzáférési és klaszterarchitektúra megfelel az igényeidnek. | Azure CycleCloud Slurm-munkakörnyezet | A Marketplace megoldás lerövidíti az utat egy működő Slurm környezethez, miközben az előfizetésed erőforrásait megtartja. |
| Szükséged van egy Slurm-on kívüli időzítőre, vagy a megoldástervezésen túl testreszabni kell a topológiát, az ütemeztető szabályzatokat vagy infrastruktúrát. | Azure CycleCloud | A CycleCloud biztosítja az ütemező és a klaszter konfigurációjának irányítását. |
| Az alkalmazásod használhat készleteket, munkákat és feladatokat, és nincs szüksége ütemezővel való kompatibilitásra. | Azure Batch | A Batch szolgáltatásként kínálja az ütemezést, és megszünteti a Slurm üzemeltetésének szükségességét. |
Ne válaszd a Workspace-et a Slurmhoz, ha menedzselt platform szolgáltatást vársz. A csapatod továbbra is birtokolja a telepített Azure erőforrásokat, Slurm konfigurációt, biztonságot, monitorozást, frissítéseket és munkaterhelés műveleteket. Válassz egyedi CycleCloud-t, ha az előre definiált architektúra nem felel meg a szükséges topológiának vagy integrációnak.
A gyártási bevezetés előtt rögzítse, hogy miért megfelelő a Workspace for Slurm, mely alternatívákat vetették el, hogy a telepítés zöldmezős-e vagy meglévő erőforrásokat használ fel, a hálózati és identitáskezelési kialakítást, a tárolási benchmarkot, a regionális VM-kvótát és -kapacitást, a helyreállítási megközelítést, az üzemeltetés felelősét, valamint az egy reprezentatív feladatra jutó időt és költséget. Kezdjük a telepítési tervezéssel. Egyedi CycleCloud klaszterhez lásd: HPC klaszterek tervezése és mérete.
Az Azure CycleCloud Workspace for Slurm előnyei
Az Azure CycleCloud nagyszerű megoldás, ha AI-/HPC-környezetet szeretne létrehozni az Azure-ban, akár a helyszíni AI-/HPC-számítási feladatok egy részének felemeléséhez és áthelyezéséhez, akár egy új létrehozásához. A teljes körű AI/HPC-környezet létrehozása azonban nem egyszerű feladat. El kell döntenie, hogyan tervezheti meg a hálózatot, melyik tárolóösszetevőt használja megosztott fájlrendszerként, milyen virtuálisgép-típust használjon a számítási feladat futtatásához, és sok apró dolgot, amelyek összetettebbé tehetik a projektet.
Az Azure CycleCloud Workspace for Slurm számos előnyt kínál azoknak a felhasználóknak, akik Slurm-számítási feladatokat szeretnének futtatni az Azure-ban, például:
Egyszerű és gyors fürtlétrehozás: Percek alatt létrehozhat Slurm-fürtöket az Azure-ban a grafikus felhasználói felület néhány egyszerű lépésének követésével. Ez a folyamat gyorsabb, mint a napok vagy hetek munkája a múltban az Azure CycleCloud Workspace for Slurm nélkül. Különböző Azure-beli virtuálisgép-méretek és -típusok közül választhat. Testre szabhatja a fürt beállításait, például a csomópontok számát, a hálózati konfigurációt, az Azure NetApp Filestól az Azure Managed Lustre Fájlrendszerig elérhető tárolási beállításokat és a Slurm-paramétereket.
Rugalmas és dinamikus fürtkezelés: Az Azure CycleCloud vertikálisan fel- vagy leskálázza az Slurm-fürtöket. Figyelemmel kísérheti a fürt állapotát, teljesítményét és kihasználtságát. A fürtnaplókat és a metrikákat a grafikus felhasználói felületen tekintheti meg. Törölheti a Slurm-fürtöket is, ha már nincs rájuk szükség, és csak a használt erőforrásokért kell fizetnie.
Hogyan hozhatok létre Azure CycleCloud-munkaterületet a Slurmhoz?
Üzembe helyezhet egy Azure CycleCloud-munkaterületet slurmhoz az Azure Marketplace-en vagy az Azure CLI használatával. A Marketplace-ről való üzembe helyezéshez keresse meg a Slurmot, majd válassza a Létrehozás lehetőséget. Az Azure CLI használatával történő üzembe helyezéshez először létre kell hoznia egy bemeneti paraméterfájlt, majd telepítenie kell a az deployment sub create parancsot. Részletes útmutatásért lásd: CycleCloud Slurm Workspace-környezet üzembe helyezése a parancssori felület használatával.
Mi nem az Azure CycleCloud munkaterület a Slurmhoz?
Az Azure CycleCloud Workspace for Slurm nem PaaS-szolgáltatás. A teljes infrastruktúra üzembe van helyezve a bérlőben, így mindent üzembe helyezhet (zöldmezős üzembe helyezés), vagy megadhatja a meglévő erőforrásokat az újrafelhasználásra (barnamezős üzembe helyezés), például a célerőforrás-csoportot, a virtuális hálózatot, az Azure NetApp Filest stb.
Így néz ki egy Slurm környezetbe üzembe helyezett Azure CycleCloud munkaterület.
Az alábbiakban bemutatjuk az Azure CycleCloud Workspace for Slurm üzembe helyezésének tipikus architektúráját. Az architektúra olyan kötelező erőforrásokat tartalmaz, mint a CycleCloud futtatására szolgáló virtuális gép, a felhasználói otthoni címtárak megosztott fájlrendszere és a CycleCloud-projektek tárfiókja.
Az Azure CycleCloud Workspace for Slurm üzembe helyezheti a virtuális hálózatot, vagy használhat egy meglévő virtuális hálózatot az erőforrások létrehozásához. Igény szerint létrehozhat egy Azure Managed Lustre fájlrendszert a saját alhálózatán.
Ha a vállalati biztonsági szabályok nem engedélyezik a nyilvános IP-címeket (és sokan nem), létrehozhat virtuális hálózati társviszonyt egy meglévő virtuális hálózattal egy küllős mintában. A központ tartalmazza az összes kapcsolati szolgáltatást, például egy virtuális hálózati átjárót vagy egy Azure Bastiont.
Végül egy olyan környezetben, amelyben nincs nyilvános IP-cím és NINCS VPN, szüksége van egy Bastionra. A Bastion biztonságos hozzáférést biztosít a CycleCloud webportálhoz, és lehetővé teszi az SSH használatát a hitelesítési csomópontokhoz való csatlakozáshoz.