Nagy teljesítményű számítástechnika (HPC) az Azure platformon

A HPC bemutatása

A nagy teljesítményű számítástechnika (HPC, más néven nagy számítási kapacitás) nagy mennyiségű PROCESSZOR- vagy GPU-alapú számítógépet használ összetett matematikai feladatok megoldásához.

Számos iparág használ HPC-t a legnehezebb problémák megoldásához. Ilyenek többek között a következő számítási feladatok:

  • Genomics
  • Olaj- és gázszimulációk
  • Finance
  • Félvezetők tervezése
  • Mérnöki tevékenységek
  • Időjárás-modellezés

Miben más a felhőben lévő HPC?

A helyszíni HPC-rendszerek és a felhőbeli rendszerek közötti egyik elsődleges különbség az, hogy az erőforrások szükség esetén dinamikusan hozzáadhatók és eltávolíthatók. A dinamikus skálázás megszünteti a számítási kapacitás okozta szűk keresztmetszetet, és így lehetővé teszi, hogy az ügyfelek a feladataik követelményeinek megfelelően igazítsák az infrastruktúrájuk méretét.

A következő cikk további részleteket tartalmaz a dinamikus méretezési képességről.

Megvalósítási ellenőrzőlista

Mivel saját HPC-megoldást szeretne implementálni Azure, ellenőrizze, hogy áttekintette-e a következő témaköröket:

  • A követelményei alapján válassza ki a megfelelő architektúrát
  • Legyen tisztában azzal, hogy melyik számítási lehetőségek felelnek meg számítási feladataihoz
  • Azonosítsa az igényeinek megfelelő tárolási megoldást
  • Döntse el, hogyan fogja kezelni az összes erőforrást
  • Optimalizálja alkalmazását a felhőhöz
  • Gondoskodjon az infrastruktúra védelméről

Infrastruktúra

A HPC-rendszer létrehozásához számos infrastruktúra-összetevő szükséges. A számítás, a tárolás és a hálózatkezelés biztosítja a mögöttes összetevőket, függetlenül attól, hogy hogyan kezeli a HPC számítási feladatait.

Compute

Azure olyan méretválasztékot kínál, amely a nagy processzor- és grafikus vezérlőigényű számítási feladatokhoz van optimalizálva.

CPU-alapú virtuális gépek

GPU-kompatibilis virtuális gépek

Az N-sorozatú virtuális gépeken NVIDIA GPU-k találhatók, amelyek nagy számítási igényű vagy nagy grafikai igényű alkalmazásokhoz vannak tervezve, például mesterséges intelligencia (AI) tanításához és vizualizációhoz.

Storage

A nagy méretű Batch és HPC számítási feladatok olyan adattárolási és hozzáférési igényekkel rendelkeznek, amelyek meghaladják a hagyományos felhőalapú fájlrendszerek képességeit. Számos olyan megoldás létezik, amely a HPC-alkalmazások sebesség- és kapacitásigényét is kezeli a Azure:

A Lustre, a GlusterFS és a BeeGFS Azure összehasonlításáról a Parallel Files Systems on Azure e-book és a Lustre on Azure blogon olvashat.

hálózat

A H16r, H16mr, A8 és A9 virtuális gépek magas teljesítményű, háttérben futó RDMA-hálózathoz csatlakozhatnak. Ez a hálózat javíthatja a szorosan összekapcsolt párhuzamos alkalmazások teljesítményét, amelyek Microsoft Message Passing Interface vagy más néven MPI vagy Intel MPI alatt futnak.

menedzsment

Csináld magad

A HPC-rendszer létrehozása az alapoktól Azure jelentős rugalmasságot kínál, de gyakran nagyon nagy karbantartási igényű.

  1. Állítsa be saját klaszerkörnyezetét Azure virtuális gépeken vagy Virtual Machine Scale Sets szolgáltatáson.
  2. A Azure Resource Manager sablonok használatával üzembe helyezhet vezető munkaterhelés-kezelőket, infrastruktúrát és alkalmazásokat.
  3. Válasszon HPC és GPU virtuálisgép-méreteket, amelyek speciális hardvert és hálózati kapcsolatokat tartalmaznak az MPI és GPU számítási feladatokhoz.
  4. Nagy teljesítményű tároló hozzáadása I/O-igényes számítási feladatokhoz.

Hibrid és felhőkitörés

Ha rendelkezik egy meglévő helyszíni HPC-rendszerrel, amelyhez csatlakozni szeretne Azure, számos erőforrás áll rendelkezésre az első lépésekhez.

Először tekintse át a dokumentációban található Opciók egy helyszíni hálózat Azure-hoz való csatlakoztatására című cikket. Innen további információkat találhat a következő csatlakozási lehetőségekről:

A hálózati kapcsolat biztonságos létrejötte után megkezdheti a felhőalapú számítási erőforrások igény szerinti használatát a meglévő számításifeladat-kezelő teljesítménynövelési képességeivel.

A Marketplace-ről származó megoldások

A Microsoft Marketplace-en számos számítási feladatkezelő érhető el.

Azure Batch

Azure Batch egy platformszolgáltatás, amely nagy léptékű párhuzamos és HPC-alkalmazásokat futtat hatékonyan a felhőben. Azure Batch számítási igényű munkát ütemez a virtuális gépek felügyelt készletén való futtatásra, és automatikusan méretezheti a számítási erőforrásokat a feladatok igényeinek megfelelően.

Az SaaS-szolgáltatók vagy fejlesztők a Batch SDK-k és -eszközök használatával integrálhatják a HPC-alkalmazásokat vagy a tároló számítási feladatait a Azure, az adatokat Azure szakaszba állíthatják, és feladatvégrehajtási folyamatokat hozhatnak létre.

Azure Batch minden szolgáltatás a felhőben fut. Az alábbi képen látható, hogyan néz ki az architektúra a Azure Batch, és a felhőben futnak a méretezhetőségi és feladatütemezési konfigurációk, miközben az eredmények és jelentések elküldhetők a helyszíni környezetbe.

A diagram egy példát mutat az Azure Batch HPC-architektúrájára.

Azure CycleCloud

Azure CycleCloud az Azure-on bármely ütemezővel (például Slurm, Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro vagy Symphony) a HPC számítási feladatok kezelésének legegyszerűbb módját biztosítja.

A CycleCloud a következőket teszi lehetővé:

  • Teljes fürtök és más erőforrások (ütemező, számítási virtuális gépek, tárterület, hálózat és gyorsítótár) üzembe helyezése
  • A feladatok, az adatok és a felhő munkafolyamatainak összehangolása
  • Teljes körű szabályozás biztosítása a rendszergazdáknak afölött, hogy melyik felhasználók futtathatnak feladatokat, illetve hol és milyen költségek mellett tehetik meg ezt.
  • A fürtök testreszabása és optimalizálása fejlett szabályzat- és irányítási funkciók segítségével, ideértve a költségkezelési megoldásokat, az Active Directory integrációt, a monitorozást és a jelentéskészítést.
  • A jelenlegi feladatütemező és alkalmazások használata módosítás nélkül
  • Beépített, automatikus skálázási funkció és élesben kipróbált referenciaarchitektúrák számos HPC számítási feladathoz és iparághoz
Hibrid/ felhőkitörési modell

Ebben a hibrid példadiagramban világosan látható, hogyan oszlanak el ezek a szolgáltatások a felhő és a helyszíni környezet között. Lehetőség van feladatok futtatására mindkét munkaterhelésben. Az ábra egy hibrid környezetben az Azure CycleCloud példáját mutatja be a HPC architektúrának.

Natív felhőmodell

Az alábbi natív felhőmodell-diagram bemutatja, hogy a felhőbeli számítási feladatok hogyan fogják kezelni az összes feladatot, miközben továbbra is fenntartják a helyszíni környezethez való kapcsolatot.

A diagram egy példát mutat be egy HPC-architektúrára a CycleCloudon Azure-ben, a Cloud-native modellben.

Összehasonlító diagram

Funkció Azure Batch Azure CycleCloud
Feladatütemező Batch API-k és eszközök és parancssori szkriptek a Azure portálon (natív felhő). Használjon szabványos HPC ütemezőket, például Slurm, PBS Pro, LSF, Grid Engine és HTCondor, vagy bővítse ki a CycleCloud automatikus skálázási beépülő moduljait a saját ütemezőjével való együttműködéshez.
Számítási erőforrások Szoftverszolgáltatási csomópontok – Platforms szolgáltatásként Platform mint szolgáltatási szoftver – Platform mint szolgáltatás
Monitorozási eszközök Azure Monitor Azure Monitor, Grafana
Testreszabás Egyéni képkészletek, harmadik fél képei, Batch API-hozzáférés. Az átfogó RESTful API használatával testre szabhatja és kibővítheti a funkciókat, üzembe helyezheti saját ütemezőjét, és támogatást használhat a meglévő számítási feladatok kezelőiben
Integráció Adatgyár a Microsoft Fabricben, Azure Data Factory, Azure CLI Built-In parancssori felület Windows és Linux rendszeren
Felhasználó típusa Fejlesztők Klasszikus HPC-rendszergazdák és -felhasználók
Munkatípus Tétel, Munkafolyamatok Szorosan összekapcsolt (Message Passing Interface/MPI).
Windows támogatás Igen Változó, az ütemező választásától függően

Számításifeladat-kezelők

Az alábbiakban fürt- és erőforrás-kezelők példái találhatók, amelyek az Azure infrastruktúráján futtathatók. Önálló fürtöket hozhat létre az Azure virtuális gépeken, vagy kibővítheti az on-premises fürtjét az Azure virtuális gépére.

Containers

Néhány HPC számítási feladat kezeléséhez tárolók is használhatók. Az olyan szolgáltatások, mint az Azure Kubernetes Service (AKS), elősegítik a felügyelt Kubernetes-fürt üzembe helyezését az Azure-ben.

Költségkezelés

A HPC-költségek Azure történő kezelése többféleképpen is elvégezhető. Ellenőrizze, hogy áttekintette-e a Azure vásárlási lehetőségeket hogy megtalálja a szervezet számára legmegfelelőbb módszert.

Biztonság

A Azure biztonsági ajánlott eljárásainak áttekintéséért tekintse át a Azure biztonsági dokumentációját.

A Cloud Bursting szakaszban elérhető hálózati konfigurációkon kívül egy küllős konfigurációt is implementálhat a számítási erőforrások elkülönítéséhez:

HPC-alkalmazások

Egyéni vagy kereskedelmi HPC-alkalmazásokat futtathat Azure. Az ebben a szakaszban szereplő számos példa tesztelve lett, hogy hatékonyan lehessen méretezni további virtuális gépekkel vagy számítási magokkal. Az üzembe helyezésre kész megoldásokért látogasson el a Microsoft Marketplace.

Megjegyzés:

Minden kereskedelmi alkalmazás szállítójánál érdeklődjön a felhőbeli futtatásra vonatkozó licencelési vagy egyéb korlátozásokról. Nem minden szolgáltató kínál használatalapú elszámolású licencet. Lehet, hogy a megoldásához licenckiszolgálót kell használnia a felhőben, vagy helyszíni licenckiszolgálóhoz kell csatlakoznia.

Mérnöki alkalmazások

Grafika és renderelés

AI és mély tanulás

MPI-szolgáltatók

Távoli vizualizáció

Futtassa a GPU-val működtetett virtuális gépeket az Azure-ban ugyanabban a régióban, mint a HPC-kimenet, a legalacsonyabb késés, a hozzáférés és a távoli vizualizáció érdekében az Azure Virtual Desktopon keresztül.

Teljesítménymutatók

További fontos információk

  • A nagy méretű számítási feladatok futtatásának megkísérlése előtt győződjön meg arról, hogy megnövelte a vCPU-kvótát.

Következő lépések

A legújabb bejelentésekért tekintse meg a következő erőforrásokat:

Microsoft Batch példák

Ezek az oktatóanyagok részletesen ismertetik az alkalmazások Microsoft Batchen való futtatását:

  • Last updated on