CAE-szolgáltatások az Azure-ban
SaaS-platformot biztosíthat CAE-projektekhez az Azure-ban.
Nagy teljesítményű feldolgozás (HPC) az Azure-ban
A HPC bemutatása
A nagy teljesítményű számítástechnika (HPC), más néven "nagy számítási kapacitás" nagy számú PROCESSZOR- vagy GPU-alapú számítógépet használ összetett matematikai feladatok megoldásához.
Számos iparág használ HPC-t a legnehezebb problémák megoldásához. Ilyenek többek között a következő számítási feladatok:
- Genomics
- Olaj- és gázszimulációk
- Finance
- Félvezetők tervezése
- Mérnöki tevékenységek
- Időjárás-modellezés
Miben más a felhőbeli HPC?
A helyszíni HPC-rendszerek és a felhőbeli rendszerek közötti egyik elsődleges különbség az, hogy az erőforrások szükség esetén dinamikusan hozzáadhatók és eltávolíthatók. A dinamikus skálázás megszünteti a számítási kapacitás okozta szűk keresztmetszetet, és így lehetővé teszi, hogy az ügyfelek a feladataik követelményeinek megfelelően igazítsák az infrastruktúrájuk méretét.
A következő cikk további részleteket tartalmaz a dinamikus méretezési képességről.
Megvalósítási ellenőrzőlista
Amikor saját HPC-megoldást tervez megvalósítani az Azure-on, mindenképpen tekintse át a következő témaköröket:
- A követelményei alapján válassza ki a megfelelő architektúrát
- Legyen tisztában azzal, hogy melyik számítási lehetőségek felelnek meg számítási feladataihoz
- Azonosítsa az igényeinek megfelelő tárolási megoldást
- Döntse el, hogyan fogja kezelni az összes erőforrást
- Optimalizálja alkalmazását a felhőhöz
- Gondoskodjon az infrastruktúra védelméről
Infrastruktúra
A HPC-rendszer létrehozásához számos infrastruktúra-összetevő szükséges. A számítás, a tárolás és a hálózatkezelés biztosítja a mögöttes összetevőket, függetlenül attól, hogy hogyan kezeli a HPC számítási feladatait.
Példák HPC-architektúrákra
A HPC-architektúra számos különböző módon tervezhet és implementálható az Azure-ban. A HPC-alkalmazások több ezer számítási magra is felskálázhatók, kiterjeszthetik a helyszíni fürtöket, de 100%-ban natív felhőalapú megoldásként is futtathatók.
A következő forgatókönyvek a HPC-megoldások felépítésének néhány gyakori módját írják le.
-
-
3D-s videórenderelés az Azure-ban
Natív HPC számítási feladatok futtatása az Azure-ban az Azure Batch szolgáltatás használatával
Compute
Az Azure számos, nagy CPU- és GPU-igényű számítási feladatokhoz optimalizált méretet nyújt.
CPU-alapú virtuális gépek
GPU-kompatibilis virtuális gépek
Az N-sorozatú virtuális gépeken NVIDIA GPU-k találhatók, amelyek nagy számítási igényű vagy nagy grafikai igényű alkalmazásokhoz vannak tervezve, például mesterséges intelligencia (AI) tanításához és vizualizációhoz.
Tárolás
A nagy méretű Batch és HPC számítási feladatok olyan adattárolási és hozzáférési igényekkel rendelkeznek, amelyek meghaladják a hagyományos felhőalapú fájlrendszerek képességeit. Az Azure-beli HPC-alkalmazások sebesség- és kapacitásigényét számos megoldás kezeli:
- Azure NetApp Files
- Tárolásra optimalizált virtuális gépek
- Blob, tábla és Queue Storage
- Azure SMB fájltároló
A Lustre, a GlusterFS és a BeeGFS összehasonlítása az Azure-ban, tekintse át az Azure-beli párhuzamos fájlrendszerek e-könyvét és az Azure lustre blogját.
Hálózat
A H16r, H16mr, A8 és A9 virtuális gépek magas teljesítményű, háttérben futó RDMA-hálózathoz csatlakozhatnak. Ez a hálózat javíthatja a Microsoft Message Passing Interface vagy más néven MPI vagy Intel MPI alatt futó, szorosan összekapcsolt párhuzamos alkalmazások teljesítményét.
Menedzsment
Önkiszolgáló
A HPC-rendszer létrehozása az Alapoktól az Azure-ban jelentős rugalmasságot biztosít, de gyakran nagyon nagy karbantartási igényű.
- Saját fürtkörnyezet beállítása Azure-beli virtuális gépeken vagy virtuálisgép-méretezési csoportokban.
- Helyezzen üzembe vezető számításifeladat-kezelőket, infrastruktúrát és alkalmazásokat Azure Resource Manager-sablonok segítségével.
- Válasszon HPC és GPU virtuálisgép-méreteket, amelyek speciális hardvert és hálózati kapcsolatokat tartalmaznak az MPI és GPU számítási feladatokhoz.
- Nagy teljesítményű tároló hozzáadása I/O-igényes számítási feladatokhoz.
Hibrid és felhőalapú teljesítménynövelés
Ha rendelkezik egy meglévő helyszíni HPC-rendszerrel, amelyet az Azure-hoz szeretne csatlakoztatni, számos erőforrás áll rendelkezésre az első lépésekhez.
Először tekintse át a dokumentáció A helyszíni hálózat Azure-hoz való csatlakoztatásának lehetőségei című cikkét. Innen további információkat találhat a következő csatlakozási lehetőségekről:
-
Helyszíni hálózat csatlakoztatása az Azure-hoz VPN-átjáró használatával
Ez a referenciaarchitektúra bemutatja, hogyan lehet kibővíteni a helyszíni hálózatot az Azure-ra helyek közötti virtuális magánhálózat (VPN) használatával.
-
Helyszíni hálózat csatlakoztatása az Azure-hoz ExpressRoute VPN-feladatátvétellel történő használatával
Egy helyek közötti, magas rendelkezésre állású és biztonságos hálózati architektúrát építhet ki, amely a VPN-átjáróval feladatátvételt biztosító ExpressRoute használatával összekapcsolt Azure-beli virtuális hálózatból és helyszíni hálózatból áll.
A hálózati kapcsolat biztonságos létrejötte után megkezdheti a felhőalapú számítási erőforrások igény szerinti használatát a meglévő számításifeladat-kezelő teljesítménynövelési képességeivel.
A Marketplace-ről származó megoldások
Az Azure Marketplace-en számos számítási feladatkezelő érhető el.
- SUSE Linux Enterprise Server HPC-hez
- TIBCO DataSynapse GridServer
- Windows és Linux rendszerhez való Azure Data Science VM
- D3View
- UberCloud
Azure Batch
Az Azure Batch egy platformszolgáltatás, amely nagy léptékű párhuzamos és HPC-alkalmazásokat futtat hatékonyan a felhőben. Az Azure Batch számításigényes munkák futtatását ütemezi virtuális gépek felügyelt készletében, és automatikusan képes méretezni a számítási erőforrásokat a feladatok igényeinek megfelelően.
A SaaS-szolgáltatók vagy -fejlesztők a Batch SDK-kal és -eszközökkel HPC-alkalmazásokat vagy tárolókhoz kapcsolódó számítási feladatokat integrálhatnak az Azure-ral, adatokat bocsáthatnak rendelkezésre az Azure-ba, valamint feladat-végrehajtási folyamatokat hozhatnak létre.
Az Azure Batchben az összes szolgáltatás a felhőben fut, az alábbi képen látható, hogyan néz ki az architektúra az Azure Batchtel, és a felhőben futnak a méretezhetőségi és feladatütemezési konfigurációk, miközben az eredmények és jelentések elküldhetők a helyszíni környezetbe.
Azure CycleCloud
Az Azure CycleCloud nyújtja a legegyszerűbb módszert a HPC számítási feladatok bármilyen ütemezővel (például Slurm, Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro vagy Symphony) történő kezelésére az Azure-ban.
A CycleCloud a következőket teszi lehetővé:
- Teljes fürtök és más erőforrások (ütemező, számítási virtuális gépek, tárterület, hálózat és gyorsítótár) üzembe helyezése
- A feladatok, az adatok és a felhő munkafolyamatainak összehangolása
- Teljes körű szabályozás biztosítása a rendszergazdáknak afölött, hogy melyik felhasználók futtathatnak feladatokat, illetve hol és milyen költségek mellett tehetik meg ezt.
- Fürtök testreszabása és optimalizálása speciális szabályzatok és irányítási funkciók, például költségvezérlés, Active Directory-integráció, monitorozás és jelentéskészítés segítségével
- A jelenlegi feladatütemező és alkalmazások használata módosítás nélkül
- Beépített, automatikus skálázási funkció és élesben kipróbált referenciaarchitektúrák számos HPC számítási feladathoz és iparághoz
Hibrid/ felhőkitörési modell
Ebben a hibrid példadiagramban világosan látható, hogyan oszlanak el ezek a szolgáltatások a felhő és a helyszíni környezet között. A feladatok mindkét számítási feladatban futtathatók.
Natív felhőmodell
Az alábbi natív felhőmodell-diagram bemutatja, hogy a felhőbeli számítási feladatok hogyan fognak mindent kezelni, miközben továbbra is fenntartják a kapcsolatot a helyszíni környezettel.
Összehasonlító diagram
| Szolgáltatás | Azure Batch | Azure CycleCloud |
|---|---|---|
| Scheduler | Batch API-k és eszközök és parancssori szkriptek az Azure Portalon (Cloud Native). | Használjon szabványos HPC ütemezőket, például Slurm, PBS Pro, LSF, Grid Engine és HTCondor, vagy bővítse ki a CycleCloud automatikus skálázási beépülő moduljait a saját ütemezőjével való együttműködéshez. |
| Számítási erőforrások | Szoftver szolgáltatáscsomópontokként – Szolgáltatásként nyújtott platform | Szolgáltatásszoftverként nyújtott platform – Szolgáltatásként nyújtott platform |
| Monitorozási eszközök | Azure Monitor | Azure Monitor, Grafana |
| Testreszabás | Egyéni rendszerképkészletek, külső rendszerképek, Batch API-hozzáférés. | Az átfogó RESTful API használatával testre szabhatja és kibővítheti a funkciókat, üzembe helyezheti saját ütemezőjét, és támogatást használhat a meglévő számítási feladatok kezelőiben |
| Integráció | Synapse Pipelines, Azure Data Factory, Azure CLI | Beépített parancssori felület Windowshoz és Linuxhoz |
| Felhasználó típusa | Fejlesztők | Klasszikus HPC-rendszergazdák és -felhasználók |
| Munkatípus | Batch, Workflows | Szorosan összekapcsolt (Message Passing Interface/MPI). |
| Windows-támogatás | Igen | Változó, az ütemező választásától függően |
Számításifeladat-kezelők
Az alábbiakban néhány példa látható az Azure-infrastruktúrában futtatható fürt- és számításifeladat-kezelőkre. Önálló fürtöket hozhat létre az Azure-beli virtuális gépeken, illetve adatlöketet vihet át rájuk egy helyszíni fürtről.
- Alces Flight Compute
- TIBCO DataSynapse GridServer
- Bright Cluster Manager
- IBM Spectrum Symphony és Symphony LSF
- Altair PBS Works
- Rescale
- Altair Grid-motor
- Microsoft HPC Pack
Tárolók
Néhány HPC számítási feladat kezeléséhez tárolók is használhatók. Az Azure Kubernetes Service-hez (AKS) hasonló szolgáltatásokkal egyszerűen helyezhetők üzembe a felügyelt Kubernetes-fürtök az Azure-ban.
Költségkezelés
A HPC költségeinek kezelése az Azure-on különböző módokon végezhető el. Mindenképpen tekintse át az Azure vásárlási lehetőségeit a cégének legmegfelelőbb módszer kiválasztásához.
Biztonság
Az Azure ajánlott biztonsági eljárásait az Azure Security dokumentációjában találja.
A Cloud Bursting szakaszban elérhető hálózati konfigurációkon kívül egy küllős konfigurációt is implementálhat a számítási erőforrások elkülönítéséhez:
-
Küllős hálózati topológia implementálása az Azure-ban
Az agy egy virtuális hálózat (VNet) az Azure-ban, amely központi kapcsolódási pontként szolgál a helyszíni hálózathoz. A küllők az agyhoz kapcsolódó virtuális hálózatok, és a számítási feladatok elkülönítésére használhatók.
-
Küllős hálózati topológia implementálása megosztott szolgáltatásokkal az Azure-ban
Ez a referenciaarchitektúra a küllős referenciaarchitektúrára épít, hogy az összes küllő által használható megosztott szolgáltatásokat lehessen foglalni a központba.
HPC-alkalmazások
Egyéni vagy kereskedelmi HPC-alkalmazások futtatása az Azure-ban. Az ebben a szakaszban szereplő számos példa tesztelve lett, hogy hatékonyan lehessen méretezni további virtuális gépekkel vagy számítási magokkal. Az Azure Marketplace-en üzembe helyezésre kész megoldásokat talál.
Feljegyzés
Minden kereskedelmi alkalmazás szállítójánál érdeklődjön a felhőbeli futtatásra vonatkozó licencelési vagy egyéb korlátozásokról. Nem minden szállító kínál használatalapú licencet. Lehet, hogy a megoldásához licenckiszolgálót kell használnia a felhőben, vagy helyszíni licenckiszolgálóhoz kell csatlakoznia.
Mérnöki alkalmazások
Grafika és renderelés
- Autodesk Maya, 3ds Max és Arnold az Azure Batch-en
AI és mély tanulás
MPI-szolgáltatók
Távoli vizualizáció
Futtassa a GPU-alapú virtuális gépeket az Azure-ban a HPC-kimenettel megegyező régióban a legalacsonyabb késés, hozzáférés és távoli vizualizáció érdekében az Azure Virtual Desktopon keresztül.
Teljesítménymérések
Ügyfelek sikertörténetei
Sok olyan ügyfél van, aki nagy sikert aratott azzal, hogy az Azure-t használja a HPC számítási feladataihoz. Az alábbiakban néhány ilyen ügyfél esettanulmányát láthatja:
- AXA Global P&C
- Axioma
- d3View
- EFS
- Hymans Robertson
- MetLife
- Microsoft Research
- Milliman
- Mitsubishi UFJ Securities International
- NeuroInitiative
- Schlumberger
- Towers Watson
További fontos információk
- A nagy méretű számítási feladatok futtatásának megkísérlése előtt győződjön meg arról, hogy megnövelte a vCPU-kvótát.
Következő lépések
A legújabb bejelentésekért tekintse meg a következő erőforrásokat:
- A Microsoft HPC és Batch csapatának blogja
- Látogasson el az Azure blogra.
Microsoft Batch – példák
Ezek az oktatóanyagok részletesen ismertetik az alkalmazások Microsoft Batch-en való futtatását:
- A fejlesztés megkezdése a Batch használatával
- Az Azure Batch kódmintáinak használata
- Alacsony prioritású virtuális gépek használata a Batch szolgáltatással
- Nagy számítási igényű virtuális gépek használata Batch-készletekben