Grootschalige HPC-toepassingsworkloads uitvoeren voor de financiële sector op virtuele Azure-machines
HPC-workloads (High Performance Computing), ook wel bekend als big compute-toepassingen, vereisen veel kernen. Deze workloads kunnen taken omvatten zoals het modelleren van financiële risico's en het analyseren van technische stress.
Big Compute-toepassingen hebben doorgaans de volgende kenmerken:
- De workload kan worden onderverdeeld in discrete taken die tegelijkertijd kunnen worden uitgevoerd op veel kernen.
- Elke taak neemt invoer, verwerkt deze en produceert uitvoer. De hele toepassing wordt gedurende een beperkte tijd uitgevoerd.
- De toepassing hoeft niet voortdurend te worden uitgevoerd, maar moet knooppuntfouten en crashes kunnen afhandelen.
- Taken kunnen onafhankelijk of nauw gekoppeld zijn, waarvoor snelle netwerktechnologieën nodig zijn, zoals InfiniBand en RDMA-connectiviteit (Remote Direct Memory Access).
- Rekenintensieve VM-grootten (virtuele machines), zoals H16r, H16mr en A9, kunnen worden gebruikt. De selectie is afhankelijk van de workload.
Azure biedt een reeks VM-exemplaren die zijn geoptimaliseerd voor CPU-intensieve en GPU-intensieve workloads. Deze VM's kunnen worden uitgevoerd in Virtuele-machineschaalsets van Azure om tolerantie en taakverdeling te bieden. Azure is ook het enige cloudplatform dat hardware met InfiniBand-functionaliteit biedt. InfiniBand biedt een aanzienlijk prestatievoordeel voor taken zoals het modelleren van financiële risico's en het analyseren van technische stress. Dit voordeel resulteert in prestaties die de huidige prestaties van de on-premises infrastructuur naderen of overschrijden.
Azure-VM's bieden verschillende opties, ook wel VM-grootten genoemd, voor HPC- en GPU-geoptimaliseerde computing. Het is belangrijk om een VM-grootte te selecteren die geschikt is voor uw workload. Zie Grootten voor virtuele machines in Azure om de grootte te vinden die het beste past. Zie ook het hulpprogramma selector in de selector voor virtuele machines.
Houd er rekening mee dat niet alle Azure-producten beschikbaar zijn in alle regio's. Zie Producten die beschikbaar zijn per regio om te zien wat er beschikbaar is in uw regio.
Zie de Azure Compute-blog of de inhoud van de Azure Compute-service voor aanbevolen procedures voor het kiezen van Azure-rekenopties.
Azure biedt vm's met CPU- en GPU-functionaliteit. De VM's uit de N-serie bevatten NVIDIA GPU's die zijn ontworpen voor rekenintensieve of grafische intensieve toepassingen, zoals AI, leren en visualisatie.
HPC-SKU's zijn ontworpen voor scenario's met hoge prestaties. Maar andere SKU's, zoals de E- en F-serie, zijn ook geschikt voor bepaalde werkbelastingen.
Ontwerpoverwegingen
Wanneer u uw HPC-infrastructuur ontwerpt, zijn er verschillende hulpprogramma's en services beschikbaar waarmee u uw workloads kunt beheren en plannen.
Azure CycleCloud is een hulpprogramma voor het maken, beheren, gebruiken en optimaliseren van HPC- en big compute-clusters in Azure. Met Azure CycleCloud kunnen gebruikers DYNAMISCH HPC Azure-clusters configureren en gegevens en taken organiseren voor hybride en cloudwerkstromen. Azure CycleCloud biedt de eenvoudigste manier om HPC-workloads in Azure te beheren waarbij een workloadmanager wordt gebruikt. Azure CycleCloud ondersteunt workloadbeheerders zoals Grid Engine, Microsoft HPC Pack, HTCondor, LSF, PBS Pro, SLURM en Symphony.
Voorbeeld van ontwerp van financiële architectuur
De volgende architectuur biedt een voorbeeld van het gebruik van VM's in HPC voor financiële workloads.
Deze workload maakt gebruik van rekenknooppunten uit de HPC Pack HB-serie.
De VM's uit de HB-serie zijn geoptimaliseerd voor HPC-toepassingen, zoals financiële analyse, weersimulatie en rtl-modellering (silicon register-transfer level). HB-VM's zijn voorzien van 120 AMD EPYC™ processorkernen uit de 7003-serie en hebben 448 GB RAM, zonder hyperthreading. VM's uit de HB-serie bieden ook 350 GB per seconde geheugenbandbreedte, tot 32 MB L3-cache per kern, tot 7 GB/s van ssd-prestaties (block device solid-state drive) en klokfrequenties van maximaal 3,675 GHz.
Voor het HPC-hoofdknooppunt gebruikt de workload een andere vm met een andere grootte. Het maakt specifiek gebruik van een D16s_v4-VM, een type SKU voor algemeen gebruik.
Zie de volgende bronnen voor referentiearchitecturen en kookboeken voor het implementeren van ISV-toepassingen (Independent Software Vendor) van HPC die use cases ondersteunen in de financiële sector:
- Reeks virtuele machines.
- Azure HPC-certification.github.io.
- Microsoft Azure HPC OnDemand Platform. Deze zelfstandige referentiearchitectuur voldoet mogelijk niet aan het azure-landingszoneparadigma.
Volgende stappen
De volgende artikelen bevatten richtlijnen voor verschillende fasen van het cloudimplementatieproces. Deze resources kunnen u helpen bij de overstap naar HPC-omgevingen in de financiële sector voor de cloud.