Beräkna storskaliga HPC-programarbetsbelastningar på virtuella Azure-datorer

Artikel
10/10/2023

Termen stor beräkning (används som referens till HPC) beskriver storskaliga arbetsbelastningar som kräver ett stort antal kärnor, ofta i hundratals eller tusentals. Det kan till exempel användas inom bildåtergivning, hydrodynamik, finansiell riskmodellering, oljeprospektering, läkemedel och teknisk hållfasthetsanalys.

Följande är typiska egenskaper för stora beräkningsprogram:

Arbetet kan delas upp i separata uppgifter som kan köras över många kärnor samtidigt.
Varje uppgift är begränsad. Den tar emot en viss mängd indata, utför en viss bearbetning och ger utdata. Hela tillämpningen körs under en begränsad tid (från minuter till dagar). Ett vanligt mönster är att konfigurera många kärnor i en burst och sedan snurra ned till noll när programmet har slutförts.
Programmet behöver inte vara uppe dygnet innan. Men systemet måste hantera nodfel eller programkrascher.
I en del tillämpningar är uppgifterna fristående och kan köras parallellt. I andra fall är uppgifterna kopplade till varandra och måste interagera eller utbyta delresultat. I det fallet bör du överväga att använda teknik för höghastighetsnätverk, t.ex. InfiniBand och direktåtkomst till fjärrminne (RDMA).
Du kan använda beräkningsintensiva VM-storlekar (H16r, H16mr och A9) beroende på arbetsbelastningen.

Azure erbjuder en rad vm-instanser som är optimerade för både CPU- och GPU-intensiva arbetsbelastningar (både beräkning och visualisering). De virtuella datorerna är idealiska för att köra olje- och gasarbetsbelastningar.

Azure är den enda molnplattformen som erbjuder VM-instanser med InfiniBand-aktiverad maskinvara. Den här funktionen ger en betydande prestandafördel för att köra reservoarsimulering och seismiska arbetsbelastningar. Den förbättrade prestandan minskar prestandaklyftan och resulterar i nära eller bättre prestanda än nuvarande lokala infrastrukturer.

Virtuella Azure-datorer har många olika alternativ, så kallade VM-storlekar. Det finns olika serier av VM-storlekar för HPC- och GPU-optimerad databehandling. Välj lämplig VM-storlek för den arbetsbelastning som du vill använda. Mer information om hur du väljer VM-storlekar finns i verktyget Storlekar för virtuella datorer i Azure-väljare.

Alla Azure-produkter är inte tillgängliga i alla Azure-regioner. Mer information finns i den aktuella listan över tillgängliga produkter per region.

Metodtips för dina val i Azure-beräkning finns i Azure-beräkningsbloggen eller se innehållet i Azure-beräkningstjänsten för att välja en tjänst.

CPU-baserade virtuella datorer

GPU-aktiverade virtuella datorer

Virtuella datorer i N-serien har NVIDIA-GPU:er utformade för beräkningsintensiva eller grafikintensiva program, inklusive artificiell intelligens (AI), inlärning och visualisering.

HPC-SKU:er är speciellt byggda för scenarier med höga prestanda. Men Azure erbjuder även andra SKU:er som kan vara lämpliga för vissa arbetsbelastningar som du kör på din HPC-infrastruktur. Du kan köra dessa SKU:er effektivt på billigare maskinvara. Några vanliga beräknings-SKU:er är E- och F-serien.

Designöverväganden för HPC

Job Scheduler är en specialiserad tjänst för schemaläggning av beräkningsintensivt arbete som ska köras på en hanterad pool med virtuella datorer. Du kan automatiskt skala beräkningsresurser för att uppfylla behoven för dina jobb.

Azure Batch är en hanterad tjänst för att köra storskaliga HPC-program. Med Azure Batch konfigurerar du en VM-pool och laddar sedan upp program och datafiler. Sedan konfigurerar Batch-tjänsten de virtuella datorerna, tilldelar uppgifter till de virtuella datorerna, kör uppgifterna och övervakar förloppet. Batch kan automatiskt skala upp och ned virtuella datorer som svar på ändrade arbetsbelastningar. Batch tillhandahåller också en funktion för jobbschemaläggning.

Azure CycleCloud är ett verktyg för att skapa, hantera, driva och optimera HPC- och Big Compute-kluster i Azure. Med Azure CycleCloud kan användarna dynamiskt konfigurera HPC Azure-kluster och samordna data och jobb för hybrid- och molnarbetsflöden. Azure CycleCloud är det enklaste sättet att hantera HPC-arbetsbelastningar med hjälp av olika arbetsbelastningshanterare (till exempel Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro, Slurm eller Symphony) i Azure.

Designrekommendationer för HPC

Både reservoar- och seismiska arbetsflöden har vanligtvis liknande krav för beräkning och jobbschemaläggning.
När det gäller minnesintensiva simuleringar av seismiska avbildningar och reservoarer överväger du dina nätverksbehov, men Azure HPC erbjuder vm-storlekar för HBv2 och HBv3.
Använd virtuella HB-datorer för program som är bundna till minnesbandbredd och virtuella HC-datorer för beräkningsbundna reservoarsimuleringar.
Använd virtuella NV-datorer för 3D-reservoarmodellering och visualisering av seismiska data.
För GPU-accelererad seismisk FWI-analys är NCv4 den rekommenderade lösningen. För mer dataintensiv RTM-bearbetning är NDv4 SKU det bästa alternativet tack vare tillgängligheten för NVMe-enheter med en kumulativ kapacitet på 7 TB. För att få bästa möjliga prestanda på virtuella datorer i HB-serien med MPI-arbetsbelastningar, gör du optimal process fästning på processorernas kärnor. Mer information finns i blogginlägget Optimal MPI-processplacering för virtuella Datorer i Azure HB-serien. Dedikerade verktyg tillhandahålls också för att säkerställa korrekt fästning av parallella programprocesser enligt beskrivningen här.
På grund av den komplexa arkitekturen för virtuella datorer i NDv4-serien bör du vara särskilt uppmärksam när du konfigurerar de virtuella datorerna för att säkerställa att du startar GPU-accelererade program optimalt. Mer information om databehandling med höga prestanda i Azures skalbara GPU VM-blogginlägg .

HPC-referensarkitektur

Följande är användningsfall och referensarkitekturer för energi-HPC-miljöer.

Användningsfall för referensarkitektur för olje- och gasseismik och reservoarsimulering

Vanligtvis har både reservoar- och seismiska arbetsflöden liknande krav för beräkning och jobbschemaläggning. Seismiska arbetsbelastningar utmanar dock infrastrukturen för lagring med potentiellt flera PB-lagrings- och dataflödeskrav som kan mätas i hundratals GB. Ett enda seismiskt bearbetningsprojekt kan till exempel börja med 500 TB rådata, vilket kräver potentiellt flera PB-lagring på lång sikt. Följande är några referensarkitekturer som är tillgängliga idag som kan hjälpa dig att uppfylla dina mål för att köra ditt program i Azure.

Användningsfall och referensarkitektur för seismisk bearbetning

Seismisk bearbetning och avbildning är grundläggande för olje- och gasbranschen eftersom de skapar en modell av underytan av utforskningsdata. Processen för att kvalificera och kvantifiera vad som kan finnas i underytan utförs vanligtvis av geoforskare. Geoforskare använder programvara som ofta är datacenter och molnbunden. Ibland får de åtkomst till programvaran via virtuell skrivbordsteknik via fjärranslutning eller i molnet.

Kvaliteten på modellen under ytan och kvaliteten och upplösningen av data är avgörande för att fatta rätt affärsbeslut om budgivning på lån eller bestämma var du ska detaljgranska. Seismiska bildtolkningsbilder kan förbättra brunnarnas position och minska risken för att borra ett "torrt hål". För olje- och gasföretag innebär en bättre förståelse för strukturer under ytan direkt att minska prospekteringsrisken. I grund och botten, ju högre noggrannhet företagets syn på det geologiska området, desto bättre är dess chans att slå olja när den borrar.

Det här jobbet är data- och beräkningsintensivt. Företaget måste bearbeta terabyte med data, vilket kräver massiv och snabb beräkningskraft, vilket inkluderar snabbt nätverk. På grund av den data- och dataintensiva karaktären hos seismisk avbildning använder företag parallell databehandling för att bearbeta data och minska tidskompilering och slutförande. Företag bearbetar obevekligt stora volymer av seismiska förvärvsdata för att hitta, korrekt kvantifiera och kvalificera kolväteinnehållet i reservoarer som upptäckts under ytan innan återställningsåtgärderna påbörjas. Eftersom förvärvsdata är ostrukturerade och enkelt kan nå petabytenivåer för ett potentiellt olje- och gasfält kan seismisk bearbetning endast slutföras inom en meningsfull tidsskala med hjälp av HPC och lämpliga strategier för datahantering.

Användningsfall och referensarkitektur för simulering och modellering av reservoarer

Modellering av reservoarer placerar också värden på fysiska underjordsegenskaper som vattenmättnad, porositet och permeabilitet. Dessa data är viktiga för att avgöra vilken typ av återställningsmetod och utrustning som ska distribueras, och i slutändan var bäst att placera brunnar.

En arbetsbelastning för reservoarmodellering är också ett område för reservoarteknik. Arbetsbelastningen kombinerar fysik, matematik och datorprogrammering i en reservoarmodell för att analysera och förutsäga vätskebeteende i reservoaren över tid. Den här analysen kräver hög beräkningskraft och vanligtvis stora arbetsbelastningskrav för beräkning, inklusive snabbt nätverk.

Mer information om referensarkitektur eller kokböcker för relevanta HPC ISV-program som stöder HPC för energianvändningsfall finns i:

Azure HPC-certification.github.io
Microsoft Azure HPC OnDemand Platform. Fristående referensarkitektur kanske inte är kompatibel med ALZ-paradigmet.

Nästa steg

Följande artiklar innehåller vägledning om varje steg i molnimplementeringsresan för HPC-energimiljöer.

Dela via