Databehandling med höga prestanda (HPC) på Azure

Introduktion till HPC

Databehandling med höga prestanda (HPC), även kallat big compute, använder ett stort antal PROCESSOR- eller GPU-baserade datorer för att lösa komplexa matematiska uppgifter.

HPC används inom många branscher för att lösa svåraste problem. Det kan vara arbetsbelastningar som:

  • Genomik
  • Olja- och gassimuleringar
  • Finance
  • Halvledardesign
  • Ingenjörsvetenskap
  • Vädermodellering

Hur är HPC annorlunda i molnet?

En av de främsta skillnaderna mellan ett lokalt HPC-system och ett i molnet är möjligheten för resurser att dynamiskt läggas till och tas bort när de behövs. Med dynamisk skalning är beräkningskapaciteten inte längre en flaskhals, utan kunderna kan storleksanpassa sin infrastruktur efter verksamhetens behov.

I följande artiklar finns mer information om funktionen för dynamisk skalning.

Checklista för implementering

När du vill implementera en egen HPC-lösning på Azure kontrollerar du att du har gått igenom följande avsnitt:

Infrastruktur

Det finns många infrastrukturkomponenter som krävs för att skapa ett HPC-system. Beräkning, lagring och nätverk tillhandahåller de underliggande komponenterna, oavsett hur du väljer att hantera dina HPC-arbetsbelastningar.

Beräkning

Azure erbjuder ett antal storlekar som är optimerade för både CPU och GPU-intensiva arbetsbelastningar.

CPU-baserade virtuella datorer

GPU-aktiverade virtuella datorer

Virtuella datorer i N-serien har NVIDIA-grafikprocessorer för beräknings- och grafikintensiva program som artificiell intelligens (AI) och visualisering.

Storage

Storskaliga Batch- och HPC-arbetsbelastningar ställer stora krav på datalagring och åtkomst, som överskrider funktionerna i traditionella molnfilsystem. Det finns många lösningar som hanterar både hastighets- och kapacitetsbehoven för HPC-program på Azure:

Mer information om hur du jämför Lustre, GlusterFS och BeeGFS på Azure finns i Parallel Files Systems on Azure e-book and the Lustre on Azure blog.

Nätverkande

Virtuella datorer av modellerna H16r, H16mr, A8 och A9 kan ansluta till ett RDMA-nätverk med hög bandbredd. Det här nätverket kan förbättra prestandan för nära kopplade parallella program som körs under Microsoft Message Passing Interface som är mer känt som MPI eller Intel MPI.

Förvaltning

Gör det själv

Att bygga ett HPC-system från grunden på Azure erbjuder en betydande flexibilitet, men det är ofta mycket underhållsintensivt.

  1. Konfigurera din egen klustermiljö på Azure virtuella datorer eller Virtual Machine Scale Sets.
  2. Använd Azure Resource Manager mallar för att distribuera ledande workload managers, infrastruktur och applications.
  3. Välj storlekar för virtuella datorer med HPC och GPU som omfattar specialiserad maskinvara och nätverksanslutningar för MPI- eller GPU-arbetsbelastningar.
  4. Lägg till lagring med höga prestanda för I/O-intensiva arbetsbelastningar.

Hybrid och molnbursting

Om du har ett befintligt lokalt HPC-system som du vill ansluta till Azure finns det flera resurser som hjälper dig att komma igång.

Granska först artikeln Alternativ för att ansluta ett lokalt nätverk till Azure i dokumentationen. Därifrån hittar du ytterligare information om dessa anslutningsalternativ:

När nätverksanslutningen har upprättats på ett säkert sätt kan du börja använda molnberäkningsresurser på begäran med bursting-funktionerna i din befintliga arbetsbelastningshanterare.

Marketplace-lösningar

Det finns många arbetsbelastningshanterare som erbjuds i Microsoft Marketplace.

Azure Batch

Azure Batch är en plattformstjänst för att köra storskaliga parallella program och HPC-program effektivt i molnet. Azure Batch schemalägger beräkningsintensivt arbete som ska köras på en hanterad pool med virtuella datorer och kan automatiskt skala beräkningsresurser för att uppfylla behoven för dina jobb.

SaaS-leverantörer eller utvecklare kan använda Batch SDK:er och verktyg för att integrera HPC-arbetsbelastningar eller containerarbetsbelastningar med Azure, mellanlagra data till Azure och skapa pipelines för jobbexekvering.

I Azure Batch körs alla tjänster i molnet. Följande bild visar hur arkitekturen ser ut med Azure Batch, med konfigurationer för skalbarhet och jobbschema som körs i molnet medan resultat och rapporter kan skickas till din lokala miljö.

Diagram visar exempel på HPC-arkitektur för Azure Batch.

Azure CycleCloud

Azure CycleCloud Ger det enklaste sättet att hantera HPC-arbetsbelastningar med valfri schemaläggare (till exempel Slurm, Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro eller Symphony) på Azure

Med CycleCloud kan du:

  • Distribuera hela kluster och andra resurser, bland annat schemaläggare, virtuella beräkningsdatorer, minne, nätverk och cache
  • Orkestrera arbetsflöden för jobb, data och molnet
  • Ge administratörer full kontroll över vilka användare som kan köra jobb, var de kan köra dem och till vilken kostnad
  • Anpassa och optimera kluster via avancerade princip- och styrningsfunktioner, inklusive kostnadskontroller, Active Directory integrering, övervakning och rapportering
  • Använd din befintliga jobbschemaläggare och applikationer utan modifiering
  • Dra nytta av inbyggd autoskalning och stridstestad referensarkitektur för många olika HPC-arbetsflöden och -branscher
Hybrid-/molnsprängningsmodell

I det här Hybrid-exempeldiagrammet kan vi tydligt se hur dessa tjänster distribueras mellan molnet och den lokala miljön. Möjlighet att köra uppgifter inom båda arbetsbelastningar. Diagram visar exempel på HPC-arkitektur för CycleCloud på Azure i en Hybrid.

Molnbaserad modell

Följande exempeldiagram för molnbaserad modell visar hur arbetsbelastningen i molnet hanterar allt samtidigt som anslutningen till den lokala miljön bevaras.

Diagram visar exempel på HPC-arkitektur för CycleCloud på Azure i molnbaserad modell.

Jämförelsediagram

Feature Azure Batch Azure CycleCloud
Scheduler Batch-API:er och verktyg och kommandoradsskript i Azure portalen (molnbaserat). Använd HPC-standardschemaläggare som Slurm, PBS Pro, LSF, Grid Engine och HTCondor eller utöka pluginprogrammen för CycleCloud-autoskalning för att arbeta med din egen schemaläggare.
Beräkningsresurser Programvaru-tjänstnoder – Plattform-tjänst Plattform som en tjänstprogramvara – Plattform som en tjänst
Övervaka verktyg Azure Monitor Azure Monitor, Grafana
Kundanpassning Anpassade avbildningspooler, tredjepartsbilder, Batch API-åtkomst. Använd det omfattande RESTful-API:et för att anpassa och utöka funktioner, distribuera din egen schemaläggare och stöd till befintliga arbetsbelastningshanterare
Integration Data Factory i Microsoft Fabric, Azure Data Factory, Azure CLI Built-In CLI för Windows och Linux
Användartyp Utvecklare Klassiska HPC-administratörer och -användare
Arbetstyp Batch, arbetsflöden Tätt kopplat (meddelandeöverföringsgränssnitt (MPI))
Windows support Ja Varierar beroende på val av schemaläggare

Arbetsbelastningshanterare

Följande är exempel på kluster- och arbetsbelastningshanterare som kan köras i Azure infrastruktur. Skapa fristående kluster i Azure VM:er eller expansion till Azure VM:er från ett lokalt kluster.

Behållare

Containrar kan också användas för att hantera vissa HPC-arbetsbelastningar. Tjänster som Azure Kubernetes Service (AKS) göra det enkelt att distribuera ett hanterat Kubernetes-kluster i Azure.

Kostnadshantering

Du kan hantera din HPC-kostnad på Azure på några olika sätt. Kontrollera att du har granskat köpalternativen Azure för att hitta den metod som fungerar bäst för din organisation.

Säkerhet

En översikt över rekommenderade säkerhetsmetoder för Azure finns i säkerhetsdokumentationen Azure.

Förutom de nätverkskonfigurationer som är tillgängliga i avsnittet Cloud Bursting kan du implementera en hubb-/ekerkonfiguration för att isolera dina beräkningsresurser:

HPC-applikationer

Kör anpassade eller kommersiella HPC-program i Azure. Flera av exemplen in det här avsnittet är testade för effektiv skalning med fler virtuella datorer eller beräkningskärnor. Besök Microsoft Marketplace för färdiga lösningar.

Anmärkning

Fråga leverantören av kommersiella program om licensiering krävs eller om det finns andra begränsningar för körning i molnet. Alla leverantörer erbjuder inte licensiering enligt modellen Betala per användning. Du kan behöva ha en licensserver i molnet för din lösning eller ansluta till en lokal licensserver.

Tekniska tillämpningar

Grafik och återgivning

AI och djupinlärning

MPI-leverantörer

Fjärrvisualisering

Kör GPU-baserade virtuella datorer i Azure i samma region som HPC-utdata för lägsta svarstid, åtkomst och för att visualisera via Azure Virtual Desktop.

Prestandajämförelser

Annan viktig information

  • Se till att du har ökat din vCPU-kvot innan du försöker köra storskaliga arbetsbelastningar.

Nästa steg

De senaste meddelandena finns i följande resurser:

Microsoft Batch-exempel

Dessa handledningar ger dig detaljer om hur du kör applikationer på Microsoft Batch:

  • Last updated on