Vad är Azure CycleCloud?
Azure CycleCloud är ett företagsanpassat verktyg för orkestrering och hantering av HPC-miljöer (databehandling med höga prestanda) i Azure. Med CycleCloud kan användare etablera infrastruktur för HPC-system, distribuera välbekanta HPC-schemaläggare och automatiskt skala infrastrukturen för att köra jobb effektivt i valfri skala. Via CycleCloud kan användarna skapa olika typer av filsystem och montera dem på beräkningsklustrets noder för att stödja HPC-arbetsbelastningar.
Azure CycleCloud riktar sig till HPC-administratörer och användare som vill distribuera en HPC-miljö med en specifik schemaläggare i åtanke – vanliga schemaläggare som Slurm, PBSPro, LSF, Grid Engine och HT-Condor stöds direkt. CycleCloud är systerprodukten till Azure Batch, som tillhandahåller en Scheduler som en tjänst i Azure.
Se HPC (High Performance Computing) på Azure för information om hur CycleCloud jämförs med andra Azure HPC-lösningar.
Varför ska jag använda Azure CycleCloud?
Organisationer som har drivit HPC-miljöer ett tag ackumulerar vanligtvis år av expertis och interna verktyg kring en specifik schemaläggare, och omarkitektering eller distribution av dessa miljöer i Azure kan vara skrämmande. CycleCloud abstraherar bort de grundläggande Azure-byggstenarna, till exempel virtuella datorer, skalningsuppsättningar, nätverksgränssnitt och diskar. Detta gör att en HPC-administratör kan fokusera på det välbekanta: ett HPC-kluster som består av noder och en konfigurerbar schemaläggare.
CycleCloud distribuerar plugin-program för automatisk skalning ovanpå de schemaläggare som stöds, så användarna behöver inte implementera komplexa autoskalningsfunktioner och rutiner själva, utan snarare bara gränssnitt med konfigurationer på schemaläggningsnivå som de är bekanta med.
Med ett omfattande, deklarativt, templating-format tillhandahåller CycleCloud kraftfulla verktyg för att skapa fullständiga HPC-miljöer i Azure. Användare kan distribuera miljöer som omfattar NFS-servrar, parallella filsystem, inloggningsvärdar, licensservrar och katalogtjänster – i princip alla komponenter som behövs i ett HPC-system – via ett enda hanteringsplan.
CycleCloud integreras med Azure-tjänster som Azure Monitor och Azure Cost Management-verktyg.
CycleCloud-funktioner
|
Scheduler Agnostic Använd HPC-standardschemaläggare som Slurm, PBS Pro, LSF, Grid Engine och HTCondor eller utöka plugin-program för autoskalning av CycleCloud för att arbeta med din egen schemaläggare |
|
|
Hantera beräkningsresurser Hantera virtuella datorer och skalningsuppsättningar för att tillhandahålla en flexibel uppsättning beräkningsresurser som kan uppfylla dina krav på dynamisk arbetsbelastning |
|
|
Autoskalning av resurser Justera klusterstorlek och komponenter automatiskt baserat på jobbbelastning, tillgänglighet och tidskrav |
|
|
Övervaka och analysera Samla in och analysera prestandadata med hjälp av visualiseringsverktyg |
|
|
Mallkluster Använda CycleCloud-mallar för att dela klustertopologier med communityn |
|
|
Anpassa och utöka funktioner Använd det omfattande RESTful-API:et för att anpassa och utöka funktioner, distribuera din egen schemaläggare och stöd till befintliga arbetsbelastningshanterare |
|
|
Integrera i befintliga arbetsflöden Integrera i befintliga arbetsflöden och verktyg med hjälp av det inbyggda CLI |
|
|
Scheduler Agnostic Använd HPC-standardschemaläggare som Slurm, PBS Pro, LSF, Grid Engine och HTCondor eller utöka plugin-program för autoskalning av CycleCloud för att arbeta med din egen schemaläggare |
|
|
Hantera beräkningsresurser Hantera virtuella datorer och skalningsuppsättningar för att tillhandahålla en flexibel uppsättning beräkningsresurser som kan uppfylla dina krav på dynamisk arbetsbelastning |
|
|
Autoskalning av resurser Justera klusterstorlek och komponenter automatiskt baserat på jobbbelastning, tillgänglighet och tidskrav |
|
|
Övervaka och analysera Samla in och analysera prestandadata med hjälp av visualiseringsverktyg |
|
|
Mallkluster Använda CycleCloud-mallar för att dela klustertopologier med communityn |
|
|
Anpassa och utöka funktioner Använd det omfattande RESTful-API:et för att anpassa och utöka funktioner, distribuera din egen schemaläggare och stöd till befintliga arbetsbelastningshanterare |
|
|
Integrera i befintliga arbetsflöden Integrera i befintliga arbetsflöden och verktyg med hjälp av det inbyggda CLI |
|
Hur använder jag Azure CycleCloud?
Azure CycleCloud är ett installationsbart webbprogram som du kan köra lokalt eller på en virtuell Azure-dator. När CycleCloud har installerats kan det konfigureras att använda beräknings- och dataresurser i din förberedda Azure-prenumeration. CycleCloud tillhandahåller ett antal officiella klustermallar för schemaläggare (PBSPro, LSF, Grid Engine, Slurm, HTCondor) och filsystem (NFS, BeeGFS). Klustermallar som tillhandahålls av CycleCloud-communityn är också tillgängliga. Du kan använda dessa klustermallar oförändrade eller anpassa dem efter dina specifika behov.
När ett kluster har skapats konfigureras det automatiskt för automatisk skalning som standard för att hantera de beräkningsjobb som skickas till schemaläggaren. Administrativa CycleCloud-funktioner styr åtkomsten till CycleCloud-klustret för andra användare i din organisation.
Med verktyg med hjälp av mallar och konfigurationsskript kan du snabbt skapa komplexa HPC-miljöer och replikera dem för separata team i organisationen.
Vad CycleCloud är inte?
Det finns inga funktioner för schemaläggning av jobb i CycleCloud. Med andra ord är CycleCloud inte en schemaläggare, utan snarare en plattform som gör det möjligt för användare att distribuera sin egen schemaläggare till Azure. CycleCloud har inbyggt stöd för ett antal vanliga schemaläggare (PBSPro, Slurm, IBM LSF, Grid Engine och HT Condor), men CycleCloud-användare implementerar ofta sin egen schemaläggare ovanpå det tillhandahållna API:et för automatisk skalning.
CycleCloud dikterar inte klustertopologi; installationen levereras med mallar som är utformade för att snabbt få igång HPC-system i Azure, men HPC-operatörer kan anpassa dessa mallar för att anpassa infrastrukturen efter deras behov. Azure HPC-communityn tillhandahåller åsiktsmallar som är optimerade för olika typer av arbetsbelastningar och branscher.
Hur en CycleCloud-distribuerad miljö ser ut
Ett helt CycleCloud HPC-system kan distribueras i Azure-infrastrukturen. CycleCloud installeras som en programserver på en virtuell dator i Azure som kräver utgående åtkomst till API:er för Azure-resursprovidern. CycleCloud startar och hanterar sedan virtuella datorer som utgör HPC-systemen – dessa består vanligtvis av HPC-schemaläggarens huvudnoder och beräkningsnoder, men kan även innehålla VM-baserad nätverksansluten lagring, till exempel en NFS-server eller BeeGFS-kluster, inloggningsnoder, skyddsvärdar och andra komponenter som behövs för att stödja en HPC-infrastruktur. Sminket av HPC-systemet definieras helt och hållet via CycleCloud-mallar. Dessutom kan CycleCloud HPC-miljöer använda andra PaaS-tjänster som Azure NetApp Files, Azure HPC Cache och Azure Active Directory-domän Service.