Wat is Azure CycleCloud?
Azure CycleCloud is een bedrijfsvriendelijk hulpprogramma voor het indelen en beheren van HPC-omgevingen (High Performance Computing) in Azure. Met CycleCloud kunnen gebruikers infrastructuur inrichten voor HPC-systemen, vertrouwde HPC-planners implementeren en de infrastructuur automatisch schalen om taken op elke schaal efficiënt uit te voeren. Via CycleCloud kunnen gebruikers verschillende typen bestandssystemen maken en deze koppelen aan de rekenclusterknooppunten ter ondersteuning van HPC-workloads.
Azure CycleCloud is gericht op HPC-beheerders en gebruikers die een HPC-omgeving willen implementeren met een specifieke planner in het achterhoofd. Veelgebruikte planners zoals Slurm, PBSPro, LSF, Grid Engine en HT-Condor worden standaard ondersteund. CycleCloud is het zusterproduct voor Azure Batch, dat een Scheduler as a Service in Azure biedt.
Zie High Performance Computing (HPC) in Azure voor informatie over hoe CycleCloud zich verhoudt tot andere Azure HPC-oplossingen.
Waarom zou ik Azure CycleCloud gebruiken?
Organisaties die al een tijdje HPC-omgevingen gebruiken, verzamelen doorgaans jarenlange expertise en interne hulpprogramma's rond een specifieke planner. Het opnieuw ontwerpen of implementeren van deze omgevingen in Azure kan ontmoedigend zijn. CycleCloud abstraheert de basisbouwstenen van Azure, zoals VM's, schaalsets, netwerkinterfaces en schijven. Hierdoor kan een HPC-beheerder zich richten op het vertrouwde: een HPC-cluster dat bestaat uit knooppunten en een configureerbare scheduler naar keuze.
CycleCloud implementeert invoegtoepassingen voor automatisch schalen bovenop de ondersteunde planners, zodat gebruikers geen complexe functies en routines voor automatisch schalen zelf hoeven te implementeren, maar alleen hoeven te communiceren met configuraties op scheduler-niveau waarmee ze bekend zijn.
CycleCloud heeft een uitgebreide, declaratieve, verleidelijke indeling en biedt krachtige hulpprogramma's voor het bouwen van volledige HPC-omgevingen in Azure. Gebruikers kunnen omgevingen implementeren die NFS-servers, parallelle bestandssystemen, aanmeldingshosts, licentieservers en adreslijstservices bevatten, in wezen alle onderdelen die nodig zijn in een HPC-systeem, via één beheervlak.
CycleCloud kan worden geïntegreerd met Azure-services zoals Azure Monitor en Azure Cost Management-hulpprogramma's.
CycleCloud-mogelijkheden
|
Scheduler Agnostic Gebruik standaard HPC-planners zoals Slurm, PBS Pro, LSF, Grid Engine en HTCondor, of breid de invoegtoepassingen voor automatisch schalen van CycleCloud uit om met uw eigen planner te werken |
|
|
Rekenresources beheren Virtuele machines en schaalsets beheren om een flexibele set rekenresources te bieden die kunnen voldoen aan uw dynamische workloadvereisten |
|
|
Resources automatisch schalen De clustergrootte en onderdelen automatisch aanpassen op basis van taakbelasting, beschikbaarheid en tijdsvereisten |
|
|
Bewaken en analyseren Prestatiegegevens verzamelen en analyseren met behulp van visualisatiehulpprogramma's |
|
|
Sjabloonclusters CycleCloud-sjablonen gebruiken om clustertopologieën te delen met de community |
|
|
Functionaliteit aanpassen en uitbreiden Gebruik de uitgebreide RESTful API om functionaliteit aan te passen en uit te breiden, uw eigen planner te implementeren en ondersteuning te bieden in bestaande workloadmanagers |
|
|
Integreren in bestaande werkstromen Integreren in bestaande werkstromen en hulpprogramma's met behulp van de ingebouwde CLI |
|
|
Scheduler Agnostic Gebruik standaard HPC-planners zoals Slurm, PBS Pro, LSF, Grid Engine en HTCondor, of breid de invoegtoepassingen voor automatisch schalen van CycleCloud uit om met uw eigen planner te werken |
|
|
Rekenresources beheren Virtuele machines en schaalsets beheren om een flexibele set rekenresources te bieden die kunnen voldoen aan uw dynamische workloadvereisten |
|
|
Resources automatisch schalen De clustergrootte en onderdelen automatisch aanpassen op basis van taakbelasting, beschikbaarheid en tijdsvereisten |
|
|
Bewaken en analyseren Prestatiegegevens verzamelen en analyseren met behulp van visualisatiehulpprogramma's |
|
|
Sjabloonclusters CycleCloud-sjablonen gebruiken om clustertopologieën te delen met de community |
|
|
Functionaliteit aanpassen en uitbreiden Gebruik de uitgebreide RESTful API om functionaliteit aan te passen en uit te breiden, uw eigen planner te implementeren en ondersteuning te bieden in bestaande workloadmanagers |
|
|
Integreren in bestaande werkstromen Integreren in bestaande werkstromen en hulpprogramma's met behulp van de ingebouwde CLI |
|
Hoe gebruik ik Azure CycleCloud?
Azure CycleCloud is een installeerbare webtoepassing die u on-premises of in een Azure-VM kunt uitvoeren. Na installatie kan CycleCloud worden geconfigureerd voor het gebruik van reken- en gegevensresources in uw voorbereide Azure-abonnement. CycleCloud biedt een aantal officiële clustersjablonen voor planners (PBSPro, LSF, Grid Engine, Slurm, HTCondor) en bestandssystemen (NFS, BeeGFS). Clustersjablonen van de CycleCloud-community zijn ook beschikbaar. U kunt deze clustersjablonen ongewijzigd gebruiken of u kunt ze aanpassen aan uw specifieke behoeften.
Zodra een cluster is gemaakt, wordt het automatisch geconfigureerd voor automatisch schalen standaard voor het verwerken van de rekentaken die worden verzonden naar de planner. CycleCloud-beheerfuncties bepalen de toegang tot het CycleCloud-cluster voor andere gebruikers in uw organisatie.
Met behulp van hulpprogramma's met behulp van sjablonen en configuratiescripts kunt u snel complexe HPC-omgevingen bouwen en deze repliceren voor afzonderlijke teams in uw organisatie.
Wat is CycleCloud niet?
Er is geen functie voor het plannen van taken in CycleCloud. Met andere woorden, CycleCloud is geen planner, maar eerder een platform waarmee gebruikers hun eigen scheduler in Azure kunnen implementeren. CycleCloud wordt geleverd met ingebouwde ondersteuning voor een aantal veelgebruikte planners (PBSPro, Slurm, IBM LSF, Grid Engine en HT Condor), maar CycleCloud-gebruikers implementeren vaak hun eigen scheduler bovenop de meegeleverde API voor automatisch schalen.
CycleCloud dicteert geen clustertopologie; de installatie wordt geleverd met sjablonen die zijn ontworpen om HPC-systemen snel aan de slag te krijgen in Azure, maar HPC-operators kunnen deze sjablonen aanpassen om de infrastructuur aan te passen aan hun vereisten. De Azure HPC-community biedt bevooroordeelde sjablonen die zijn geoptimaliseerd voor verschillende typen workloads en branches.
Hoe ziet een door CycleCloud geïmplementeerde omgeving eruit?
Een volledig CycleCloud HPC-systeem kan worden geïmplementeerd in de Azure-infrastructuur. CycleCloud zelf wordt geïnstalleerd als een toepassingsserver op een VM in Azure waarvoor uitgaande toegang tot Azure Resource Provider-API's is vereist. CycleCloud start en beheert vervolgens VM's die de HPC-systemen vormen. Deze bestaan meestal uit de HOOFDknooppunten en rekenknooppunten van HPC-scheduler, maar kunnen ook netwerkopslag op basis van een VM bevatten, zoals een NFS-server of Een BeeGFS-cluster, aanmeldingsknooppunten, bastionhosts en andere onderdelen die nodig zijn om een HPC-infrastructuur te ondersteunen. De samenstelling van het HPC-systeem wordt volledig gedefinieerd via CycleCloud-sjablonen. Daarnaast kunnen CycleCloud HPC-omgevingen gebruikmaken van andere PaaS-services, zoals Azure NetApp Files, Azure HPC Cache en Azure Active Directory-domein Service.