Présentation de Azure CycleCloud
Azure CycleCloud est un outil adapté aux entreprises pour l’orchestration et la gestion des environnements HPC (High Performance Computing, calcul haute performance) sur Azure. Avec CycleCloud, les utilisateurs peuvent provisionner l’infrastructure pour les systèmes HPC, déployer des planificateurs HPC familiers et mettre automatiquement à l’échelle l’infrastructure pour exécuter des travaux efficacement à n’importe quelle échelle. Avec CycleCloud, les utilisateurs peuvent créer différents types de systèmes de fichiers et les monter sur les nœuds d’un cluster de calcul en vue d’assurer le traitement des charges de travail HPC.
Azure CycleCloud est destiné aux administrateurs et aux utilisateurs HPC qui souhaitent déployer un environnement HPC avec un planificateur spécifique à l’esprit. Les planificateurs couramment utilisés tels que Slurm, PBSPro, LSF, Grid Engine et HT-Condor sont pris en charge dès le départ. CycleCloud est le produit frère à Azure Batch, qui fournit un Planificateur en tant que service sur Azure.
Consultez Calcul haute performance (HPC) sur Azure pour plus d’informations sur la façon dont CycleCloud se compare à d’autres solutions Azure HPC.
Pourquoi utiliser Azure CycleCloud ?
Les organisations qui ont exploité des environnements HPC pendant un certain temps accumulent généralement des années d’expertise et d’outils internes autour d’un planificateur spécifique, et la re-architecture ou le déploiement de ces environnements sur Azure peut être intimidant. CycleCloud extrait les blocs de construction Azure de base tels que les machines virtuelles, les groupes identiques, les interfaces réseau et les disques. Cela permet à un administrateur HPC de se concentrer sur ce qui est familier : un cluster HPC comprenant des nœuds et un planificateur configurable de choix.
CycleCloud déploie des plug-ins de mise à l’échelle automatique sur les planificateurs pris en charge, de sorte que les utilisateurs n’ont pas besoin d’implémenter eux-mêmes des fonctions et des routines de mise à l’échelle automatique complexes, mais plutôt de s’interfacer uniquement avec des configurations au niveau du planificateur qu’ils connaissent.
Avec un format riche, déclaratif et de création de modèles, CycleCloud fournit des outils puissants pour construire des environnements HPC complets sur Azure. Les utilisateurs peuvent déployer des environnements qui incluent des serveurs NFS, des systèmes de fichiers parallèles, des hôtes de connexion, des serveurs de licences et des services d’annuaire - essentiellement tous les composants nécessaires dans un système HPC - via un plan de gestion unique.
CycleCloud s’intègre aux services Azure tels qu’Azure Monitor et les outils Azure Cost Management.
Fonctionnalités CycleCloud
|
Planificateur Agnostic Utiliser des planificateurs HPC standard tels que Slurm, PBS Pro, LSF, Grid Engine et HTCondor, ou étendre les plug-ins de mise à l’échelle automatique CycleCloud pour travailler avec votre propre planificateur |
|
|
Gérer les ressources de calcul Gérer des machines virtuelles et des groupes identiques pour fournir un ensemble flexible de ressources de calcul pouvant répondre à vos besoins de charge de travail dynamique |
|
|
Mise à l’échelle automatique des ressources Ajuster automatiquement la taille et les composants du cluster en fonction de la charge du travail, de la disponibilité et des exigences de temps |
|
|
Surveiller et analyser Collecter et analyser des données de performances à l’aide d’outils de visualisation |
|
|
Clusters de modèles Utiliser des modèles CycleCloud pour partager des topologies de cluster avec la communauté |
|
|
Personnaliser et étendre les fonctionnalités Utiliser l’API complète RESTful pour personnaliser et étendre des fonctionnalités, déployer votre propre planificateur et prendre en charge les gestionnaires de charges de travail existants |
|
|
Intégrer des flux de travail existants Intégrer des workflows et des outils existants à l’aide de l’interface CLI intégrée |
|
|
Planificateur Agnostic Utiliser des planificateurs HPC standard tels que Slurm, PBS Pro, LSF, Grid Engine et HTCondor, ou étendre les plug-ins de mise à l’échelle automatique CycleCloud pour travailler avec votre propre planificateur |
|
|
Gérer les ressources de calcul Gérer des machines virtuelles et des groupes identiques pour fournir un ensemble flexible de ressources de calcul pouvant répondre à vos besoins de charge de travail dynamique |
|
|
Mise à l’échelle automatique des ressources Ajuster automatiquement la taille et les composants du cluster en fonction de la charge du travail, de la disponibilité et des exigences de temps |
|
|
Surveiller et analyser Collecter et analyser des données de performances à l’aide d’outils de visualisation |
|
|
Clusters de modèles Utiliser des modèles CycleCloud pour partager des topologies de cluster avec la communauté |
|
|
Personnaliser et étendre les fonctionnalités Utiliser l’API complète RESTful pour personnaliser et étendre des fonctionnalités, déployer votre propre planificateur et prendre en charge les gestionnaires de charges de travail existants |
|
|
Intégrer des flux de travail existants Intégrer des workflows et des outils existants à l’aide de l’interface CLI intégrée |
|
Comment utiliser Azure CycleCloud ?
Azure CycleCloud est une application web installable que vous pouvez exécuter localement ou sur une machine virtuelle Azure. Une fois installé, CycleCloud peut être configuré pour utiliser des ressources de calcul et de données dans votre abonnement Azure préparé. CycleCloud fournit un certain nombre de modèles de cluster officiels pour les planificateurs (PBSPro, LSF, Grid Engine, Slurm, HTCondor) et les systèmes de fichiers (NFS, BeeGFS). Les modèles de cluster fournis par la communauté CycleCloud sont également disponibles. Vous pouvez utiliser ces modèles de cluster non modifiés ou les personnaliser en fonction de vos besoins spécifiques.
Une fois qu’un cluster est créé, il est automatiquement configuré pour la mise à l’échelle automatique par défaut pour gérer les travaux de calcul soumis au planificateur. Les fonctionnalités d’administration CycleCloud régissent l’accès au cluster CycleCloud pour les autres utilisateurs de votre organization.
Les outils utilisant des modèles et des scripts de configuration vous permettent de créer rapidement des environnements HPC complexes et de les répliquer pour des équipes distinctes au sein de votre organization.
Qu’est-ce que CycleCloud n’est pas ?
Il n’existe aucune fonctionnalité de planification des travaux dans CycleCloud. En d’autres termes, CycleCloud n’est pas un planificateur, mais plutôt une plateforme qui permet aux utilisateurs de déployer leur propre planificateur dans Azure. CycleCloud est fourni avec la prise en charge intégrée d’un certain nombre de planificateurs couramment utilisés (PBSPro, Slurm, IBM LSF, Grid Engine et HT Condor), mais les utilisateurs cycleCloud implémentent fréquemment leur propre planificateur sur l’API de mise à l’échelle automatique fournie.
CycleCloud ne dicte pas la topologie de cluster ; L’installation est fournie avec des modèles conçus pour que les systèmes HPC soient rapidement opérationnels dans Azure, mais les opérateurs HPC peuvent personnaliser ces modèles pour adapter l’infrastructure à leurs besoins. La communauté Azure HPC fournit des modèles opinionés qui sont optimisés pour différents types de charges de travail et secteurs.
À quoi ressemble un environnement cycleCloud déployé
Un système CycleCloud HPC entier peut être déployé sur l’infrastructure Azure. CycleCloud lui-même est installé en tant que serveur d’applications sur une machine virtuelle dans Azure qui nécessite un accès sortant aux API du fournisseur de ressources Azure. CycleCloud démarre et gère ensuite les machines virtuelles qui forment les systèmes HPC, qui se composent généralement des nœuds principaux du planificateur HPC et des nœuds de calcul, mais peuvent également inclure un stockage attaché réseau basé sur une machine virtuelle, comme un serveur NFS ou un cluster BeeGFS, des nœuds de connexion, des hôtes bastion et d’autres composants nécessaires pour prendre en charge une infrastructure HPC. La composition du système HPC est entièrement définie par le biais de modèles CycleCloud. En outre, les environnements CycleCloud HPC peuvent utiliser d’autres services PaaS tels que Azure NetApp Files, Azure HPC Cache et Azure domaine Active Directory Service.