Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Slurm est l’un des gestionnaires de charges de travail open source les plus populaires et les plus utilisés pour l’IA, HPC et le cloud computing. Avec Slurm, vous pouvez exécuter des applications parallèles et distribuées à grande échelle sur un ensemble de nœuds de calcul. Il fournit des fonctionnalités telles que la planification des travaux, la gestion des ressources, la tolérance de panne et la gestion de l’alimentation. De nombreux supercomputers, instituts de recherche, universités et entreprises du monde utilisent Slurm.
Toutefois, la configuration et la gestion des clusters Slurm sur le cloud peuvent être difficiles et fastidieuses, en particulier si vous n’êtes pas familiarisé avec l’environnement cloud ou la configuration de Slurm. Vous devez gérer des tâches telles que l’approvisionnement et la mise à l’échelle de nœuds de calcul, l’installation et la mise à jour de logiciels Slurm, la configuration du réseau et du stockage, la surveillance de l’intégrité et des performances du cluster et la résolution des problèmes. Ces tâches peuvent vous distraire de vos principales recherches ou objectifs métier et réduire la productivité et l’efficacité de vos charges de travail IA et HPC.
Azure CycleCloud Workspace pour Slurm est un modèle de solution de la Place de marché Azure que vous pouvez utiliser pour créer, configurer et déployer des clusters Slurm prédéfinis avec CycleCloud sur Azure. Vous n'avez pas besoin de connaissances préalables en Azure ou Slurm pour déployer le modèle, mais l'exploitation et la personnalisation de l'environnement nécessitent ces compétences. La solution préconfigure les clusters Slurm avec PMix v4, Pyxis et enroot pour prendre en charge les travaux Slurm IA/HPC conteneurisés. Vous pouvez accéder au nœud de connexion provisionné en utilisant SSH ou Visual Studio Code pour effectuer des tâches courantes comme soumettre et gérer des tâches Slurm.
Même si Azure CycleCloud vous permet déjà d’effectuer certaines de ces tâches, elle ne déploie pas l’infrastructure IA/HPC pour vous. Vous devez gérer des tâches telles que l’installation et la configuration de CycleCloud, la configuration du réseau et du stockage, ainsi que la création et la configuration du cluster Slurm. Azure CycleCloud Workspace pour Slurm exécute ces tâches pour vous dans un modèle de solution de la Place de marché que vous pouvez déployer directement à partir du portail Azure ou via Azure CLI. Vous êtes prêt en quelques minutes et pas en jours ou semaines.
Choisissez une option d’orchestration Azure
Choisissez une option en fonction de l’expérience du planificateur et du niveau de contrôle de l’infrastructure dont votre équipe a besoin :
| Option | Meilleur ajustement | Modèle de fonctionnement |
|---|---|---|
| Espace de travail Azure CycleCloud pour Slurm | Équipes qui souhaitent un environnement Slurm prêt à déployer pour des charges HPC ou IA | Une solution Marketplace déploie des composants CycleCloud, Slurm, réseau, stockage et accès dans votre abonnement Azure. |
| Azure CycleCloud | Environnements HPC qui nécessitent un planificateur autre que Slurm, une topologie de cluster personnalisée, ou un alignement étroit avec les flux de travail existants sur site | Vous installez CycleCloud et configurez le planificateur, le cluster, le réseau et le stockage. CycleCloud prévoit et met à l’échelle automatique l’infrastructure Azure. |
| Azure Batch | Des charges de travail parallèles et à haut débit qui ne nécessitent pas d’utiliser un logiciel d’ordonnancement | Azure fournit la planification en tant que service. Vous construisez avec des API et outils Batch tandis que Batch gère les pools, nœuds, jobs et tâches. |
Utilisez votre environnement actuel comme facteur décisif :
| Point de départ | Préférer | Pourquoi |
|---|---|---|
| Vous voulez Slurm et l’architecture réseau prédéfinie, stockage, accès et cluster répond à vos besoins. | Espace de travail Azure CycleCloud pour Slurm | La solution Marketplace raccourcit le chemin vers un environnement Slurm fonctionnel tout en conservant les ressources dans votre abonnement. |
| Vous avez besoin d’un planificateur autre que Slurm ou vous devez personnaliser la topologie, les politiques de planificateur ou l’infrastructure au-delà de la conception de la solution. | Azure CycleCloud | CycleCloud permet de contrôler la configuration du planificateur et du cluster. |
| Votre application peut utiliser des pools, des travaux et des tâches, et ne nécessite pas de compatibilité avec le planificateur. | Azure Batch | Batch fournit la planification en tant que service et supprime le besoin d’utiliser Slurm. |
Ne choisissez pas Workspace pour Slurm si vous attendez un service de plateforme managée. Votre équipe possède toujours les ressources Azure déployées, la configuration Slurm, la sécurité, la surveillance, les mises à jour et les opérations de charge de travail. Choisissez un CycleCloud personnalisé lorsque l’architecture prédéfinie ne répond pas à une topologie ou à une intégration requise.
Avant la mise en œuvre en production, notez pourquoi Workspace for Slurm s’intègre, quelles alternatives vous avez rejetées, si le déploiement est en terrain vert ou réutilise des ressources existantes, la conception réseau et identité, le benchmark de stockage, le quota et la capacité régionales de VM, l’approche de récupération, le propriétaire des opérations, ainsi que le temps et le coût par job représentatif. Commencez par la planification du déploiement. Pour un cluster CycleCloud personnalisé, voir Planifier et dimensionner les clusters HPC.
Avantages de l’espace de travail Azure CycleCloud pour Slurm
Azure CycleCloud est une excellente solution lorsque vous souhaitez créer un environnement IA/HPC dans Azure, soit pour lever et déplacer une partie de votre charge de travail IA/HPC locale, soit pour en créer un nouveau. Toutefois, la création d’un environnement IA/HPC complet n’est pas une tâche facile. Vous devez décider comment concevoir votre réseau, le composant de stockage à utiliser comme système de fichiers partagé, le type de machine virtuelle à utiliser pour exécuter votre charge de travail et de nombreuses petites choses qui peuvent rendre votre projet complexe à fournir.
Azure CycleCloud Workspace pour Slurm offre plusieurs avantages aux utilisateurs qui souhaitent exécuter des charges de travail Slurm sur Azure, comme :
Création simple et rapide de clusters : vous pouvez créer des clusters Slurm sur Azure en quelques minutes en suivant quelques étapes simples dans l’interface utilisateur graphique. Ce processus est plus rapide que les jours ou semaines de travail dans le passé sans espace de travail Azure CycleCloud pour Slurm. Vous pouvez choisir parmi différentes tailles et types de machines virtuelles Azure. Vous pouvez personnaliser les paramètres de cluster tels que le nombre de nœuds, la configuration réseau, les options de stockage d’Azure NetApp Files vers Azure Managed Lustre Filesystem et les paramètres Slurm.
Gestion flexible et dynamique des clusters : Azure CycleCloud effectue un scale-up ou un scale-down des clusters Slurm. Vous pouvez surveiller l’état, les performances et l’utilisation du cluster. Vous pouvez afficher les journaux et les métriques du cluster dans l’interface graphique utilisateur. Vous pouvez également supprimer vos clusters Slurm lorsqu’ils ne sont plus nécessaires et ne payer que pour les ressources que vous utilisez.
Comment créer un espace de travail Azure CycleCloud pour Slurm ?
Vous pouvez déployer un espace de travail Azure CycleCloud pour Slurm à partir de la Place de marché Azure ou à l’aide d’Azure CLI. Pour effectuer un déploiement à partir de la Place de marché, recherchez Slurm, puis sélectionnez Créer. Pour déployer à l’aide d’Azure CLI, vous devez d’abord créer un fichier de paramètres d’entrée, puis déployer à l’aide de la az deployment sub create commande. Pour obtenir des instructions détaillées, consultez Comment déployer un environnement d’espace de travail Slurm CycleCloud à l’aide de l’interface CLI.
L’espace de travail Azure CycleCloud pour Slurm n’est pas ?
L’espace de travail Azure CycleCloud pour Slurm n’est pas un service PaaS. L’ensemble de l’infrastructure est déployé dans votre locataire, ce qui vous permet de déployer tout (déploiement greenfield) ou de spécifier des ressources existantes à réutiliser (déploiement brownfield), telles que le groupe de ressources cible, le réseau virtuel, Azure NetApp Files, etc.
À quoi ressemble un espace de travail Azure CycleCloud pour l’environnement déployé par Slurm
Voici l’architecture classique de l’espace de travail Azure CycleCloud pour Slurm. L’architecture inclut des ressources obligatoires comme une machine virtuelle pour l’exécution de CycleCloud, un système de fichiers partagé pour les répertoires de base utilisateur et un compte de stockage pour le stockage de projets CycleCloud.
Azure CycleCloud Workspace pour Slurm peut déployer le réseau virtuel, ou vous pouvez utiliser un réseau virtuel existant pour la création de ressources. Si vous le souhaitez, vous pouvez créer un système de fichiers Azure Managed Lustre dans son propre sous-réseau.
Si les règles de sécurité de votre entreprise n’autorisent pas les adresses IP publiques (et que beaucoup ne le font pas), vous pouvez créer un peering de réseaux virtuels vers un réseau virtuel existant dans un modèle hub-and-spoke. Le hub contient tous les services de connectivité, tels qu’une passerelle de réseau virtuel ou Azure Bastion.
Enfin, dans un environnement sans adresse IP publique et sans VPN, vous avez besoin d’un Bastion. Bastion vous donne un accès sécurisé au portail web CycleCloud et vous permet d’utiliser SSH pour vous connecter aux nœuds d’authentification.