Configurer un cluster HPC (High Performance Computing) hybride avec Microsoft HPC Pack et des nœuds de calcul PaaS Azure à la demande

Utilisez Microsoft HPC Pack 2016 Update 1 (ou version ultérieure) et Azure pour configurer un petit cluster HPC (High Performance Computing) hybride. Le cluster présenté dans cet article se compose d’un nœud principal HPC Pack local et de certains nœuds de calcul que vous déployez à la demande dans un service cloud Azure. Vous pouvez ensuite exécuter des travaux de calcul sur le cluster hybride.

de cluster HPC hybride

Ce tutoriel montre une approche, parfois appelée « rafale vers le cloud », pour utiliser des ressources Azure évolutives à la demande pour exécuter des applications nécessitant beaucoup de ressources de calcul.

Ce tutoriel suppose qu’aucune expérience préalable n’est acquise avec les clusters de calcul ou HPC Pack. Il est destiné uniquement à vous aider à déployer un cluster de calcul hybride rapidement à des fins de démonstration. Pour connaître les considérations et les étapes à suivre pour déployer un cluster HPC Pack hybride à grande échelle dans un environnement de production, consultez les instructions détaillées. Si vous souhaitez utiliser la version précédente de HPC Pack, consultez documentation HPC Pack 2012 R2

Conditions préalables

• abonnement Azure - Si vous n’avez pas d’abonnement Azure, vous pouvez créer un compte gratuit en quelques minutes.

• un ordinateur local exécutant Windows Server 2012 R2 ou Windows Server 2016 : utilisez cet ordinateur comme nœud principal du cluster HPC. Si vous n’exécutez pas déjà Windows Server, vous pouvez télécharger et installer une version d’évaluation .

  • L’ordinateur doit être joint à un domaine Active Directory. À des fins de test, vous pouvez configurer l’ordinateur du nœud principal en tant que contrôleur de domaine. Pour ajouter le rôle serveur Des services de domaine Active Directory et promouvoir l’ordinateur du nœud principal en tant que contrôleur de domaine, consultez la documentation de Windows Server.
  • Pour prendre en charge HPC Pack, le système d’exploitation doit être installé dans l’une des langues suivantes : anglais, japonais ou chinois (simplifié).
  • Vérifiez que les mises à jour importantes et critiques sont installées.

• HPC Pack 2016 - Télécharger le package d’installation pour la dernière version gratuitement et copier les fichiers sur l’ordinateur du nœud principal.

• compte de domaine : ce compte doit être configuré avec des autorisations d’administrateur local sur le nœud principal pour installer HPC Pack.

• connectivité TCP sur le port 443 du nœud principal vers Azure (hors limites).

Installer HPC Pack sur le nœud principal

Vous installez d’abord Microsoft HPC Pack sur votre ordinateur local exécutant Windows Server. Cet ordinateur devient le nœud principal du cluster.

1. Connectez-vous au nœud principal à l’aide d’un compte de domaine disposant des autorisations d’administrateur local.

2. Démarrez l’Assistant Installation de HPC Pack en exécutant Setup.exe à partir des fichiers d’installation HPC Pack.

3. Dans l’écran configuration de HPC Pack 2016, cliquez sur Nouvelle installation ou ajoutez de nouvelles fonctionnalités à une installation existante.

   d’installation de HPC Pack 2016

4. Dans la page Contrat utilisateur logiciel Microsoft, cliquez sur suivant .

5. Dans la page Sélectionner le type d’installation, cliquez sur Créer un cluster HPC en créant un nœud principal, puis sur suivant.

6. L’Assistant exécute plusieurs tests de préinstallation. Cliquez sur suivant dans la page règles d’installation si tous les tests réussissent. Sinon, passez en revue les informations fournies et apportez les modifications nécessaires dans votre environnement. Ensuite, réexécutez les tests ou, si nécessaire, redémarrez l’Assistant Installation.

7. Dans la page configuration de base de données HPC, vérifiez que nœud principal est sélectionné pour toutes les bases de données HPC, puis cliquez sur suivant.

   

8. Acceptez les sélections par défaut sur les pages restantes de l’Assistant. Dans la page Installer les composants requis, cliquez sur Installer.

   

9. Une fois l’installation terminée, décochez Démarrer le gestionnaire de cluster HPC, puis cliquez sur Terminer. (Vous démarrez HPC Cluster Manager à une étape ultérieure.)

   

Préparer l’abonnement Azure

Effectuez les étapes suivantes dans le portail Azure avec votre abonnement Azure. Une fois ces étapes effectuées, vous pouvez déployer des nœuds Azure à partir du nœud principal local.

Note

Notez également votre ID d’abonnement Azure, dont vous avez besoin ultérieurement. Recherchez l’ID dans Abonnements dans le portail.

Charger le certificat de gestion par défaut

La version précédente de HPC Pack installe un certificat auto-signé sur le nœud principal, appelé certificat de gestion Microsoft HPC Azure Par défaut, que vous pouvez charger en tant que certificat de gestion Azure. Mais à partir de HPC Pack 2016 Update 1, ce certificat n’est pas fourni par défaut, vous devez préparer un certificat auto-signé avec une commande sur le nœud principal et exporter le certificat en tant que tmpfolder\hpccert.cer:

New-SelfSignedCertificate -Subject "CN=HPC Pack Management" -KeySpec KeyExchange -TextExtension @("2.5.29.37={text}1.3.6.1.5.5.7.3.1,1.3.6.1.5.5.7.3.2") -CertStoreLocation cert:\LocalMachine\My -KeyExportPolicy Exportable -NotAfter (Get-Date).AddYears(5) -NotBefore (get-Date).AddDays(-1)

1. À partir de l’ordinateur du nœud principal, importez le certificat de tmpfolder\hpccert.cer vers LocalMachine\My. Notez que vous n’avez plus besoin d’importer le certificat pour LocalMachine\Trusted Root plus.

2. Connectez-vous au portail Azure .

3. Cliquez sur abonnements>your_subscription_name.

4. Cliquez sur Certificats de gestion>Charger, parcourez le nœud principal du fichier tmpfolder\hpccert.cer. Cliquez ensuite sur Charger.

Le certificat gestion Azure HPC par défaut apparaît dans la liste des certificats de gestion.

Créer un service cloud Azure

Note

Pour des performances optimales, créez le service cloud et le compte de stockage (dans une étape ultérieure) dans la même région géographique.

1. Dans le portail, cliquez sur services cloud (classique)>+Ajouter.

2. Tapez un nom DNS pour le service, choisissez un groupe de ressources et un emplacement, puis cliquez sur Créer.

Créer un compte de stockage Azure

1. Dans le portail, cliquez sur comptes de stockage (classique)>+Ajouter.

2. Tapez un nom pour le compte, puis sélectionnez le modèle de déploiement Classic.

3. Choisissez un groupe de ressources et un emplacement, puis conservez d’autres paramètres aux valeurs par défaut. Cliquez ensuite sur Créer. Ici, vous devez sélectionner un groupe de ressources avec le préfixe Default-Storage-<your_picked_Location> sinon, le service ne pourra pas localiser le compte de stockage.

Configurer le nœud principal

Pour utiliser HPC Cluster Manager pour déployer des nœuds Azure et envoyer des travaux, effectuez d’abord certaines étapes de configuration de cluster requises.

1. Sur le nœud principal, démarrez HPC Cluster Manager. Si la boîte de dialogue Sélectionner le nœud principal s’affiche, cliquez sur ordinateur local. La liste des tâches de déploiement s’affiche.

2. Sous tâches de déploiement requises, cliquez sur Configurer votreréseau.

   réseau

3. Dans l’Assistant Configuration du réseau, sélectionnez Tous les nœuds uniquement sur un réseau d’entreprise (topologie 5). Cette configuration réseau est la plus simple à des fins de démonstration.

   topologie

4. Cliquez sur suivant pour accepter les valeurs par défaut sur les pages restantes de l’Assistant. Ensuite, sous l’onglet Vérifier, cliquez sur Configurer pour terminer la configuration réseau.

5. Dans laliste des tâches de déploiement , cliquez sur Fournir les informations d’identification d’installation.

6. Dans la boîte de dialogue Informations d’identification d’installation, tapez les informations d’identification du compte de domaine que vous avez utilisé pour installer HPC Pack. Cliquez ensuite sur OK.

   

7. Dans laliste des tâches de déploiement , cliquez sur Configurer le nommage des nouveaux nœuds.

8. Dans la boîte de dialogue Spécifier la série d’affectation de noms de nœud, acceptez la série d’affectations de noms par défaut, puis cliquez sur OK. Effectuez cette étape même si les nœuds Azure que vous ajoutez dans ce didacticiel sont nommés automatiquement.

   

9. Dans la Liste des tâches de déploiement, cliquez sur Créer un modèle de nœud. Plus loin dans le tutoriel, vous utilisez le modèle de nœud pour ajouter des nœuds Azure au cluster.

10. Dans l’Assistant Création d’un modèle de nœud, procédez comme suit :

    un. Dans la page Choisir le type de modèle de nœud, cliquez sur modèle de nœud Windows Azure, puis sur suivant.

    de modèle de nœud

    b. Cliquez sur suivant pour accepter le nom du modèle par défaut.

    c. Dans la page Fournir des informations d’abonnement, entrez votre ID d’abonnement Azure (disponible dans les informations de votre compte Azure). Ensuite, dans certificat de gestion, recherchez Gestion Microsoft HPC Azure par défaut. Cliquez ensuite sur suivant.

    de modèle de nœud

    d. Dans la page Fournir des informations de service, sélectionnez le service cloud et le compte de stockage que vous avez créés à l’étape précédente. Cliquez ensuite sur suivant.

    de modèle de nœud

    e. Cliquez sur suivant pour accepter les valeurs par défaut dans la Spécifier les nœuds proxy, Spécifier le rôle de travail et Spécifier le script de démarrage pages de l’Assistant. Notez que ce script sera exécuté pendant l’approvisionnement avant que le nœud soit prêt en tant que offline. Il existe deux registres pour vous permettre de régler le comportement par défaut. Par exemple, si l’administrateur définit la clé de Registre Microsoft.Hpc.Azure.AzureStartupTaskFailureEnable à 1, le déploiement attend que le script de démarrage termine l’exécution avant de définir le nœud accessible pour les travaux : HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\HPC Name:Microsoft.Hpc.Azure.AzureStartupTaskFailureEnable Type:REG_DWORD; (default is 0) et HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\HPC Name:Microsoft.Hpc.Azure.AzureStartupTaskTimeoutSec Type:REG_DWORD; (default is 1800)

    f. Cliquez sur suivant pour accepter les valeurs par défaut dans la page Configurer le réseau virtuel Microsoft Azure Page. Si vous utilisez un VPN Azure ou itinéraire express avec tunnel forcé, vous devez utiliser l’équilibrage de charge interne Azure. Vous devez simplement récupérer une adresse IP statique valide et gratuite à partir du sous-réseau.

    de modèle de nœud

    g. Cliquez sur suivant pour fournir des informations d’identification sur la page Configurer les informations d’identification du Bureau à distance. Cliquez sur suivant pour configurer la stratégie de disponibilité. Si vous souhaitez activer la réduction automatique de la croissance ultérieurement, choisissez simplement Start and stop nodes manually. Ensuite, sous l’onglet Vérifier, cliquez sur Créer pour créer le modèle de nœud.

    Note

    Par défaut, le modèle de nœud Azure inclut des paramètres pour que vous démarrez (provisionner) et arrêtez les nœuds manuellement, à l’aide du Gestionnaire de cluster HPC, que vous pouvez configurer ultérieurement croissance automatique. Vous pouvez éventuellement configurer une planification pour démarrer et arrêter automatiquement les nœuds Azure.

Ajouter des nœuds Azure au cluster

Utilisez maintenant le modèle de nœud pour ajouter des nœuds Azure au cluster. L’ajout des nœuds au cluster stocke leurs informations de configuration afin que vous puissiez démarrer (approvisionner) ces nœuds à tout moment dans le service cloud. Votre abonnement est facturé uniquement pour les nœuds Azure une fois les instances exécutées dans le service cloud.

Suivez ces étapes pour ajouter deux petits nœuds.

1. Dans HPC Cluster Manager, cliquez sur De gestion des nœuds (appelée resource Management dans les versions actuelles de HPC Pack) >Ajouter unde nœud.

   de nœud

2. Dans l’Assistant Ajouter un nœud, dans la page Sélectionner la méthode de déploiement, cliquez sur Ajouter des nœuds Windows Azure, puis sur suivant.

   Azure Node

3. Dans la page Spécifier de nouveaux nœuds, sélectionnez le modèle de nœud Azure que vous avez créé précédemment (appelé par défaut modèle AzureNode par défaut). Spécifiez ensuite 2 nœuds de taille Petite, puis cliquez sur suivant.

   

4. Dans la page Fin de l’Assistant Ajouter un nœud, cliquez sur Terminer.

   Deux nœuds Azure, nommés AzureCN-0001 et AzureCN-0002, apparaissent désormais dans HPC Cluster Manager. Les deux sont dans l’état non déployé.

   

Démarrer les nœuds Azure

Lorsque vous souhaitez utiliser les ressources de cluster dans Azure, utilisez HPC Cluster Manager pour démarrer (approvisionner) les nœuds Azure et les mettre en ligne.

1. Dans HPC Cluster Manager, cliquez sur Node Management (appelée resource Management dans les versions actuelles de HPC Pack), puis sélectionnez les nœuds Azure.

2. Cliquez sur Démarrer, puis sur OK.

   

   Les nœuds passent à l’état Provisionnement. Affichez le journal d’approvisionnement pour suivre la progression de l’approvisionnement.

   

3. Après quelques minutes, les nœuds Azure terminent l’approvisionnement et sont à l’état hors connexion. Dans cet état, les instances de rôle sont en cours d’exécution, mais ne peuvent pas encore accepter les travaux de cluster.

4. Pour vérifier que les instances de rôle sont en cours d’exécution, dans le portail Azure, cliquez sur cloud Services (classique)>your_cloud_service_name.

   Vous devriez voir deux HpcWorkerRole instances (nœuds) s’exécutant dans le service. HPC Pack déploie également automatiquement deux instances HpcProxy (taille moyenne) pour gérer la communication entre le nœud principal et Azure.

   

5. Pour mettre en ligne les nœuds Azure pour exécuter des travaux de cluster, sélectionnez les nœuds, cliquez avec le bouton droit, puis cliquez sur mettre en ligne.

   

   HPC Cluster Manager indique que les nœuds sont dans l’état Online.

Exécuter une commande sur le cluster

Pour vérifier l’installation, utilisez la commande hpC Pack clusrun pour exécuter une commande ou une application sur un ou plusieurs nœuds de cluster. Par exemple, utilisez clusrun pour obtenir la configuration IP des nœuds Azure.

1. Sur le nœud principal, ouvrez une invite de commandes en tant qu’administrateur.

2. Tapez la commande suivante :

   clusrun /nodes:azurecn* ipconfig

3. Si vous y êtes invité, entrez votre mot de passe administrateur de cluster. Vous devez voir la sortie de commande similaire à ce qui suit.

   Clusrun

Exécuter un travail de test

Envoyez maintenant un travail de test qui s’exécute sur le cluster hybride. Cet exemple est un simple travail de balayage paramétrique (type de calcul intrinsèquement parallèle). Cet exemple exécute des tâches subordonnées qui ajoutent un entier à lui-même à l’aide de la commande set /a. Tous les nœuds du cluster contribuent à terminer les tâches subordonnées pour les entiers compris entre 1 et 100.

1. Dans HPC Cluster Manager, cliquez sur Gestion des travaux>Nouveau travail de balayage paramétrique.

   

2. Dans la boîte de dialogue nouveau travail de balayage paramétrique , dans ligne de commande, tapez (en remplaçant la ligne de commande par défaut qui s’affiche). Conservez les valeurs par défaut des paramètres restants, puis cliquez sur Envoyer pour envoyer le travail.

   de balayage paramétrique

3. Une fois la tâche terminée, double-cliquez sur la tâche Ma tâche de balayage.

4. Cliquez sur Afficher les tâches, puis cliquez sur une sous-tâche pour afficher la sortie calculée de cette tâche secondaire.

   

5. Pour voir quel nœud a effectué le calcul de cette sous-tâche, cliquez sur Nœuds alloués. (Votre cluster peut afficher un nom de nœud différent.)

   

Arrêter les nœuds Azure

Après avoir essayé le cluster, arrêtez les nœuds Azure pour éviter les frais inutiles pour votre compte. Cette étape arrête le service cloud et supprime les instances de rôle Azure.

1. Dans HPC Cluster Manager, dans Node Management (appelée resource Management dans les versions précédentes de HPC Pack), sélectionnez les deux nœuds Azure. Cliquez ensuite sur Arrêter.

   

2. Dans la boîte de dialogue Arrêter les nœuds Windows Azure, cliquez sur Arrêter.

3. Les nœuds passent à l’état s’arrêtant. Après quelques minutes, HPC Cluster Manager indique que les nœuds sont non déployés.

   

4. Pour vérifier que les instances de rôle ne s’exécutent plus dans Azure, dans le portail Azure, cliquez sur services cloud (classique)>your_cloud_service_name. Aucune instance n’est déployée dans l’environnement de production.

   Ce didacticiel est terminé.

Activer la réduction automatique de la croissance pour les nœuds de rôle Worker Azure

Si vous ne souhaitez pas démarrer et arrêter manuellement les nœuds de rôle Worker Azure, vous pouvez activer la réduction de croissance automatique pour démarrer automatiquement les nœuds lorsqu’il y a des travaux dans la file d’attente et arrêter automatiquement les nœuds lorsqu’il est inactif.

Pour activer la propriété AutoGrowShrink

Set-HpcClusterProperty –EnableGrowShrink 1

Après avoir activé cette propriété, vous pouvez soumettre à nouveau le travail et vérifier si les nœuds de rôle Worker Azure sont démarrés automatiquement. Ouvrez du Gestionnaire de cluster HPC et accédez à volet Gestion des ressources, sélectionnez l’opération de >vue AzureOperations, vous verrez toutes les opérations de réduction de croissance Azure. Pour plus d’informations, consultez également hpcpack auto grow shrink.

Étapes suivantes

• Découvrez hpcpack.exe et hpcsync.exe pour déplacer vos données vers vos nœuds cloud.
• Pour configurer un déploiement de cluster HPC Pack hybride à grande échelle, consultez Burst to Azure Worker Role Instances with Microsoft HPC Pack.
• Pour d’autres façons de créer un cluster HPC Pack dans Azure, notamment à l’aide de modèles Azure Resource Manager, consultez Prise en main du cluster HPC Pack dans Azure.