Exécuter des charges de travail d’application HPC à grande échelle pour le secteur financier sur des machines virtuelles Azure
Les charges de travail de calcul haute performance (HPC), également appelées « applications de calcul volumineuses », nécessitent de nombreux cœurs. Ces charges de travail peuvent inclure des tâches telles que la modélisation des risques financiers ou l'analyse des contraintes techniques.
Les applications Big Compute typiques présentent les caractéristiques suivantes :
- La charge de travail peut être divisée en tâches distinctes qui peuvent être exécutées simultanément sur plusieurs cœurs.
- Chaque tâche reçoit une entrée, la traite et produit une sortie. L'ensemble de l'application s'exécute pendant une durée limitée.
- L'application n'a pas besoin de s'exécuter en permanence, mais elle doit être capable de gérer les pannes et les plantages de nœuds.
- Les tâches peuvent être indépendantes ou étroitement couplées, nécessitant des technologies de mise en réseau à haut débit comme InfiniBand et la connectivité d'accès direct à la mémoire à distance (RDMA).
- Les tailles de machines virtuelles nécessitant beaucoup de ressources de calcul telles que H16r, H16mr et A9 peuvent être utilisées. La sélection dépend de la charge de travail.
Azure propose une gamme d'instances de machines virtuelles optimisées pour les charges de travail gourmandes en CPU et en GPU. Ces machines virtuelles peuvent s’exécuter dans des groupes de machines virtuelles identiques Azure pour fournir une résilience et un équilibrage de charge. Azure est également la seule plate-forme cloud à proposer du matériel compatible InfiniBand. InfiniBand offre un avantage significatif en matière de performances pour les tâches telles que la modélisation des risques financiers et l’analyse des contraintes techniques. Cet avantage se traduit par des performances qui approchent ou dépassent les performances actuelles de l’infrastructure sur site.
Les machines virtuelles Azure offrent diverses options, appelées tailles de machines virtuelles, pour le calcul optimisé en HPC et en GPU. Il est important de sélectionner une taille de machine virtuelle adaptée à votre charge de travail. Pour trouver la taille la mieux adaptée, consultez Tailles des machines virtuelles dans Azure. Consultez également l'outil de sélection dans Sélecteur de machines virtuelles.
Gardez à l’esprit que tous les produits Azure ne sont pas disponibles dans toutes les régions. Pour voir ce qui est disponible dans votre région, consultez Produits disponibles par région.
Pour connaître les meilleures pratiques concernant le choix des options de calcul Azure, consultez le blog de calcul Azure ou le contenu du service de calcul Azure.
Azure propose des machines virtuelles basées sur CPU et GPU. Les machines virtuelles de la série N sont dotées de GPU NVIDIA conçus pour les applications gourmandes en calcul ou en graphiques telles que l'IA, l'apprentissage et la visualisation.
Les SKU HPC sont conçus pour des scénarios hautes performances. Mais d'autres SKU, comme les séries E et F, conviennent également à certaines charges de travail.
Remarques relatives à la conception
Lorsque vous concevez votre infrastructure HPC, plusieurs outils et services sont disponibles pour vous aider à gérer et planifier vos charges de travail.
Azure CycleCloud est un outil permettant de créer, gérer, exploiter et optimiser les clusters HPC et de gros calcul dans Azure. Avec Azure CycleCloud, les utilisateurs peuvent configurer dynamiquement des clusters HPC Azure et orchestrer des données et des travaux pour des flux de travail hybrides et cloud. Azure CycleCloud fournit le moyen le plus simple de gérer les charges de travail HPC dans Azure, qui implique l'utilisation d'un gestionnaire de charge de travail. Azure CycleCloud prend en charge les gestionnaires de charge de travail tels que Grid Engine, Microsoft HPC Pack, HTCondor, LSF, PBS Pro, SLURM et Symphony.
Exemple de conception d'architecture financière
L'architecture suivante fournit un exemple d'utilisation de machines virtuelles dans le HPC dans le secteur financier.
Cette charge de travail utilise des nœuds de calcul de la série HB du pack HPC.
Les machines virtuelles série HB sont optimisées pour les applications HPC, telles que l’analyse financière, la simulation météorologique et la modélisation RTL (Register Transfer Level) de silicium. Les machines virtuelles HB ont jusqu’à 120 cœurs de processeur AMD EPYC™ 7003, 448 Go de RAM et aucun hyperthreading. Les machines virtuelles de la série HB offrent également une bande passante mémoire de 350 Go/sec, jusqu’à 32 Mo de cache L3 par cœur, des performances de disque SSD allant jusqu’à 7 Go/s et des fréquences d’horloge allant jusqu’à 3 675 GHz.
Pour le nœud principal HPC, la charge de travail utilise une machine virtuelle de taille différente. Plus précisément, elle utilise une machine virtuelle D16s_v4, un type de SKU à usage général.
Pour obtenir des architectures de référence et des fiches pratiques pour le déploiement d'applications de fournisseurs de logiciels indépendants (ISV) HPC prenant en charge des cas d'utilisation dans le secteur financier, consultez les ressources suivantes :
- Série de machines virtuelles.
- Certification Azure HPC.github.io.
- Microsoft plateforme Azure HPC OnDemand. Cette architecture de référence autonome peut ne pas être conforme au paradigme de zone d'atterrissage Azure.
Étapes suivantes
Les articles suivants fournissent des conseils pour les différentes étapes du processus d'adoption du cloud. Ces ressources peuvent vous aider à réussir l’adoption des environnements HPC du secteur financier pour le cloud.