Stockage pour HPC dans le secteur financier

  • Article

Cet article fournit des recommandations pour l’implémentation du stockage dans les environnements HPC pour le secteur financier. Les charges de travail HPC à grande échelle dans les environnements financiers créent des demandes de stockage et d’accès aux données qui dépassent les capacités des systèmes de fichiers cloud traditionnels.

Remarques relatives à la conception

Pour décider de la solution de stockage à utiliser, vous devez prendre en compte les exigences de l’application suivantes.

  • Latence
  • E/S par seconde
  • Débit
  • Tailles et nombre de fichiers
  • Runtime de la tâche
  • Coûts associés
  • Affinité pour l’emplacement de stockage : localement et Azure

Recommandations de conception

  • Utilisez Stockage Blob Azure Standard ou Premium pour le stockage à haut débit et à faible latence. Il offre les avantages suivants :

    • Il fournit un accès à l’échelle exabyte, à haut débit et à faible latence si nécessaire, un système de fichiers familier et un accès multiprotocole (REST, HDFS, NFS).
    • Il est économique.
    • Vous pouvez monter Stockage Blob en tant que système de fichiers à l’aide de BlobFuse. Cela permet d’autoriser facilement plusieurs nœuds à monter le même conteneur pour des scénarios en lecture seule.
    • Il prend en charge NFS 3.0 sur le point de terminaison de service blob pour les charges de travail à haut débit et en lecture intensive.
    • Vous pouvez optimiser les coûts en déplaçant les données vers des niveaux plus froids grâce à la possibilité d’effectuer une gestion du cycle de vie avec la hiérarchisation intelligente de la dernière mise à jour/heure d’accès, avec des stratégies personnalisables.

  • Utilisez Azure NetApp Files pour les applications ReadWriteMany (unique) ou en lecture unique. Il offre les avantages suivants :

    • Un large choix de protocoles de fichiers (NFSv3, NFSv4.1, SMB3).
    • Performances comparables aux performances locales, avec plusieurs niveaux (Ultra, Premium, Standard).
    • Déploie en quelques minutes et offre un large éventail de niveaux et de flexibilité.
    • Types et performances de pool de capacité flexibles, où la qualité de service par volume est automatiquement attribuée en fonction du niveau du pool et du quota de volume.

Le tableau suivant présente une comparaison entre Blob Storage, Azure Files, Azure Managed Lustre et Azure NetApp Files.

Stockage Blob Azure Files Azure Managed Lustre Azure NetApp Files
Cas d’utilisation Convient le mieux aux charges de travail à accès séquentiel et à lecture intensive à grande échelle, où les données sont ingérées une fois et peu modifiées.

Faible coût total de possession, s’il y a un entretien léger.		 Un service hautement disponible qui convient parfaitement aux charges de travail à accès aléatoire.

Pour les partages NFS, Azure Files fournit une prise en charge complète du système de fichiers POSIX. Le pilote CSI intégré vous permet de l’utiliser facilement à partir de plateformes de conteneurs telles que Azure Container Instances et Azure Kubernetes Service (AKS), en plus des plateformes basées sur des machines virtuelles.		 Azure Managed Lustre est un système de fichiers parallèles entièrement géré qui convient parfaitement aux charges de travail HPC moyennes à importantes.

Permet des applications HPC dans le cloud sans rompre la compatibilité des applications en fournissant des fonctionnalités, des comportements et des performances familiers du système de fichiers parallèles Lustre, sécurisant ainsi les investissements à long terme dans les applications.		 Un service de fichiers complètement managé dans le cloud, avec NetApp et fonctionnalités de gestion avancées.

Azure NetApp Files convient aux charges de travail qui nécessitent un accès aléatoire. Il offre une prise en charge étendue du protocole et une protection améliorée des données.
Protocoles disponibles NFS 3.0

REST

Azure Data Lake Storage		 SMB

NFS 4.1

(Aucune interopérabilité entre les deux protocoles.)		 Lustre NFS 3.0 et 4.1

SMB


Fonctionnalités clés Intégré à Azure HPC Cache pour les charges de travail à faible latence.

Gestion intégrée, notamment pour la gestion du cycle de vie, les objets blob immuables, le basculement des données et l'index des métadonnées.		 Redondance interzone pour la haute disponibilité.

Latence constante de quelques millisecondes.

Performances et coûts prévisibles qui évoluent avec la capacité.		 Capacité de stockage élevée, jusqu'à 2,5 Po.

Faible latence (environ 2 ms).

Démarrage de nouveaux clusters en quelques minutes.

Prise en charge des charges de travail conteneurisées avec AKS.		 Latence extrêmement faible (moins d'une milliseconde).

Fonctionnalité de gestion riche de NetApp ONTAP, comme SnapMirror Cloud.

Expérience cohérente en matière de cloud hybride.
Performances (par volume) Pas moins de 20 000 IOPS. Jusqu’à 100 Gio/s de débit. Pas moins de 100 000 IOPS. Jusqu’à 80 Gio/s de débit. Jusqu’à 100 000 IOPS, jusqu’à 500 Gio/s de débit. Pas moins de 460 000 IOPS. Jusqu’à 36 Gio/s de débit.
Mise à l’échelle Jusqu'à 2 Pio pour un seul volume.

Jusqu'à ~4,75 Tio pour un seul fichier.

Aucune exigence de capacité minimale.		 Jusqu'à 100 Tio pour un seul volume.

Jusqu'à 4 Tio pour un seul fichier.

100 Gio de capacité minimale.		 Jusqu'à 2.5 Pio pour un seul volume.

Jusqu'à 32 Po pour un seul fichier.

Capacité minimale de 4 Tib.		 Jusqu'à 100 Tio pour un seul volume.

Jusqu'à 16 Tio pour un seul fichier.

Expérience cohérente en matière de cloud hybride.
Tarification Tarifs Stockage Blob Azure Tarifs Azure Files Prix d'Azure Managed Lustre Tarifs Azure NetApp Files

Étapes suivantes

Les articles suivants fournissent des conseils qui peuvent vous être utiles durant votre processus d’adoption du cloud. Ils peuvent vous aider à réussir dans votre scénario d’adoption du cloud pour HPC dans le secteur financier.