Compartir vía

Almacenamiento de HPC en el sector financiero

  • Artículo

En este artículo se proporcionan recomendaciones para implementar el almacenamiento en entornos de HPC para el sector financiero. Las cargas de trabajo a gran escala de HPC en los entornos financieros crean unas necesidades de almacenamiento de datos y acceso a estos que superan las funcionalidades de los sistemas de archivos en la nube tradicionales.

Consideraciones de diseño

Para decidir qué solución de almacenamiento se va a usar, debe tener en cuenta los siguientes requisitos de las aplicaciones.

  • Latencia
  • E/S
  • Throughput
  • Tamaño y número de archivos
  • Tiempo de ejecución del trabajo
  • Costes asociados
  • Afinidad para la ubicación de almacenamiento: local frente a Azure

Recomendaciones de diseño

  • Use Azure Blob Storage Estándar o Premium para el almacenamiento de alto rendimiento y baja latencia. Ofrece estas ventajas:

    • Proporciona acceso de una escala de exabyte, alto rendimiento, baja latencia cuando sea necesario, un sistema de archivos conocido y acceso multiprotocolo (REST, HDFS y NFS).
    • Es rentable.
    • Puede montar Blob Storage como un sistema de archivos mediante BlobFuse. De esta forma, es fácil permitir que varios nodos monten el mismo contenedor para escenarios de solo lectura.
    • Admite NFS 3.0 en el punto de conexión de Blob service para cargas de trabajo de alto rendimiento y lectura intensiva.
    • Puede optimizar los costos moviendo los datos a niveles más esporádicos gracias a la capacidad de realizar la administración del ciclo de vida con los niveles inteligentes de hora de acceso y última actualización, con directivas personalizables.

  • Use Azure NetApp Files para las aplicaciones ReadWriteMany (única) o de lectura y escritura única. Ofrece estas ventajas:

    • Una amplia variedad de protocolos de archivo (NFSv3, NFSv4.1 y SMB3).
    • Rendimiento comparable con el rendimiento local, con varios niveles (Ultra, Premium y Estándar).
    • Se implementa en minutos y ofrece una amplia variedad de niveles y flexibilidad.
    • Rendimiento y tipos de grupos de capacidad flexibles, donde la calidad de servicio por volumen se asigna automáticamente en función del nivel del grupo y la cuota de volumen.

En la tabla siguiente se proporciona una comparación de Blob Storage, Azure Files, Azure Managed Lustre y Azure NetApp Files.

Blob Storage Azure Files Azure Managed Lustre Azure NetApp Files
Casos de uso Es más adecuado para cargas de trabajo de acceso secuencial con numerosas lecturas a gran escala en las que los datos se ingieren una vez y se modifican lo mínimo.

Bajo costo total de propiedad, si hay un mantenimiento ligero.		 Un servicio de alta disponibilidad que está optimizado para cargas de trabajo de acceso aleatorio.

En el caso de los recursos compartidos NFS, Azure Files proporciona compatibilidad completa con el sistema de archivos POSIX. El controlador CSI integrado le permite usarlo fácilmente desde plataformas de contenedores como Azure Container Instances y Azure Kubernetes Service (AKS), además de en plataformas basadas en máquinas virtuales.		 Azure Managed Lustre es un sistema de archivos en paralelo totalmente administrado más adecuado para cargas de trabajo de HPC de medianas a grandes.

Habilita las aplicaciones HPC en la nube sin interrumpir la compatibilidad de las aplicaciones al proporcionar la funcionalidad, los comportamientos y el rendimiento familiares del sistema de archivos en paralelo de Lustre, lo que garantiza las inversiones en aplicaciones a largo plazo.		 Un servicio de archivos totalmente administrado en la nube, con tecnología de NetApp, con funcionalidades de administración avanzadas.

Azure NetApp Files es adecuado para cargas de trabajo que requieren acceso aleatorio. Proporciona una amplia compatibilidad con protocolos y una protección de datos mejorada.
Protocolos disponibles NFS 3.0

REST

Azure Data Lake Storage		 SMB

NFS 4.1

(No hay interoperabilidad entre ninguno de los protocolos).		 Lustre NFS 3.0 y 4.1

SMB


Características principales Se integra con Azure HPC Cache en el caso de cargas de trabajo de baja latencia.

Administración integrada, incluida la administración del ciclo de vida, los blobs inmutables, la conmutación por error de datos y el índice de metadatos.		 Redundancia zonal para alta disponibilidad.

Baja latencia constante (menos de 10 ms).

Rendimiento y costo predecibles que se escalan con la capacidad.		 Alta capacidad de almacenamiento de hasta 2,5 PB.

Latencia baja (~2 ms).

Pone en marcha nuevos clústeres en cuestión de minutos.

Admite cargas de trabajo contenedorizadas con AKS.		 Latencia extremadamente baja (submilisegundos).

Completa funcionalidad de administración NetApp ONTAP, como SnapMirror en la nube.

Experiencia coherente de nube híbrida.
Rendimiento (por volumen) Hasta 20 000 IOPS. Hasta 100 GiB/s de rendimiento. Hasta 100 000 IOPS. Hasta 80 GiB/s de rendimiento. Hasta 100 000 IOPS, hasta 500 GiB/s de rendimiento. Hasta 460 000 IOPS. Hasta 36 GiB/s de rendimiento.
Escala Hasta 2 PiB para un solo volumen.

Hasta 4,75 TiB aproximadamente para un solo archivo.

No hay requisitos mínimos de capacidad.		 Hasta 100 TiB para un solo volumen.

Hasta 4 TiB para un solo archivo.

Capacidad mínima de 100 GiB.		 Hasta 2.5 PiB para un solo volumen.

Hasta 32 PB para un solo archivo.

4 TiB de capacidad mínima.		 Hasta 100 TiB para un solo volumen.

Hasta 16 TiB para un solo archivo.

Experiencia coherente de nube híbrida.
Precios Precios de Azure Blob Storage Precios de Azure Files Precios de Azure Managed Lustre Precios de Azure NetApp Files

Pasos siguientes

En los artículos siguientes se proporcionan instrucciones que pueden resultar útiles en diversos puntos del proceso de adopción de la nube. Pueden ayudarle a tener éxito en su escenario de adopción de la nube para HPC en el sector financiero.