Ejecución de cargas de trabajo de aplicaciones HPC a gran escala para el sector financiero en máquinas virtuales de Azure

  • Artículo

Las cargas de trabajo de informática de alto rendimiento (HPC), también conocidas como aplicaciones de proceso de gran tamaño, requieren muchos núcleos. Estas cargas de trabajo pueden incluir tareas como el modelado de riesgos financieros y el análisis de estrés de ingeniería.

Las aplicaciones de proceso grande suelen tener las siguientes características:

  • La carga de trabajo se puede dividir en tareas discretas que se pueden ejecutar simultáneamente en muchos núcleos.
  • Cada tarea toma la entrada, la procesa y genera la salida. Toda la aplicación se ejecuta durante un período de tiempo finito.
  • La aplicación no necesita ejecutarse constantemente, pero debe ser capaz de manipular errores y bloqueos de nodo.
  • Las tareas pueden ser independientes o estrechamente acopladas, lo que requiere tecnologías de red de alta velocidad, como InfiniBand y conectividad de acceso directo a memoria remota (RDMA).
  • Se pueden usar tamaños de máquina virtual (VM) intensivos de proceso, como H16r, H16mr y A9. La selección depende de la carga de trabajo.

Azure ofrece una variedad de instancias de máquina virtual optimizadas para cargas de trabajo con uso intensivo de CPU y GPU. Estas máquinas virtuales se pueden ejecutar en Azure Virtual Machine Scale Sets para proporcionar resistencia y equilibrio de carga. Azure también es la única plataforma en la nube que ofrece hardware habilitado para InfiniBand. InfiniBand proporciona una ventaja significativa de rendimiento para tareas como el modelado de riesgos financieros y el análisis de estrés de ingeniería. Esta ventaja da como resultado el rendimiento que se aproxima o supera el rendimiento actual de la infraestructura local.

Las máquinas virtuales de Azure ofrecen varias opciones, conocidas como tamaños de máquina virtual, para la informática optimizada para HPC y GPU. Es importante seleccionar un tamaño de máquina virtual adecuado para la carga de trabajo. Para encontrar el tamaño que mejor se ajuste, consulte Tamaños de máquinas virtuales en Azure. Consulte también la herramienta selector en Selector de máquinas virtuales.

Tenga en cuenta que no todos los productos de Azure están disponibles en todas las regiones. Para ver lo que está disponible en su área, consulte Productos disponibles por región.

Para conocer los procedimientos recomendados para elegir opciones de proceso de Azure, consulte el Blog de proceso de Azure o el contenido del Servicio de proceso de Azure.

Azure ofrece máquinas virtuales basadas en CPU y habilitadas para GPU. Las máquinas virtuales de la serie N cuentan con GPU NVIDIA diseñadas para aplicaciones de proceso intensivo o de uso intensivo de gráficos, como la inteligencia artificial, el aprendizaje y la visualización.

Las SKU de HPC están diseñadas para escenarios de alto rendimiento. Pero otras SKU, como la serie E y F, también son adecuadas para determinadas cargas de trabajo.

Consideraciones de diseño

Al diseñar la infraestructura de HPC, hay varias herramientas y servicios disponibles para ayudarle a administrar y programar las cargas de trabajo.

Azure CycleCloud es una herramienta para crear, administrar, operar y optimizar HPC y clústeres de proceso grandes en Azure. Con Azure CycleCloud, los usuarios pueden configurar dinámicamente clústeres de Azure de HPC y organizar datos y trabajos para flujos de trabajo híbridos y en la nube. Azure CycleCloud proporciona la manera más sencilla de administrar cargas de trabajo de HPC en Azure que implica el uso de un administrador de cargas de trabajo. Azure CycleCloud admite administradores de cargas de trabajo como Grid Engine, Microsoft HPC Pack, HTCondor, LSF, PBS Pro, SLURM y Symphony.

Ejemplo de diseño de arquitectura financiera

En la arquitectura siguiente se proporciona un ejemplo de uso de máquinas virtuales en HPC para cargas de trabajo financieras.

Diagrama de arquitectura que muestra una carga de trabajo de HPC financiera que usa máquinas virtuales de la serie HB de HPC Pack.

Esta carga de trabajo usa nodos de proceso de la serie HB de HPC Pack.

Las máquinas virtuales de la serie HB están optimizadas para aplicaciones HPC, como el análisis financiero, la simulación meteorológica y el modelado de nivel de transferencia de registros de silicio (RTL). Las máquinas virtuales de la serie HB incluyen hasta 120 núcleos de CPU de la serie AMD EPYC™ 7003, con 448 GB de RAM y sin hyperthreading. Las máquinas virtuales de la serie HB también proporcionan 350 GB/s de ancho de banda de memoria, hasta 32 MB de caché L3 por núcleo, hasta 7 GB/s de rendimiento de unidad de estado sólido (SSD) del dispositivo de bloque y frecuencias de reloj de hasta 3,675 GHz.

Para el nodo principal de HPC, la carga de trabajo usa una máquina virtual de tamaño diferente. En concreto, usa una máquina virtual de D16s_v4, un tipo de SKU de uso general.

Para obtener arquitecturas de referencia y libros de cocina para implementar aplicaciones de proveedor de software independiente (ISV) de HPC que admiten casos de uso en el sector financiero, consulte los siguientes recursos:

Pasos siguientes

En los artículos siguientes se proporciona una guía para varias fases del proceso de adopción de la nube. Estos recursos pueden ayudarle a adoptar correctamente los entornos de HPC del sector financiero para la nube.