Procesamiento de transacciones en lote de alto volumen

La arquitectura utiliza AKS para implementar clústeres de computación de las aplicaciones que procesan lotes de transacciones de gran volumen. Las aplicaciones reciben las transacciones de mensajes de los temas o las colas de Service Bus. Los temas y las colas pueden estar en centros de datos de Azure de diferentes regiones geográficas, y varios clústeres de AKS pueden leer la entrada de estos.

Architecture

Descargue un archivo Visio de esta arquitectura.

Flujo de trabajo

Los círculos numerados del diagrama corresponden a los pasos numerados de la lista siguiente.

1. La arquitectura usa los temas y las colas de Service Bus para organizar la entrada del procesamiento por lotes y pasarla al nivel inferior para su procesamiento.
2. El equilibrador de carga de nivel 4 (TCP y UDP) Azure Load Balancer distribuye el tráfico entrante entre las instancias correctas de los servicios definidos en un conjunto de carga equilibrada. El equilibrio de carga y la administración de conexiones optimizan el procesamiento.
3. Los nodos de trabajo del clúster de AKS escuchan los puntos de conexión de las colas de Service Bus para la entrada.
4. Los nodos de Java usan Java Message Service para conectarse a Service Bus, e interfaces de Java como Java Database Connectivity para conectarse a otros orígenes de datos. Usan otras API de Java si es necesario.
5. Las transacciones recuperables se ejecutan junto con el código de empresa para cada paso del procesamiento por lotes.
6. La infraestructura por lotes usa redes aceleradas de Azure para mejorar la velocidad.
7. Azure Cache for Redis, Azure Cosmos DB y Azure Stream Analytics proporcionan almacenamiento de trabajo si es necesario.
8. La capa de datos permanente usa Azure Data Factory para la integración de datos y Azure SQL Managed Instance, el nivel de rendimiento crítico para la empresa, para ofrecer alta disponibilidad. El almacenamiento permanente está acoplado de forma flexible para cambiar fácilmente a otras tecnologías de base de datos y para optimizar la organización del almacenamiento (por ejemplo, mediante particiones).
9. Las soluciones de datos (transitorias y permanentes) usan la opción de almacenamiento con redundancia geográfica (GRS) de Azure Storage para protegerse frente a errores catastróficos.

Componentes

La arquitectura usa estos componentes:

• Azure Virtual Network proporciona una red privada segura en la nube. Puede conectar máquinas virtuales (VM) entre sí, a Internet y a redes locales.
• Azure ExpressRoute proporciona conexiones privadas entre los centros de datos de Azure y la infraestructura local.
• Azure Bastion proporciona acceso RDP y SSH privado y totalmente administrado a las VM.
• Azure Virtual Machines proporciona la flexibilidad de la virtualización sin tener que proporcionar ni mantener el hardware que la hospeda. Las opciones de sistema operativo incluyen Windows y Linux.
• Una VM creada con redes aceleradas usa la virtualización de E/S de raíz única (SR-IOV), lo que mejora considerablemente su rendimiento de red. Para obtener más información, consulte Crear una VM Windows con redes aceleradas mediante Azure PowerShell e Información general sobre la virtualización de E/S de raíz única (SR-IOV).
• Una interfaz de red de Azure conecta una VM a Internet y a recursos locales y de Azure. Como se muestra en esta arquitectura, puede proporcionar a cada VM secundaria su interfaz de red y su dirección IP propias. Para obtener más información sobre las interfaces de red, consulte Creación, cambio o eliminación de una interfaz de red.
• Azure Managed Disks ofrece almacenamiento en bloques de alta durabilidad y alto rendimiento para VM. Hay cuatro opciones de almacenamiento en disco para la nube: Almacenamiento en disco Ultra, SSD prémium, SSD estándar y HDD estándar.
• Azure Kubernetes Service (AKS) es un servicio de Kubernetes administrado para la implementación y la administración de aplicaciones contenedorizadas.
• Service Bus: proporciona mensajería como servicio (MaaS) e integración híbrida sencilla en la nube.
• Los servicios de equilibrio de carga de Azure proporcionan escalado para obtener alta disponibilidad y alto rendimiento. Esta arquitectura usa Load Balancer. Proporciona funcionalidades de equilibrio de carga de nivel 4 de baja latencia (TCP, UDP) para equilibrar el tráfico entre las VM y entre aplicaciones híbridas de niveles múltiples.
• Azure Cache for Redis es un servicio de almacenamiento en caché en memoria muy rápido y totalmente administrado para compartir datos y el estado entre los recursos de proceso.
• Azure Cosmos DB es una base de datos NoSQL rápida con API abiertas para cualquier escala.
• Azure Stream Analytics proporciona análisis en tiempo real de flujos de datos rápidos de aplicaciones y dispositivos.
• Azure Databricks es un servicio de análisis rápido, sencillo y de colaboración basado en Apache Spark^TM.
• Azure SQL es una familia de bases de datos en la nube de SQL que proporciona una experiencia unificada para toda la cartera de SQL y una amplia variedad de opciones de implementación del borde a la nube.
• Azure SQL Managed Instance, que forma parte de la cartera de servicios de Azure SQL, es una instancia de SQL administrada, segura y siempre actualizada en la nube.
• Data Factory es una solución de integración de datos sin servidor totalmente administrada para la preparación y la transformación de todos sus datos a escala.
• Data Factory admite el formato de datos de archivo Parquet. Para obtener más información, consulte Formato Parquet en Azure Data Factory.
• Log Analytics es una herramienta de Azure Portal que se usa para editar y ejecutar consultas de registros en los registros de Azure Monitor. Para más información, consulte Introducción a Log Analytics en Azure Monitor.
• La opción de almacenamiento con redundancia geográfica (GRS) de Azure Storage copia sus datos de forma sincrónica tres veces dentro de una única ubicación física de la región principal y, a continuación, los copia de forma asincrónica en una única ubicación física de la región secundaria. Para más información, vea Redundancia de Azure Storage.
• Azure Blob Storage es una solución de almacenamiento de objetos basado en REST seguro y escalable de forma masiva para cargas de trabajo nativas de nube, archivos, lagos de datos, informática de alto rendimiento y aprendizaje automático.
• Azure Files proporciona recursos compartidos de archivos de nivel empresarial sencillos, seguros y sin servidor en la nube. Use los protocolos Bloque de mensajes de servidor (SMB) y Network File System (NFS) estándar del sector para acceder a los recursos compartidos.

Detalles del escenario

En Azure, puede implementar el procesamiento de transacciones por lotes, como la publicación de pagos en cuentas, mediante una arquitectura basada en Microsoft Azure Kubernetes Service (AKS) y Azure Service Bus. Este tipo de arquitectura proporciona la velocidad, el escalado y la confiabilidad de procesamiento de transacciones que requiere el procesamiento por lotes de gran volumen.

Normalmente, un mensaje permanece en cola hasta que se completa su transacción, lo que permite la recuperación si se produce un error. Además, puede replicar temas y colas en otras regiones para compartir cargas de trabajo y continuar con el procesamiento incluso si se produce un error en una región.

Posibles casos de uso

La solución es ideal para los sectores financiero, educativo y científico. Esta arquitectura es para el procesamiento de lotes de transacciones de gran volumen, especialmente de transacciones independientes que se pueden procesar en paralelo. Por lo tanto, es un candidato probable para usar en la migración del procesamiento por lotes del sistema central. Las aplicaciones posibles son:

• Procesamiento de transacciones financieras, como nóminas, pedidos y pagos.
• Procesamiento de datos experimentales recopilados por instrumentos científicos.
• Otros procesamientos por lotes del sistema central.

Consideraciones

Las consideraciones siguientes, basadas en el Marco de buena arquitectura de Azure, se aplican a esta solución:

Disponibilidad

• El servicio de recuperación ante desastres Azure Site Recovery protege frente a interrupciones importantes. Es confiable, rentable y fácil de implementar.
• Los conjuntos de disponibilidad para VM garantizan que haya disponible un número suficiente de VM para satisfacer las necesidades de los procesos por lotes críticos.
• Service Bus, AKS y Azure SQL Managed Instance proporcionan alta disponibilidad y capacidad de recuperación entre regiones geográficas.

Operativos

• Las plantillas de Azure Resource Manager (plantillas de ARM) proporcionan un lenguaje de configuración para describir los recursos en plantillas que se pueden usar para la implementación con scripts. Las plantillas también proporcionan funcionalidades de supervisión y alertas.

Eficiencia del rendimiento

• La arquitectura está diseñada para admitir el procesamiento paralelo de transacciones independientes.
• Service Bus, AKS y otras características de PaaS de Azure proporcionan un alto rendimiento para el procesamiento de transacciones, la informática y el almacenamiento de datos.

Escalabilidad

• Service Bus, AKS y otras características de PaaS de Azure se escalan de forma dinámica cuando es necesario.

Seguridad

• Todos los componentes de la arquitectura por lotes de Service Bus funcionan con componentes de seguridad de Azure, como Microsoft Entra ID, Virtual Network y cifrado.

Optimización de costos

Para calcular los costos de la implementación de esta solución, use la calculadora de precios.

Las características de escalado automático de clústeres de AKS, así como otras características de plataforma como servicio (PaaS) de Azure que proporcionan escalado a petición, mantienen los costos en el nivel mínimo.

Estas son las consideraciones de precios para componentes específicos:

• La mayoría de las empresas ya tienen una implementación de Microsoft Active Directory. Si no es así, Microsoft Entra ID P1 o P2 es de bajo costo.
• Los precios de las VM Windows y los precios de las VM Linux dependen de la capacidad de proceso.
• Puede encontrar información sobre los precios de SSD prémium o de discos de almacenamiento Ultra administrados en Precios de Managed Disks.
• No se aplica ningún costo inicial para Azure SQL Database, sino que se paga por los recursos que se usan.
• Con ExpressRoute, paga un precio de puerto mensual y los cargos de transferencia de datos de salida.
• Los costos de Azure Storage dependen de las opciones y el volumen de redundancia de datos.
• Los precios de Azure Files dependen de muchos factores: volumen de datos, redundancia de datos, volumen de transacciones y número de servidores de sincronización de archivos que se usan.
• Para ver los precios de los discos administrados SSD, consulte los precios de Managed Disks.
• Con Site Recovery, se paga por cada instancia protegida.
• Otros servicios son gratuitos con la suscripción a Azure, pero se paga por el uso y el tráfico:
  • Load Balancer.
  • El volumen de ejecución de actividad determina el costo de Data Factory.
  • Para Azure Virtual Network, las direcciones IP tienen un cargo nominal.
  • El volumen de transferencia de datos de salida determina los costos de Azure Bastion.

Pasos siguientes

• Para obtener más información sobre AKS, lea: Recorrido de la solución Azure Kubernetes Service.
• Para más información sobre Service Bus, lea: Colas, temas y suscripciones de Service Bus.

Recursos relacionados

• Técnicas usadas en esta arquitectura:
  • Recuperación ante desastres con localización geográfica de Azure Service Bus.
  • Uso de redundancia geográfica para diseñar aplicaciones de alta disponibilidad.
  • ¿Qué son las plantillas de Resource Manager?
• Arquitecturas de referencia de Azure:
  • Migración de aplicaciones de sistema central de IBM a Azure con TmaxSoft OpenFrame.
  • Refactorización del recurso de acoplamiento (CF) del sistema central z/OS de IBM en Azure.
  • Micro Focus Enterprise Server en VM de Azure.
  • Migración del sistema central de Unisys.