Rocket® Data Replication and Sync (RDRS), anteriormente tcVISION, es una solución de replicación de datos desarrollada por Rocket Software. RDRS proporciona una solución de integración del sistema central de IBM para la replicación de datos del sistema central, la sincronización de datos, la migración de datos y la captura de datos modificados (CDC) para varios servicios de plataforma de datos de Azure.
Arquitectura
Descargue un archivo Visio de esta arquitectura.
Flujo de trabajo
La solución de replicación de datos RDRS admite CDC de muchas bases de datos basadas en sistemas centrales, como IBM Db2, base de datos de IBM Information Management System (IMS), Adabas for Software AG, CA Datacom y Computer Associates Integrated Administración de datos System (CA IDMS). RDRS proporciona agentes de CDC basados en registros para capturar los datos modificados en el nivel de registro. Este CDC basado en registro coloca una sobrecarga insignificante en las bases de datos de origen de producción.
RDRS admite CDC desde archivos de método de acceso al almacenamiento virtual (VSAM).
Se inicia una tarea en el sistema central. Las tareas iniciadas, o STC, se crean en el sistema central como parte de la instalación del software RDRS. Dos STC vitales son:
- Capture el agente, que captura los datos modificados del origen.
- Aplique el agente, que utiliza API específicas del sistema de administración de bases de datos (DBMS) para escribir de forma eficaz los datos modificados en el destino.
Nota:
Para Db2 z/OS, RDRS también ofrece una solución CDC sin agente mediante un tipo definido por el usuario (UDT) Db2 que no necesita tareas iniciadas.
Open Platform Manager (OPM) actúa como servidor de replicación. Este servidor contiene utilidades para la asignación automática de datos para generar metadatos para orígenes y destinos. También contiene el conjunto de reglas para extraer datos del origen. El servidor transforma y procesa los datos de los sistemas de destino y escribe los datos en los destinos. Puede instalar este componente en los sistemas operativos Linux, Unix y Windows.
El panel de RDRS proporciona administración, revisión, operación, control y supervisión de los procesos de intercambio de datos. Las utilidades de línea de comandos de RDRS automatizan los procesos de intercambio de datos y administran las operaciones desatendidas del proceso de sincronización de datos.
El agente de aplicación de RDRS usa API específicas de DBMS. Estas API implementan eficazmente los cambios en los datos en tiempo real en combinación con la tecnología CDC en el origen para Azure Data Services de destino, como la base de datos y los archivos.
RDRS admite el streaming directo de los datos modificados en Azure Event Hubs o Kafka. A continuación, Azure Logic Apps, una función o una solución personalizada en la máquina virtual, procesa estos eventos.
Los destinos de la plataforma de datos de Azure admitidos por RDRS incluyen Azure SQL Database, Azure Database for PostgreSQL, Azure Database for MySQL, Azure Cosmos DB o Azure Data Lake Storage, entre otros.
Los datos que llegan a la plataforma de datos de Azure los consumen los servicios de Azure u otras plataformas que tienen permiso para verlos. Algunos ejemplos son Power BI, Azure Synapse Analytics o aplicaciones personalizadas.
RDRS puede revertir los cambios de captura de sincronización desde una plataforma de base de datos de Azure (como SQL Database, Azure Database for MySQL, Azure Database for PostgreSQL, o Data Lake Storage) y volver a escribirlos en el nivel de datos del sistema central.
La copia de seguridad y descarga de la base de datos del sistema central se copian en una máquina virtual de Azure con RDRS para el procesamiento de carga masiva.
La carga masiva de RDRS realiza una carga inicial de la base de datos de destino mediante datos de origen del sistema central. Los datos de origen se pueden leer directamente desde el almacén de datos del sistema central o desde un archivo de copia de seguridad o descarga del sistema central. La carga masiva proporciona una traducción automática de los tipos de datos del sistema central, como campos empaquetados con código decimal codificado binario extendido (EBCDIC). Para obtener el mejor rendimiento, use los datos de copia de seguridad o descarga en lugar de una lectura directa de la base de datos del sistema central. No debería leer directamente la base de datos porque mover datos de descarga o copia de seguridad a la máquina virtual de Azure de RDRS necesaria y usar cargadores de bases de datos nativas minimiza la entrada/salida (E/S) de red y reduce el tiempo de carga.
Componentes
La solución usa los componentes siguientes.
Componentes de redes e identidades
- Azure ExpressRoute: ExpressRoute le permite extender sus redes locales a la nube de Microsoft a través de una conexión privada gestionada por un proveedor de conectividad. Puede usar ExpressRoute para establecer conexiones con servicios en la nube, como Microsoft Azure y Microsoft 365.
- Azure VPN Gateway: una puerta de enlace VPN es un tipo específico de puerta de enlace de red virtual que envía tráfico cifrado entre una red virtual de Azure y una ubicación local a través de la red pública de Internet.
- Microsoft Entra ID: Microsoft Entra ID es un servicio de administración de identidades y acceso que puede sincronizar con un directorio local.
Componentes de aplicación
- Logic Apps: Logic Apps le ayuda a crear y ejecutar tareas y procesos recurrentes y automatizados según una programación. Puede llamar a servicios dentro y fuera de Azure, como puntos finales HTTP o HTTPS, enviar mensajes a servicios de Azure, como Azure Storage y Azure Service Bus, o cargar archivos a un recurso compartido.
- Azure Functions: Azure Functions le permite ejecutar pequeños fragmentos de código, llamados funciones, sin preocuparse de la infraestructura de la aplicación. Con Functions, la infraestructura de la nube proporciona todos los servidores actualizados que necesita para mantener la aplicación en ejecución a gran escala.
- Máquinas virtuales de Azure: las máquinas virtuales de Azure son recursos informáticos escalables a petición. Una VM de Azure proporciona la flexibilidad de la virtualización y elimina las exigencias de mantenimiento del hardware físico. Las máquinas virtuales de Azure funcionan en sistemas Windows y Linux.
Componentes de almacenamiento
- Storage: Storage ofrece soluciones de almacenamiento no administradas como Azure Blob Storage, Azure Table Storage, Azure Queue Storage y Azure Files. Azure Files es especialmente útil para las soluciones de sistema central rediseñadas y proporciona un complemento eficaz con almacenamiento SQL administrado.
- Azure SQL: Azure SQL es una plataforma como servicio (PaaS) totalmente administrada para SQL Server de Azure. Los datos relacionales se pueden migrar y usar de forma eficaz con otros componentes de Azure, como Azure SQL Managed Instance, máquinas virtuales de Azure SQL, Azure Database for PostgreSQL, Azure Database for MariaDB y Azure Database for MySQL.
- Azure Cosmos DB: Azure Cosmos DB es una oferta no SQL que puede utilizar para migrar datos no tabulares fuera del sistema central.
Componentes de supervisión
- Azure Monitor: ofrece una solución completa para recopilar y analizar la telemetría, y actuar en consecuencia, desde los entornos local y en la nube.
- Application Insights: Application Insights analiza y presenta la telemetría de la aplicación.
- Registros de Azure Monitor: los registros de Azure Monitor son una característica de Monitor que recopilan y organizan los datos de registro y rendimiento de los recursos supervisados. Puede consolidar los datos de varios orígenes, como los registros de la plataforma de los servicios de Azure, los datos de registro y de rendimiento de los agentes de máquinas virtuales, y los datos de uso y rendimiento de las aplicaciones en una sola área de trabajo para analizarlos juntos utilizando un lenguaje de consulta sofisticado capaz de analizar rápidamente millones de registros.
- Análisis de registros: Análisis de registros es una herramienta que se encuentra en Azure Portal. Puede utilizar consultas de registro para obtener información sobre los datos recopilados en los registros de Azure Monitor. Análisis de registros usa un lenguaje de consulta eficaz que le permite combinar datos de varias tablas, agregar grandes conjuntos de datos y realizar operaciones complejas con una mínima cantidad de código.
Consideraciones
Estas consideraciones implementan los pilares del marco de buena arquitectura de Azure, que es un conjunto de principios guía que se pueden usar para mejorar la calidad de una carga de trabajo. Para más información, consulte Marco de buena arquitectura de Microsoft Azure.
Optimización de costes
La optimización de costos trata de buscar formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para más información, vea Información general del pilar de optimización de costos. Use la calculadora de precios de Azure para estimar el costo de la implementación de esta solución.
Confiabilidad
La confiabilidad garantiza que la aplicación pueda cumplir los compromisos contraídos con los clientes. Para obtener más información, consulte Lista de comprobación de revisión de diseño para confiabilidad.
- Configure OPM de RDRS en máquinas virtuales de Azure implementadas en zonas de disponibilidad independientes para proporcionar alta disponibilidad. En caso de fallos, se activa un OPM de RDRS secundario y el OPM de RDRS secundario comunica su dirección IP al Administrador del sistema central de RDRS. El sistema central se comunica con el nuevo OPM de RDRS, que continúa procesando en su siguiente punto de reinicio lógico, mediante una combinación de unidades lógicas de trabajo (LUW) y los archivos de reinicio.
- Diseñe servicios de base de datos de Azure que admitan redundancia de zona para que se puedan conmutar por error a un nodo secundario si se produce una interrupción o durante una ventana de mantenimiento planificada.
- Use Registros de Azure Monitor y Application Insights para supervisar el estado de un recurso de Azure. Se pueden establecer alertas para una administración proactiva.
Escalabilidad
- Configure el escalado de RDRS para el procesamiento CDC mediante la ejecución de varios flujos de replicación paralelos. En primer lugar, analice los archivos incluidos en transacciones lógicas. Estos archivos se deben procesar juntos en secuencia. El proceso CDC de RDRS garantiza la integridad de cada transacción lógica. Por ejemplo, los conjuntos de tablas que no participan en transacciones comunes se pueden dividir en tareas paralelas mediante la creación de varios scripts de procesamiento.
- RDRS puede ejecutar el procesamiento simultáneo de carga masiva en paralelo en una sola máquina virtual de Azure o en varias máquinas virtuales de Azure, lo que proporciona escalabilidad horizontal. Para realizar rápidamente las operaciones de carga masiva de tablas grandes, divida el proceso en varias tareas, ya sea por intervalos arbitrarios o por medio del filtrado de filas. El filtrado de filas puede usar una clave, una clave de partición, una fecha y otros filtros.
- El nivel de proceso sin servidor de SQL Database proporciona una opción de escalado automático basada en la carga de trabajo. Otras bases de datos de Azure se pueden escalar y reducir verticalmente mediante la automatización para satisfacer las demandas de carga de trabajo.
- Para más información, consulte los procedimientos recomendados del escalado automático en Azure.
Seguridad
La seguridad proporciona garantías contra ataques deliberados y el abuso de datos y sistemas valiosos. Para obtener más información, consulte Lista de comprobación de revisión de diseño para seguridad.
- Controle la autenticación y el acceso a RDRS mediante Microsoft Entra ID.
- Cifre las transferencias de datos entre los productos de RDRS (sistema central a Azure) con seguridad de la capa de transporte (TLS).
- Use ExpressRoute o VPN de sitio a sitio para una conexión privada y eficaz a Azure desde un entorno local.
- Autentique los recursos de Azure con Microsoft Entra ID y administre los permisos con el control de acceso basado en roles (RBAC).
- Use los servicios de base de datos de Azure para admitir varias opciones de seguridad, como el cifrado de datos en reposo (TDE), el cifrado de datos en tránsito (TLS) y el cifrado de datos mientras se procesa, para que los datos se cifren siempre.
- Para obtener directrices sobre cómo diseñar soluciones seguras, consulte la documentación sobre seguridad de Azure.
- Para averiguar la base de referencia de seguridad, consulte Bases de seguridad de Azure.
Detalles del escenario
Los sistemas centrales son servidores que procesan un gran número de transacciones. Las aplicaciones del sistema central generan y consumen grandes cantidades de datos diariamente. Las nubes públicas proporcionan elasticidad, optimización de costes, facilidad de uso e integración sencilla. Muchas aplicaciones x86 y de sistema central se están trasladando a la nube, por lo que las organizaciones deben contar con una estrategia bien diseñada de integración y migración de datos del sistema central a la nube.
Este escenario integra un nivel de datos IBM Z (sistema central) con la plataforma de datos en la nube de Azure mediante RDRS proporcionado por Rocket Software.
Posibles casos de uso
Esta solución es ideal para migraciones de datos a gran escala a la plataforma de datos de Azure. Tenga en cuenta este escenario para los casos de uso siguientes:
- Migración completa de un nivel de datos del sistema central: en este caso de uso, un cliente quiere mover todos sus archivos Db2, IMS, IDMS, etc. desde un sistema central a la plataforma de datos de Azure.
- Coexistencia de sistemas centrales y aplicaciones basadas en Azure: en este caso de uso, un cliente necesita admitir una sincronización bidireccional entre un sistema central y la plataforma de datos de Azure.
- Archivado: en este caso de uso, un cliente quiere almacenar datos con fines de auditoría y cumplimiento, pero no quiere acceder a estos datos con frecuencia. Storage proporciona una solución de bajo coste para almacenar datos de archivo.
Colaboradores
Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.
Creadores de entidad de seguridad:
- Sandip Khandelwal | Arquitecto sénior de ingeniería
Otros colaboradores:
- Liz Casey | Desarrollador de contenido sénior
Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.
Pasos siguientes
- Formación: Arquitectura de una plataforma de datos en Azure
- Póngase en contacto con el equipo de ingeniería de datos de Azure.
- Guía de migración de bases de datos de Azure
- Formación: Diseño de una estrategia de migración de SQL Server
- Guía de migración: SQL Server a Azure SQL Database