Copia de seguridad en cinta y archivo de sistema central en Azure mediante Luminex

Azure Event Hubs

Azure ExpressRoute

Azure SQL Database

Azure Storage

Power BI

En este artículo se presenta una solución para usar productos de Luminex para transferir datos del sistema central hacia y desde Azure para satisfacer las necesidades de copia de seguridad, archivado y otras necesidades empresariales. Entre los componentes clave de la solución se incluyen el uso compartido de datos en la nube de la plataforma de integración de datos del sistema central (MDI) de Luminex y CloudTAPE de la plataforma de cintas virtuales del sistema central (MVT) de Luminex

Apache® y Apache Kafka son marcas comerciales registradas o marcas comerciales de Apache Software Foundation en Estados Unidos u otros países. El uso de estas marcas no implica la aprobación de Apache Software Foundation.

Arquitectura

Descargue un archivo Visio de esta arquitectura.

Flujo de datos

1. En un sistema central, los dispositivos de almacenamiento secundario incluyen dispositivos de almacenamiento de acceso directo (DASD) y dispositivos de almacenamiento de acceso secuencial (SASD).

2. Los DASD se montan en el sistema central.

3. Una cinta es un tipo de SASD que se ha adjuntado al sistema central como almacenamiento externo.

4. La plataforma MDI envía información que se puede almacenar en archivos a Azure. Algunos ejemplos son los datos de las instalaciones de administración del sistema (SMF), los archivos del método de acceso de almacenamiento virtual (VSAM), los archivos secuenciales y los grupos de datos de generación (GDG). El hardware MDI instalado en el centro de datos incluye controladores Luminex Channel Gateway X (CGX) y servidores Luminex MDI.

5. MVT CloudTAPE proporciona archivado y copia de seguridad de cintas. El hardware MVT instalado en el centro de datos incluye controladores Luminex CGX y servidores CloudTAPE.

6. MDI y MVT usan dispositivos de controlador CGX basados en el protocolo de conexión de fibra (FICON). Estos dispositivos se conectan directamente al sistema central. No se necesitan motores especiales del procesador de información integrado del sistema z (zIIP) para la transferencia de datos. No hay ningún agente de Luminex en el sistema central y no es necesario abrir ningún puerto TCP/IP para la comunicación entre el sistema central y los dispositivos Luminex.

7. Los datos del sistema central se transfieren a Azure a través de una conexión privada y segura de Azure ExpressRoute.

8. Luminex MDI zKonnect y otros servicios transmiten los datos de archivo para el análisis de macrodatos en Azure. Por ejemplo, los datos del sistema, como los registros del sistema central y los datos de SMF, se transmiten a Azure Event Hubs. Los servicios de Azure ingieren los datos y, a continuación, procesan, transforman y proyectan los datos.

9. MDI usa dispositivos Luminex CGX para procesar, transferir y almacenar en caché datos de archivos. Hay dos opciones de disponibles:

   • Se envían instrucciones del lenguaje de control de trabajos (JCL). Luminex proporciona instrucciones que especifican información sobre los archivos de entrada, el destino de Azure, las claves y la información de seguridad, la transformación de datos y los formatos de archivo en la nube. Las organizaciones que usan el procedimiento Luminex para la transferencia de datos pueden usar sus propias instrucciones JCL. Cuando finaliza el trabajo, un código de retorno de cero indica una transferencia correcta.
   • El trabajo se supervisa desde la interfaz de usuario de MDI. Un equipo de operaciones puede usar una combinación del programador, el sistema central y la interfaz de usuario de MDI para supervisar y solucionar problemas de trabajos. La interfaz de usuario de MDI proporciona información como el nombre del trabajo, el identificador del trabajo, el usuario o el grupo, la hora de inicio y el tiempo transcurrido. Los mecanismos de reintento de MDI interactúan si la transferencia de archivos no se realiza correctamente inicialmente.

   El trabajo se puede configurar para almacenar en caché los archivos en el almacenamiento local antes de la transferencia. Una vez finalizada la transferencia, se quita ese almacenamiento local.

10. MVT CloudTAPE envía datos de cinta del sistema central a almacenes de datos de Azure, como Azure Blob Storage, Azure Files y Azure Data Lake Storage. Los datos pueden ser estructurados y no estructurados. La transferencia no usa instrucciones JCL. En su lugar, MVT CloudTAPE mueve o replica cintas del sistema central en formato IBM 3490 o 3590 que emulan los controladores CGX.

11. Los servicios de Azure proporcionan funcionalidades de procesamiento de datos, almacenamiento, análisis y visualización.

Componentes

• ExpressRoute extiende las redes locales a la nube de Microsoft. ExpressRoute usa un proveedor de conectividad para establecer conexiones privadas entre datos locales y servicios en la nube de Microsoft.

• Azure Files es un servicio que forma parte de Azure Storage. Azure Files ofrece recursos compartidos de archivos totalmente administrados en la nube. Los recursos compartidos de archivos de Azure son accesibles a través del protocolo Bloque de mensajes del servidor (SMB) estándar. Esta solución usa Luminex MDI y MVT para transferir archivos del sistema central a Azure Files.

• Blob Storage es un servicio que forma parte de Storage. Blob Storage proporciona un almacenamiento optimizado de objetos en la nube para grandes cantidades de datos no estructurados. En esta solución, Blob Storage proporciona una manera de archivar datos estándar de acceso frecuente y de acceso esporádico.

• En esta solución, los productos de Luminex pueden transferir datos del sistema central a varias bases de datos de Azure:

  • Azure SQL es una familia de bases de datos de Azure que funcionan con el motor de SQL Server.
  • Azure SQL Database es un motor de base de datos de plataforma como servicio (PaaS) totalmente administrada que forma parte de la familia de Azure SQL. Gracias a las características automatizadas con tecnología de inteligencia artificial, SQL Database controla funciones de administración de bases de datos, como la actualización, la revisión, las copias de seguridad y la supervisión.
  • Azure Database for PostgreSQL es un servicio de base de datos relacional totalmente administrado que se basa en la Community Edition del motor de base de datos de código abierto PostgreSQL.
  • Azure Database for MySQL es un servicio de base de datos relacional totalmente administrado que se basa en la Community Edition del motor de base de datos de código abierto MySQL.

• Event Hubs es una plataforma de streaming de macrodatos totalmente administrada. En esta solución, Luminex zKonnect transmite los datos del sistema central a Event Hubs casi en tiempo real. Event Hubs proporciona un punto de conexión compatible con API de productor y consumidor de Apache Kafka. La mayoría de las aplicaciones cliente de Apache Kafka existentes utilizan estas API como alternativa a la ejecución de sus propios clústeres de Apache Kafka.

• Power BI es una colección de servicios de software y aplicaciones que muestran información de análisis. Esta solución usa datos del sistema central que proceden de varios orígenes y tiene estructuras variables. Power BI sirve para convertir los datos en información coherente, visualmente envolvente e interactiva.

• Data Lake Storage proporciona una manera de realizar análisis de macrodatos con almacenamiento por niveles de bajo costo y alto rendimiento.

Alternativas

• En lugar de usar soluciones de terceros para la transferencia de datos, puede usar una solución de Microsoft. Para obtener información sobre cómo transferir datos de sistemas centrales y de rango medio a Azure, consulte Traslado de datos de archivo desde sistemas centrales a Azure. Para obtener información sobre soluciones específicas de Microsoft, consulte los siguientes recursos:

  • Copia de archivos desde un sistema central a Azure mediante el conector FTP de Azure Data Factory
  • Transferencia de archivos del sistema central a Azure mediante SFTP
  • Transferencia de un conjunto de datos del sistema central a Azure Blob Storage mediante un JCL del sistema central

• Para abordar cualquier consideración sobre la latencia, la conectividad, la tecnología y la normativa, puede transferir datos a Azure Stack en lugar de a Azure. Azure Stack Hub ofrece un conjunto de servicios de almacenamiento en la nube. Para más información, consulte Azure Stack Hub Storage: diferencias y consideraciones.

• También puede usar dispositivos de Luminex MVT y CGX para sistemas centrales IBM z/VM y z/VSE.

• Al transferir cintas a Azure, puede comprimirlas y cifrarlas para ayudar a transmitir datos de forma segura en todas las fases. Puede configurar esta funcionalidad fácilmente.

• También puede usar esta solución para el intercambio de datos bidireccional. Puede recuperar los datos de cinta en el sistema central y transformarlos en su forma original.

  • Con MDI, el proceso es similar a la transferencia a Azure. Envía instrucciones JCL que proporcionan los detalles de la transferencia inversa. Los datos se pueden transferir como cintas o como archivos secuenciales. La configuración de JCL especifica el formato.
  • Con MVT CloudTAPE, los datos se recuperan automáticamente si los solicita desde el sistema central.

• Los dispositivos Luminex CGX también admiten la conectividad de canales de Conexión a sistemas empresariales (ESCON). El software de copia de seguridad del sistema central existente ve la puerta de enlace del canal como un dispositivo de cinta del sistema central reconocido. Como resultado, no se necesita ningún cambio de software.

• Esta solución usa ExpressRoute para transferir datos desde el centro de datos a Azure. Se recomienda este enfoque, pero también puede usar Internet para la transferencia de datos.

Detalles del escenario

El almacenamiento físico del sistema central se puede ubicar en el procesador del sistema central o puede ser externo al sistema central. El almacenamiento del procesador, que es similar a la memoria del sistema central, se encuentra en el procesador. Las unidades de disco y las unidades de cinta son ejemplos de almacenamiento externo. Los conjuntos de datos del almacenamiento se organizan en varias estructuras de registros y bloques lógicos. Los parámetros como la organización del conjunto de datos (DSORG) y el formato de registro (RECFM) definen estas estructuras de datos. Los registros del conjunto de datos pueden tener una longitud fija o variable, y se pueden almacenar en formato binario o de texto.

Los dispositivos de almacenamiento secundarios, como DASD y SASD, almacenan datos a los que se accede con frecuencia o con poca frecuencia.

• Los DASD se usan para la ubicación y recuperación inmediatas de los datos. Con el acceso directo, puede leer o escribir datos si va directamente a una ubicación física específica en el dispositivo. Como resultado, los DASD son rápidos y eficientes.
• Los SASD, como las cintas, son intrínsecamente más lentos que los DASD. Para acceder a los datos de cinta, empiece en una ubicación y, a continuación, pase por las ubicaciones sucesivas hasta que encuentre los datos que necesita. Los sistemas centrales usan cintas físicas y bibliotecas de cintas virtuales (VTL), que también se denominan cintas virtuales. Actualmente, se prefieren las cintas virtuales sobre las cintas físicas.

El tipo de almacenamiento que use depende de sus necesidades. Muchas organizaciones necesitan almacenamiento en frío para el cumplimiento, la normativa, los informes, la auditoría u otros fines. Algunas organizaciones tienen directivas de retención de datos que requieren que almacene datos durante casi 100 años. Entre los ejemplos de este tipo de datos se incluyen copias de recetas, registros de pacientes, historial de recompensas del cliente y más información. Los datos que almacena a largo plazo tienen principalmente un volumen elevado y se accede a ellos con poca frecuencia. Por lo general, el almacenamiento a largo plazo cuesta menos que el almacenamiento activo, al que normalmente se accede varias veces al día y que se actualiza con frecuencia. Las consideraciones de seguridad también afectan a la elección del almacenamiento. Los ciberataques son una amenaza constante.

Azure ofrece varias soluciones de almacenamiento y es un lugar de aterrizaje probado para sus necesidades de almacenamiento, copia de seguridad y archivo a largo plazo. Puede usar el almacenamiento en frío para los datos a los que se accede con poca frecuencia y el almacenamiento de nivel de acceso frecuente para los datos a los que se accede con frecuencia. Las estructuras de archivos del sistema central, como los conjuntos de datos de VSAM, los archivos planos y los datos de cinta, se asignan a construcciones de datos de Azure dentro de bases de datos, archivos estructurados y almacenamiento de blobs. Azure Storage puede almacenar datos de volumen elevado con rentabilidad, escalabilidad, replicación y autosostenibilidad. Los servicios de Azure también pueden ayudarle a recuperar los datos, visualizarlos y obtener información sobre estos.

La solución de este artículo usa las plataformas Luminex MDI y MVT para transferir datos del sistema central hacia y desde Azure para satisfacer las necesidades empresariales de copia de seguridad, archivado y otras necesidades empresariales.

• Luminex MDI es una plataforma de transferencia de datos y coprocesamiento. MDI usa dispositivos Luminex CGX para procesar, transferir y almacenar en caché archivos del sistema central. MDI proporciona un intercambio seguro y eficaz de datos y uso compartido de cargas de trabajo entre sistemas distribuidos y centrales z/OS. Mediante el uso de productos MDI, como el uso compartido de datos en la nube, la transferencia de macrodatos y zKonnect, puede mover archivos a Azure para realizar copias de seguridad, archivado, normalización de datos, combinación y análisis. Puede configurar los datos transferidos para que lleguen en formato ASCII o EBCDIC en Azure. El uso compartido de datos en la nube de MDI proporciona una manera de migrar archivos del sistema central, como archivos VSAM, archivos secuenciales y GDG a Azure. MDI también admite la integración con los servicios de mensajería de Azure. Las aplicaciones hospedadas en Azure pueden usar los archivos del sistema central almacenados en Azure para modernizar, reducir la latencia y mejorar el rendimiento.

• Luminex MVT es una plataforma de archivado y copia de seguridad de cintas. MVT usa software de unidad de control Luminex CGX que emula las unidades de cinta 3490 y 3590 del sistema central, por lo que puede usar las aplicaciones de cinta existentes sin cambiar. El entorno CGX proporciona un conjunto de productos para el cifrado de cintas, el almacenamiento, la migración, la replicación, la recuperación, la recuperación ante desastres y la alta disponibilidad. En concreto, el producto CloudTAPE proporciona una manera de migrar datos de cinta a Azure.

MDI y MVT usan dispositivos de controlador CGX de alta velocidad para conectarse directamente al sistema central. Estos controladores se basan en FICON, un protocolo de transporte compatible con los servidores del sistema central y los controladores de almacenamiento de clase empresarial conectados. FICON usa Canal de fibra como protocolo de transporte subyacente. Los controladores CGX también aprovechan el almacenamiento conectado a la red (NAS) y los sistemas de almacenamiento internos para proporcionar los altos niveles de rendimiento, escalabilidad, fiabilidad, seguridad y disponibilidad que las empresas exigen. Con el transporte FICON, la E/S se puede compartir entre varios sistemas. FICON ofrece una eficiencia óptima del protocolo. También ayuda a proporcionar integridad y seguridad de los datos, incluso con mayores distancias entre los dispositivos de almacenamiento y servidor.

Con MDI y MVT, no se necesitan motores especiales zIIP para la transferencia de datos y no es necesario abrir ningún puerto TCP/IP para permitir la comunicación entre el sistema central y los dispositivos Luminex. Conecte los dispositivos Luminex CGX directamente al sistema central como cualquier otro dispositivo de almacenamiento del sistema central. Si es necesario, el software de administración de cintas y copia de seguridad heredado existente se puede ejecutar en paralelo. En el caso del uso compartido de datos en la nube de MVT CloudTAPE y MDI, el consumo de millones de instrucciones por segundo (MIPS) es mínimo porque la transferencia usa procesos ligeros.

Posibles casos de uso

Esta solución puede beneficiar muchos escenarios: Entre las posibilidades se incluyen las organizaciones con los siguientes objetivos:

• Minimizar los esfuerzos de mantenimiento y administración de cintas.
• Modernización de cargas de trabajo heredadas.
• Búsqueda de soluciones de copia de seguridad y archivado.
• Extensión de su modernización del sistema central moviendo cintas del sistema central a la nube. Es posible que las organizaciones tengan este objetivo si quieren reducir el tamaño de su centro de datos, pero no abandonarlo. Si una organización no usa cintas del sistema central en gran medida, es posible que las cintas sean candidatas adecuadas para la migración.
• Transformar los datos migrados en un formato diferente para el almacenamiento en la nube, como convertir datos EBCDIC en ASCII, archivos VSAM en JSON y datos secuenciales en formato CSV.
• Transferencia de metadatos de cintas a metadatos de almacenamiento de Azure.
• Proporcionar aplicaciones nuevas y refactorizadas hospedadas en Azure con fácil acceso a los datos.
• Expansión de su superficie de nube.
• Supervisar y mostrar fácilmente archivos del sistema central y datos de cinta, así como crear informes sobre ellos, e integrar estos datos con los servicios de Azure.
• Monetización de los datos actuales e históricos desbloqueados del sistema central y su uso en las herramientas de análisis e inteligencia empresarial en la nube.

Si va a implementar una solución similar y quiere compartir sus experiencias o comentarios, póngase en contacto con el equipo de Microsoft Legacy Modernization Azure Core Engineering (ACE).

Consideraciones

Estas consideraciones implementan los pilares del marco de buena arquitectura de Azure, que es un conjunto de principios guía que se pueden usar para mejorar la calidad de una carga de trabajo. Para más información, consulte Marco de buena arquitectura de Microsoft Azure.

Confiabilidad

La confiabilidad garantiza que la aplicación pueda cumplir los compromisos contraídos con los clientes. Para obtener más información, vea Lista de comprobación de revisión de diseño para lade confiabilidad.

• Puede implementar esta solución en varias regiones y puede implementar la replicación geográfica en la capa de datos. Los grupos de conmutación por error automática de Azure también ayudan a proporcionar la protección de datos.
• Los controladores CGX agrupados pueden proporcionar una solución de recuperación activa-activa durante un error.
• La matriz de cintas sincrónicas de MVT proporciona fiabilidad en varios centros de datos. Su infraestructura se ajusta a errores sin interrupción.
• La replicación de Luminex puede replicar datos en uno o varios destinos. Un destino puede ser uno o varios sitios de recuperación ante desastres que tienen instalado un sistema central y un controlador CGX en la propiedad. También puede preconfigurar un destino a través de la replicación geográfica de Azure. Si usa Azure y otras nubes privadas o públicas, también puede usar una estrategia híbrida para la recuperación ante desastres. Básicamente, puede usar la estrategia de replicación que mejor se adapte a sus requisitos. Entre los ejemplos se incluyen estrategias uno a uno, uno a varios, varios a varios y en cascada.

Seguridad

La seguridad proporciona garantías contra ataques deliberados y el abuso de datos y sistemas valiosos. Para obtener más información, vea Lista de comprobación de revisión de diseño para security.

• El almacenamiento totalmente administrado de esta solución elimina los problemas relacionados con la seguridad de los medios físicos. Algunos ejemplos son daños o accesos no autorizados que pueden producirse al enviar cintas físicas en vehículos.
• Luminex CGSafe proporciona compresión y cifrado de cintas. Este producto forma parte de la familia MVT y se incluye con CloudTAPE. CGSafe cifra y comprime cintas durante la ingesta, en reposo y en tránsito.
• Cuando se usa el uso compartido de datos en la nube de MDI, los archivos se envían a través de HTTPS mediante SSL. En Azure, puede cifrar los archivos en reposo.
• Dado que la solución usa conectividad FICON y ESCON, no es necesario abrir ningún puerto para la transferencia de datos.

Optimización de costos

La optimización de costos consiste en examinar formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la optimización de costos.

• Los precios de pago por uso y los modelos de varios niveles en Azure ofrecen opciones para satisfacer las distintas necesidades de costo y rendimiento. Por ejemplo, si accede a datos con poca frecuencia, el nivel de acceso esporádico de Azure es una buena opción para el almacenamiento de bajo costo.
• Los precios de esta solución dependen del volumen de datos de cinta, la ubicación del centro de datos y el ancho de banda. El costo también depende de los servicios de Azure que use. Estos factores determinan el hardware que usa, como el número de controladores Luminex CGX. Los factores también afectan a los costos de software, servicio, licencias y soporte técnico.
• El intercambio de datos no requiere procesadores zIIP. Como resultado, se ahorran costos al ejecutar el software.
• Después de que la infraestructura de Luminex esté en su lugar, puede usar el hardware de Luminex para otros fines. Por ejemplo, es posible que ya use el uso compartido de datos en la nube de MDI para la transferencia de archivos. Si aumenta su entorno con MDI zKonnect para streaming, puede ahorrar en costos porque puede comprar software y infraestructura de Luminex adicionales a un precio significativamente reducido.
• Si ya tiene una infraestructura de ExpressRoute implementada, puede usarla para esta solución.
• El uso de Azure y Luminex para la copia de seguridad y la recuperación le ayuda a eliminar algunos costos asociados a la infraestructura de cintas físicas. Entre los ejemplos se incluyen los soportes físicos, los gastos de envío y el almacenamiento fuera del sitio para el almacenamiento en almacenes.

Excelencia operativa

La excelencia operativa abarca los procesos de operaciones que implementan una aplicación y lo mantienen en ejecución en producción. Para obtener más información, vea Lista de comprobación de revisión de diseño para la excelencia operativa.

• La transferencia de datos a Azure en esta solución proporciona flexibilidad al desarrollar una estrategia de copia de seguridad. Puede habilitar la migración automatizada regular o la migración de datos por fases. Después de instalar un dispositivo Luminex en el centro de datos, puede configurar la comunicación unidireccional o bidireccional, la migración por fases o la migración única. Esta flexibilidad proporciona compatibilidad con la implementación de principios de trabajo de DevOps y Agile y para la adopción inmediata de la nube.
• Puede aprovechar las funcionalidades de Azure para la copia de seguridad, el archivado y la recuperación ante desastres del sistema central.
• Puede implementar canalizaciones de integración continua y entrega continua (CI/CD) en Azure para administrar actividades de movimiento, transformación y control de datos.

Eficiencia del rendimiento

La eficiencia del rendimiento es la capacidad de la carga de trabajo para escalar a fin de satisfacer las demandas que los usuarios ponen en ella de forma eficaz. Para obtener más información, vea Lista de comprobación de revisión de diseño para la eficiencia del rendimiento.

• Si tiene un gran volumen de datos, puede agrupar controladores CGX en clústeres. Normalmente, un dispositivo CGX ofrece una velocidad de transferencia de datos de hasta 800 megabytes por segundo (MB/s). Los controladores CGX están disponibles con hasta cuatro puertos de Canal de fibra o 1 Gigabit Ethernet (GbE), 10 GbE o 25 GbE. Estos controladores también ofrecen hasta cuatro puertos para la conectividad a sistemas de almacenamiento conectados.
• En los servicios de Azure, hay disponibles varias opciones y niveles de rendimiento. Por ejemplo, las cuentas de almacenamiento de blobs en bloques ofrecen niveles de rendimiento estándar y prémium. Puede elegir el nivel que mejor se adapta a sus necesidades.
• La administración predefinida de acceso y ciclo de vida en Azure facilita la optimización del rendimiento de casos de uso específicos.
• El software de emulación de cintas de esta solución usa el sistema de E/S FICON. Mediante este sistema, puede reducir el tiempo de CPU, aumentar la velocidad de transmisión de datos y reducir el tiempo transcurrido.

Colaboradores

Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.

Creadores de entidad de seguridad:

• Daniel Saunders | Ingeniero de ventas
• Bhuvi Vatsey | Administradora de programas técnicos sénior

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes

• Para obtener más información, póngase en contacto con el equipo de Microsoft Legacy Modernization Azure Core Engineering (ACE).
• Para obtener información sobre las soluciones de transferencia de datos de terceros, consulte Soluciones de archivo de terceros.

Recursos relacionados

• Modernización del sistema central y los datos intermedios
• Traslado de datos de archivo de sistemas centrales a Azure
• Replicación de datos del sistema central mediante Precisely Connect
• Replicación de datos del sistema central y de rango medio en Azure mediante Qlik
• Replicación de datos del sistema central e intermedios en Azure mediante RDRS
• Migración de una capa de datos de un sistema central a Azure mediante LIBER*IRIS de mLogica
• modernización del sistema central mediante BMC AMI Cloud

En este artículo se presenta una solución para usar productos de Luminex para transferir datos del sistema central hacia y desde Azure para satisfacer las necesidades de copia de seguridad, archivado y otras necesidades empresariales. Entre los componentes clave de la solución se incluyen el uso compartido de datos en la nube de la plataforma de integración de datos del sistema central (MDI) de Luminex y CloudTAPE de la plataforma de cintas virtuales del sistema central (MVT) de Luminex

Apache® y Apache Kafka son marcas comerciales registradas o marcas comerciales de Apache Software Foundation en Estados Unidos u otros países. El uso de estas marcas no implica la aprobación de Apache Software Foundation.

Arquitectura

Descargue un archivo Visio de esta arquitectura.

Flujo de datos

1. En un sistema central, los dispositivos de almacenamiento secundario incluyen dispositivos de almacenamiento de acceso directo (DASD) y dispositivos de almacenamiento de acceso secuencial (SASD).

2. Los DASD se montan en el sistema central.

3. Una cinta es un tipo de SASD que se ha adjuntado al sistema central como almacenamiento externo.

4. La plataforma MDI envía información que se puede almacenar en archivos a Azure. Algunos ejemplos son los datos de las instalaciones de administración del sistema (SMF), los archivos del método de acceso de almacenamiento virtual (VSAM), los archivos secuenciales y los grupos de datos de generación (GDG). El hardware MDI instalado en el centro de datos incluye controladores Luminex Channel Gateway X (CGX) y servidores Luminex MDI.

5. MVT CloudTAPE proporciona archivado y copia de seguridad de cintas. El hardware MVT instalado en el centro de datos incluye controladores Luminex CGX y servidores CloudTAPE.

6. MDI y MVT usan dispositivos de controlador CGX basados en el protocolo de conexión de fibra (FICON). Estos dispositivos se conectan directamente al sistema central. No se necesitan motores especiales del procesador de información integrado del sistema z (zIIP) para la transferencia de datos. No hay ningún agente de Luminex en el sistema central y no es necesario abrir ningún puerto TCP/IP para la comunicación entre el sistema central y los dispositivos Luminex.

7. Los datos del sistema central se transfieren a Azure a través de una conexión privada y segura de Azure ExpressRoute.

8. Luminex MDI zKonnect y otros servicios transmiten los datos de archivo para el análisis de macrodatos en Azure. Por ejemplo, los datos del sistema, como los registros del sistema central y los datos de SMF, se transmiten a Azure Event Hubs. Los servicios de Azure ingieren los datos y, a continuación, procesan, transforman y proyectan los datos.

9. MDI usa dispositivos Luminex CGX para procesar, transferir y almacenar en caché datos de archivos. Hay dos opciones de disponibles:

   • Se envían instrucciones del lenguaje de control de trabajos (JCL). Luminex proporciona instrucciones que especifican información sobre los archivos de entrada, el destino de Azure, las claves y la información de seguridad, la transformación de datos y los formatos de archivo en la nube. Las organizaciones que usan el procedimiento Luminex para la transferencia de datos pueden usar sus propias instrucciones JCL. Cuando finaliza el trabajo, un código de retorno de cero indica una transferencia correcta.
   • El trabajo se supervisa desde la interfaz de usuario de MDI. Un equipo de operaciones puede usar una combinación del programador, el sistema central y la interfaz de usuario de MDI para supervisar y solucionar problemas de trabajos. La interfaz de usuario de MDI proporciona información como el nombre del trabajo, el identificador del trabajo, el usuario o el grupo, la hora de inicio y el tiempo transcurrido. Los mecanismos de reintento de MDI interactúan si la transferencia de archivos no se realiza correctamente inicialmente.

   El trabajo se puede configurar para almacenar en caché los archivos en el almacenamiento local antes de la transferencia. Una vez finalizada la transferencia, se quita ese almacenamiento local.

10. MVT CloudTAPE envía datos de cinta del sistema central a almacenes de datos de Azure, como Azure Blob Storage, Azure Files y Azure Data Lake Storage. Los datos pueden ser estructurados y no estructurados. La transferencia no usa instrucciones JCL. En su lugar, MVT CloudTAPE mueve o replica cintas del sistema central en formato IBM 3490 o 3590 que emulan los controladores CGX.

11. Los servicios de Azure proporcionan funcionalidades de procesamiento de datos, almacenamiento, análisis y visualización.

Componentes

• ExpressRoute extiende las redes locales a la nube de Microsoft. ExpressRoute usa un proveedor de conectividad para establecer conexiones privadas entre datos locales y servicios en la nube de Microsoft.

• Azure Files es un servicio que forma parte de Azure Storage. Azure Files ofrece recursos compartidos de archivos totalmente administrados en la nube. Los recursos compartidos de archivos de Azure son accesibles a través del protocolo Bloque de mensajes del servidor (SMB) estándar. Esta solución usa Luminex MDI y MVT para transferir archivos del sistema central a Azure Files.

• Blob Storage es un servicio que forma parte de Storage. Blob Storage proporciona un almacenamiento optimizado de objetos en la nube para grandes cantidades de datos no estructurados. En esta solución, Blob Storage proporciona una manera de archivar datos estándar de acceso frecuente y de acceso esporádico.

• En esta solución, los productos de Luminex pueden transferir datos del sistema central a varias bases de datos de Azure:

  • Azure SQL es una familia de bases de datos de Azure que funcionan con el motor de SQL Server.
  • Azure SQL Database es un motor de base de datos de plataforma como servicio (PaaS) totalmente administrada que forma parte de la familia de Azure SQL. Gracias a las características automatizadas con tecnología de inteligencia artificial, SQL Database controla funciones de administración de bases de datos, como la actualización, la revisión, las copias de seguridad y la supervisión.
  • Azure Database for PostgreSQL es un servicio de base de datos relacional totalmente administrado que se basa en la Community Edition del motor de base de datos de código abierto PostgreSQL.
  • Azure Database for MySQL es un servicio de base de datos relacional totalmente administrado que se basa en la Community Edition del motor de base de datos de código abierto MySQL.

• Event Hubs es una plataforma de streaming de macrodatos totalmente administrada. En esta solución, Luminex zKonnect transmite los datos del sistema central a Event Hubs casi en tiempo real. Event Hubs proporciona un punto de conexión compatible con API de productor y consumidor de Apache Kafka. La mayoría de las aplicaciones cliente de Apache Kafka existentes utilizan estas API como alternativa a la ejecución de sus propios clústeres de Apache Kafka.

• Power BI es una colección de servicios de software y aplicaciones que muestran información de análisis. Esta solución usa datos del sistema central que proceden de varios orígenes y tiene estructuras variables. Power BI sirve para convertir los datos en información coherente, visualmente envolvente e interactiva.

• Data Lake Storage proporciona una manera de realizar análisis de macrodatos con almacenamiento por niveles de bajo costo y alto rendimiento.

Alternativas

• En lugar de usar soluciones de terceros para la transferencia de datos, puede usar una solución de Microsoft. Para obtener información sobre cómo transferir datos de sistemas centrales y de rango medio a Azure, consulte Traslado de datos de archivo desde sistemas centrales a Azure. Para obtener información sobre soluciones específicas de Microsoft, consulte los siguientes recursos:

  • Copia de archivos desde un sistema central a Azure mediante el conector FTP de Azure Data Factory
  • Transferencia de archivos del sistema central a Azure mediante SFTP
  • Transferencia de un conjunto de datos del sistema central a Azure Blob Storage mediante un JCL del sistema central

• Para abordar cualquier consideración sobre la latencia, la conectividad, la tecnología y la normativa, puede transferir datos a Azure Stack en lugar de a Azure. Azure Stack Hub ofrece un conjunto de servicios de almacenamiento en la nube. Para más información, consulte Azure Stack Hub Storage: diferencias y consideraciones.

• También puede usar dispositivos de Luminex MVT y CGX para sistemas centrales IBM z/VM y z/VSE.

• Al transferir cintas a Azure, puede comprimirlas y cifrarlas para ayudar a transmitir datos de forma segura en todas las fases. Puede configurar esta funcionalidad fácilmente.

• También puede usar esta solución para el intercambio de datos bidireccional. Puede recuperar los datos de cinta en el sistema central y transformarlos en su forma original.

  • Con MDI, el proceso es similar a la transferencia a Azure. Envía instrucciones JCL que proporcionan los detalles de la transferencia inversa. Los datos se pueden transferir como cintas o como archivos secuenciales. La configuración de JCL especifica el formato.
  • Con MVT CloudTAPE, los datos se recuperan automáticamente si los solicita desde el sistema central.

• Los dispositivos Luminex CGX también admiten la conectividad de canales de Conexión a sistemas empresariales (ESCON). El software de copia de seguridad del sistema central existente ve la puerta de enlace del canal como un dispositivo de cinta del sistema central reconocido. Como resultado, no se necesita ningún cambio de software.

• Esta solución usa ExpressRoute para transferir datos desde el centro de datos a Azure. Se recomienda este enfoque, pero también puede usar Internet para la transferencia de datos.

Detalles del escenario

El almacenamiento físico del sistema central se puede ubicar en el procesador del sistema central o puede ser externo al sistema central. El almacenamiento del procesador, que es similar a la memoria del sistema central, se encuentra en el procesador. Las unidades de disco y las unidades de cinta son ejemplos de almacenamiento externo. Los conjuntos de datos del almacenamiento se organizan en varias estructuras de registros y bloques lógicos. Los parámetros como la organización del conjunto de datos (DSORG) y el formato de registro (RECFM) definen estas estructuras de datos. Los registros del conjunto de datos pueden tener una longitud fija o variable, y se pueden almacenar en formato binario o de texto.

Los dispositivos de almacenamiento secundarios, como DASD y SASD, almacenan datos a los que se accede con frecuencia o con poca frecuencia.

• Los DASD se usan para la ubicación y recuperación inmediatas de los datos. Con el acceso directo, puede leer o escribir datos si va directamente a una ubicación física específica en el dispositivo. Como resultado, los DASD son rápidos y eficientes.
• Los SASD, como las cintas, son intrínsecamente más lentos que los DASD. Para acceder a los datos de cinta, empiece en una ubicación y, a continuación, pase por las ubicaciones sucesivas hasta que encuentre los datos que necesita. Los sistemas centrales usan cintas físicas y bibliotecas de cintas virtuales (VTL), que también se denominan cintas virtuales. Actualmente, se prefieren las cintas virtuales sobre las cintas físicas.

El tipo de almacenamiento que use depende de sus necesidades. Muchas organizaciones necesitan almacenamiento en frío para el cumplimiento, la normativa, los informes, la auditoría u otros fines. Algunas organizaciones tienen directivas de retención de datos que requieren que almacene datos durante casi 100 años. Entre los ejemplos de este tipo de datos se incluyen copias de recetas, registros de pacientes, historial de recompensas del cliente y más información. Los datos que almacena a largo plazo tienen principalmente un volumen elevado y se accede a ellos con poca frecuencia. Por lo general, el almacenamiento a largo plazo cuesta menos que el almacenamiento activo, al que normalmente se accede varias veces al día y que se actualiza con frecuencia. Las consideraciones de seguridad también afectan a la elección del almacenamiento. Los ciberataques son una amenaza constante.

Azure ofrece varias soluciones de almacenamiento y es un lugar de aterrizaje probado para sus necesidades de almacenamiento, copia de seguridad y archivo a largo plazo. Puede usar el almacenamiento en frío para los datos a los que se accede con poca frecuencia y el almacenamiento de nivel de acceso frecuente para los datos a los que se accede con frecuencia. Las estructuras de archivos del sistema central, como los conjuntos de datos de VSAM, los archivos planos y los datos de cinta, se asignan a construcciones de datos de Azure dentro de bases de datos, archivos estructurados y almacenamiento de blobs. Azure Storage puede almacenar datos de volumen elevado con rentabilidad, escalabilidad, replicación y autosostenibilidad. Los servicios de Azure también pueden ayudarle a recuperar los datos, visualizarlos y obtener información sobre estos.

La solución de este artículo usa las plataformas Luminex MDI y MVT para transferir datos del sistema central hacia y desde Azure para satisfacer las necesidades empresariales de copia de seguridad, archivado y otras necesidades empresariales.

• Luminex MDI es una plataforma de transferencia de datos y coprocesamiento. MDI usa dispositivos Luminex CGX para procesar, transferir y almacenar en caché archivos del sistema central. MDI proporciona un intercambio seguro y eficaz de datos y uso compartido de cargas de trabajo entre sistemas distribuidos y centrales z/OS. Mediante el uso de productos MDI, como el uso compartido de datos en la nube, la transferencia de macrodatos y zKonnect, puede mover archivos a Azure para realizar copias de seguridad, archivado, normalización de datos, combinación y análisis. Puede configurar los datos transferidos para que lleguen en formato ASCII o EBCDIC en Azure. El uso compartido de datos en la nube de MDI proporciona una manera de migrar archivos del sistema central, como archivos VSAM, archivos secuenciales y GDG a Azure. MDI también admite la integración con los servicios de mensajería de Azure. Las aplicaciones hospedadas en Azure pueden usar los archivos del sistema central almacenados en Azure para modernizar, reducir la latencia y mejorar el rendimiento.

• Luminex MVT es una plataforma de archivado y copia de seguridad de cintas. MVT usa software de unidad de control Luminex CGX que emula las unidades de cinta 3490 y 3590 del sistema central, por lo que puede usar las aplicaciones de cinta existentes sin cambiar. El entorno CGX proporciona un conjunto de productos para el cifrado de cintas, el almacenamiento, la migración, la replicación, la recuperación, la recuperación ante desastres y la alta disponibilidad. En concreto, el producto CloudTAPE proporciona una manera de migrar datos de cinta a Azure.

MDI y MVT usan dispositivos de controlador CGX de alta velocidad para conectarse directamente al sistema central. Estos controladores se basan en FICON, un protocolo de transporte compatible con los servidores del sistema central y los controladores de almacenamiento de clase empresarial conectados. FICON usa Canal de fibra como protocolo de transporte subyacente. Los controladores CGX también aprovechan el almacenamiento conectado a la red (NAS) y los sistemas de almacenamiento internos para proporcionar los altos niveles de rendimiento, escalabilidad, fiabilidad, seguridad y disponibilidad que las empresas exigen. Con el transporte FICON, la E/S se puede compartir entre varios sistemas. FICON ofrece una eficiencia óptima del protocolo. También ayuda a proporcionar integridad y seguridad de los datos, incluso con mayores distancias entre los dispositivos de almacenamiento y servidor.

Con MDI y MVT, no se necesitan motores especiales zIIP para la transferencia de datos y no es necesario abrir ningún puerto TCP/IP para permitir la comunicación entre el sistema central y los dispositivos Luminex. Conecte los dispositivos Luminex CGX directamente al sistema central como cualquier otro dispositivo de almacenamiento del sistema central. Si es necesario, el software de administración de cintas y copia de seguridad heredado existente se puede ejecutar en paralelo. En el caso del uso compartido de datos en la nube de MVT CloudTAPE y MDI, el consumo de millones de instrucciones por segundo (MIPS) es mínimo porque la transferencia usa procesos ligeros.

Posibles casos de uso

Esta solución puede beneficiar muchos escenarios: Entre las posibilidades se incluyen las organizaciones con los siguientes objetivos:

• Minimizar los esfuerzos de mantenimiento y administración de cintas.
• Modernización de cargas de trabajo heredadas.
• Búsqueda de soluciones de copia de seguridad y archivado.
• Extensión de su modernización del sistema central moviendo cintas del sistema central a la nube. Es posible que las organizaciones tengan este objetivo si quieren reducir el tamaño de su centro de datos, pero no abandonarlo. Si una organización no usa cintas del sistema central en gran medida, es posible que las cintas sean candidatas adecuadas para la migración.
• Transformar los datos migrados en un formato diferente para el almacenamiento en la nube, como convertir datos EBCDIC en ASCII, archivos VSAM en JSON y datos secuenciales en formato CSV.
• Transferencia de metadatos de cintas a metadatos de almacenamiento de Azure.
• Proporcionar aplicaciones nuevas y refactorizadas hospedadas en Azure con fácil acceso a los datos.
• Expansión de su superficie de nube.
• Supervisar y mostrar fácilmente archivos del sistema central y datos de cinta, así como crear informes sobre ellos, e integrar estos datos con los servicios de Azure.
• Monetización de los datos actuales e históricos desbloqueados del sistema central y su uso en las herramientas de análisis e inteligencia empresarial en la nube.

Si va a implementar una solución similar y quiere compartir sus experiencias o comentarios, póngase en contacto con el equipo de Microsoft Legacy Modernization Azure Core Engineering (ACE).

Consideraciones

Estas consideraciones implementan los pilares del marco de buena arquitectura de Azure, que es un conjunto de principios guía que se pueden usar para mejorar la calidad de una carga de trabajo. Para más información, consulte Marco de buena arquitectura de Microsoft Azure.

Confiabilidad

La confiabilidad garantiza que la aplicación pueda cumplir los compromisos contraídos con los clientes. Para obtener más información, vea Lista de comprobación de revisión de diseño para lade confiabilidad.

• Puede implementar esta solución en varias regiones y puede implementar la replicación geográfica en la capa de datos. Los grupos de conmutación por error automática de Azure también ayudan a proporcionar la protección de datos.
• Los controladores CGX agrupados pueden proporcionar una solución de recuperación activa-activa durante un error.
• La matriz de cintas sincrónicas de MVT proporciona fiabilidad en varios centros de datos. Su infraestructura se ajusta a errores sin interrupción.
• La replicación de Luminex puede replicar datos en uno o varios destinos. Un destino puede ser uno o varios sitios de recuperación ante desastres que tienen instalado un sistema central y un controlador CGX en la propiedad. También puede preconfigurar un destino a través de la replicación geográfica de Azure. Si usa Azure y otras nubes privadas o públicas, también puede usar una estrategia híbrida para la recuperación ante desastres. Básicamente, puede usar la estrategia de replicación que mejor se adapte a sus requisitos. Entre los ejemplos se incluyen estrategias uno a uno, uno a varios, varios a varios y en cascada.

Seguridad

La seguridad proporciona garantías contra ataques deliberados y el abuso de datos y sistemas valiosos. Para obtener más información, vea Lista de comprobación de revisión de diseño para security.

• El almacenamiento totalmente administrado de esta solución elimina los problemas relacionados con la seguridad de los medios físicos. Algunos ejemplos son daños o accesos no autorizados que pueden producirse al enviar cintas físicas en vehículos.
• Luminex CGSafe proporciona compresión y cifrado de cintas. Este producto forma parte de la familia MVT y se incluye con CloudTAPE. CGSafe cifra y comprime cintas durante la ingesta, en reposo y en tránsito.
• Cuando se usa el uso compartido de datos en la nube de MDI, los archivos se envían a través de HTTPS mediante SSL. En Azure, puede cifrar los archivos en reposo.
• Dado que la solución usa conectividad FICON y ESCON, no es necesario abrir ningún puerto para la transferencia de datos.

Optimización de costos

La optimización de costos consiste en examinar formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la optimización de costos.

• Los precios de pago por uso y los modelos de varios niveles en Azure ofrecen opciones para satisfacer las distintas necesidades de costo y rendimiento. Por ejemplo, si accede a datos con poca frecuencia, el nivel de acceso esporádico de Azure es una buena opción para el almacenamiento de bajo costo.
• Los precios de esta solución dependen del volumen de datos de cinta, la ubicación del centro de datos y el ancho de banda. El costo también depende de los servicios de Azure que use. Estos factores determinan el hardware que usa, como el número de controladores Luminex CGX. Los factores también afectan a los costos de software, servicio, licencias y soporte técnico.
• El intercambio de datos no requiere procesadores zIIP. Como resultado, se ahorran costos al ejecutar el software.
• Después de que la infraestructura de Luminex esté en su lugar, puede usar el hardware de Luminex para otros fines. Por ejemplo, es posible que ya use el uso compartido de datos en la nube de MDI para la transferencia de archivos. Si aumenta su entorno con MDI zKonnect para streaming, puede ahorrar en costos porque puede comprar software y infraestructura de Luminex adicionales a un precio significativamente reducido.
• Si ya tiene una infraestructura de ExpressRoute implementada, puede usarla para esta solución.
• El uso de Azure y Luminex para la copia de seguridad y la recuperación le ayuda a eliminar algunos costos asociados a la infraestructura de cintas físicas. Entre los ejemplos se incluyen los soportes físicos, los gastos de envío y el almacenamiento fuera del sitio para el almacenamiento en almacenes.

Excelencia operativa

La excelencia operativa abarca los procesos de operaciones que implementan una aplicación y lo mantienen en ejecución en producción. Para obtener más información, vea Lista de comprobación de revisión de diseño para la excelencia operativa.

• La transferencia de datos a Azure en esta solución proporciona flexibilidad al desarrollar una estrategia de copia de seguridad. Puede habilitar la migración automatizada regular o la migración de datos por fases. Después de instalar un dispositivo Luminex en el centro de datos, puede configurar la comunicación unidireccional o bidireccional, la migración por fases o la migración única. Esta flexibilidad proporciona compatibilidad con la implementación de principios de trabajo de DevOps y Agile y para la adopción inmediata de la nube.
• Puede aprovechar las funcionalidades de Azure para la copia de seguridad, el archivado y la recuperación ante desastres del sistema central.
• Puede implementar canalizaciones de integración continua y entrega continua (CI/CD) en Azure para administrar actividades de movimiento, transformación y control de datos.

Eficiencia del rendimiento

La eficiencia del rendimiento es la capacidad de la carga de trabajo para escalar a fin de satisfacer las demandas que los usuarios ponen en ella de forma eficaz. Para obtener más información, vea Lista de comprobación de revisión de diseño para la eficiencia del rendimiento.

• Si tiene un gran volumen de datos, puede agrupar controladores CGX en clústeres. Normalmente, un dispositivo CGX ofrece una velocidad de transferencia de datos de hasta 800 megabytes por segundo (MB/s). Los controladores CGX están disponibles con hasta cuatro puertos de Canal de fibra o 1 Gigabit Ethernet (GbE), 10 GbE o 25 GbE. Estos controladores también ofrecen hasta cuatro puertos para la conectividad a sistemas de almacenamiento conectados.
• En los servicios de Azure, hay disponibles varias opciones y niveles de rendimiento. Por ejemplo, las cuentas de almacenamiento de blobs en bloques ofrecen niveles de rendimiento estándar y prémium. Puede elegir el nivel que mejor se adapta a sus necesidades.
• La administración predefinida de acceso y ciclo de vida en Azure facilita la optimización del rendimiento de casos de uso específicos.
• El software de emulación de cintas de esta solución usa el sistema de E/S FICON. Mediante este sistema, puede reducir el tiempo de CPU, aumentar la velocidad de transmisión de datos y reducir el tiempo transcurrido.

Colaboradores

Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.

Creadores de entidad de seguridad:

• Daniel Saunders | Ingeniero de ventas
• Bhuvi Vatsey | Administradora de programas técnicos sénior

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes

• Para obtener más información, póngase en contacto con el equipo de Microsoft Legacy Modernization Azure Core Engineering (ACE).
• Para obtener información sobre las soluciones de transferencia de datos de terceros, consulte Soluciones de archivo de terceros.

Recursos relacionados

• Modernización del sistema central y los datos intermedios
• Traslado de datos de archivo de sistemas centrales a Azure
• Replicación de datos del sistema central mediante Precisely Connect
• Replicación de datos del sistema central y de rango medio en Azure mediante Qlik
• Replicación de datos del sistema central e intermedios en Azure mediante RDRS
• Migración de una capa de datos de un sistema central a Azure mediante LIBER*IRIS de mLogica
• modernización del sistema central mediante BMC AMI Cloud