Modernización de los datos de sistema central y de rango medio

Azure Cosmos DB

Azure Data Lake

Azure SQL Database

Instancia administrada de Azure SQL

Azure Storage

Apache®, Spark y el logotipo de llama son marcas comerciales registradas o marcas comerciales de Apache Software Foundation en los Estados Unidos y/o en otros países. El uso de estas marcas no implica ninguna aprobación de The Apache Software Foundation.

En este artículo se describe un plan de modernización de un extremo a otro para orígenes de datos de sistema central y de rango medio. La modernización ayuda a mejorar la escalabilidad y el rendimiento de las cargas de trabajo críticas.

Arquitectura

En el diagrama se muestra cómo modernizar los sistemas centrales y de rango medio mediante la migración de datos a Azure. Una línea de puntos divide el diagrama en dos mitades. La mitad izquierda está etiquetada localmente y la mitad derecha está etiquetada como Azure. En la mitad local, un cuadro de almacén de datos contiene sistemas de archivos, como archivos planos de VSAM, bases de datos relacionales, como Db2 zOS y bases de datos no relacionales, como IMS. Una flecha punteada apunta desde el cuadro de almacén de datos a otro cuadro con la etiqueta de conversión de objetos. Este cuadro contiene convertidores como SQL Server Migration Assistant para Db2. Una flecha de puntos conecta el cuadro de conversión de objetos a un cuadro de almacenamiento de datos en el lado de Azure del diagrama. Representa cómo se convierten las definiciones de objeto en objetos correspondientes en almacenes de datos de destino, como Azure SQL Database y Azure Data Lake Storage. Las flechas de los sistemas de archivos y las bases de datos relacionales se conectan al entorno de ejecución de integración autohospedado de Azure y la puerta de enlace de datos local muestran cómo se ingieren y transforman los datos. Las flechas continúan con un cuadro que contiene el protocolo de transferencia de archivos y otro cuadro que contiene SQL Server, Azure Data Factory y Microsoft Fabric. Una flecha conecta las bases de datos no relacionadas con las soluciones de integración de asociados. Una flecha conecta el cuadro de ingesta y transformación de datos con el cuadro de almacenamiento de datos. Por último, las flechas del cuadro de almacenamiento de datos se conectan a los servicios de Azure y a las aplicaciones cliente.

Descargue un archivo de Visio de esta arquitectura.

Flujo de datos

El siguiente flujo de datos corresponde al diagrama anterior:

1. Los sistemas centrales y intermedios almacenan datos en los siguientes orígenes de datos.

   • Sistemas de archivos:

     • Método de acceso al almacenamiento virtual (VSAM)
     • Archivos planos
     • Sistema de archivos de cinta lineal

   • Bases de datos relacionales:

     • Db2 para z/OS
     • Db2 para IBM i
     • Db2 para Linux UNIX y Windows

   • Bases de datos no rerelationales:

     • Sistema de administración de información (IMS)
     • Adabas
     • Sistema integrado de administración de bases de datos (IDMS)

2. El proceso de conversión de objetos extrae definiciones de objetos de objetos de origen. A continuación, las definiciones se convierten en objetos correspondientes en el almacén de datos de destino.

   • SQL Server Migration Assistant para Db2 migra esquemas y datos de bases de datos de IBM Db2 a bases de datos de Azure.

   • El proveedor de datos administrados para archivos host convierte objetos por:

     • Análisis de los diseños de registros del generador de programas de informes o de lenguaje común orientado a la empresa (COBOL) o copybooks.
     • Asignación de los copybooks a objetos de C# que usan las aplicaciones .NET.

   • La herramienta Db2toAzurePostgreSQL migra objetos de base de datos de Db2 a Azure Database for PostgreSQL.

   • Las herramientas de asociados realizan la conversión automatizada de objetos en bases de datos norelationales, sistemas de archivos y otros almacenes de datos.

3. Los datos se ingieren y transforman. Los sistemas centrales y intermedios almacenan sus datos del sistema de archivos en formato codificado con EBCDIC en formatos de archivo como:

   • Archivos VSAM indexados.
   • Archivos GDG no indexados.
   • Archivos planos.

   CoBOL, Programming Language One y los copybooks del lenguaje de ensamblado definen la estructura de datos de estos archivos.

   a) El Protocolo de transferencia de archivos (FTP) transfiere conjuntos de datos del sistema de archivos central y de rango medio y sus correspondientes copybooks a Azure. Estos conjuntos de datos tienen diseños únicos y campos desempaquetados en formato binario.

   b. La conversión de datos se realiza mediante el desarrollo de programas personalizados mediante el componente de archivo host de Host Integration Server o mediante el conector integrado para archivos host de IBM en Azure Logic Apps.

   El convertidor de Spark Notebook se desarrolla mediante marcos de Spark de código abierto. Es compatible con entornos de Spark, como Microsoft Fabric, Azure Synapse Analytics y Azure Databricks.

   c. Se migran los datos de la base de datos relacional.

   Los sistemas centrales y de rango medio de IBM almacenan datos en bases de datos relacionales como:

   • Db2 para z/OS.
   • Db2 para Linux UNIX y Windows.
   • Db2 para IBM i.

   Los siguientes servicios migran los datos de la base de datos:

   • Azure Data Factory usa un conector db2 para extraer e integrar datos de las bases de datos.
   • SQL Server Integration Services controla varias tareas de extracción, transformación y carga de datos.
   • Fabric Data Factory usa el conector IBM Db2 para migrar datos de Db2.

   d. Se migran los datos de la base de datos no rerelational.

   Los sistemas centrales e intermedios de IBM almacenan datos en bases de datos no rerelaciones como:

   • IDMS, un sistema de administración de bases de datos de modelo de red (DBMS).
   • IMS, un DBMS de modelo jerárquico .
   • Adabas.
   • Datacom.

   Los productos asociados integran datos de estas bases de datos.

4. Herramientas de Azure como Azure Data Factory y AzCopy cargan datos en bases de datos de Azure y almacenamiento de datos de Azure. También puede usar soluciones de asociados y soluciones de carga personalizadas para cargar datos.

5. Azure proporciona varios servicios de base de datos, incluidos servicios de base de datos relacionales totalmente administrados, como Azure SQL Database y opciones NoSQL, como Azure Cosmos DB. Estos servicios están diseñados para escalabilidad, flexibilidad y distribución global.

   Azure también proporciona una variedad de soluciones de almacenamiento, como Azure Blob Storage para datos no estructurados y Azure Files para recursos compartidos de archivos totalmente administrados.

6. Los servicios de Azure usan el nivel de datos modernizado para la computación, el análisis, el almacenamiento y las redes.

7. Las aplicaciones cliente también usan el nivel de datos modernizado.

Componentes

Esta arquitectura usa los siguientes componentes.

Almacenamiento de datos

En esta arquitectura se describe cómo migrar datos a bases de datos en la nube escalables y más seguras para la administración de datos flexible e inteligente en Azure.

• SQL Database forma parte de la familia de Azure SQL. Está diseñado para la nube y proporciona todas las ventajas de una plataforma como servicio (PaaS) totalmente administrada y perenne. SQL Database también proporciona características automatizadas basadas en IA que optimizan el rendimiento y la durabilidad. Las opciones de proceso sin servidor y almacenamiento de Hiperescala escalan automáticamente los recursos a petición.

• Azure Database for PostgreSQL es un servicio de base de datos relacional totalmente administrado basado en la edición community del motor de base de datos PostgreSQL de código abierto.

• Azure Cosmos DB es una base de datos NoSQL distribuida globalmente de varios modelos.

• Azure Database for MySQL es un servicio de base de datos relacional totalmente administrado basado en la edición community del motor de base de datos MySQL de código abierto.

• SQL Managed Instance es un servicio de base de datos en la nube inteligente y escalable que proporciona todas las ventajas de un PaaS totalmente administrado y perenne. SQL Managed Instance tiene casi completa compatibilidad con el motor de base de datos sql Server Enterprise Edition más reciente. También proporciona una implementación de red virtual nativa que aborda problemas de seguridad comunes.

• Azure Data Lake Storage es un repositorio de almacenamiento que contiene grandes cantidades de datos en su formato nativo y sin procesar. Los almacenes de Data Lake están optimizados para escalar a terabytes y petabytes de datos. Normalmente, los datos proceden de varios orígenes heterogéneos. Puede ser estructurado, semiestructurado o no estructurado.

• SQL Database en Microsoft Fabric es una base de datos transaccional fácil de desarrolladores basada en SQL Database. Úselo para crear fácilmente la base de datos operativa en Fabric. Una base de datos SQL de Fabric usa el mismo motor de base de datos SQL que SQL Database.

• Microsoft Fabric Lakehouse es una plataforma de arquitectura de datos para almacenar, administrar y analizar datos estructurados y no estructurados en una sola ubicación.

Calcular

• Azure Data Factory integra datos en distintos entornos de red mediante un entorno de ejecución de integración (IR), que es una infraestructura de proceso. Azure Data Factory copia datos entre almacenes de datos en la nube y almacenes de datos en redes locales mediante IRs autohospedados.

• La puerta de enlace de datos local es una aplicación cliente de Windows instalada localmente que actúa como un puente entre los orígenes de datos locales y los servicios locales de Microsoft Cloud.

• Azure Virtual Machines proporciona recursos informáticos a petición y escalables. Una máquina virtual (VM) de Azure proporciona la flexibilidad de virtualización, pero elimina las demandas de mantenimiento del hardware físico. Las máquinas virtuales de Azure proporcionan una opción de sistemas operativos, incluidos Windows y Linux.

Integradores de datos

En esta arquitectura se describen varias herramientas de migración nativas de Azure que se usan en función de los datos de origen del sistema central y de la base de datos de destino.

• azure Data Factory es un servicio de integración de datos híbrido. En esta solución, Azure Data Factory migra datos de orígenes de Db2 a destinos de base de datos de Azure mediante conectores nativos.

• AzCopy es una utilidad de línea de comandos que mueve blobs o archivos a cuentas de almacenamiento y fuera de ellas.

• SQL Server Integration Services es una plataforma para crear soluciones de transformación e integración de datos de nivel empresarial. Puede usarlo para resolver problemas empresariales complejos mediante:

  • Copia o descarga de archivos.
  • Carga de almacenes de datos.
  • Limpieza y minería de datos.
  • Administración de objetos y datos de SQL Server.

• Las tecnologías y herramientas de Host Integration Server pueden integrar los sistemas host, programas, mensajes y datos existentes de IBM con aplicaciones de Azure. El componente de cliente de archivos de host proporciona flexibilidad para los datos convertidos de EBCDIC a ASCII. Por ejemplo, puede generar datos en formato JSON o XML a partir de los datos convertidos.

• Azure Synapse Analytics combina la integración de datos, el almacenamiento de datos empresariales y el análisis de macrodatos. Esta arquitectura usa la solución de conversión de Azure Synapse Analytics. Se basa en Apache Spark y es un buen candidato para la conversión de cargas de trabajo de grandes conjuntos de datos del sistema central. Admite una amplia gama de estructuras y destinos de datos del sistema central y requiere un esfuerzo mínimo de codificación.

• Microsoft Fabric es una plataforma de análisis integral y lista para la empresa. Unifica el movimiento de datos, el procesamiento de datos, la ingesta, la transformación, el enrutamiento de eventos en tiempo real y la creación de informes. Admite estas funcionalidades mediante los siguientes servicios integrados:

  • Ingeniero de datos de tejido
  • Fábrica de Datos de Fabric
  • Ciencia de datos de Fabric
  • Fabric Real-Time Intelligence
  • Almacenamiento de datos de tejido
  • Bases de datos de tejido

Otras herramientas

• SQL Server Migration Assistant para Db2 automatiza la migración de Db2 a los servicios de base de datos de Microsoft. Cuando esta herramienta se ejecuta en una máquina virtual, convierte objetos de base de datos db2 en objetos de base de datos de SQL Server y crea esos objetos en SQL Server.

• El proveedor de datos para archivos de host es un componente de Host Integration Server que usa conexiones sin conexión, SNA o TCP/IP.

  • Con las conexiones sin conexión, el proveedor de datos lee y escribe registros en un archivo binario local.
  • Con conexiones SNA y TCP/IP, el proveedor de datos lee y escribe registros almacenados en conjuntos de datos remotos z/OS (sistema central de la serie IBM Z) o archivos físicos remotos de i5/OS (SISTEMAS IBM AS/400 e iSeries). Solo los sistemas i5/OS usan TCP/IP.

• Los servicios de Azure proporcionan entornos, herramientas y procesos para desarrollar y escalar nuevas aplicaciones en la nube pública.

Detalles del escenario

Las soluciones de almacenamiento de datos modernas, como la plataforma de datos de Azure, proporcionan una mejor escalabilidad y rendimiento que los sistemas centrales y de rango medio. Al modernizar los sistemas, puede aprovechar estas ventajas. Sin embargo, la actualización de la tecnología, la infraestructura y las prácticas es compleja. El proceso implica una investigación exhaustiva de las actividades empresariales y de ingeniería. La administración de datos es una consideración al modernizar los sistemas. También debe examinar la visualización y la integración de datos.

Las modernizacións correctas usan una estrategia de primera vez en los datos. Al usar este enfoque, se centra en los datos en lugar del nuevo sistema. La administración de datos ya no es solo un elemento de la lista de comprobación de modernización. En su lugar, los datos son la pieza central. Las soluciones de datos coordinadas y orientadas a la calidad reemplazan a las fragmentadas, mal reguladas.

Esta solución usa componentes de la plataforma de datos de Azure en un enfoque primero de datos. En concreto, la solución implica:

• Conversión de objetos. Convierta las definiciones de objeto del almacén de datos de origen en los objetos correspondientes del almacén de datos de destino.

• Ingesta de datos. Conéctese al almacén de datos de origen y extraiga datos.

• Transformación de datos. Transforme los datos extraídos en estructuras de almacén de datos de destino adecuadas.

• Almacenamiento de datos. Cargue datos desde el almacén de datos de origen al almacén de datos de destino, tanto inicial como continuamente.

Casos de uso potenciales

Las organizaciones que usan sistemas centrales y de rango medio pueden beneficiarse de esta solución, especialmente cuando quieren:

• Modernice las cargas de trabajo críticas.

• Adquiera inteligencia empresarial para mejorar las operaciones y obtener una ventaja competitiva.

• Quite los altos costos y la rigidez asociados a los almacenes de datos de sistema central y de rango medio.

Consideraciones

Estas consideraciones implementan los pilares de Azure Well-Architected Framework, que es un conjunto de principios rectores que puede usar para mejorar la calidad de una carga de trabajo. Para obtener más información, consulte Well-Architected Framework.

Seguridad

La seguridad proporciona garantías contra ataques deliberados y el uso indebido de sus valiosos datos y sistemas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para seguridad.

• Tenga en cuenta las diferencias entre las identidades de cliente locales y las identidades de cliente en Azure. Debe compensar las diferencias.

• Use identidades administradas para flujos de datos de componente a componente.

• Al usar el proveedor de datos para archivos de host para convertir datos, siga las recomendaciones de Proveedores de datos para la seguridad y protección de los archivos de host.

Optimización de costos

La optimización de costos se centra en formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la optimización de costes.

• SQL Server Migration Assistant es una herramienta gratuita y compatible que simplifica la migración de bases de datos de Db2 a SQL Server, SQL Database e Instancia administrada de SQL. SQL Server Migration Assistant automatiza todos los aspectos de la migración, incluidos el análisis de evaluación de la migración, la conversión de esquemas y instrucciones SQL y la migración de datos.

• La solución basada en Spark de Azure Synapse Analytics se compila a partir de bibliotecas de código abierto. Elimina la carga financiera de las herramientas de conversión de licencias.

• Use la calculadora de precios de Azure para estimar el costo de la implementación de esta solución.

Eficiencia del rendimiento

La eficiencia del rendimiento hace referencia a la capacidad de escalado de la carga de trabajo para satisfacer las demandas de los usuarios de forma eficaz. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la eficiencia del rendimiento.

• Los pilares clave de la eficiencia del rendimiento son la administración del rendimiento, el planeamiento de la capacidad, la escalabilidad y la elección de un patrón de rendimiento adecuado.

• Puede escalar horizontalmente el entorno de ejecución de integración autohospedado asociando la instancia lógica con varias máquinas locales en modo activo-activo.

• Use SQL Database para escalar dinámicamente las bases de datos. El nivel Sin servidor puede escalar automáticamente los recursos de proceso. Los grupos elásticos permiten que las bases de datos compartan recursos en un grupo y solo se pueden escalar manualmente.

Cuando use el cliente proveedor de datos para archivos de host para convertir datos, active la agrupación de conexiones para reducir el tiempo de inicio de la conexión. Al usar Azure Data Factory para extraer datos, ajuste el rendimiento de la actividad de copia.

Colaboradores

Microsoft mantiene este artículo. Los colaboradores siguientes escribieron este artículo.

Autor principal:

• Ashish Khandelwal | Director principal de arquitectos de ingeniería

Otros colaboradores:

• Nithish Aruldoss | Arquitecto de ingeniería

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes

Consulte las guías de Azure Database Migration. Póngase en contacto con Azure Data Engineering - Mainframe & Midrange Modernization para obtener más información.

Vea los artículos siguientes:

• Cargas de trabajo de IBM en Azure
• Rehospedaje del sistema central en máquinas virtuales de Azure
• Cargas de trabajo del sistema central que se admiten en Azure
• Movimiento del proceso del sistema central a Azure

Recursos relacionados

• Análisis de un extremo a otro con Azure Synapse Analytics

Apache®, Spark y el logotipo de llama son marcas comerciales registradas o marcas comerciales de Apache Software Foundation en los Estados Unidos y/o en otros países. El uso de estas marcas no implica ninguna aprobación de The Apache Software Foundation.

En este artículo se describe un plan de modernización de un extremo a otro para orígenes de datos de sistema central y de rango medio. La modernización ayuda a mejorar la escalabilidad y el rendimiento de las cargas de trabajo críticas.

Arquitectura

En el diagrama se muestra cómo modernizar los sistemas centrales y de rango medio mediante la migración de datos a Azure. Una línea de puntos divide el diagrama en dos mitades. La mitad izquierda está etiquetada localmente y la mitad derecha está etiquetada como Azure. En la mitad local, un cuadro de almacén de datos contiene sistemas de archivos, como archivos planos de VSAM, bases de datos relacionales, como Db2 zOS y bases de datos no relacionales, como IMS. Una flecha punteada apunta desde el cuadro de almacén de datos a otro cuadro con la etiqueta de conversión de objetos. Este cuadro contiene convertidores como SQL Server Migration Assistant para Db2. Una flecha de puntos conecta el cuadro de conversión de objetos a un cuadro de almacenamiento de datos en el lado de Azure del diagrama. Representa cómo se convierten las definiciones de objeto en objetos correspondientes en almacenes de datos de destino, como Azure SQL Database y Azure Data Lake Storage. Las flechas de los sistemas de archivos y las bases de datos relacionales se conectan al entorno de ejecución de integración autohospedado de Azure y la puerta de enlace de datos local muestran cómo se ingieren y transforman los datos. Las flechas continúan con un cuadro que contiene el protocolo de transferencia de archivos y otro cuadro que contiene SQL Server, Azure Data Factory y Microsoft Fabric. Una flecha conecta las bases de datos no relacionadas con las soluciones de integración de asociados. Una flecha conecta el cuadro de ingesta y transformación de datos con el cuadro de almacenamiento de datos. Por último, las flechas del cuadro de almacenamiento de datos se conectan a los servicios de Azure y a las aplicaciones cliente.

Descargue un archivo de Visio de esta arquitectura.

Flujo de datos

El siguiente flujo de datos corresponde al diagrama anterior:

1. Los sistemas centrales y intermedios almacenan datos en los siguientes orígenes de datos.

   • Sistemas de archivos:

     • Método de acceso al almacenamiento virtual (VSAM)
     • Archivos planos
     • Sistema de archivos de cinta lineal

   • Bases de datos relacionales:

     • Db2 para z/OS
     • Db2 para IBM i
     • Db2 para Linux UNIX y Windows

   • Bases de datos no rerelationales:

     • Sistema de administración de información (IMS)
     • Adabas
     • Sistema integrado de administración de bases de datos (IDMS)

2. El proceso de conversión de objetos extrae definiciones de objetos de objetos de origen. A continuación, las definiciones se convierten en objetos correspondientes en el almacén de datos de destino.

   • SQL Server Migration Assistant para Db2 migra esquemas y datos de bases de datos de IBM Db2 a bases de datos de Azure.

   • El proveedor de datos administrados para archivos host convierte objetos por:

     • Análisis de los diseños de registros del generador de programas de informes o de lenguaje común orientado a la empresa (COBOL) o copybooks.
     • Asignación de los copybooks a objetos de C# que usan las aplicaciones .NET.

   • La herramienta Db2toAzurePostgreSQL migra objetos de base de datos de Db2 a Azure Database for PostgreSQL.

   • Las herramientas de asociados realizan la conversión automatizada de objetos en bases de datos norelationales, sistemas de archivos y otros almacenes de datos.

3. Los datos se ingieren y transforman. Los sistemas centrales y intermedios almacenan sus datos del sistema de archivos en formato codificado con EBCDIC en formatos de archivo como:

   • Archivos VSAM indexados.
   • Archivos GDG no indexados.
   • Archivos planos.

   CoBOL, Programming Language One y los copybooks del lenguaje de ensamblado definen la estructura de datos de estos archivos.

   a) El Protocolo de transferencia de archivos (FTP) transfiere conjuntos de datos del sistema de archivos central y de rango medio y sus correspondientes copybooks a Azure. Estos conjuntos de datos tienen diseños únicos y campos desempaquetados en formato binario.

   b. La conversión de datos se realiza mediante el desarrollo de programas personalizados mediante el componente de archivo host de Host Integration Server o mediante el conector integrado para archivos host de IBM en Azure Logic Apps.

   El convertidor de Spark Notebook se desarrolla mediante marcos de Spark de código abierto. Es compatible con entornos de Spark, como Microsoft Fabric, Azure Synapse Analytics y Azure Databricks.

   c. Se migran los datos de la base de datos relacional.

   Los sistemas centrales y de rango medio de IBM almacenan datos en bases de datos relacionales como:

   • Db2 para z/OS.
   • Db2 para Linux UNIX y Windows.
   • Db2 para IBM i.

   Los siguientes servicios migran los datos de la base de datos:

   • Azure Data Factory usa un conector db2 para extraer e integrar datos de las bases de datos.
   • SQL Server Integration Services controla varias tareas de extracción, transformación y carga de datos.
   • Fabric Data Factory usa el conector IBM Db2 para migrar datos de Db2.

   d. Se migran los datos de la base de datos no rerelational.

   Los sistemas centrales e intermedios de IBM almacenan datos en bases de datos no rerelaciones como:

   • IDMS, un sistema de administración de bases de datos de modelo de red (DBMS).
   • IMS, un DBMS de modelo jerárquico .
   • Adabas.
   • Datacom.

   Los productos asociados integran datos de estas bases de datos.

4. Herramientas de Azure como Azure Data Factory y AzCopy cargan datos en bases de datos de Azure y almacenamiento de datos de Azure. También puede usar soluciones de asociados y soluciones de carga personalizadas para cargar datos.

5. Azure proporciona varios servicios de base de datos, incluidos servicios de base de datos relacionales totalmente administrados, como Azure SQL Database y opciones NoSQL, como Azure Cosmos DB. Estos servicios están diseñados para escalabilidad, flexibilidad y distribución global.

   Azure también proporciona una variedad de soluciones de almacenamiento, como Azure Blob Storage para datos no estructurados y Azure Files para recursos compartidos de archivos totalmente administrados.

6. Los servicios de Azure usan el nivel de datos modernizado para la computación, el análisis, el almacenamiento y las redes.

7. Las aplicaciones cliente también usan el nivel de datos modernizado.

Componentes

Esta arquitectura usa los siguientes componentes.

Almacenamiento de datos

En esta arquitectura se describe cómo migrar datos a bases de datos en la nube escalables y más seguras para la administración de datos flexible e inteligente en Azure.

• SQL Database forma parte de la familia de Azure SQL. Está diseñado para la nube y proporciona todas las ventajas de una plataforma como servicio (PaaS) totalmente administrada y perenne. SQL Database también proporciona características automatizadas basadas en IA que optimizan el rendimiento y la durabilidad. Las opciones de proceso sin servidor y almacenamiento de Hiperescala escalan automáticamente los recursos a petición.

• Azure Database for PostgreSQL es un servicio de base de datos relacional totalmente administrado basado en la edición community del motor de base de datos PostgreSQL de código abierto.

• Azure Cosmos DB es una base de datos NoSQL distribuida globalmente de varios modelos.

• Azure Database for MySQL es un servicio de base de datos relacional totalmente administrado basado en la edición community del motor de base de datos MySQL de código abierto.

• SQL Managed Instance es un servicio de base de datos en la nube inteligente y escalable que proporciona todas las ventajas de un PaaS totalmente administrado y perenne. SQL Managed Instance tiene casi completa compatibilidad con el motor de base de datos sql Server Enterprise Edition más reciente. También proporciona una implementación de red virtual nativa que aborda problemas de seguridad comunes.

• Azure Data Lake Storage es un repositorio de almacenamiento que contiene grandes cantidades de datos en su formato nativo y sin procesar. Los almacenes de Data Lake están optimizados para escalar a terabytes y petabytes de datos. Normalmente, los datos proceden de varios orígenes heterogéneos. Puede ser estructurado, semiestructurado o no estructurado.

• SQL Database en Microsoft Fabric es una base de datos transaccional fácil de desarrolladores basada en SQL Database. Úselo para crear fácilmente la base de datos operativa en Fabric. Una base de datos SQL de Fabric usa el mismo motor de base de datos SQL que SQL Database.

• Microsoft Fabric Lakehouse es una plataforma de arquitectura de datos para almacenar, administrar y analizar datos estructurados y no estructurados en una sola ubicación.

Calcular

• Azure Data Factory integra datos en distintos entornos de red mediante un entorno de ejecución de integración (IR), que es una infraestructura de proceso. Azure Data Factory copia datos entre almacenes de datos en la nube y almacenes de datos en redes locales mediante IRs autohospedados.

• La puerta de enlace de datos local es una aplicación cliente de Windows instalada localmente que actúa como un puente entre los orígenes de datos locales y los servicios locales de Microsoft Cloud.

• Azure Virtual Machines proporciona recursos informáticos a petición y escalables. Una máquina virtual (VM) de Azure proporciona la flexibilidad de virtualización, pero elimina las demandas de mantenimiento del hardware físico. Las máquinas virtuales de Azure proporcionan una opción de sistemas operativos, incluidos Windows y Linux.

Integradores de datos

En esta arquitectura se describen varias herramientas de migración nativas de Azure que se usan en función de los datos de origen del sistema central y de la base de datos de destino.

• azure Data Factory es un servicio de integración de datos híbrido. En esta solución, Azure Data Factory migra datos de orígenes de Db2 a destinos de base de datos de Azure mediante conectores nativos.

• AzCopy es una utilidad de línea de comandos que mueve blobs o archivos a cuentas de almacenamiento y fuera de ellas.

• SQL Server Integration Services es una plataforma para crear soluciones de transformación e integración de datos de nivel empresarial. Puede usarlo para resolver problemas empresariales complejos mediante:

  • Copia o descarga de archivos.
  • Carga de almacenes de datos.
  • Limpieza y minería de datos.
  • Administración de objetos y datos de SQL Server.

• Las tecnologías y herramientas de Host Integration Server pueden integrar los sistemas host, programas, mensajes y datos existentes de IBM con aplicaciones de Azure. El componente de cliente de archivos de host proporciona flexibilidad para los datos convertidos de EBCDIC a ASCII. Por ejemplo, puede generar datos en formato JSON o XML a partir de los datos convertidos.

• Azure Synapse Analytics combina la integración de datos, el almacenamiento de datos empresariales y el análisis de macrodatos. Esta arquitectura usa la solución de conversión de Azure Synapse Analytics. Se basa en Apache Spark y es un buen candidato para la conversión de cargas de trabajo de grandes conjuntos de datos del sistema central. Admite una amplia gama de estructuras y destinos de datos del sistema central y requiere un esfuerzo mínimo de codificación.

• Microsoft Fabric es una plataforma de análisis integral y lista para la empresa. Unifica el movimiento de datos, el procesamiento de datos, la ingesta, la transformación, el enrutamiento de eventos en tiempo real y la creación de informes. Admite estas funcionalidades mediante los siguientes servicios integrados:

  • Ingeniero de datos de tejido
  • Fábrica de Datos de Fabric
  • Ciencia de datos de Fabric
  • Fabric Real-Time Intelligence
  • Almacenamiento de datos de tejido
  • Bases de datos de tejido

Otras herramientas

• SQL Server Migration Assistant para Db2 automatiza la migración de Db2 a los servicios de base de datos de Microsoft. Cuando esta herramienta se ejecuta en una máquina virtual, convierte objetos de base de datos db2 en objetos de base de datos de SQL Server y crea esos objetos en SQL Server.

• El proveedor de datos para archivos de host es un componente de Host Integration Server que usa conexiones sin conexión, SNA o TCP/IP.

  • Con las conexiones sin conexión, el proveedor de datos lee y escribe registros en un archivo binario local.
  • Con conexiones SNA y TCP/IP, el proveedor de datos lee y escribe registros almacenados en conjuntos de datos remotos z/OS (sistema central de la serie IBM Z) o archivos físicos remotos de i5/OS (SISTEMAS IBM AS/400 e iSeries). Solo los sistemas i5/OS usan TCP/IP.

• Los servicios de Azure proporcionan entornos, herramientas y procesos para desarrollar y escalar nuevas aplicaciones en la nube pública.

Detalles del escenario

Las soluciones de almacenamiento de datos modernas, como la plataforma de datos de Azure, proporcionan una mejor escalabilidad y rendimiento que los sistemas centrales y de rango medio. Al modernizar los sistemas, puede aprovechar estas ventajas. Sin embargo, la actualización de la tecnología, la infraestructura y las prácticas es compleja. El proceso implica una investigación exhaustiva de las actividades empresariales y de ingeniería. La administración de datos es una consideración al modernizar los sistemas. También debe examinar la visualización y la integración de datos.

Las modernizacións correctas usan una estrategia de primera vez en los datos. Al usar este enfoque, se centra en los datos en lugar del nuevo sistema. La administración de datos ya no es solo un elemento de la lista de comprobación de modernización. En su lugar, los datos son la pieza central. Las soluciones de datos coordinadas y orientadas a la calidad reemplazan a las fragmentadas, mal reguladas.

Esta solución usa componentes de la plataforma de datos de Azure en un enfoque primero de datos. En concreto, la solución implica:

• Conversión de objetos. Convierta las definiciones de objeto del almacén de datos de origen en los objetos correspondientes del almacén de datos de destino.

• Ingesta de datos. Conéctese al almacén de datos de origen y extraiga datos.

• Transformación de datos. Transforme los datos extraídos en estructuras de almacén de datos de destino adecuadas.

• Almacenamiento de datos. Cargue datos desde el almacén de datos de origen al almacén de datos de destino, tanto inicial como continuamente.

Casos de uso potenciales

Las organizaciones que usan sistemas centrales y de rango medio pueden beneficiarse de esta solución, especialmente cuando quieren:

• Modernice las cargas de trabajo críticas.

• Adquiera inteligencia empresarial para mejorar las operaciones y obtener una ventaja competitiva.

• Quite los altos costos y la rigidez asociados a los almacenes de datos de sistema central y de rango medio.

Consideraciones

Estas consideraciones implementan los pilares de Azure Well-Architected Framework, que es un conjunto de principios rectores que puede usar para mejorar la calidad de una carga de trabajo. Para obtener más información, consulte Well-Architected Framework.

Seguridad

La seguridad proporciona garantías contra ataques deliberados y el uso indebido de sus valiosos datos y sistemas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para seguridad.

• Tenga en cuenta las diferencias entre las identidades de cliente locales y las identidades de cliente en Azure. Debe compensar las diferencias.

• Use identidades administradas para flujos de datos de componente a componente.

• Al usar el proveedor de datos para archivos de host para convertir datos, siga las recomendaciones de Proveedores de datos para la seguridad y protección de los archivos de host.

Optimización de costos

La optimización de costos se centra en formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la optimización de costes.

• SQL Server Migration Assistant es una herramienta gratuita y compatible que simplifica la migración de bases de datos de Db2 a SQL Server, SQL Database e Instancia administrada de SQL. SQL Server Migration Assistant automatiza todos los aspectos de la migración, incluidos el análisis de evaluación de la migración, la conversión de esquemas y instrucciones SQL y la migración de datos.

• La solución basada en Spark de Azure Synapse Analytics se compila a partir de bibliotecas de código abierto. Elimina la carga financiera de las herramientas de conversión de licencias.

• Use la calculadora de precios de Azure para estimar el costo de la implementación de esta solución.

Eficiencia del rendimiento

La eficiencia del rendimiento hace referencia a la capacidad de escalado de la carga de trabajo para satisfacer las demandas de los usuarios de forma eficaz. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la eficiencia del rendimiento.

• Los pilares clave de la eficiencia del rendimiento son la administración del rendimiento, el planeamiento de la capacidad, la escalabilidad y la elección de un patrón de rendimiento adecuado.

• Puede escalar horizontalmente el entorno de ejecución de integración autohospedado asociando la instancia lógica con varias máquinas locales en modo activo-activo.

• Use SQL Database para escalar dinámicamente las bases de datos. El nivel Sin servidor puede escalar automáticamente los recursos de proceso. Los grupos elásticos permiten que las bases de datos compartan recursos en un grupo y solo se pueden escalar manualmente.

Cuando use el cliente proveedor de datos para archivos de host para convertir datos, active la agrupación de conexiones para reducir el tiempo de inicio de la conexión. Al usar Azure Data Factory para extraer datos, ajuste el rendimiento de la actividad de copia.

Colaboradores

Microsoft mantiene este artículo. Los colaboradores siguientes escribieron este artículo.

Autor principal:

• Ashish Khandelwal | Director principal de arquitectos de ingeniería

Otros colaboradores:

• Nithish Aruldoss | Arquitecto de ingeniería

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes

Consulte las guías de Azure Database Migration. Póngase en contacto con Azure Data Engineering - Mainframe & Midrange Modernization para obtener más información.

Vea los artículos siguientes:

• Cargas de trabajo de IBM en Azure
• Rehospedaje del sistema central en máquinas virtuales de Azure
• Cargas de trabajo del sistema central que se admiten en Azure
• Movimiento del proceso del sistema central a Azure

Recursos relacionados

• Análisis de un extremo a otro con Azure Synapse Analytics