你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

实现大型机和中型机数据现代化

Cosmos DB
Data Lake
SQL 数据库
SQL 托管实例
存储

本文介绍大型机和中型机数据源的端到端现代化计划。

Apache®、Spark 和火焰徽标是 Apache Software Foundation 在美国和/或其他国家/地区的商标或注册商标。 使用这些标记并不暗示获得 Apache Software Foundation 的认可。

体系结构

如何通过将数据迁移到 Azure 来实现大型机和中型机系统现代化的体系结构图。

下载此体系结构的 Visio 文件

数据流

以下数据流概述了实现大型机数据层现代化的过程。 它与上图相对应。

  1. 本地数据网关在大型机本地数据和 Azure 服务之间提供安全性已增强的数据传输。

  2. 对象转换过程会从源对象中提取对象定义。 然后,将定义转换为目标数据存储中的相应对象。

    • 适用于 Db2 的 SQL Server 迁移助手将架构和数据从 IBM Db2 数据库迁移到 Azure 数据库。
    • 主机文件的托管数据提供程序通过以下方式转换对象:
      • 分析 COBOL 和 RPG 记录布局或 copybook。
      • 将 copybook 映射到 .NET 应用程序使用的 C# 对象。
    • 第三方工具对非关系数据库、文件系统和其他数据存储执行自动对象转换。
  3. 引入并转换数据。

    a. FTP 以二进制格式将具有单一布局和解压缩字段的大型机和中型机文件系统数据集传输到 Azure。

    b. 转换大型机数据。 大型机和中型机系统以 EBCDIC 格式将数据存储在 DASD 或磁带上,这些文件的类型为:

    COBOL、PL/I 和汇编语言 copybook 定义了这些文件的数据结构。 主机文件的数据提供程序根据 copybook 布局将数据从 EBCDIC 转换为 ASCII 格式。

    Azure 数据工厂自定义连接器使用 Host Integration Server 的主机文件客户端组件来转换大型机数据集。

    Host Integration Server 将现有 IBM 主机系统、程序、消息和数据与 Azure 应用程序相集成。

    基于开源软件且用于 Azure Synapse Analytics 的解决方案可转换数据。

    c. 迁移关系数据库数据。

    IBM 大型机和中型机系统将数据存储在关系数据库中,例如:

    这些服务会迁移数据库数据:

    • 数据工厂使用 Db2 连接器从这些数据库中提取并集成数据。
    • SQL Server Integration Services 处理各种数据 ETL 任务。

    d. 迁移非关系数据库数据。

    IBM 大型机和中型机系统将数据存储在非关系数据库中,例如:

    第三方产品集成这些数据库中的数据。

  4. 数据工厂和 AzCopy 等 Azure 服务将数据加载到 Azure 数据库和 Azure 数据存储中。 也可使用第三方解决方案和自定义加载解决方案加载数据。

  5. 将数据移动到存储中。

    Azure 提供多个托管数据存储解决方案:

  6. Azure 服务将现代化数据层用于计算、分析、存储和网络。

  7. 客户端应用程序也使用现代化数据层。

组件

数据存储

  • SQL 数据库属于 Azure SQL 系列。 它专为云构建,并提供完全托管且经久不衰的平台即服务的所有优势。 SQL 数据库还包含由 AI 提供支持的自动化功能,这些功能可优化性能和持续性。 无服务器计算和超大规模存储选项可按需自动缩放资源。
  • Azure Database for PostgreSQL 是基于开放源代码 PostgreSQL 数据库引擎社区版本的完全托管的关系数据库服务。
  • Azure Cosmos DB 是全球分布的多模型NoSQL 数据库。
  • Azure Database for MySQL 是一种完全托管的关系数据库服务,它基于社区版开源 MySQL 数据库引擎。
  • Azure Database for MariaDB 是一项基于云的关系数据库服务。 它基于 MariaDB 社区版数据库引擎。
  • SQL 托管实例是一种可缩放的智能云数据库服务;它提供完全托管且经久不衰的平台即服务的所有优势。 SQL 托管实例与最新的 SQL Server Enterprise 版数据库引擎几乎 100% 兼容。 它还提供用于解决常见安全问题的本机虚拟网络实现。
  • Azure Data Lake Storage 是一个存储库,可以按原生的原始格式存储大量的数据。 Data Lake 存储经过优化,数据规模可以达到数 TB 甚至数 PB。 这些数据通常来自多个异类源。 数据可能是结构化的、半结构化的或非结构化的。

网络

  • 本地数据网关在大型机本地数据和 Azure 服务之间提供安全性已增强的数据传输。 通常是将网关安装在专用的本地 VM 上
  • Azure 虚拟机提供按需、可缩放的计算资源。 Azure 虚拟机 (VM) 可以灵活地实现虚拟化,但消除了物理硬件的维护需求。 Azure VM 可以选择操作系统,包括 Windows 和 Linux。

数据集成商

  • Azure 数据工厂是混合数据集成服务。 在此解决方案中,Azure 数据工厂自定义连接器使用 Host Integration Server 的主机文件客户端组件来转换大型机数据集。 只需极少的设置,即可使用自定义连接器来转换大型机数据集,就像使用任何其他 Azure 数据工厂连接器一样。
  • AzCopy 是一个命令行实用工具,用于将 Blob 或文件移入和移出存储帐户。
  • SQL Server Integration Services 是用于创建企业级数据集成和数据转换解决方案的平台。 可使用该平台通过以下方法解决复杂的业务问题:
    • 复制或下载文件。
    • 加载数据仓库。
    • 清理和挖掘数据。
    • 管理 SQL Server 对象和数据。
  • 使用 Host Integration Server 技术和工具,可将现有 IBM 主机系统、程序、消息和数据与 Azure 应用程序相集成。 主机文件客户端组件可灵活地将数据从 EBCDIC 转换为 ASCII。 例如,可从转换的数据生成 JSON/XML。
  • Azure Synapse 将数据集成、企业数据仓库和大数据分析结合在一起。 此体系结构中使用的 Azure Synapse 转换解决方案基于 Apache Spark,非常适合用于大型机数据集工作负载转换。 它支持各种大型机数据结构和目标,并且只需极少的编码工作。

其他工具

  • 适用于 Db2 的 SQL Server 迁移助手自动执行从 Db2 到 Microsoft 数据库服务的迁移。 在 VM 上运行时,此工具将 Db2 数据库对象转换为 SQL Server 数据库对象,并在 SQL Server 中创建这些对象。
  • 主机文件的数据提供程序Host Integration Server 的组件,使用脱机、SNA 或 TCP/IP 连接。
    • 使用脱机连接,数据提供程序读取和写入本地二进制文件中的记录。
    • 使用 SNA 和 TCP/IP 连接,数据提供程序读取和写入存储在远程 z/OS(IBM Z 系列大型机)数据集或远程 i5/OS(IBM AS/400 和 iSeries 系统)物理文件中的记录。 只有 i5/OS 系统使用 TCP/IP。
  • Azure 服务提供环境、工具和流程,用于在公有云中开发和缩放新应用程序。

方案详细信息

与大型机和中型机系统相比,新式数据存储解决方案(如 Azure 数据平台)提供更高的可伸缩性和性能。 通过实现系统现代化,可利用这些优势。 但是,更新技术、基础结构和做法很复杂。 此过程涉及对业务和工程活动的详尽调查。 实现系统现代化时,数据管理是一个考虑因素。 还需要查看数据可视化和集成。

要成功实现现代化,需要使用数据优先策略。 使用此方法时,需重点关注数据而不是新系统。 数据管理不再仅是现代化清单上的一项。 相反,数据成为核心。 协调的、以质量为导向的数据解决方案取代了分散的、管理不善的数据解决方案。

该解决方案以数据优先的方法使用 Azure 数据平台组件。 具体来说,解决方案包括:

  • 对象转换。 将源数据存储中的对象定义转换为目标数据存储中的对应对象。
  • 数据引入。 连接到源数据存储并提取数据。
  • 数据转换。 将提取的数据转换为适当的目标数据存储结构。
  • 数据存储。 将数据从源数据存储加载到目标数据存储,包括初始加载和持续加载。

可能的用例

使用大型机和中型机系统的组织可以从此解决方案中受益,尤其是在希望实现以下目标时:

  • 将任务关键型工作负载现代化。
  • 获取商业智能以改善运营并取得竞争优势。
  • 消除与大型机和中型机数据存储相关的高成本和严格性。

建议

注意事项

这些注意事项实施 Azure 架构良好的框架的支柱原则,即一套可用于改进工作负载质量的指导原则。 有关详细信息,请参阅 Microsoft Azure 架构良好的框架

安全性

安全性针对蓄意攻击及滥用宝贵数据和系统提供保障措施。 有关详细信息,请参阅安全性支柱概述

成本优化

成本优化就是减少不必要的费用和提高运营效率。 有关详细信息,请参阅成本优化支柱概述

  • SQL Server 迁移助手是一种免费的受支持工具,可简化从 Db2 到 SQL Server、SQL 数据库和 SQL 托管实例的数据库迁移。 SQL Server 迁移助手自动执行迁移的所有方面,包括迁移评估分析、架构和 SQL 语句转换以及数据迁移。
  • 基于 Spark 的 Azure Synapse 解决方案是在开源库的基础之上构建的。 它消除了许可转换工具的财务负担。
  • 要估计此解决方案的实现成本,请使用 Azure 定价计算器

卓越运营

卓越运营涵盖了部署应用程序并使其在生产环境中保持运行的运营流程。 有关详细信息,请参阅卓越运营支柱概述

使用本地应用程序网关时,请注意读取和写入操作的限制

作者

本文由 Microsoft 维护, 最初由以下贡献者撰写。

主要作者:

其他参与者:

若要查看非公开的 LinkedIn 个人资料,请登录到 LinkedIn。

后续步骤

请参阅 Azure 数据库迁移指南。 请联系 Azure 数据工程 - 大型机 & 中型机现代化了解详细信息。

请参阅以下文章: