本文介绍了一种解决方案，即使用 Luminex 产品从/向 Azure 传输大型机数据，以满足备份、存档和其他业务需求。 解决方案中的关键组件包括 Luminex 大型机数据集成 (MDI) 平台的云数据共享，以及 Luminex 大型机虚拟磁带 (MVT) 平台的 CloudTAPE。
Apache® 和 Apache Kafka 是 Apache Software Foundation 在美国和/或其他国家/地区的商标或注册商标。 使用这些标记并不暗示获得 Apache Software Foundation 的认可。
体系结构
下载此体系结构的 Visio 文件。
数据流
在大型机上，次要存储设备包括直接访问存储设备 (DASD) 和顺序访问存储设备 (SASD)。
直接访问存储设备安装在大型机上。
磁带是一种作为外部存储附加到大型机的顺序访问存储设备。
大型机数据集成平台将可存储在文件上的信息发送到 Azure。 示例包括系统管理工具 (SMF) 数据、虚拟存储访问方法 (VSAM) 文件、顺序文件和生成数据组 (GDG)。 安装在数据中心的 MDI 硬件包括 Luminex Channel Gateway X (CGX) 控制器和 Luminex MDI 服务器。
MVT CloudTAPE 提供磁带存档和备份。 安装在数据中心的 MVT 硬件包括 Luminex Channel Gateway X (CGX) 控制器和 CloudTAPE 服务器。
MDI 和 MVT 使用基于光纤连接 (FICON) 协议的 CGX 控制器设备。 这些设备直接连接到大型机。 数据传输不需要 System z 集成信息处理器 (zIIP) 专业引擎。 大型机上没有 Luminex 代理，且大型机与 Luminex 设备之间无需开放 TCP/IP 端口即可进行通信。
大型机数据通过安全的专用 Azure ExpressRoute 连接传输到 Azure。
Luminex MDI zKonnect 和其他服务流式传输文件数据，以便在 Azure 上进行大数据分析。 例如，大型机日志和 SMF 数据等系统数据将流式传输到 Azure 事件中心。 Azure 服务引入数据，然后处理、转换和投影数据。
MDI 使用 Luminex CGX 设备来处理、传输和缓存文件数据。 有两个 选项可供选择：
- 提交作业控制语言 (JCL) 语句。 Luminex 提供的语句指定有关输入文件、Azure 目标、密钥和安全信息、数据转换和云文件格式的信息。 使用 Luminex 过程进行数据传输的组织可以使用自己的 JCL 语句。 作业完成后，返回代码为零表示传输成功。
- 从 MDI UI 监视作业。 运营团队可以使用计划程序、大型机和 MDI UI 的组合来监视作业并对其进行故障排除。 MDI UI 提供作业名称、作业 ID、用户或组、开始时间和运行时间等信息。 如果文件传输最初不成功，则 MDI 重试机制会介入。
可以将作业配置为在传输之前在本地存储中缓存文件。 完成传输后，将会删除本地存储。
MVT CloudTAPE 将大型机磁带数据发送到 Azure 数据存储，例如 Azure Blob 存储、Azure 文件存储和 Azure Data Lake Storage。 数据可以是结构化的，也可以是非结构化的。 传输不使用 JCL 语句。 相反，MVT CloudTAPE 以 IBM 3490 或 3590 格式移动或复制 CGX 控制器模拟的大型机磁带。
Azure 服务提供数据处理、存储、分析和可视化功能。
组件
ExpressRoute 将本地网络扩展到 Microsoft 云。 ExpressRoute 使用连接提供程序在本地数据和 Microsoft 云服务之间建立专用连接。
Azure 文件是 Azure 存储中的一种服务。 Azure 文件在云中提供完全托管的文件共享。 可以通过行业标准的服务器消息块 (SMB) 协议访问 Azure 文件共享。 此解决方案使用 Luminex MDI 和 MVT 将大型机文件传输到 Azure 文件存储。
Blob 存储是 Azure 存储中的一项服务。 Blob 存储提供优化的云对象存储，用于存储大量非结构化数据。 在此解决方案中，Azure Blob 存储提供了一种存档热和冷主流数据的方法。
在此解决方案中，Luminex 产品可以将大型机数据传输到多个 Azure 数据库：
- Azure SQL 是一系列由 SQL Server 引擎提供支持的 Azure 数据库。
- Azure SQL 数据库，它属于 Azure SQL 系列的一部分，是一种完全托管的平台即服务 (PaaS) 数据库引擎。 借助 AI 支持的自动化功能，SQL 数据库能够处理数据库管理功能，例如升级、修补、备份和监视。
- Azure Database for PostgreSQL 是基于开放源代码 PostgreSQL 数据库引擎社区版本的完全托管的关系数据库服务。
- Azure Database for MySQL 是一种完全托管的关系数据库服务，它基于社区版开源 MySQL 数据库引擎。
事件中心是一个完全托管的大数据流式处理平台。 在此解决方案中，Luminex zKonnect 几乎实时地将大型机数据流式传输到 Azure 事件中心。 Azure 事件中心提供与 Apache Kafka 生产者和消费者 API 兼容的终结点。 大多数现有的 Apache Kafka 客户端应用程序都可以使用这些 API 作为运行自己的 Apache Kafka 群集的替代方案。
Power BI 是显示分析信息的软件服务和应用的集合。 此解决方案使用来自各种源并具有不同结构的大型机数据。 Power BI 用于将数据转化为连贯的、有沉浸视感的交互式见解。
Azure Data Lake Storage提供了一种以低成本、分层存储和高吞吐量执行大数据分析的方法。
备选方法
可以使用 Microsoft 解决方案，而不是使用第三方解决方案进行数据传输。 有关将数据从大型机和中型系统传输到 Azure 的信息，请参阅将存档数据从大型机系统迁移到 Azure。 有关具体的 Microsoft 解决方案，请参阅以下资源：
如果是考虑到延迟、连接性、技术和法规方面的注意事项，可以将数据传输到 Azure Stack 而不是 Azure。 Azure Stack Hub 提供一系列云存储服务。 有关详细信息，请参阅 Azure Stack Hub 存储：差异和注意事项。
还可以将 Luminex MVT 和 CGX 设备用于 IBM z/VM 和 z/VSE 大型机。
将磁带传输到 Azure 时，可以对其进行压缩和加密，以帮助在所有阶段安全地传输数据。 可以轻松配置此功能。
还可以使用此解决方案进行双向数据交换。 可以将磁带数据召回大型机，并将其转换为其原始形式。
- 使用 MDI 时，此过程类似于传输到 Azure 的过程。 提交提供反向传输详细信息的 JCL 语句。 数据可以作为磁带或顺序文件传输。 JCL 配置指定格式。
- 使用 MVT CloudTAPE 时，如果从大型机请求数据，数据会自动召回。
Luminex CGX 设备还支持企业系统连接 (ESCON) 通道连接。 现有大型机备份软件将通道网关视为已识别的大型机磁带设备。 因此，无需更改软件。
此解决方案使用 ExpressRoute 将数据从数据中心传输到 Azure。 建议使用此方法，但也可以使用 Internet 进行数据传输。
方案详细信息
大型机物理存储可以位于大型机处理器上，也可以位于大型机外部。 处理器存储（类似于大型机的内存）位于处理器上。 磁盘驱动器和磁带驱动器是外部存储的示例。 存储中的数据集组织成各种逻辑记录和块结构。 数据集组织 (DSORG) 和记录格式等参数 (RECFM) 定义这些数据结构。 数据集中的记录可以是固定的，也可以是长度可变的，并且可以以二进制或文本格式存储。
辅助存储设备（如 DASD 和 SASD）存储经常或不经常访问的数据。
- DASD 用于即时数据定位和检索。 使用直接访问，可以通过直接转到设备上的特定物理位置来读取或写入数据。 因此，DASD 快速高效。
- SASD（如磁带）本质上比 DASD 慢。 若要访问磁带数据，请从一个位置开始，然后遍历连续的位置，直到找到所需的数据。 大型机使用实体磁带和虚拟磁带库 (VTL)，也称为虚拟磁带。 目前，虚拟磁带比实体磁带更受欢迎。
使用的存储类型取决于你的需求。 许多组织需要冷存储以实现合规性、法规、报告、审核或其他目的。 某些组织的数据保留策略要求将数据存储近 100 年。 此类数据的示例包括处方副本、病例、客户奖励历史记录和其他信息。 长期存储的数据大多量很大，并且不经常访问。 长期存储的成本通常低于活动存储，此类存储通常每天访问多次且经常更新。 此外，安全注意事项也会影响你选择的存储。 网络攻击的威胁始终存在。
Azure 提供各种经过市场验证的成熟存储解决方案，能够满足存储、备份和长期存档的需求。 可以使用冷存储管理不经常访问的数据，热存储管理经常访问的数据。 大型机文件结构（例如，VSAM 数据集、平面文件和磁带文件）映射到数据训、结构化文件和 Blob 存储中的 Azure 数据构造。 Azure 存储可以存储具有成本效益、可伸缩性、复制和自我可持续性的卷密集型数据。 Azure 服务还可以帮助你检索数据、可视化数据，并从数据中获得见解。
本文中介绍的解决方案使用 Luminex MDI 和 MVT 平台向/从 Azure 传输大型机数据，以满足备份、存档和其他业务需求。
Luminex MDI 是一个数据传输和协同处理平台。 MDI 使用 Luminex CGX 设备来处理、传输和缓存大型机文件。 MDI 在 z/OS 大型机和分布式系统之间提供安全高效的数据交换和工作负载共享。 通过使用 MDI 产品（如云数据共享、大数据传输和 zKonnect），可以将文件移动到 Azure 以进行备份、存档、数据规范化、合并和分析。 可以将传输的数据配置为在 Azure 中以 ASCII 或 EBCDIC 格式到达。 MDI 云数据共享提供了一种将大型机文件（如 VSAM 文件、顺序文件和 GDG）迁移到 Azure 的方法。 MDI 还支持与 Azure 消息传送服务的集成。 托管在 Azure 上的应用程序可以使用存储在 Azure 上的大型机文件进行现代化改造、降低延迟并提高性能。
Luminex MVT 是磁带存档和备份平台。 MVT 使用模拟大型机 3490 和 3590 磁带驱动器的 Luminex CGX 控制单元软件，因此无需更改即可使用现有磁带应用程序。 CGX 环境提供一套用于磁带加密、保管库、迁移、复制、检索、灾难恢复和高可用性的产品。 具体而言，CloudTAPE 产品提供了一种将磁带数据迁移到 Azure 的方法。
MDI 和 MVT 都使用高速 CGX 控制器设备直接连接到大型机。 这些控制器基于 FICON，这是一种大型机服务器和附加的企业级存储控制器支持的传输协议。 FICON 使用光纤通道作为基础传输协议。 CGX 控制器还利用网络连接存储 (NAS) 和内部存储系统，提供企业所需的高性能、可扩展性、可靠性、安全性和可用性。 使用 FICON 传输，可以在多个系统之间共享 I/O。 FICON 提供最佳协议效率。 即使服务器和存储设备之间的距离增加，也可以帮助提供数据完整性和安全性。
使用 MDI 和 MVT 时，数据传输不需要 zIIP 专业引擎，也无需开放 TCP/IP 端口即可在大型机与 Luminex 设备之间进行通信。 就像任何其他大型机存储设备一样，将 Luminex CGX 设备直接插入大型机即可。 如有必要，现有的旧备份和磁带管理软件可以并行运行。 MVT CloudTAPE 和 MDI 云数据共享使用轻型进程进行传输，因此每秒数百万条指令 (MIPS) 消耗最少。
可能的用例
各种场景可以从此解决方案中获益。 可能包括具有以下目标的组织：
- 最大程度地减少磁带管理和维护工作。
- 对旧工作负载进行现代化改造。
- 寻找备份和存档解决方案。
- 通过将大型机磁带迁移到云端来扩展大型机现代化。 如果组织想要缩小其数据中心规模，但不放弃数据中心，则可能会有这样的目标。 如果组织没有大量使用大型机磁带，则磁带可能是迁移的合适候选项。
- 将迁移的数据转换为不同的云存储格式，例如将 EBCDIC 数据转换为 ASCII，将 VSAM 文件转换为 JSON，将顺序数据转换为 CSV 格式。
- 将磁带元数据传输到 Azure 存储元数据。
- 为托管在 Azure 上的新的和重构的应用程序提供对数据的轻松访问。
- 扩展其云足迹。
- 轻松监视、显示和报告大型机文件和磁带数据，并将这些数据与 Azure 服务集成。
- 利用当前和历史解锁的大型机数据变现，并在云商业智能和分析工具中使用这些数据。
如果你正在实施类似的解决方案并想要分享经验或反馈，请联系 Microsoft 旧式现代化 Azure 核心工程 (ACE) 团队。
注意事项
这些注意事项实施 Azure 架构良好的框架的支柱原则，即一套可用于改善工作负荷质量的指导原则。 有关详细信息，请参阅 Microsoft Azure 架构良好的框架。
可靠性
可靠性可确保应用程序符合你对客户的承诺。 有关详细信息，请参阅可靠性支柱概述。
- 可以在多个域名部署此解决方案，并在数据层实现异地复制。 Azure 自动故障转移组还可帮助提供数据保护。
- 群集 CGX 控制器可以在发生故障期间提供主动-主动恢复解决方案。
- MVT 同步磁带矩阵提供跨多个数据中心的可靠性。 其基础结构可适应故障而不中断。
- Luminex 复制可以将数据复制到一个或多个目标。 目标可以是一个或多个灾难恢复地点，每个地点安装大型机和 CGX 控制器。 此外，还可以通过 Azure 异地复制预配置目标。 如果使用的是 Azure 和其他私有云或公有云，还可以使用混合策略进行灾难恢复。 可以使用最符合自身需求的复制策略。 示例包括一对一、一对多、多对多和级联策略。
安全性
安全性针对蓄意攻击及滥用宝贵数据和系统提供保障措施。 有关详细信息，请参阅安全性支柱概述。
- 此解决方案中的完全托管存储消除了与物理媒体安全性相关的问题。 例如，用车辆运送实体磁带时可能发生的损坏或未经授权的访问。
- Luminex CGSafe 提供磁带压缩和加密功能。 此产品是 MVT 系列的一部分，包含在 CloudTAPE 中。 CGSafe 在引入、静态和传输过程中加密和压缩磁带。
- 使用 MDI 云数据共享时，将使用 SSL 通过 HTTPS 发送文件。 在 Azure 中，可以加密静态文件。
- 由于解决方案使用 FICON 和 ESCON 连接，因此无需开放任何端口即可进行数据传输。
成本优化
成本优化是关于寻找减少不必要的费用和提高运营效率的方法。 有关详细信息，请参阅成本优化支柱概述。
- Azure 中的即用即付定价和多层模型提供了各种选项来满足各种成本和性能需求。 例如，如果不经常访问数据，Azure 冷访问层是低成本存储的不错选项。
- 此解决方案的定价取决于磁带数据量、数据中心位置和带宽。 此外，成本还取决于所使用的 Azure 服务。 这些因素决定了你使用的硬件，例如 Luminex CGX 控制器的数量。 这些因素还会影响软件、服务、许可和支持成本。
- 数据交换不需要 zIIP 处理器。 因此，运行软件可以节省成本。
- Luminex 基础结构就位后，可以将 Luminex 硬件用于其他用途。 例如，你可能已经使用 MDI 云数据共享进行文件传输。 如果使用 MDI zKonnect 进行流式传输来增强环境，则可以节省成本，因为可以大幅降低的价格购买其他 Luminex 软件和基础结构。
- 如果已有 ExpressRoute 基础结构，则可以将其用于此解决方案。
- 使用 Azure 和 Luminex 进行备份和恢复有助于消除与实体磁带基础结构相关的一些成本。 示例包括媒体和运输费用以及用于保管库的外部存储费用。
卓越运营
卓越运营涵盖了部署应用程序并使其在生产环境中保持运行的运营流程。 有关详细信息，请参阅卓越运营支柱概述。
- 此解决方案中的数据传输到 Azure 可以在制定备份策略时提供灵活性。 可以启用自动、定期迁移或分阶段数据迁移。 在数据中心安装 Luminex 设备后，可以配置单向或双向通信、暂存迁移或一次性迁移。 这种灵活性为实现 DevOps 和敏捷工作原则以及立即采用云提供支持。
- 可以利用 Azure 功能进行大型机备份、存档和灾难恢复。
- 可以在 Azure 上 (CI/CD) 管道部署持续集成/持续交付，以管理数据移动、转换和控制活动。
性能效率
性能效率是指工作负载能够以高效的方式扩展以满足用户对它的需求。 有关详细信息，请参阅性能效率要素概述。
- 如果数据量很大，则可以群集 CGX 控制器。 通常，一台 CGX 设备的数据传输速度最高可以达到每秒 800 M（MB/秒）。 CGX 控制器提供最多 4 个光纤通道端口，或 1 千兆以太网 (GbE)、10 千兆以太网 (GbE) 或 25 千兆以太网 (GbE)。 这些控制器还提供最多四个端口，用于连接到附加存储系统。
- Azure 服务中提供了各种性能选项和层级。 例如，块 blob 存储帐户提供标准和高级性能层。 可以选择最符合需求的层级。
- 使用 Azure 中的预定义访问和生命周期管理，可以轻松优化特定用例的性能。
- 此解决方案中的磁带仿真软件使用 FICON I/O 系统。 使用此系统，可以减少 CPU 时间、提高数据传输速度并减少运行时间。
作者
本文由 Microsoft 维护， 它最初是由以下贡献者撰写的。
主要作者：
- Daniel Saunders | 销售工程师
- Bhuvi Vatsey | 高级技术项目经理
若要查看非公开的 LinkedIn 个人资料，请登录到 LinkedIn。
后续步骤
- 有关详细信息，请联系 Microsoft 旧式现代化 Azure 核心工程 (ACE) 团队。
- 有关第三方数据传输解决方案的信息，请参阅第三方存档解决方案。