共用方式為

將大型主機和中型數據現代化

Azure Cosmos DB
Azure Data Lake
Azure SQL Database
Azure SQL 受控執行個體
Azure 儲存體

Apache®、 Spark 和 flame 標誌是 Apache Software Foundation 在美國和/或其他國家/地區的註冊商標或商標。 使用這些標記不代表得到 Apache Software Foundation 的認可。

本文說明大型主機和中端數據源的端對端現代化計劃。 現代化可協助改善任務關鍵性工作負載的延展性和效能。

Architecture

此架構圖表顯示如何將數據遷移至 Azure，將大型主機和中層系統現代化。

下載此架構的 Visio 檔案。

Dataflow

下列數據流對應至上圖：

  1. 大型主機和中層系統會將數據儲存在下列數據源中。

    • 檔案系統：

      • 虛擬記憶體存取方法 （VSAM）
      • 平面檔案
      • 線性磁帶文件系統

    • 關聯式資料庫：

      • 適用於 z/OS 的 Db2
      • 適用於 IBM i 的 Db2
      • Db2 for Linux UNIX 和 Windows

    • 非關聯式資料庫：

      • 資訊管理系統 （IMS）
      • Adabas
      • 整合資料庫管理系統 （IDMS）

  2. 物件轉換程式會從來源物件擷取物件定義。 定義接著會轉換成目標數據存放區中的對應物件。

    • 適用於 Db2 的 SQL Server 移轉小幫手會將架構和數據從 IBM Db2 資料庫移轉至 Azure 資料庫。

    • Managed Data Provider for Host Files 會透過下列方式轉換物件：

      • 剖析一般商業導向語言 （COBOL） 及「報告程式產生器」記錄佈置或 記錄定義檔。
      • 將 copybook 對應至 .NET 應用程式所使用的 C# 物件。

    • Db2toAzurePostgreSQL 工具會將資料庫物件從 Db2 移轉至適用於 PostgreSQL 的 Azure 資料庫。

    • 合作夥伴工具會在非關係資料庫、檔案系統和其他資料存放區上執行自動化物件轉換。

  3. 數據會擷取並轉換。 大型主機和 midrange 系統會以 EBCDIC 編碼格式，以檔案格式儲存其檔案系統數據，例如：

    • 已編製索引的 VSAM 檔案。
    • 未索引的 GDG 檔案。
    • 平面檔案。

    COBOL、程式設計語言 One 和元件語言複製手冊會定義這些檔案的數據結構。

    a. 檔傳輸通訊協定 （FTP） 會將大型主機和中型文件系統數據集及其對應的複製簿傳輸到 Azure。 這些數據集具有單一版面配置和二進位格式的解壓縮欄位。

    b. 數據轉換是藉由使用主機整合伺服器的主機檔案元件，或使用 Azure Logic Apps 中 IBM 主機檔案的內建連接器來開發自定義程式來完成。

    Spark Notebook 轉換器是使用開放原始碼 Spark 架構所開發。 它與 Microsoft Fabric 和 Azure Databricks 等 Spark 環境相容。

    c. 關係資料庫數據已移轉。

    IBM 大型主機和中層系統會將資料儲存在關係資料庫中，例如：

    下列服務會移轉資料庫資料：

    • Azure Data Factory 會使用 Db2 連接器，從資料庫擷取和整合數據。
    • SQL Server Integration Services 會處理各種數據 擷取、轉換和載入 工作。
    • Fabric Data Factory 會使用 IBM Db2 連接器來遷移 Db2 數據。

    d. 已移轉非關係資料庫數據。

    IBM 大型主機和中層系統會將資料儲存在非關係資料庫中，例如：

    合作夥伴產品會整合來自這些資料庫的數據。

  4. Azure Data Factory 和 AzCopy 等 Azure 工具會將資料載入 Azure 資料庫和 Azure 資料儲存體。 您也可以使用合作夥伴解決方案和自訂載入解決方案來載入資料。

  5. Azure 提供各種資料庫服務，包括完全受控的關係資料庫服務，例如 Azure SQL Database 和 NoSQL 選項，例如 Azure Cosmos DB。 這些服務是專為延展性、彈性和全域散發而設計。

    Azure 也提供一系列記憶體解決方案，包括非結構化數據的 Azure Blob 記憶體，以及完全受控檔案共用的 Azure 檔案記憶體。

  6. Azure 服務會使用現代化數據層來計算、分析、記憶體和網路功能。

  7. 用戶端應用程式也會使用現代化數據層。

Components

此架構會使用下列元件。

數據記憶體

此架構說明如何將數據遷移至可調整、更安全的雲端記憶體和受控資料庫，以在 Azure 中彈性、智慧型手機資料管理。

  • Azure Cosmos DB 是全域散發 的多模型NoSQL 資料庫。 在此架構中，Azure Cosmos DB 可作為可調整的 NoSQL 目標，以將 IMS 和 IDMS 等非關聯式大型主機資料庫現代化。

  • 適用於 MySQL 的 Azure 資料庫 是以開放原始碼 MySQL 資料庫引擎社群版本為基礎的完全受控關係資料庫服務。 在此架構中，適用於 MySQL 的 Azure 資料庫會為移轉的大型主機資料提供另一個關聯式資料庫目標選項。

  • 適用於 PostgreSQL 的 Azure 資料庫 是以開放原始碼 PostgreSQL 資料庫引擎社群版本為基礎的完全受控關係資料庫服務。 在此架構中，適用於 PostgreSQL 的 Azure 資料庫提供大型主機關聯式資料移轉的替代目標資料庫。

  • SQL 資料庫 是 Azure SQL 系列的一部分。 其專為雲端設計，提供完全受控且常綠平臺即服務的所有優點（PaaS）。 SQL 資料庫也會提供受 AI 支援，能將效能與持久性最佳化的自動化功能。 無伺服器計算和 超大規模資料庫記憶體選項 會自動視需要調整資源。 在此架構中，SQL Database 可作為從大型主機 Db2 系統移轉關聯式資料的目標資料庫。

  • Azure SQL 受控執行個體 是一項雲端資料庫服務，可提供完全受控和常青 PaaS 的所有優點。 SQL 受控實例與最新的 SQL Server Enterprise Edition 資料庫引擎幾乎完全相容。 它也提供解決常見安全性考量的原生虛擬網路實作。 在此架構中，SQL 受控執行個體會做為需要 SQL Server 相容性和企業功能的大型主機資料的目標。

  • Azure Data Lake Storage 是儲存其原生原始格式大量數據的記憶體存放庫。 Data Lake 存放區已針對調整為數 TB 和 PB 的數據進行優化。 數據通常來自多個異質來源。 它可以結構化、半結構化或非結構化。 在此架構中，Data Lake Storage 為轉換的大型主機檔案系統資料提供可調整的儲存體，並作為資料轉換的預備區域。

  • Microsoft Fabric Lakehouse 是一個數據架構平臺，用於在單一位置儲存、管理和分析結構化和非結構化數據。 在此架構中，Microsoft Fabric Lakehouse 可作為原始大型主機數據和已處理數據集的統一分析平臺。

  • Microsoft Fabric 中的 SQL 資料庫 是以 SQL Database 為基礎的開發人員易記事務資料庫。 您可以使用它在 Fabric 中建立作業資料庫。 Fabric 中的 SQL 資料庫會使用與 SQL Database 相同的 SQL 資料庫引擎。 在此架構中，Microsoft Fabric 中的 SQL 資料庫為移轉的大型主機作業資料提供新式交易式資料庫選項。

Compute

  • Azure Data Factory 是 Microsoft 的雲端式資料整合服務，可使用 整合執行階段 （IR） （也就是計算基礎結構） 來整合不同網路環境的資料。 Azure Data Factory 會使用 自我裝載的 IR，在雲端資料存放區與內部部署網路中的資料存放區之間複製資料。 在此架構中，Azure Data Factory 會協調從大型主機來源到 Azure 目標的整個資料移轉程式。

  • 內部部署資料閘道是本機安裝的 Windows 用戶端應用程式，可作為本機內部部署資料來源與 Microsoft Cloud 中服務之間的橋接器。 在此架構中，內部部署資料閘道會在大型主機系統與 Azure 服務之間建立安全連線。

  • Azure 虛擬機器 是基礎結構即服務 （IaaS） 供應項目，可提供隨選、可調整的運算資源。 Azure 虛擬機 （VM） 提供虛擬化的彈性，但可排除實體硬體的維護需求。 Azure VM 提供作系統的選擇，包括 Windows 和 Linux。 在此架構中，Azure 虛擬機器會裝載移轉工具，例如適用於 Db2 的 SQL Server 移轉小幫手和自訂轉換應用程式。

資料整合者

此架構概述您根據大型主機源數據和目標資料庫使用的各種 Azure 原生移轉工具。

  • Azure Data Factory 是混合式數據整合服務。 Azure Data Factory 會使用原生連接器，將資料從 Db2 來源移轉至 Azure 資料庫目標。 在此架構中，Azure Data Factory 可作為協調大型主機資料移轉工作流程的主要資料整合服務。

  • AzCopy 是命令列公用程式，可將 Blob 或檔案移入和移出儲存體帳戶。 在此架構中，AzCopy 會在移轉程式期間將大量大型主機檔案系統資料傳輸至 Azure 儲存體。

  • SQL Server Integration Services 是建立企業級數據整合和轉換解決方案的平臺。 在此架構中，您可以使用它來協調大型主機移轉期間的資料轉換工作，例如：

    • 複製或下載檔案。
    • 載入數據倉儲。
    • 清理和採礦數據。
    • 管理 SQL Server 對象和數據。

  • 主機整合伺服器 技術和工具可以將現有的 IBM 主機系統、程式、訊息和數據與 Azure 應用程式整合。 主機檔案用戶端元件可彈性地從 EBCDIC 轉換成 ASCII 的資料。 例如，您可以從轉換的資料產生 JSON 或 XML 格式的資料。 在此架構中，主機整合伺服器會將 EBCDIC 編碼的大型主機數據轉換成 ASCII 格式，以供 Azure 取用。

  • Microsoft Fabric 是企業就緒的端對端分析平臺。 它會統一數據移動、數據處理、擷取、轉換、即時事件路由，以及報表建置。 它支持這些功能，方法是使用下列整合式服務：

    • 網狀架構數據工程師
    • Fabric 資料工廠
    • 網狀架構數據科學
    • 網狀架構 Real-Time 智慧
    • Fabric 資料倉儲
    • Fabric 資料庫

在此架構中，Fabric 為端對端大型主機資料現代化和商業智慧提供全方位的分析平台。

其他工具

  • 適用於 Db2 的 SQL Server 移轉小幫手會自動從 Db2 移轉至Microsoft資料庫服務。 此工具在 VM 上執行時，會將 Db2 資料庫物件轉換成 SQL Server 資料庫物件，並在 SQL Server 中建立這些物件。 在此架構中，適用於 Db2 的 SQL Server 移轉小幫手會自動將大型主機 Db2 資料庫結構描述和物件轉換為 Azure 資料庫目標。

  • 主機檔案的數據提供者 是主機 整合伺服器的 元件，使用離線、SNA 或 TCP/IP 連線。

    • 使用離線連線時，數據提供者會在本機二進位檔中讀取和寫入記錄。
    • 使用 SNA 和 TCP/IP 連線時，數據提供者會讀取和寫入儲存在遠端 z/OS（IBM Z 系列大型主機）數據集或遠端 i5/OS（IBM AS/400 和 iSeries 系統）實體檔案中的記錄。 只有i5/OS系統使用TCP/IP。

    在此架構中，主機檔案的資料提供者可啟用大型主機檔案系統與 Azure 應用程式之間的連線和資料存取。

  • Azure 服務 提供環境、工具和程式，以在公用雲端中開發和調整新的應用程式。 在此架構中，Azure 服務會為現代化大型主機應用程式和資料分析工作負載提供目標雲端平台。

案例詳細資料

Azure 數據平臺等新式數據記憶體解決方案提供比大型主機和中層系統更好的延展性和效能。 藉由將系統現代化，您可以利用這些優點。 不過，更新技術、基礎結構和做法很複雜。 此程式涉及對商業和工程活動的詳盡調查。 當您將系統現代化時，數據管理是其中一個考慮。 您也需要查看資料視覺效果和整合。

成功的現代化使用 資料優先策略。 當您使用此方法時，您會專注於資料，而不是新的系統。 數據管理不再是現代化檢查清單上的專案。 相反地，數據是中心。 協調、品質導向的數據解決方案會取代分散且治理不佳的數據解決方案。

此解決方案會在數據優先方法中使用 Azure 資料平台元件。 具體來說，解決方案涉及：

  • 物件轉換。 將物件定義從源數據存放區轉換成目標數據存放區中的對應物件。

  • 資料擷取。 線上到源數據存放區並擷取數據。

  • 資料轉換。 將擷取的數據轉換成適當的目標數據存放區結構。

  • 資料儲存。 一開始和持續將數據從源數據存放區載入目標數據存放區。

潛在應用情境

使用大型主機和中層系統的組織可以受益於此解決方案，尤其是在想要：

  • 將任務關鍵性工作負載現代化。

  • 取得商業智慧以改善營運並取得競爭優勢。

  • 拿掉與大型主機和中型數據存放區相關聯的高成本和剛性。

Considerations

這些考量能實作 Azure Well-Architected Framework 的支柱，這是一組指導原則，可以用來改善工作負載的品質。 如需詳細資訊，請參閱 Well-Architected Framework。

安全性

安全性可提供針對蓄意攻擊和濫用寶貴數據和系統的保證。 如需詳細資訊，請參閱安全性的設計檢閱檢查清單。

  • 請注意內部部署用戶端身分識別與 Azure 中的用戶端身分識別之間的差異。 您需要補償任何差異。

  • 針對元件對元件資料流程使用 受控識別 。

  • 當您使用 Data Provider for Host Files 轉換數據時，請遵循 數據提供者中的主機檔案安全性和保護中的建議。

成本優化

成本優化著重於減少不必要的費用，並提升營運效率的方式。 如需詳細資訊，請參閱成本最佳化的設計檢閱檢查清單。

  • SQL Server 移轉小幫手是免費的支援工具，可簡化從 Db2 到 SQL Server、SQL Database 和 SQL 受控實例的資料庫移轉。 SQL Server 移轉小幫手會將移轉的所有層面自動化，包括移轉評估分析、架構和 SQL 語句轉換，以及數據遷移。

  • 以 Microsoft Fabric Lakehouse 為基礎的解決方案是以開放原始碼技術 （Delta Lake、Apache Spark） 為基礎。 這種方法消除了授權轉換工具的財務負擔，並為分析提供了統一的 SaaS 體驗。

  • 若要估計實作此解決方案的成本，請使用 Azure 定價計算機。

效能效率

效能效率是指工作負載能夠有效率地調整以符合使用者需求。 有關詳細資訊，請參閱效能效率的設計審核清單。

  • 效能效率的關鍵支柱是效能管理、容量規劃、 可擴展性，以及選擇適當的效能模式。

  • 您可以將邏輯實例與主動-主動模式中的多個內部部署機器產生關聯，以 相應放大自我裝載 IR 。

  • 使用 SQL Database 動態調整資料庫。 無伺服器層可以自動調整計算資源。 彈性集區允許資料庫共用集區中的資源，而且只能手動調整。

當您使用 Data Provider for Host Files 用戶端轉換數據時， 請開啟連線共用 以減少連線啟動時間。 當您使用 Azure Data Factory 來擷取數據時， 請微調複製活動的效能。

Contributors

本文由 Microsoft 維護。 下列參與者撰寫本文。

主要作者：

其他貢獻者：

若要查看非公開的 LinkedIn 個人檔案，請登入 LinkedIn。

後續步驟

請檢閱 Azure 資料庫移轉指南。 如需詳細資訊，請連絡 Azure 數據工程 - 大型主機和 Midrange 現代化 。

請參閱以下文章：