將大型主機和中型數據現代化
Apache®、 Spark 和火焰標誌是美國和/或其他國家/地區的 Apache Software Foundation 註冊商標或商標。 使用這些標記不代表得到 Apache Software Foundation 的認可。
本文說明大型主機和中端數據源的端對端現代化計劃。 現代化可協助改善任務關鍵性工作負載的延展性和效能。
建築
下載此架構的 Visio 檔案。
數據流
下列數據流對應至上圖：
大型主機和中層系統會將數據儲存在下列數據源中。
檔案系統：
- 虛擬記憶體存取方法 （VSAM）
- 平面文件
- 線性磁帶文件系統
關聯資料庫：
- Db2 for z/OS
- Db2 for IBM i
- Db2 for Linux UNIX 和 Windows
非關係資料庫：
- 資訊管理系統 （IMS）
- Adabas
- 整合資料庫管理系統 （IDMS）
物件轉換程式會從來源物件擷取物件定義。 定義接著會轉換成目標數據存放區中的對應物件。
適用於 Db2 的 SQL Server 移轉小幫手會將架構和數據從 IBM Db2 資料庫移轉至 Azure 資料庫。
Managed Data Provider for Host Files 會透過下列方式轉換物件：
- 剖析常見的商業導向語言 （COBOL） 和報表程式產生器記錄版面配置，或 複製手冊。
- 將 copybook 對應至 .NET 應用程式所使用的 C# 物件。
Db2toAzurePostgreSQL 工具會將資料庫物件從 Db2 遷移至適用於 PostgreSQL 的 Azure 資料庫。
合作夥伴工具會在非關係資料庫、檔案系統和其他資料存放區上執行自動化物件轉換。
數據會擷取並轉換。 大型主機和 midrange 系統會以 EBCDIC 編碼格式，以檔案格式儲存其檔案系統數據，例如：
COBOL、程式設計語言 One 和元件語言複製手冊會定義這些檔案的數據結構。
一。 檔傳輸通訊協定 （FTP） 會將大型主機和中型文件系統數據集及其對應的複製簿傳輸到 Azure。 這些數據集具有單一版面配置和二進位格式的解壓縮欄位。
b。 數據轉換是藉由使用主機整合伺服器的主機檔案元件，或使用 Azure Logic Apps 中 IBM 主機檔案的內建連接器來開發自定義程式來完成。
Spark Notebook 轉換器是使用開放原始碼 Spark 架構所開發。 其與Spark環境相容，例如 Microsoft Fabric、Azure Synapse Analytics 和 Azure Databricks。
丙. 關係資料庫數據已移轉。
IBM 大型主機和中層系統會將資料儲存在關係資料庫中，例如：
下列服務會移轉資料庫資料：
- Azure Data Factory 會使用 Db2 連接器，從資料庫擷取和整合數據。
- SQL Server Integration Services 會處理各種數據 擷取、轉換和載入 工作。
- Fabric Data Factory 會使用 IBM Db2 連接器來遷移 Db2 數據。
d。 已移轉非關係資料庫數據。
IBM 大型主機和中層系統會將資料儲存在非關係資料庫中，例如：
合作夥伴產品會整合來自這些資料庫的數據。
Azure Data Factory 和 AzCopy 等 Azure 工具將數據載入 Azure 資料庫和 Azure 數據記憶體。 您也可以使用合作夥伴解決方案和自訂載入解決方案來載入資料。
Azure 提供各種資料庫服務，包括完全受控的關係資料庫服務，例如 Azure SQL Database 和 NoSQL 選項，例如 Azure Cosmos DB。 這些服務是專為延展性、彈性和全域散發而設計。
Azure 也提供一系列記憶體解決方案，包括非結構化數據的 Azure Blob 記憶體，以及完全受控檔案共用的 Azure 檔案記憶體。
Azure 服務會使用現代化數據層來計算、分析、記憶體和網路功能。
用戶端應用程式也會使用現代化數據層。
元件
此架構會使用下列元件。
數據記憶體
此架構說明如何將數據遷移至可調整、更安全的雲端記憶體和受控資料庫，以在 Azure 中彈性、智慧型手機資料管理。
SQL Database 是 Azure SQL 系列的一部分。 其專為雲端設計，提供完全受控且常綠平臺即服務的所有優點（PaaS）。 SQL 資料庫也會提供受 AI 支援，能將效能與持久性最佳化的自動化功能。 無伺服器計算和 超大規模資料庫記憶體選項 會自動視需要調整資源。
適用於 PostgreSQL 的 Azure 資料庫 是以開放原始碼 PostgreSQL 資料庫引擎社群版本為基礎的完全受控關係資料庫服務。
Azure Cosmos DB 是全域散發 的多模型NoSQL 資料庫。
適用於 MySQL 的 Azure 資料庫 是以開放原始碼 MySQL 資料庫引擎社群版本為基礎的完全受控關係資料庫服務。
SQL 受控實例 是一種智慧型手機、可調整的雲端資料庫服務，可提供完全受控且常綠的 PaaS 的所有優點。 SQL 受控實例與最新的 SQL Server Enterprise Edition 資料庫引擎幾乎完全相容。 它也提供解決常見安全性考量的原生虛擬網路實作。
Azure Data Lake Storage 是儲存其原生原始格式大量數據的記憶體存放庫。 Data Lake 存放區已針對調整為數 TB 和 PB 的數據進行優化。 數據通常來自多個異質來源。 它可以結構化、半結構化或非結構化。
Microsoft Fabric 中的 SQL 資料庫 是以 SQL Database 為基礎的開發人員易記事務資料庫。 使用它輕鬆地在 Fabric 中建立作業資料庫。 Fabric 中的 SQL 資料庫會使用與 SQL Database 相同的 SQL 資料庫引擎。
Microsoft Fabric Lakehouse 是一個數據架構平臺，用於在單一位置儲存、管理和分析結構化和非結構化數據。
運算
Azure Data Factory 會使用 整合運行時間 （IR），跨不同的網路環境整合數據，這是計算基礎結構。 Azure Data Factory 會使用 自我裝載的 IR，在雲端數據存放區和內部部署網路中的數據存放區之間複製數據。
內部部署數據閘道是本機安裝的 Windows 用戶端應用程式，可作為 Microsoft 雲端中本機內部部署數據源和服務之間的橋樑。
Azure 虛擬機 提供隨選、可調整的運算資源。 Azure 虛擬機 （VM） 提供虛擬化的彈性，但可排除實體硬體的維護需求。 Azure VM 提供作系統的選擇，包括 Windows 和 Linux。
資料整合者
此架構概述您根據大型主機源數據和目標資料庫使用的各種 Azure 原生移轉工具。
Azure Data Factory 是混合式數據整合服務。 在此解決方案中，Azure Data Factory 會使用原生連接器，將數據從 Db2 來源移轉至 Azure 資料庫目標。
AzCopy 是命令行公用程式，可將 Blob 或檔案移入和移出記憶體帳戶。
SQL Server Integration Services 是建立企業級數據整合和轉換解決方案的平臺。 您可以使用它來解決複雜的商務問題，方法是：
- 複製或下載檔案。
- 載入數據倉儲。
- 清理和採礦數據。
- 管理 SQL Server 對象和數據。
主機整合伺服器 技術和工具可以將現有的 IBM 主機系統、程式、訊息和數據與 Azure 應用程式整合。 主機檔案用戶端元件可為從EBCDIC轉換成 ASCII 的數據提供彈性。 例如，您可以從已轉換的數據產生 JSON 或 XML 格式的數據。
Azure Synapse Analytics 結合了數據整合、企業數據倉儲和巨量數據分析。 此架構會使用 Azure Synapse Analytics 轉換解決方案。 它是以 Apache Spark 為基礎，是大型大型大型主機數據集工作負載轉換的絕佳候選專案。 它支援各種不同的大型主機數據結構和目標，而且需要最少的編碼工作。
Microsoft Fabric 是企業就緒的端對端分析平臺。 它會統一數據移動、數據處理、擷取、轉換、即時事件路由，以及報表建置。 它支持這些功能，方法是使用下列整合式服務：
- 網狀架構數據工程師
- Fabric 資料工廠
- 網狀架構數據科學
- 網狀架構 Real-Time 智慧
- Fabric 資料倉儲
- Fabric 資料庫
其他工具
適用於 Db2 的 SQL Server 移轉小幫手會自動從 Db2 移轉至Microsoft資料庫服務。 此工具在 VM 上執行時，會將 Db2 資料庫物件轉換成 SQL Server 資料庫物件，並在 SQL Server 中建立這些物件。
主機檔案的數據提供者 是主機 整合伺服器的 元件，使用離線、SNA 或 TCP/IP 連線。
- 使用離線連線時，數據提供者會在本機二進位檔中讀取和寫入記錄。
- 使用 SNA 和 TCP/IP 連線時，數據提供者會讀取和寫入儲存在遠端 z/OS（IBM Z 系列大型主機）數據集或遠端 i5/OS（IBM AS/400 和 iSeries 系統）實體檔案中的記錄。 只有i5/OS系統使用TCP/IP。
Azure 服務 提供在公用雲端中開發和調整新應用程式的環境、工具和程式。
案例詳細資料
Azure 數據平臺等新式數據記憶體解決方案提供比大型主機和中層系統更好的延展性和效能。 藉由將系統現代化，您可以利用這些優點。 不過，更新技術、基礎結構和做法很複雜。 此程式涉及對商業和工程活動的詳盡調查。 當您將系統現代化時，數據管理是其中一個考慮。 您也需要查看資料視覺效果和整合。
成功的現代化會使用 數據優先策略。 當您使用此方法時，您會專注於資料，而不是新的系統。 數據管理不再是現代化檢查清單上的專案。 相反地，數據是中心。 協調、品質導向的數據解決方案會取代分散且治理不佳的數據解決方案。
此解決方案會在數據優先方法中使用 Azure 資料平台元件。 具體來說，解決方案涉及：
物件轉換。 將物件定義從源數據存放區轉換成目標數據存放區中的對應物件。
資料擷取。 線上到源數據存放區並擷取數據。
數據轉換。 將擷取的數據轉換成適當的目標數據存放區結構。
資料儲存體。 一開始和持續將數據從源數據存放區載入目標數據存放區。
潛在應用情境
使用大型主機和中層系統的組織可以受益於此解決方案，尤其是在想要：
將任務關鍵性工作負載現代化。
取得商業智慧以改善營運並取得競爭優勢。
拿掉與大型主機和中型數據存放區相關聯的高成本和剛性。
考慮事項
這些考量能實作 Azure Well-Architected Framework 的支柱，這是一組指導原則，可以用來改善工作負載的品質。 如需詳細資訊，請參閱 Well-Architected Framework。
安全
安全性可提供針對蓄意攻擊和濫用寶貴數據和系統的保證。 如需詳細資訊，請參閱安全性的設計檢閱檢查清單。
請注意內部部署用戶端身分識別與 Azure 中的用戶端身分識別之間的差異。 您需要補償任何差異。
針對元件對元件數據流使用 受控識別 。
當您使用 Data Provider for Host Files 轉換數據時，請遵循 數據提供者中的主機檔案安全性和保護中的建議。
成本優化
成本優化著重於減少不必要的費用，並提升營運效率的方式。 如需詳細資訊，請參閱成本最佳化的設計檢閱檢查清單。
SQL Server 移轉小幫手是免費的支援工具，可簡化從 Db2 到 SQL Server、SQL Database 和 SQL 受控實例的資料庫移轉。 SQL Server 移轉小幫手會將移轉的所有層面自動化，包括移轉評估分析、架構和 SQL 語句轉換，以及數據遷移。
Azure Synapse Analytics Spark 型解決方案是從開放原始碼連結庫建置的。 它可消除授權轉換工具的財務負擔。
若要估計實作此解決方案的成本，請使用 Azure 定價計算機。
效能效率
效能效率是指工作負載能夠有效率地調整以符合使用者需求。 有關詳細資訊，請參閱效能效率的設計審核清單。
效能效率的主要要素是效能管理、容量規劃、 延展性，以及選擇適當的效能模式。
您可以將邏輯實例與主動-主動模式中的多個內部部署機器產生關聯，以 相應放大自我裝載 IR 。
使用 SQL Database 動態調整資料庫。 無伺服器層可以自動調整計算資源。 彈性集區允許資料庫共用集區中的資源，而且只能手動調整。
當您使用 Data Provider for Host Files 用戶端轉換數據時， 請開啟連線共用 以減少連線啟動時間。 當您使用 Azure Data Factory 來擷取數據時， 請微調複製活動的效能。
貢獻者們
本文由 Microsoft 維護。 下列參與者撰寫本文。
主要作者：
- 阿什·汗德爾瓦爾 |首席工程架構師經理
其他貢獻者：
- Nithish Aruldoss | 工程架構師
若要查看非公開的 LinkedIn 個人檔案，請登入 LinkedIn。
後續步驟
請檢閱 Azure 資料庫移轉指南。 如需詳細資訊，請連絡 Azure 數據工程 - 大型主機和 Midrange 現代化 。
請參閱以下文章：