共用方式為


從 Azure Synapse Spark 遷移至 Fabric

開始移轉之前,您應該先確認網狀架構 資料工程師 是工作負載的最佳解決方案。 網狀架構 資料工程師 支援 Lakehouse、Notebook、環境Spark 作業定義 (SJD) 和資料管線專案,包括不同的運行時間和 Spark 功能支援。

主要考量

建立移轉策略的第一個步驟是評估適用性。 值得注意的是,與Spark相關的特定網狀架構功能目前正在開發或規劃中。 如需詳細資訊和更新,請流覽 網狀架構藍圖

針對Spark,請參閱 Azure Synapse Spark 與 Fabric 之間的詳細比較差異。

移轉案例

如果您判斷網狀架構 資料工程師 是移轉現有 Spark 工作負載的正確選擇,移轉程式可能會涉及多個案例和階段:

  • 專案:專案移轉牽涉到將一或多個專案從現有的 Azure Synapse 工作區傳輸到 Fabric。 深入瞭解移轉 Spark 集區、 Spark 組態Spark 連結庫筆記本Spark 作業定義
  • 數據和管線:使用 OneLake 快捷方式,您可以在 Fabric Lakehouse 中建立 ADLS Gen2 數據(連結到 Azure Synapse 工作區)。 管線移轉牽涉到將現有的數據管線移至 Fabric,包括筆記本和 Spark 作業定義管線活動。 深入了解 數據和管線移轉。
  • 元數據:元數據移轉牽涉到將 Spark 目錄元數據(資料庫、數據表和分割區)從 Azure Synapse 中的現有 Hive MetaStore (HMS) 移至 Fabric Lakehouse。 深入瞭解 HMS 元數據移轉
  • 工作區:用戶可以在 Microsoft Fabric 中建立新的工作區,包括元數據,以移轉現有的 Azure Synapse 工作區。 本指南未涵蓋工作區移轉,假設使用者需要 建立新的工作區 或擁有現有的 Fabric 工作區。 深入瞭解 Fabric 中的工作區角色

顯示移轉案例的螢幕快照。

從 Azure Synapse Spark 轉換至網狀架構 Spark 需要深入瞭解您目前的架構,以及 Azure Synapse Spark 與 Fabric 之間的差異。 第一個重要步驟是評估,然後是建立詳細的移轉計劃。 您可以自定義此計劃,以符合系統的獨特特性、階段相依性和工作負載複雜度。