分享方式：

將 Azure Data Lake Analytics 移轉至 Azure Synapse Analytics

  • 文章

Azure Data Lake Analytics 將於 2024 年 2 月 29 日淘汰。 使用此公告深入瞭解。

如果您已經使用 Azure Data Lake Analytics，您可以建立移轉計劃，以 Azure Synapse 適用於貴組織的 Analytics。

Microsoft 推出 Azure Synapse Analytics，旨在將 Data Lake 和數據倉儲結合在一起，以取得獨特的巨量數據分析體驗。 其可協助您收集和分析數據，以解決數據效率不佳，並協助小組共同作業。 此外，Synapse 與 Azure Machine Learning、Power BI 的整合則提供完善功能，可讓組織取得其資料的深入解析，並對其所有智慧型應用程式執行機器學習。

本文件說明如何從 Azure Data Lake Analytics 移轉至 Azure Synapse Analytics。

  • 步驟 1：評估整備程度
  • 步驟 2：準備遷移
  • 步驟 3：移轉資料和應用程式工作負載
  • 步驟 4：將 Azure Data Lake Analytics 完整移轉至 Azure Synapse Analytics

步驟 1：評估整備程度

  1. 請參閱 Azure Synapse Analytics 上的 Apache Spark，並瞭解 Azure Data Lake Analytics 和 Azure Synapse Analytics 上的 Spark 主要差異。

    項目 Azure Data Lake Analytics Synapse 上的 Spark
    定價 每小時每個分析單位 每小時每個 vCore
    引擎 Azure Data Lake Analytics Apache Spark
    預設程式設計語言 U-SQL T-SQL、Python、Scala、Spark SQL 和 .NET
    資料來源 Azure Data Lake 儲存體 Azure Blob 儲存體、Azure Data Lake Storage

  2. 請檢閱移轉評估問卷，並列出考量的可能風險。

步驟 2：準備遷移

  1. 識別您要移轉的作業和資料。

    • 請利用這個機會清除您不再使用的作業。 除非您打算一次移轉所有作業，否則請於此時找出可在階段中移轉的邏輯作業群組。
    • 評估資料的大小，並瞭解 Apache Spark 資料格式。 檢閱您的 U-SQL 指令碼、評估指令碼的重寫作業量，並瞭解 Apache Spark 程式碼概念。

  2. 判斷移轉對您的業務有何影響。 例如，您在移轉執行期間是否可承受任何停機情形。

  3. 建立移轉計畫。

步驟 3：移轉資料和應用程式工作負載

  1. 將您的資料從 Azure Data Lake Storage Gen1 移轉到 Azure Data Lake Storage Gen2。

    Azure Data Lake Storage Gen1 將於 2024 年 2 月淘汰，詳情請參閱官方公告。 建議您先將資料移轉至 Gen2。 請參閱瞭解適用於 Azure Data Lake Analytics U-SQL 開發人員的 Apache Spark 資料格式，並移動在 U-SQL 資料表中儲存的檔案和資料，讓您可在 Azure Synapse Analytics 中繼續存取。 如需移轉指南的詳細資訊，請參閱此處。

  2. 將 U-SQL 指令碼轉換為 Spark。 請參閱瞭解適用於 Azure Data Lake Analytics U-SQL 開發人員的 Apache Spark 程式碼概念，將您的 U-SQL 指令碼轉換為 Spark。

  3. 將作業協調流程管線轉換 (或重新建立) 為新的 Spark 程式。

步驟 4：將 Azure Data Lake Analytics 完全移轉至 Azure Synapse Analytics

在您確信應用程式和工作負載可穩定執行後，您就可以開始使用 Azure Synapse Analytics 以因應商業需求。 關閉在 Azure Data Lake Analytics 上執行的任何其餘管線，並淘汰您的 Azure Data Lake Analytics 帳戶。

移轉評估問卷

類別 問題 參考
評估移轉的大小 請問您有多少 Azure Data Lake Analytics 帳戶？ 有多少管線正在使用中？ 有多少 U-SQL 指令碼正在使用中？ 要移轉的資料和指令碼越多，用於指令碼的 UDO/UDF 越多，都會讓系統更難進行移轉。 移轉所需的時間和資源，必須根據專案的規模進行妥善規劃。
資料來源 資料來源的大小為何？ 要處理何種資料格式？ 瞭解適用於 Apache Data Lake Analytics U-SQL 開發人員的 Azure Spark 資料格式
資料輸出 您要保留輸出資料以供稍後使用嗎？ 如果輸出資料儲存在 U-SQL 資料表中，該如何處理？ 如果輸出資料經常使用，並儲存在 U-SQL 資料表中，您需要變更指令碼，並將輸出資料變更為 Spark 支援的資料格式。
資料移轉 您是否已制定儲存體移轉計劃？ 將 Azure Data Lake Storage 從 Gen1 遷移至 Gen2
U-SQL 指令碼轉換 您是否使用 UDO/UDF (.NET、Python 等)？如果答案為是，請問您在 UDO/UDF 中使用哪一種語言，以及是否在轉換期間遇到任何轉換問題？您是否在 U-SQL 中使用同盟查詢？ 瞭解適用於 Apache Data Lake Analytics U-SQL 開發人員的 Azure Spark 程式碼概念

後續步驟