將 Spark 集區從 Azure Synapse 遷移至 Fabric

雖然 Azure Synapse 提供 Spark 集區，但 Fabric 提供 入門集 區和 自定義集區。 如果您的單一集區沒有 Azure Synapse 中的自定義組態或連結庫，且 中型節點大小 符合您的需求，則入門集區是不錯的選擇。 不過，如果您使用Spark集區組態尋求更多彈性，建議您使用 自定義集區。 這有兩個選項：

• 選項 1：將您的 Spark 集區移至工作區的預設集區。
• 選項 2：將 Spark 集區移至 Fabric 中的自定義環境。

如果您有多個 Spark 集區，且打算將這些集區移至相同的 Fabric 工作區，建議您使用選項 2 建立多個自定義環境和集區。

如需Spark集區考慮，請參閱 Azure Synapse Spark 與 Fabric 之間的差異。

必要條件

如果您還沒有網狀架構工作區，請在租用戶中建立 Fabric 工作區。

選項 1：從 Spark 集區到工作區的預設集區

您可以從 Fabric 工作區建立自定義 Spark 集區，並將其作為工作區中的預設集區。 默認集區會由相同工作區中的所有筆記本和 Spark 作業定義使用。

若要從現有的 Spark 集區從 Azure Synapse 移至工作區預設集區：

1. 存取 Azure Synapse 工作區：登入 Azure。 流覽至您的 Azure Synapse 工作區，移至分析集 區，然後選取Apache Spark 集區。
2. 找出 Spark 集區：從 Apache Spark 集區，找出您想要移至 Fabric 的 Spark 集區，並檢查集區屬性。
3. 取得屬性：取得 Spark 集區屬性，例如 Apache Spark 版本、節點大小系列、節點大小或自動調整。 請參閱 Spark 集區考慮，以查看任何差異。
4. 在 Fabric 中建立自定義 Spark 集區：
   • 移至您的 網狀架構 工作區，然後選取 工作區設定。
   • 移至資料工程師/科學，然後選取Spark 設定。
   • 從集區 索引標籤和工作區的預設集區 區段中，展開下拉功能表，然後選取建立新的集區。
   • 使用對應的目標值建立您的自定義集區。 填入名稱、節點系列、節點大小、自動調整和動態執行程式配置選項。
5. 選取執行階段版本：
   • 移至 環境 索引標籤，然後選取必要的執行階段版本。 請參閱這裡的可用執行階段。
   • 停用 設定預設環境 選項。

注意

在此選項中，不支援集區層級連結庫或組態。 不過，您可以調整個別項目的計算組態，例如筆記本和 Spark 作業定義，以及新增內嵌連結庫。 如果您需要將自定義連結庫和組態新增至環境，請考慮自定義 環境。

選項 2：從 Spark 集區到自定義環境

透過自定義環境，您可以設定自定義 Spark 屬性和連結庫。 建立自訂環境：

1. 存取 Azure Synapse 工作區：登入 Azure。 流覽至您的 Azure Synapse 工作區，移至分析集 區，然後選取Apache Spark 集區。
2. 找出 Spark 集區：從 Apache Spark 集區，找出您想要移至 Fabric 的 Spark 集區，並檢查集區屬性。
3. 取得屬性：取得 Spark 集區屬性，例如 Apache Spark 版本、節點大小系列、節點大小或自動調整。 請參閱 Spark 集區考慮，以查看任何差異。
4. 建立自訂 Spark 集區：
   • 移至您的 網狀架構 工作區，然後選取 工作區設定。
   • 移至資料工程師/科學，然後選取Spark 設定。
   • 從集區 索引標籤和工作區的預設集區 區段中，展開下拉功能表，然後選取建立新的集區。
   • 使用對應的目標值建立您的自定義集區。 填入名稱、節點系列、節點大小、自動調整和動態執行程式配置選項。
5. 如果您沒有環境項目，請建立環境 項目。
6. 設定 Spark 計算：
   • 在環境 中，移至Spark 計算計算>。
   • 選取新環境的新建立集區。
   • 您可以設定驅動程式和執行程式核心和儲存體。
7. 選取環境的執行階段版本。 請參閱這裡的可用執行階段。
8. 按兩下 儲存 併 發佈 變更。

瞭解有關建立和使用環境的更多資訊。

相關內容

• 移轉 Spark 組態
• 移轉 Spark 連結庫