為管線中的 Fabric 筆記本設定高並發模式(預覽)
當您在管線內執行筆記本步驟時,會啟動 Apache Spark 工作階段,並用於執行從筆記本提交的查詢。 當您啟用管線的高並行模式時,您的筆記會自動整合到現有的spark會話中。
這可讓您在單一使用者範圍內,跨所有筆記本進行會話共享功能。 系統會自動打包現有高並發會話中的所有筆記本。
注意
具有高併行模式的會話共用一律在單一使用者界限內。 若要共用單一 Spark 會話,筆記本必須具有相符的 Spark 組態,它們應該是相同工作區的一部分,並共用相同的預設 Lakehouse 和連結庫。
若要讓筆記本共用單一 Spark 工作階段,則筆記本必須:
- 由同一使用者執行。
- 擁有相同的預設 Lakehouse。 不具有預設資料湖倉的筆記本可以與其他沒有預設資料湖倉的筆記本共用工作階段。
- 具有相同的 Spark 計算組態。
- 擁有相同的程式庫套件。 可以將不同的內嵌函式庫安裝為筆記本儲存格的一部分,並且仍然可以與具有不同函式庫相依性的筆記本共享會話。
網狀架構工作區管理員可以使用工作區設定來啟用管線的高並行模式。 請按照下列步驟來設定高並行功能:
在您的 Fabric 工作區中選取 [工作區設定] 選項。
前往 數據工程/科學 區段,進入 >Spark 設定>高並發。
在 高並行 區段中,啟用 執行多個筆記本的設定 的管線。
啟用高並行選項可讓由管道觸發的所有筆記本會話視為高並行會話。
系統會自動將連入筆記本會話封裝到作用中高並行會話。 如果沒有作用中的高並行會話,則會建立新的高並行會話,而提交的並行筆記本會封裝到新的會話。
前往工作區,選取 [新增項目] 按鈕
,然後建立新的 數據管線 。流覽至功能區中的 [ 活動] 索引標籤,然後新增 Notebook 活動。
從 [ 進階設定] 中,指定 會話標籤 屬性的任何字串值。
新增會話標籤之後,筆記本共用會使用此標籤作為比對準則,將所有具有相同會話標籤的筆記本系結在一起。
注意
為了優化效能,單一高並行會話最多可以跨 5 個相同會話標籤識別的筆記本共享資源。 當超過 5 個筆記本以相同標籤提交時,系統會自動建立新的高並發會話來承載後續的筆記本步驟。 這能夠將工作負載分散到多個會話,以有效率地實現負載平衡和調整。
當多個筆記本在共用會話內執行時,監視和偵錯可能會很困難。 在高併發模式中,會提供日誌分離,讓您能夠從每個筆記本的Spark事件中追蹤日誌。
當工作階段處於進行中或已完成狀態時,您可以流覽至 [執行] 功能表,然後選取 [所有執行] 選項,以檢視工作階段狀態。
這會開啟筆記本的運行歷史記錄,其中包含目前活動中及過去的 Spark 會話清單。
藉由選取工作階段,您可以存取監視詳細資料檢視,以顯示在該工作階段內執行的所有 Spark 作業清單。
針對高並行會話,您可以使用 [相關筆記本] 索引卷標,從不同的筆記本識別作業及其相關聯的記錄,其中會顯示執行該作業的筆記本。
- 若要深入瞭解 Microsoft Fabric 中的高並行模式,請參閱在 Apache Spark for Fabric中
高並行模式。 - 若要開始使用筆記本的高並發模式,請參閱 設定 Fabric 筆記本的高並發模式。