在 Microsoft Fabric 中執行 Notebook 筆記本時,會啟動 Apache Spark 工作階段,以用來執行提交的查詢,這些查詢是筆記本資料格執行的一部分。 啟用高並行模式時,不需要每次執行 notebook 時啟動新的 Spark 工作階段。
如果您已經執行了高並行會話,可以將筆記本連接到該會話,立即獲取 Spark 會話來執行查詢,從而實現更高的會話使用率。
注意
基於高並行模式的會話共用一律限於在單一使用者邊界內。 要共用單一 Spark 工作階段,筆記本必須具有匹配的 Spark 組態,並應該屬於同一個工作區,以及共用相同的預設 Lakehouse 和程式庫。
會話共享條件
若要讓筆記本文件共用單一 Spark 工作階段,則這些筆記本文件必須:
- 由同一使用者執行。
- 擁有相同的預設 Lakehouse。 不具有預設資料湖倉的筆記本可以與其他沒有預設資料湖倉的筆記本共用工作階段。
- 具有相同的 Spark 計算組態。
- 擁有相同的程式庫函式包。 您可以將不同的程式庫內嵌安裝作為筆記本儲存格的一部分,並且仍能與具有不同程式庫相依性的筆記本共享工作階段。
設定高並行模式
根據預設,所有網狀架構工作區都會以高並行模式啟用。 請按照下列步驟來設定高並行功能:
按一下您的 Fabric 工作區中的 [工作區設定] 選項。
瀏覽至 Data Engineering/Science 區段。>Spark 設定>高並行。
在 [高並發] 區段中,啟用 [用於筆記本的設定]。 您可以從此窗格選擇 啟用 或 停用 此設定。
啟用高並行選項可讓使用者在其筆記本中啟動高並行工作階段,或連結至現有的高並行工作階段。
停用高並行模式會隱藏設定非使用狀態時段的區段,也會隱藏從筆記本功能表啟動新的高並行工作階段的選項。
在高並發工作階段中執行筆記本
開啟 Fabric 工作區。
建立筆記本或開啟現有的筆記本。
流覽至功能區中的 [執行] 索引標籤,然後選取 工作話類型 下拉式清單,[標準] 選取為預設選項。
選取 [新增高並行工作階段]。
啟動高並行工作階段之後,您現在可以在高並行工作階段中新增最多 5 個筆記本。
建立新的筆記本,並流覽至 上述步驟中所述的 [執行 ] 功能表,在下拉功能表中,您現在會看到新建立的高並行會話列出。
選取現有的高並行工作階段會將第二個筆記本連結至該工作階段。
連結筆記本之後,您可以立即開始執行筆記本步驟。
高並行會話狀態也會顯示隨時附加至某個會話的筆記本數量。
如果您覺得附加到高併發會話的筆記本需要更多專用計算資源,可以選擇將筆記本切換至標準會話,方法是在 [執行] 功能表選項卡中,選擇將筆記本與高併發斷開連結。
您可以在 狀態欄中查看會話狀態、類型和識別碼,。 選取 工作話標識碼,以探索在這個高並行會話中執行的作業,並在監視詳細數據頁面上檢視 Spark 會話的記錄。
您也可以為管線中的筆記本設定高並行模式,並使用 會話標籤來群組共享會話。
監視和偵錯在高並行工作階段中執行的筆記本
在共用工作階段中執行多個筆記本時,監視和偵錯往往是一項複雜的任務。 在 Fabric 的高並行模式中,提供了日誌分離功能,允許使用者追蹤由不同筆記本中的 Spark 事件發出的日誌。
當工作階段處於進行中或已完成狀態時,您可以流覽至 [執行] 功能表並選取 [所有執行] 選項,以檢視工作階段狀態
此動作會開啟筆記本的執行歷程記錄,顯示目前作用中的 Spark 工作階段以及歷史工作階段的清單。
用戶可以選取工作階段來存取監視詳細資料檢視,其中顯示了已在工作階段中執行的所有 Spark 作業的清單。
在高並行工作階段情況下,使用者可以使用 [相關筆記本] 索引標籤來識別不同的筆記本中的作業及其相關聯的記錄。該索引標籤會顯示執行該作業所在的筆記本。
相關內容
在本文中,您將基本了解如何在筆記型電腦中透過高並行模式進行工作階段共用。 請繼續閱讀下一篇文章,了解如何使用 Lakehouse 和 Notebooks 建立並開始體驗資料工程:
- 若要開始使用 Lakehouse,請參閱 在 Microsoft Fabric中建立 Lakehouse。
- 若要開始使用筆記本,請參閱 如何使用 Microsoft Fabric 筆記本。