Notebook 公用程式 (NotebookUtils) 是內建套件,可協助您輕鬆地在網狀架構筆記本中執行一般工作。 您可以使用 NotebookUtils 來處理文件系統、取得環境變數、將筆記本鏈結在一起,以及使用秘密。 NotebookUtils 套件可在 PySpark (Python) Scala、SparkR Notebook 和 Fabric 管線中使用。
Note
- MsSparkUtils 已正式重新命名為 NotebookUtils。 現有程式碼仍向下 相容 ,不會造成任何破壞性的變更。 強烈建議升級到 notebookutils,以確保持續支援並使用新功能。 mssparkutils 命名空間未來將會淘汰。
- NotebookUtils 設計用於支援 Spark 3.4(執行時 v1.2)及以上版本。 所有新功能與更新皆由 notebookutils 命名空間獨家支援。
NotebookUtils 模組
NotebookUtils 提供以下模組。 選擇模組以查看詳細文件、程式碼範例及最佳實務。
| 模組 | 命名空間 | 說明 |
|---|---|---|
| 檔案系統工具 | notebookutils.fs |
能處理跨 ADLS Gen2、Azure Blob Storage 和 Lakehouse 儲存的檔案和目錄。 包含複製、移動、讀取、寫入、刪除及清單操作。 |
| 檔案掛載與卸載 | notebookutils.fs |
將遠端儲存(ADLS Gen2)附加到 Spark 節點作為本地掛載點,簡化檔案存取。 |
| 筆記本運行與編曲 | notebookutils.notebook |
將筆記本串聯運行,包括支援 DAG 的平行執行、跨工作區參考及返回值。 |
| 筆記本管理 | notebookutils.notebook |
程式化地建立、取得、更新、刪除及列出筆記本工件。 |
| 憑證工具 | notebookutils.credentials |
取得 Azure 服務的存取權杖,並從 Azure Key Vault 取得秘密。 |
| 湖畔住宅設施 | notebookutils.lakehouse |
以程式化方式建立、取得、更新、刪除及管理 Lakehouse 的項目與資料表。 |
| 執行時上下文 | notebookutils.runtime |
存取會話上下文資訊,包括筆記本名稱、工作區細節及執行上下文。 |
| 會話管理 | notebookutils.session |
停止互動式工作階段並重新啟動 Python 直譯器。 |
| 使用者資料功能(UDF)工具 | notebookutils.udf |
從筆記本中檢索並調用使用者資料函式。 |
| 變數函式庫工具 | notebookutils.variableLibrary |
從變數庫項目存取集中管理的變數與設定。 |
要了解所有可用模組與方法的概覽,請執行:
notebookutils.help()
要針對特定模組尋求協助,請執行:
notebookutils.fs.help()
notebookutils.notebook.help()
notebookutils.credentials.help()
已知問題
- 使用高於 1.2 的執行時版本並執行
notebookutils.help(),上述的 fabricClient 和 PBIClient API 尚未支援,但未來版本會提供。