NotebookUtils (前 MSSparkUtils) for Fabric

Notebook 公用程式 (NotebookUtils) 是內建套件,可協助您輕鬆地在網狀架構筆記本中執行一般工作。 您可以使用 NotebookUtils 來處理文件系統、取得環境變數、將筆記本鏈結在一起,以及使用秘密。 NotebookUtils 套件可在 PySpark (Python) Scala、SparkR Notebook 和 Fabric 管線中使用。

Note

  • MsSparkUtils 已正式重新命名為 NotebookUtils。 現有程式碼仍向下 相容 ,不會造成任何破壞性的變更。 強烈建議升級到 notebookutils,以確保持續支援並使用新功能。 mssparkutils 命名空間未來將會淘汰。
  • NotebookUtils 設計用於支援 Spark 3.4(執行時 v1.2)及以上版本。 所有新功能與更新皆由 notebookutils 命名空間獨家支援。

NotebookUtils 模組

NotebookUtils 提供以下模組。 選擇模組以查看詳細文件、程式碼範例及最佳實務。

模組 命名空間 說明
檔案系統工具 notebookutils.fs 能處理跨 ADLS Gen2、Azure Blob Storage 和 Lakehouse 儲存的檔案和目錄。 包含複製、移動、讀取、寫入、刪除及清單操作。
檔案掛載與卸載 notebookutils.fs 將遠端儲存(ADLS Gen2)附加到 Spark 節點作為本地掛載點,簡化檔案存取。
筆記本運行與編曲 notebookutils.notebook 將筆記本串聯運行,包括支援 DAG 的平行執行、跨工作區參考及返回值。
筆記本管理 notebookutils.notebook 程式化地建立、取得、更新、刪除及列出筆記本工件。
憑證工具 notebookutils.credentials 取得 Azure 服務的存取權杖,並從 Azure Key Vault 取得秘密。
湖畔住宅設施 notebookutils.lakehouse 以程式化方式建立、取得、更新、刪除及管理 Lakehouse 的項目與資料表。
執行時上下文 notebookutils.runtime 存取會話上下文資訊,包括筆記本名稱、工作區細節及執行上下文。
會話管理 notebookutils.session 停止互動式工作階段並重新啟動 Python 直譯器。
使用者資料功能(UDF)工具 notebookutils.udf 從筆記本中檢索並調用使用者資料函式。
變數函式庫工具 notebookutils.variableLibrary 從變數庫項目存取集中管理的變數與設定。

要了解所有可用模組與方法的概覽,請執行:

notebookutils.help()

要針對特定模組尋求協助,請執行:

notebookutils.fs.help()
notebookutils.notebook.help()
notebookutils.credentials.help()

已知問題

  • 使用高於 1.2 的執行時版本並執行 notebookutils.help(),上述的 fabricClientPBIClient API 尚未支援,但未來版本會提供。