您可以以程式設計方式與儲存在 Azure Databricks 中的工作區檔案互動。 這可以讓您進行下列任務:
- 將小型數據檔與筆記本和程式代碼一起儲存。
- 將記錄檔寫入與 Git 同步的目錄。
- 使用相對路徑匯入模組。
- 建立或修改環境規格檔案。
- 從筆記本撰寫輸出。
- 將執行 Tensorboard 等庫的輸出寫入。
您可以在 Databricks Runtime 11.3 LTS 和更新版本中,以程式設計方式建立、編輯、重新命名和刪除工作區檔案。 Databricks Runtime 16.2 及以上版本的筆記本和無伺服器環境 2 及以上版本都支援此功能。
注意
若要停用寫入工作區檔案,請將叢集環境變數設定為 WSFS_ENABLE_WRITE_SUPPORT=false
。 如需詳細資訊,請參閱 環境變數。
注意
在 Databricks Runtime 14.0 和更新版本中,本機執行之程式代碼的預設目前工作目錄 (CWD) 是包含執行筆記本或腳本的目錄。 這是相較於 Databricks Runtime 13.3 LTS 及更低版本的行為變更。 請參閱 什麼是預設目前工作目錄?。
讀取檔案的位置
使用 Shell 命令來讀取文件的位置,例如,在存放庫或本地文件系統中。
若要判斷檔案的位置,請輸入下列內容:
%sh ls
-
檔案不在存放庫中: 命令會傳回檔案系統
/databricks/driver
。 -
檔案位於存放庫中: 命令會傳回虛擬化存放庫,例如
/Workspace/Repos/name@domain.com/public_repo_2/repos_file_system
。
讀取數據工作區檔案
您可以透過程式化的方式從筆記本中的程式碼中讀取小型數據檔案,例如 .csv
或 .json
檔案。 下列範例使用 Pandas 來查詢相對於專案儲存庫根目錄的 /data
目錄中所儲存的檔案:
import pandas as pd
df = pd.read_csv("./data/winequality-red.csv")
df
您可以使用 Spark 來讀取資料檔。 您必須提供 Spark 的完全限定路徑。
- Git 資料夾中的工作區檔案會使用路徑
file:/Workspace/Repos/<user-folder>/<repo-name>/path/to/file
。 - 個人目錄中的工作區檔案會使用路徑:
file:/Workspace/Users/<user-folder>/path/to/file
。
您可以從檔案旁邊的下拉選單,將絕對路徑或相對路徑複製到檔案:
下列範例顯示使用 {os.getcwd()}
取得完整路徑。
import os
spark.read.format("csv").load(f"file:{os.getcwd()}/my_data.csv")
若要深入瞭解 Azure Databricks 的檔案,請參閱 在 Azure Databricks 上處理檔案。
以程式設計方式建立、更新和刪除檔案和目錄
您可以以程式方式操作 Azure Databricks 中的工作區檔案,就像在任何標準檔案系統中操作檔案一樣。
注意
在 Databricks Runtime 16.2 版本及以上,以及無伺服器環境 2 版本及以上中,所有與檔案的程式化互動也適用於筆記本。 如需將檔案轉換成筆記本的相關信息,請參閱 將檔案轉換成筆記本。
下列範例使用標準 Python 套件和功能來建立及操作檔案和目錄。
import os
# Create a new directory
os.mkdir('dir1')
# Create a new file and write to it
with open('dir1/new_file.txt', "w") as f:
f.write("new content")
# Append to a file
with open('dir1/new_file.txt', "a") as f:
f.write(" continued")
# Delete a file
os.remove('dir1/new_file.txt')
# Delete a directory
os.rmdir('dir1')
import shutil
# Copy a dashboard
shutil.copy("my-dashboard.lvdash.json", "my-dashboard-copy.lvdash.json")
# Move a query to a shared folder
shutil.move("test-query.dbquery","shared-queries/")