設定差異記憶體認證
注意
若要設定差異記憶體認證,請參閱 設定 Azure Databricks 雲端物件記憶體的存取權。 Databricks 不再建議透過 DataFrame 選項傳遞記憶體認證,如本文所述。
Azure Databricks 會將 Delta Lake 數據表的數據儲存在雲端物件記憶體中。 設定雲端物件記憶體的存取權需要雲端帳戶內包含記憶體帳戶的許可權。
將記憶體認證傳遞為 DataFrame 選項
Delta Lake 支援將記憶體認證指定為 DataFrameReader 和 DataFrameWriter 的選項。 如果您需要與受不同存取密鑰控管的數個記憶體帳戶中的數據互動,您可以使用此專案。
注意
這項功能適用於 Databricks Runtime 10.4 LTS 和更新版本。
例如,您可以透過 DataFrame 選項傳遞記憶體認證:
Python
df1 = spark.read \
.option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-1>") \
.read("...")
df2 = spark.read \
.option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-2>") \
.read("...")
df1.union(df2).write \
.mode("overwrite") \
.option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-3>") \
.save("...")
Scala
val df1 = spark.read
.option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-1>")
.read("...")
val df2 = spark.read
.option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-2>")
.read("...")
df1.union(df2).write
.mode("overwrite")
.option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-3>")
.save("...")