受控磁碟區與外部磁碟區
本文討論受控磁碟區和外部磁碟區之間的差異,以及您選擇使用外部磁碟區的原因。 Databricks 建議受控磁碟區作為儲存和管理非表格式數據存取的最簡單解決方案。
如需使用 Unity 目錄來設定雲端物件記憶體存取權的詳細資訊,請參閱 使用 Unity 目錄連線到雲端物件記憶體和服務。
Managed 和外部磁碟區之間的行為差異
使用 Azure Databricks 工具、UI 和 API 時,受控和外部磁碟區提供幾乎完全相同的體驗。 以下是這些磁碟區類型之間的差異。
受控磁碟區提供完全受控的記憶體體驗。 這表示:
- 與受控磁碟區中檔案的所有互動都必須經過 Unity 目錄。
- 目錄命名和數據配置是由 Unity 目錄所管理。 目錄名稱包含哈希,以避免基礎雲端物件記憶體帳戶發生衝突。
- 當您卸除受控磁碟區時,Azure Databricks 會在 30 天內刪除基礎數據。
外部磁碟區會將數據控管帶入雲端物件記憶體。 這表示:
- 您可以使用 Azure Databricks 或外部系統中的雲端 URI,與外部磁碟區中的檔案互動。
- 在外部磁碟區或上傳的檔案內建立的所有目錄,都會相對於
LOCATION
在建立時指定的 。 - 當您卸除外部磁碟區時,您會從 Unity 目錄移除磁碟區,但基礎數據在外部位置會保持不變。
為什麼要使用外部磁碟區?
外部磁碟區可讓您將 Unity 目錄數據控管新增至現有的雲端物件記憶體目錄。 外部磁碟區的一些使用案例包括:
- 將控管新增至數據檔而不進行移轉。
- 管理其他系統所產生的檔案,這些檔案必須由 Azure Databricks 擷取或存取。
- 控管 Azure Databricks 所產生的數據,這些數據必須直接從其他系統從雲端物件記憶體存取。
Databricks 建議除了 Azure Databricks 之外,還使用外部磁碟區來儲存由外部系統讀取或寫入的非表格式數據檔。 Unity 目錄不會控管直接從外部系統針對雲端物件記憶體執行的讀取和寫入,因此您必須在雲端帳戶中設定其他原則和認證,以確保數據控管原則會受到 Azure Databricks 外部的尊重。