本頁說明 Azure Databricks 的預設儲存如何運作,以及如何建立使用該儲存裝置的目錄與資料物件。
什麼是預設儲存體?
預設儲存是一個完全管理的物件儲存平台,能在你的 Azure Databricks 帳號中提供隨時可用的儲存空間。 部分 Azure Databricks 功能將預設儲存作為外部儲存的替代方案。
無伺服器工作區使用預設儲存作為內部與工作區儲存,以及與工作區建立的預設目錄。 在無伺服器工作空間中,你可以在預設儲存或自己的 雲端物件儲存中建立額外的目錄。
在經典工作區和無伺服器工作區中,功能會使用預設儲存來儲存控制平面元資料、衍生資料、模型及其他工件。 例如, 潔淨室、 資料分類、 異常偵測、 知識助理、 無伺服器筆記本的自動會話還原,以及 OpenSharing 外文書共享 ,皆使用工作空間的預設儲存。 請參閱個別功能文件,了解每個功能在預設儲存中儲存的內容。
備註
關於監控帳戶預設儲存費用的資訊,請參見 「監控預設儲存成本」。
需求
- 在預設儲存上建立目錄的功能,僅在 無伺服器工作區中可用。
- 根據預設,只能從建立預設記憶體的工作區存取使用預設記憶體的目錄。 你可以授權其他工作區存取權,包括經典工作區,但它們必須使用無伺服器運算來存取目錄中的資料。 請參見 工作區與目錄的綁定。
- 您必須具有
CREATE CATALOG許可權,才能建立具有預設記憶體的目錄。 請參閱 Unity 目錄權限參考。 - 如果您的客戶端使用 Azure Databricks ODBC 驅動程式從防火牆後方存取預設儲存目錄,您必須設定防火牆允許存取 Azure Databricks 區域儲存閘道。 關於預設儲存的 IP 與網域名稱細節,請參見 Azure Databricks 服務與資產的 IP 位址與網域。
建立新目錄
完成下列步驟,以使用預設記憶體建立新的目錄:
- 按一下
在側邊欄中點擊目錄。 [Catalog Explorer] 出現。
- 點選 「建立目錄」。 [ 建立新的目錄 ] 對話框隨即出現。
- 提供您帳戶中唯一的 目錄名稱 。
- 選取 [ 使用預設儲存體] 選項。
- 點擊 建立。
在無伺服器工作區中,您也可以使用下列 SQL 命令,在預設儲存體中建立新的目錄。 您不需要指定型錄的位置。
CREATE CATALOG [ IF NOT EXISTS ] catalog_name
[ COMMENT comment ]
使用預設記憶體
所有與預設記憶體的互動都需要無伺服器且已啟用 Unity 目錄的計算。
預設儲存體所支援的資源會使用與 Unity 目錄中其他物件相同的許可權模型。 您必須具有足夠的權限才能建立、檢視、查詢或修改資料物件。 請參閱 Unity 目錄權限參考。
您可以通過建立受預設儲存支援的管理資料表和管理磁碟區並與其互動,來使用預設儲存功能。 請參閱 適用於 Delta Lake 與 Apache Iceberg 的 Unity Catalog 受管資料表以及什麼是 Unity Catalog 磁碟區?。
您可以使用目錄總管、筆記本、SQL 編輯器和儀錶板,與儲存在預設記憶體中的數據物件互動。
範例作業
以下是您可以使用預設儲存體完成的工作範例:
- 將本機檔案上傳至受管理磁碟區,或建立受管理資料表。 請參閱「 在 Unity 目錄卷中處理檔案 」,並 使用檔案上傳建立或修改資料表。
- 使用筆記本查詢資料。 請參閱 教學課程:查詢和視覺化筆記本中的資料。
- 建立儀錶板。 請參閱 建立儀錶板。
- 使用 SQL 查詢數據並排程 SQL 查詢。 請參閱 在新的SQL編輯器中撰寫查詢並探索數據。
- 將數據從外部磁碟區擷取至受管理的數據表。 請參閱 使用 Auto Loader 搭配 Unity Catalog。
- 使用 Fivetran 將數據內嵌至受控數據表。 請參閱 連線到 Fivetran。
- 使用 BI 工具來探索受控數據表。 請參閱 Tableau 與 Azure Databricks 連線 和 Power BI 與 Azure Databricks 連線。
- 執行無伺服器筆記本程式。 請參閱筆記本的無伺服器計算。
- 執行無伺服器作業。 請參閱 使用適用於工作流程的無伺服器計算執行 Lakeflow 作業。
- 執行服務端點的模型。 請參見 使用模型服務部署模型。
- 運行無伺服器的 Lakeflow 管線。 請參閱 設定無伺服器管線。
- 在您的數據表上使用預測優化。 請參閱 Unity Catalog 管理資料表的預測性優化。
丟棄物件後的儲存生命週期
當你刪除使用預設儲存的受管理資料表或卷時,資料檔案會被保留,以便有 7 天的復原時間。 復原視窗結束後,資料檔案會在 48 小時內永久刪除(清除)。 儲存費用會在復原期間內持續計費,並在復原期間結束後停止計費。 關於資料檔案生命週期、計費與復原選項的詳細資訊,請參閱 Unity 目錄中的物件儲存生命週期。
局限性
適用下列限制:
- 傳統計算(任何非無伺服器計算)都無法與預設記憶體中的數據資產互動。
- OpenSharing 支援將資料表分享給任何接收者(Open 或 Azure Databricks),接收者可使用經典運算存取共享資料表。
- 下列區域不支援此功能:
southcentralus、uksouth和westus2。
- 其他所有可分享資產只能在同一雲端與 Azure Databricks 接收者開放共享。 收件者必須使用無伺服器運算。
- 下列區域不支援此功能:
- 啟用分割區的資料表無法被開放共享。
- 使用預設儲存的資產無法開放給外部 Iceberg 客戶端。
- 外部 Iceberg 與 Delta 用戶端無法直接存取預設儲存空間中 UC 表格的底層元資料、清單清單及資料檔案(不支援 FileIO 存取)。 然而,像 Power BI 和 Tableau 這類 BI 工具可以使用 ODBC 和 JDBC 驅動程式存取預設儲存空間的 Unity 目錄資料表。 外部用戶端也可以透過檔案 API 存取預設儲存的 Unity 目錄卷。
- 預設儲存支援透過 Azure Databricks ODBC 與 JDBC 驅動程式進行外部存取,包括 ODBC 驅動程式的 雲端擷取 效能優化功能,以查詢較大資料集。 然而,如果你從已啟用前端 Private Link 的工作區存取預設儲存資料表,則當 ODBC 用戶端查詢傳回的結果大於約 5 MiB 時,查詢將會失敗,因為適用於預設儲存資料表的 Cloud Fetch 最佳化目前不支援前端 Private Link。
- 不支援憑證發放,例如當外部系統連接 Unity REST API 或 Iceberg REST 目錄時。 如需外部系統存取,請參閱 Unity 目錄憑證發放。