共用方式為

Unity 目錄受控數據表的預測優化

  • 發行項

注意

針對在 2024 年 11 月 11 日之後建立的所有帳戶，Databricks 預設會啟用預測優化。

預測優化不需要在 Azure Databricks 上手動管理 Unity 目錄受控數據表的維護作業。

啟用預測優化后，Azure Databricks 會自動識別受益於維護作業的數據表，併為使用者執行這些數據表。 維護作業只會視需要執行，消除了不必要執行維護作業的情況，並且消除了執行追蹤和疑難排解工作所產生的負擔。

重要

預測性優化只會在 Unity 目錄受控數據表上執行。

預測優化不會在 Databricks SQL 或使用 Delta Live Tables 管線建立的串流數據表或具體化檢視上執行。

預測優化會執行哪些作業？

預測優化會自動針對已啟用的數據表執行下列作業：

作業 描述
OPTIMIZE（1） 觸發已啟用數據表的累加叢集。 請參閱<針對差異資料表使用液態叢集>。

藉由優化檔案大小來改善查詢效能。 請參閱優化資料檔配置。
VACUUM 藉由刪除數據表不再參考的數據檔來降低記憶體成本。 請參閱 使用真空移除未使用的數據檔。
ANALYZE（2） 觸發統計數據的累加式更新，以改善查詢效能。

（1） OPTIMIZE 在預測性優化執行時不會執行 ZORDER 。

（2） 的 ANALYZE 預測優化處於公開預覽狀態。 它包含寫入期間智慧型手機的 stastistics 集合。 使用此 表單 註冊公開預覽版。 在初始公開預覽期間， ANALYZE 命令可以在具有500個數據行或更少數據行的數據表上執行。

警告

命令的 VACUUM 保留時間範圍取決於 delta.deletedFileRetentionDuration 資料表屬性，預設為7天。 這表示 VACUUM 會移除過去 7 天內 Delta 數據表版本不再參考的數據檔。 如果您想要將數據保留更長的時間（例如支援持續時間較長的時間移動），您必須先適當地設定此資料表屬性，才能啟用預測優化，如下列範例所示：

ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');

預測優化在何處執行？

預測優化可識別受益於 ANALYZE、 OPTIMIZE和 作業的 VACUUM 數據表，並將數據表排入佇列，以使用無伺服器計算來執行作業。 您的帳戶會使用 Databricks 受控服務專屬的 SKU 來支付與這些工作負載相關聯的計算費用。 請參閱 Databricks 受控服務的定價。 Azure Databricks 提供系統數據表，以觀察預測優化作業、成本和影響。 請參閱 使用系統數據表來追蹤預測優化。

預測優化的必要條件

您必須滿足下列需求，才能啟用預測優化：

啟用預測性優化

您必須在帳戶層級啟用預測優化。

注意

如果您的帳戶是在 2024 年 11 月 11 日之後建立的，則預設會啟用預測性優化。

您必須具備下列許可權，才能在指定的層級啟用或停用預測優化：

Unity Catalog 物件 權限
客戶​​ 帳戶管理員
目錄 目錄擁有者
結構描述 架構擁有者

注意

當您第一次啟用預測優化時，Azure Databricks 會自動在 Azure Databricks 帳戶中建立服務主體。 Azure Databricks 會使用此服務主體來執行要求的維護作業。 請參閱管理服務主體。

啟用帳戶的預測優化

帳戶管理員必須完成下列步驟，才能啟用帳戶中所有中繼存放區的預測優化：

  1. 存取帳戶主控台。
  2. 流覽至 [設定]，然後流覽至 [功能啟用]。
  3. 選取 [預測性優化] 旁的 [已啟用]。

注意

未啟用不支援預測優化之區域中的中繼存放區。

啟用或停用目錄或架構的預測優化

預測優化會使用繼承模型。 為目錄啟用時，架構會繼承 屬性。 已啟用架構內的數據表會繼承預測優化。 若要覆寫此繼承行為，您可以明確停用目錄或架構的預測優化。

注意

您可以在帳戶層級啟用預測優化之前，先停用類別目錄或架構層級的預測優化。 如果稍後在帳戶上啟用預測優化，則會封鎖這些對象中的數據表。

使用下列語法來啟用或停用預測優化：

ALTER CATALOG [catalog_name] {ENABLE | DISABLE} PREDICTIVE OPTIMIZATION;
ALTER {SCHEMA | DATABASE} schema_name {ENABLE | DISABLE} PREDICTIVE OPTIMIZATION;

檢查是否啟用預測性優化

欄位 Predictive Optimization 是 Unity 目錄屬性，可詳細說明是否已啟用預測性優化。 如果預測優化繼承自父物件，則會在域值中指出。

重要

您必須在帳戶層級啟用預測優化，才能檢視此欄位。

使用下列語法來查看預測優化是否已啟用：

DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name

使用系統數據表來追蹤預測優化

Azure Databricks 提供系統數據表來追蹤預測優化作業的歷程記錄。 請參閱 預測優化系統數據表參考。

如果系統數據表將作業標示為失敗， FAILED: PRIVATE_LINK_SETUP_ERROR您可能尚未正確設定無伺服器計算的私人連結。 請參閱從無伺服器計算設定私人連線能力。

限制

預測性優化在所有區域中都無法使用。 請參閱 Azure Databricks 區域。

預測性優化不會在使用 Z 順序的數據表上執行 OPTIMIZE 命令。

預測優化不會在數據表上執行 VACUUM 作業，且檔案保留時間範圍設定在預設值 7 天以下。 請參閱設定時間移動查詢的資料保留。

預測性優化不會對下表執行維護作業：