data_skipping_summary 資料表值函式

適用於:勾選標記為是 Databricks SQL 勾選為 Databricks 執行時間 19 及以上

在 Delta Lake 或管理的 Apache Iceberg 表格中,每個葉子欄位回傳一列。 每一列報告欄位是否符合跳過資料的資格,以及資料表目前快照中包含該欄位最小與最大統計資料的檔案百分比。

這個函式讀取資料表日誌,不會掃描資料檔案。

Requirements

要啟動此功能,您必須擁有 SELECT 桌面上的特權。

Syntax

data_skipping_summary( TABLE ( table_name ) )

Arguments

  • table_name:三部分識別碼,指定表格。

    函式支援以下表格類型:

    • 管理與外部 Delta Lake 表格
    • 管理 Apache Iceberg 表格與啟用 Iceberg 讀取功能的 Delta Lake 表格
    • 串流表
    • 實體化視圖
    • 管理型與外部淺層克隆

    此函式不支援度量視圖、外部資料表或視圖。

Returns

函數回傳以下欄位:

  • column_name STRING NOT NULL:邏輯欄位名稱。 巢狀結構欄位使用虛點路徑,例如 address.street。
  • data_type STRING NOT NULL: Spark SQL 資料型別,格式為 DESCRIBE TABLE。
  • is_partition_column BOOLEAN NOT NULL: true 如果該欄位是資料表分割規範的一部分。
  • is_clustering_column BOOLEAN NOT NULL: true 如果欄位是液體聚類鍵。
  • data_skipping_eligible BOOLEAN NOT NULL: true 如果該表格收集了該欄位跳過統計資料。
  • data_skipping_excluded_reason STRING欄位不符合跳過資料的資格。 價值是欄位 NULL 是否符合資格。 否則,該值為以下之一:
    • IS_PARTITION_COLUMN: 欄位是分割欄位。 分割欄位則使用獨立的資料跳過機制。
    • NOT_IN_INDEXED_COLUMN_SET欄位未設定用於統計資料收集。
    • TYPE_NOT_ELIGIBLE:欄位的資料型別不支援跳過統計資料。
  • stats_coverage_pct DOUBLE:表中快照中包含欄位最小與最大統計量的檔案百分比, 0.0 從 到 100.0。 價值是欄位 NULL 不符合資格時。

MAP 欄位、 ARRAY 欄位和 STRUCT 容器不符合跳過資料統計的資格。 a 中的 STRUCT 葉子會被分別評估。

一 VARIANT 欄以單葉欄形式報告。 只有在收集到跳過統計數據的變體時才符合資格。 這個函式不會列出 VARIANT 子路徑。

Examples

> SELECT * FROM data_skipping_summary(TABLE(my_catalog.my_schema.events));
  column_name  data_type            is_partition_column  is_clustering_column  data_skipping_eligible  data_skipping_excluded_reason  stats_coverage_pct
  -----------  -------------------  -------------------  --------------------  ----------------------  -----------------------------  ------------------
  event_date   date                 true                 false                 false                   IS_PARTITION_COLUMN            null
  event_type   string               false                false                 true                    null                           98.0
  user_agent   string               false                false                 false                   NOT_IN_INDEXED_COLUMN_SET      null
  metadata     map<string,string>   false                false                 false                   TYPE_NOT_ELIGIBLE              null

其他資源