適用於:
Databricks SQL
執行時間 19 及以上
在 Delta Lake 或管理的 Apache Iceberg 表格中,每個葉子欄位回傳一列。 每一列報告欄位是否符合跳過資料的資格,以及資料表目前快照中包含該欄位最小與最大統計資料的檔案百分比。
這個函式讀取資料表日誌,不會掃描資料檔案。
Requirements
要啟動此功能,您必須擁有 SELECT 桌面上的特權。
Syntax
data_skipping_summary( TABLE ( table_name ) )
Arguments
table_name:三部分識別碼,指定表格。
函式支援以下表格類型:
- 管理與外部 Delta Lake 表格
- 管理 Apache Iceberg 表格與啟用 Iceberg 讀取功能的 Delta Lake 表格
- 串流表
- 實體化視圖
- 管理型與外部淺層克隆
此函式不支援度量視圖、外部資料表或視圖。
Returns
函數回傳以下欄位:
-
column_name STRING NOT NULL:邏輯欄位名稱。 巢狀結構欄位使用虛點路徑,例如address.street。 -
data_type STRING NOT NULL: Spark SQL 資料型別,格式為DESCRIBE TABLE。 -
is_partition_column BOOLEAN NOT NULL:true如果該欄位是資料表分割規範的一部分。 -
is_clustering_column BOOLEAN NOT NULL:true如果欄位是液體聚類鍵。 -
data_skipping_eligible BOOLEAN NOT NULL:true如果該表格收集了該欄位跳過統計資料。 -
data_skipping_excluded_reason STRING欄位不符合跳過資料的資格。 價值是欄位NULL是否符合資格。 否則,該值為以下之一:-
IS_PARTITION_COLUMN: 欄位是分割欄位。 分割欄位則使用獨立的資料跳過機制。 -
NOT_IN_INDEXED_COLUMN_SET欄位未設定用於統計資料收集。 -
TYPE_NOT_ELIGIBLE:欄位的資料型別不支援跳過統計資料。
-
-
stats_coverage_pct DOUBLE:表中快照中包含欄位最小與最大統計量的檔案百分比,0.0從 到100.0。 價值是欄位NULL不符合資格時。
MAP 欄位、 ARRAY 欄位和 STRUCT 容器不符合跳過資料統計的資格。 a 中的 STRUCT 葉子會被分別評估。
一 VARIANT 欄以單葉欄形式報告。 只有在收集到跳過統計數據的變體時才符合資格。 這個函式不會列出 VARIANT 子路徑。
Examples
> SELECT * FROM data_skipping_summary(TABLE(my_catalog.my_schema.events));
column_name data_type is_partition_column is_clustering_column data_skipping_eligible data_skipping_excluded_reason stats_coverage_pct
----------- ------------------- ------------------- -------------------- ---------------------- ----------------------------- ------------------
event_date date true false false IS_PARTITION_COLUMN null
event_type string false false true null 98.0
user_agent string false false false NOT_IN_INDEXED_COLUMN_SET null
metadata map<string,string> false false false TYPE_NOT_ELIGIBLE null