tablo-değerli fonksiyon data_skipping_summary

Geçerlidir:işaretli evet, Databricks SQL işaretli evet, Databricks Runtime 19 ve üzeri

Delta Lake veya yönetilen Apache Iceberg tablosunda her yaprak sütunu için bir satır döndürür. Her satır, sütunun veri atlama için uygun olup olmadığını ve tablonun mevcut anlık görüntüsündeki dosyaların minimum ve maksimum istatistikleri içeren yüzdesini bildirir.

Bu fonksiyon tablo günlüğünü okur ve veri dosyalarını taramaz.

Requirements

Bu işlevi çağırmak için masada ayrıcalığa SELECT sahip olmanız gerekir.

Syntax

data_skipping_summary( TABLE ( table_name ) )

Arguments

  • table_name: Tabloyu belirten üç bölümlü bir tanımlayıcı.

    Fonksiyon aşağıdaki tablo türlerini destekler:

    • Yönetilen ve harici Delta Lake tabloları
    • Yönetilen Apache Iceberg tabloları ve Delta Lake tabloları Iceberg okumaları etkinleştirilmiş durumda
    • Akış tabloları
    • maddeselleştirilmiş görünümler
    • Yönetilen ve harici sığ klonlar

    Bu fonksiyon metrik görünümleri, yabancı tabloları veya görünümleri desteklemez.

Returns

Fonksiyon aşağıdaki sütunları döndürür:

  • column_name STRING NOT NULL: Mantıksal sütun adı. İçiçe yapı alanları noktalı yollar kullanır, örneğin address.street.
  • data_type STRING NOT NULL: Spark SQL veri tipi, biçimlendirilmiştir DESCRIBE TABLE.
  • is_partition_column BOOLEAN NOT NULL: true eğer sütun tablonun bölüm spesifikasyonunun bir parçasıysa.
  • is_clustering_column BOOLEAN NOT NULL: true sütun sıvı kümeleme anahtarı ise.
  • data_skipping_eligible BOOLEAN NOT NULL: true tablo sütun için veri atlama istatistiklerini toplarsa.
  • data_skipping_excluded_reason STRING: Bir sütunun veri atlama için uygun olmamasının nedeni. Değer NULL , sütunun uygun olduğu zamandır. Aksi takdirde, değer aşağıdakilerden biridir:
    • IS_PARTITION_COLUMN: Sütun bir bölme sütunudur. Bölüm sütunları ayrı bir veri atlama mekanizması kullanır.
    • NOT_IN_INDEXED_COLUMN_SET: Sütun istatistik toplama için yapılandırılmamıştır.
    • TYPE_NOT_ELIGIBLE: Sütunun veri tipi, veri atlama istatistiklerini desteklemez.
  • stats_coverage_pct DOUBLE: Tablonun mevcut anlık görüntüsünde, sütun için minimum ve maksimum istatistikleri içeren dosyaların yüzdesi, ' 0.0 den 'a 100.0kadar. Değer, NULL sütunun uygun olmadığı zamandır.

MAP Sütunlar, ARRAY sütunlar ve STRUCT konteynerler veri atlama istatistiklerine uygun değildir. A STRUCT içindeki yapraklar ayrı ayrı değerlendirilir.

Bir VARIANT sütun, bir yaprak sütunu olarak bildirilir. Sadece varyant veri atlama istatistikleri toplandığında uygun olabilir. Fonksiyon alt yolları listelemez VARIANT .

Examples

> SELECT * FROM data_skipping_summary(TABLE(my_catalog.my_schema.events));
  column_name  data_type            is_partition_column  is_clustering_column  data_skipping_eligible  data_skipping_excluded_reason  stats_coverage_pct
  -----------  -------------------  -------------------  --------------------  ----------------------  -----------------------------  ------------------
  event_date   date                 true                 false                 false                   IS_PARTITION_COLUMN            null
  event_type   string               false                false                 true                    null                           98.0
  user_agent   string               false                false                 false                   NOT_IN_INDEXED_COLUMN_SET      null
  metadata     map<string,string>   false                false                 false                   TYPE_NOT_ELIGIBLE              null

Ek kaynaklar

  • Son güncelleştirme: