tablo-değerli fonksiyon cloud_files_state

Şunlar için geçerlidir:onay işareti evet olarak işaretlenmiş Databricks SQL onay işareti evet olarak işaretlenmiş Databricks Runtime 11.3 LTS ve üzeri

Otomatik Yükleyici veya read_files akışın dosya düzeyi durumunu döndürür.

Söz dizimi

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Tartışmalar

  • table_name: tarafından yazılmakta olan read_files tanımlayıcısı. Ad bir zamansal belirtim içermemelidir. Databricks Runtime 13.3 LTS ve üzerinde kullanılabilir.
  • checkpoint: Bir sabit STRING değeri. Otomatik Yükleyici kaynağını kullanan bir akışın denetim noktası dizini. Bkz. Otomatik Yükleyici nedir?.

İadeler

Aşağıdaki şemaya sahip bir tablo döndürür:

  • path STRING NOT NULL PRIMARY KEY

    Dosyanın yolu.

  • size BIGINT NOT NULL

    Bir dosyanın bayt cinsinden boyutu.

  • create_time TIMESTAMP NOT NULL

    Bir dosyanın oluşturulduğu saat.

  • discovery_time TIMESTAMP NOT NULL

    Şunun için geçerlidir:işaretli evet Databricks SQL işaretli evet Databricks Runtime 16.4 ve üzeri

    Bir dosyanın keşfedildiği zaman.

  • processed_time TIMESTAMP NOT NULL

    Şunun için geçerlidir:işaretli evet Databricks SQL işaretli evet Databricks Runtime 16.4 ve üzeri

    Doldurulan: Databricks Runtime 16.4 ve üzeri üzerinde etkinleştirilmiş olarak veya Databricks Runtime 18.2 ve üzeri cloudFiles.cleanSource üzerinde çalışan Otomatik Yükleyici akışları tarafından işlenen dosyalar. Bkz. Ortak.

    Bir dosyanın işlenme zamanı. Bir toplu iş bir hatayla karşılaşır ve yeniden denenirse, bir dosya birden çok kez işlenebilir. Yeniden denemeler gerçekleştiğinde, bu alan en son işleme süresini içerir.

  • commit_time TIMESTAMP

    Şunun için geçerlidir:işaretli evet Databricks SQL işaretli evet Databricks Runtime 16.4 ve üzeri

    Doldurulan: Databricks Runtime 16.4 ve üzeri üzerinde etkinleştirilmiş olarak veya Databricks Runtime 18.2 ve üzeri cloudFiles.cleanSource üzerinde çalışan Otomatik Yükleyici akışları tarafından işlenen dosyalar. Bkz. Ortak.

    İşleme sonrası bir dosyanın denetim noktasına kaydedildiği zaman. NULL dosya henüz işlenmediyse. Bir dosyayı kaydedilmiş olarak işaretlemek için garantili bir gecikme süresi yoktur; bir dosya işlenebilir ancak daha sonra rastgele işlendi olarak işaretlenebilir. Dosyayı kaydedilmiş olarak işaretlemek, Otomatik Yükleyici'nin dosyanın yeniden işlenmesini gerektirmediği anlamına gelir.

  • archive_time TIMESTAMP

    Şunun için geçerlidir:evet olarak işaretlendi Databricks SQL evet olarak işaretlendi Databricks Runtime 16.4 ve üzeri, cloudFiles.cleanSource etkinleştirildiğinde. Bkz. Ortak.

    Bir dosyanın arşivlendiği zaman. NULL dosya arşivlenmediyse.

  • archive_mode STRING

    Şunun için geçerlidir:evet olarak işaretlendi Databricks SQL evet olarak işaretlendi Databricks Runtime 16.4 ve üzeri, cloudFiles.cleanSource etkinleştirildiğinde. Bkz. Ortak.

    MOVE, dosya arşivlendiğinde cloudFiles.cleanSourceMOVE olarak ayarlanmışsa.

    DELETE, dosya arşivlendiğinde cloudFiles.cleanSourceDELETE olarak ayarlanmışsa.

    NULL eğer cloudFiles.cleanSource varsayılan olarak OFF'ye ayarlandıysa.

  • move_location STRING

    Şunun için geçerlidir:evet olarak işaretlendi Databricks SQL evet olarak işaretlendi Databricks Runtime 16.4 ve üzeri, cloudFiles.cleanSource etkinleştirildiğinde. Bkz. Ortak.

    olarak ayarlandığında cloudFiles.cleanSourcearşivleme işlemi MOVE sırasında dosyanın taşındığı yerin tam yolu.

    NULL dosya arşivlenmemişse veya cloudFiles.cleanSourceDELETE veya OFF dosyalarından biriyse.

  • source_id STRING

    Akış sorgusundaki Otomatik Yükleyici kaynağının kimliği. Bu değer, '0' tek bir bulut nesne deposu konumundan alınan akışlar içindir.

  • flow_name STRING

    Şunlar için geçerlidir:onay işareti evet olarak işaretlenmiş Databricks SQL onay işareti evet olarak işaretlenmiş Databricks Runtime 13.3 ve üzeri

    Bir veya daha fazla bulut dosyası kaynağı içeren Lakeflow işlem hatlarında belirli bir akış akışını temsil eder. table_name verilmediyse NULL.

  • ingestion_state STRING

    Şunun için geçerlidir:işaretli evet Databricks SQL işaretli evet Databricks Runtime 16.4 ve üzeri

    Doldurulan: Databricks Runtime 16.4 ve üzeri üzerinde etkinleştirilmiş olarak veya Databricks Runtime 18.2 ve üzeri cloudFiles.cleanSource üzerinde çalışan Otomatik Yükleyici akışları tarafından işlenen dosyalar. Bkz. Ortak.

    Dosyanın alınıp alınmadığı, aşağıdaki durumlardan biriyle gösterilir:

    • NULL: Dosya henüz işlenmedi veya dosya durumu Otomatik Yükleyici tarafından belirlenemiyor.
    • PROCESSING: Dosya işleniyor.
    • SKIPPED_CORRUPTED: Dosya bozuk olduğundan alınmadı.
    • SKIPPED_MISSING: Dosya, işleme sırasında bulunamadığı için alınmadı.
    • INGESTED: Dosya havuz tarafından en az bir kez işlendi. Akışta bir hata olması durumunda, foreachBatch gibi idemptomatik olmayan alıcılar tarafından yeniden işlenebilir. Yalnızca null olmayan commit_time alanına sahip ve INGESTED durumunda olan dosyalar işlemi tamamladı.
    • NOT_RECOGNIZED_BY_DBR: Sürüm uyumluluğu için ayrılmıştır. Bu durum, önceki Databricks Runtime sürümleri tarafından tanınmayan sonraki Databricks Runtime sürümlerinde kullanıma sunulan durumlar için görüntülenir.

İzinler

Sahip olmanız gerekenler:

  • Akış tablosu tanımlayıcısı kullanılıyorsa
    • Databricks Runtime 17.1 ve altı: OWNER Akış tablosundaki ayrıcalıklar
    • Databricks SQL ve Databricks Runtime 17.2 ve üzeri: SELECT ve MODIFY akış tablosundaki ayrıcalıklar
  • READ FILES eğer bir dış konum altında bir denetim noktası sağlanıyorsa, denetim noktası konumundaki ayrıcalıklar.

Örnekler

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path

Sınırlamalar

  • Akış tablosu üzerinden başvuruda bulunan cloud_files_state bir görünümü okuyan kullanıcıların hem görünümde hem de SELECT akış tablosunda gerekli ayrıcalıklara sahip olması gerekir.
  • Last updated on