Číst v angličtině

Sdílet prostřednictvím

cloud_files_state tabulková hodnotová funkce

  • Článek

Platí pro:zaškrtnuto ano Databricks SQL zaškrtnuto ano Databricks Runtime 11.3 LTS a vyšší

Vrátí stav na úrovni souboru Auto Loaderu nebo read_files datového proudu.

Syntaxe

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argumenty

  • table_name: Identifikátor streamovací tabulky , do které se zapisuje read_files. Název nesmí obsahovat dočasnou specifikaci. K dispozici ve službě Databricks Runtime 13.3 LTS a novějších.
  • checkpoint STRING: Literál. Adresář kontrolního bodu pro datový proud využívající zdroj Auto Loader. Podívejte se na Co je automatický zavaděč?

Návraty

Vrátí tabulku s následujícím schématem:

  • path STRING NOT NULL PRIMARY KEY

    Cesta k souboru.

  • size BIGINT NOT NULL

    Velikost souboru v bajtech

  • create_time TIMESTAMP NOT NULL

    Čas vytvoření souboru.

  • discovery_time TIMESTAMP NOT NULL

    Důležité

    Tato funkce je v privátní verzi Preview. Pokud ji chcete vyzkoušet, obraťte se na svou kontaktní osobu pro Azure Databricks.

    Čas, kdy byl soubor zjištěn.

  • commit_time TIMESTAMP

    Důležité

    Tato funkce je v privátní verzi Preview. Pokud ji chcete vyzkoušet, obraťte se na svou kontaktní osobu pro Azure Databricks.

    Časový okamžik, kdy byl soubor po zpracování potvrzen do kontrolního bodu. NULL pokud soubor ještě není zpracován. Soubor může být zpracován, ale může být označen jako potvrzený libovolně později. Označení souboru jako potvrzeného znamená, že Auto Loader již soubor nepotřebuje pro opakované zpracování.

  • archive_time TIMESTAMP

    Důležité

    Tato funkce je v privátní verzi Preview. Pokud ji chcete vyzkoušet, obraťte se na svou kontaktní osobu pro Azure Databricks.

    Čas archivace souboru. NULL pokud soubor nebyl archivován.

  • source_id STRING

    ID zdroje automatického zavaděče ve streamovacím dotazu. Tato hodnota je '0' určená pro datové proudy, které ingestují z jednoho umístění cloudového úložiště objektů.

  • flow_name STRING

    Platí pro:označeno jako ano Databricks SQL označeno jako ano Databricks Runtime 13.3 a vyšší

    flow_name představuje konkrétní tok streamování v DLT, který obsahuje jeden nebo více zdrojů cloudových souborů. NULL pokud nebyla poskytnuta žádná table_name.

Oprávnění

Potřebujete:

  • OWNER oprávnění ke streamované tabulce, pokud používáte identifikátor streamované tabulky.
  • READ FILESoprávnění k umístění kontrolního bodu v případě poskytování kontrolního bodu pod externím umístěním.

Příklady

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path