Sdílet prostřednictvím

cloud_files_state table-valued – funkce

  • Článek

Platí pro: zaškrtnutí označeného ano Databricks SQL zaškrtnutí označeného ano Databricks Runtime 11.3 LTS a vyšší

Vrátí stav na úrovni souboru automatického zavaděče nebo read_files datového proudu.

Syntaxe

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argumenty

  • table_name: Identifikátor tabulky streamování, do které se zapisuje read_files. Název nesmí obsahovat dočasnou specifikaci. K dispozici ve službě Databricks Runtime 13.3 LTS a novějších.
  • checkpointSTRING: Literál. Adresář kontrolního bodu pro datový proud pomocí zdroje automatického zavaděče. Podívejte se, co je automatický zavaděč?

Návraty

Vrátí tabulku s následujícím schématem:

  • path STRING NOT NULL PRIMARY KEY

    Cesta k souboru.

  • size BIGINT NOT NULL

    Velikost souboru v bajtech

  • create_time TIMESTAMP NOT NULL

    Čas vytvoření souboru.

  • discovery_time TIMESTAMP NOT NULL

    Důležité

    Tato funkce je v privátní verzi Preview. Pokud ji chcete vyzkoušet, obraťte se na svou kontaktní osobu pro Azure Databricks.

    Čas, kdy byl soubor zjištěn.

  • commit_time TIMESTAMP

    Důležité

    Tato funkce je v privátní verzi Preview. Pokud ji chcete vyzkoušet, obraťte se na svou kontaktní osobu pro Azure Databricks.

    Čas, kdy byl soubor po zpracování potvrzen do kontrolního bodu. NULL pokud soubor ještě není zpracován. Soubor může být zpracován, ale může být označen jako potvrzený libovolně později. Označení souboru jako potvrzeného znamená, že automatický zavaděč nevyžaduje znovu zpracování souboru.

  • archive_time TIMESTAMP

    Důležité

    Tato funkce je v privátní verzi Preview. Pokud ji chcete vyzkoušet, obraťte se na svou kontaktní osobu pro Azure Databricks.

    Čas archivace souboru. NULL pokud soubor nebyl archivován.

  • source_id STRING

    ID zdroje automatického zavaděče v dotazu streamování. Tato hodnota je '0' určená pro datové proudy, které ingestují z jednoho umístění cloudového úložiště objektů.

Oprávnění

Potřebujete:

  • OWNER oprávnění k tabulce streamování, pokud používáte identifikátor tabulky streamování.
  • READ FILESoprávnění k umístění kontrolního bodu, pokud poskytuje kontrolní bod pod externím umístěním.

Příklady

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path