cloud_files_state tabelwaarde, functie

  • Artikel

Van toepassing op:check marked yes Databricks SQL check marked yes Databricks Runtime 11.3 en hoger

Retourneert de status op bestandsniveau van een automatisch laadprogramma of read_files stroom.

Syntaxis

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argumenten

  • table_name: de id van de streamingtabel waarnaar wordt geschrevenread_files. De naam mag geen tijdelijke specificatie bevatten. Beschikbaar in Databricks Runtime 13.1 en hoger.
  • checkpoint: Een STRING letterlijke. De controlepuntmap voor een stream met behulp van de bron voor automatisch laden. Zie Wat is automatisch laadprogramma?

Retourneert

Retourneert een tabel met het volgende schema:

  • path STRING NOT NULL PRIMARY KEY

    Het pad van een bestand.

  • size BIGINT NOT NULL

    De grootte van een bestand in bytes.

  • create_time TIMESTAMP NOT NULL

    Het tijdstip waarop een bestand is gemaakt.

  • discovery_time TIMESTAMP NOT NULL

    Belangrijk

    Deze functie is beschikbaar als beperkte preview. Als u het wilt proberen, neemt u contact op met uw contactpersoon voor Azure Databricks.

    Het tijdstip waarop een bestand is gedetecteerd.

  • commit_time TIMESTAMP

    Belangrijk

    Deze functie is beschikbaar als beperkte preview. Als u het wilt proberen, neemt u contact op met uw contactpersoon voor Azure Databricks.

    Het tijdstip waarop een bestand is doorgevoerd naar het controlepunt na verwerking. NULL als het bestand nog niet is verwerkt. Een bestand kan worden verwerkt, maar kan willekeurig worden gemarkeerd als doorgevoerd. Als u het bestand markeert zoals vastgelegd, betekent dit dat automatisch laden het bestand niet opnieuw nodig heeft voor verwerking.

  • archive_time TIMESTAMP

    Belangrijk

    Deze functie is beschikbaar als beperkte preview. Als u het wilt proberen, neemt u contact op met uw contactpersoon voor Azure Databricks.

    De tijd dat een bestand is gearchiveerd. NULL als het bestand niet is gearchiveerd.

  • source_id STRING

    De id van de bron voor automatisch laden in de streamingquery. Deze waarde is '0' bedoeld voor streams die worden opgenomen vanuit één locatie voor het cloudobjectarchief.

Bevoegdheden

U moet het volgende hebben:

  • OWNER bevoegdheden voor de streamingtabel als u een streamingtabel-id gebruikt.
    • READ FILES bevoegdheden op de controlepuntlocatie als u een controlepunt opgeeft onder een externe locatie.

Voorbeelden

-– Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-– Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path