cloud_files_state fonction table

  • Article

S’applique à :coche marquée oui Databricks SQL oui coché Databricks Runtime 11.3 LTS et versions ultérieures

Retourne l’état au niveau du fichier d’un chargeur automatique ou d’un flux read_files.

Syntaxe

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Arguments

  • table_name : identificateur de la table de streaming en cours d’écriture par read_files. Le nom ne doit pas inclure une spécification temporelle. Disponible dans Databricks Runtime 13.3 LTS et versions ultérieures.
  • checkpoint : un STRING littéral. Répertoire de point de contrôle d’un flux tirant parti d’une source Auto Loader. Consultez Qu’est-ce que Auto Loader ?.

Retours

Retourne une table avec le schéma suivant :

  • path STRING NOT NULL PRIMARY KEY

    Chemin d’un fichier.

  • size BIGINT NOT NULL

    Taille d’un fichier en octets.

  • create_time TIMESTAMP NOT NULL

    Heure à laquelle un fichier a été créé.

  • discovery_time TIMESTAMP NOT NULL

    Important

    Cette fonctionnalité est en préversion privée. Pour l’essayer, faites appel à votre contact Azure Databricks.

    Heure à laquelle un fichier a été détecté.

  • commit_time TIMESTAMP

    Important

    Cette fonctionnalité est en préversion privée. Pour l’essayer, faites appel à votre contact Azure Databricks.

    Heure à laquelle un fichier a été commité sur le point de contrôle après traitement. NULL si le fichier n’est pas encore traité. Un fichier peut être traité, mais il est possible qu’il soit marqué comme étant validé de manière arbitraire ultérieurement. Le fait de marquer le fichier comme étant validé signifie qu’Auto Loader n’a pas besoin du fichier pour le nouveau traitement.

  • archive_time TIMESTAMP

    Important

    Cette fonctionnalité est en préversion privée. Pour l’essayer, faites appel à votre contact Azure Databricks.

    Heure à laquelle un fichier a été archivé. NULL si le fichier n’a pas été archivé.

  • source_id STRING

    ID de la source Auto Loader dans la requête de streaming. Cette valeur est '0' pour des flux qui ingèrent à partir d’un emplacement unique du magasin d’objets cloud.

Autorisations

Vous devez avoir :

  • OWNER privilèges sur la table de streaming si vous utilisez un identificateur de table de streaming.
  • READ FILES privilèges sur l’emplacement du point de contrôle si vous fournissez un point de contrôle sous un emplacement externe.

Exemples

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path