cloud_files_state табличное значение функции

Область применения:флажок Databricks SQL флажок Databricks Runtime 11.3 LTS и выше

Возвращает состояние автозагрузчика или read_files потока на уровне файла.

Синтаксис

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Аргументы

  • table_name: идентификатор потоковой таблицы, записываемой в read_files. Имя не должно содержать временную спецификацию. Доступно в Databricks Runtime 13.3 LTS и более поздних версиях.
  • checkpoint: литерал STRING . Каталог контрольной точки для потока с источником Auto Loader. См. статью об автозагрузчике.

Возвраты

Возвращает таблицу со следующей схемой:

  • path STRING NOT NULL PRIMARY KEY

    Путь к файлу.

  • size BIGINT NOT NULL

    Размер файла в байтах.

  • create_time TIMESTAMP NOT NULL

    Время создания файла.

  • discovery_time TIMESTAMP NOT NULL

    Применяется к:отмечено да Databricks SQL отмечено да Databricks Runtime 16.4 и более поздние версии

    Время обнаружения файла.

  • processed_time TIMESTAMP NOT NULL

    Применяется к:отмечено да Databricks SQL отмечено да Databricks Runtime 16.4 и более поздние версии

    Заполнено для: Файлы, обработанные потоками автозагрузчика, работающими в Databricks Runtime 16.4 и более поздних версий с cloudFiles.cleanSource включенным параметром, или Databricks Runtime 18.2 и более поздних версий. См. общие статьи.

    Время обработки файла. Если пакет встречает сбой и выполняется повторно, файл может обрабатываться несколько раз. При выполнении повторных попыток это поле содержит последнее время обработки.

  • commit_time TIMESTAMP

    Применяется к:отмечено да Databricks SQL отмечено да Databricks Runtime 16.4 и более поздние версии

    Заполнено для: Файлы, обработанные потоками автозагрузчика, работающими в Databricks Runtime 16.4 и более поздних версий с cloudFiles.cleanSource включенным параметром, или Databricks Runtime 18.2 и более поздних версий. См. общие статьи.

    Время фиксации файла в контрольной точке после обработки. NULL если файл еще не обработан. Не существует гарантированной задержки для маркировки файла как зафиксированного; Файл может обрабатываться, но помечен как зафиксированный произвольно позже. Пометка файла как зафиксированного означает, что автозагрузчик не требует повторной обработки файла.

  • archive_time TIMESTAMP

    Применяется к:установлен флажок да Databricks SQL установлен флажок да Databricks Runtime 16.4 и выше, когда cloudFiles.cleanSource включен. См. общие статьи.

    Время архивирования файла. NULL если файл не был архивирован.

  • archive_mode STRING

    Применяется к:установлен флажок да Databricks SQL установлен флажок да Databricks Runtime 16.4 и выше, когда cloudFiles.cleanSource включен. См. общие статьи.

    Если MOVE был установлен на cloudFiles.cleanSource, когда файл был архивирован, MOVE.

    Если DELETE был установлен на cloudFiles.cleanSource, когда файл был архивирован, DELETE.

    NULL Значение cloudFiles.cleanSource if было задано OFF (по умолчанию).

  • move_location STRING

    Применяется к:установлен флажок да Databricks SQL установлен флажок да Databricks Runtime 16.4 и выше, когда cloudFiles.cleanSource включен. См. общие статьи.

    Полный путь, куда файл был перемещен во время архивной операции, когда cloudFiles.cleanSource было установлено на MOVE.

    NULL если файл не был архивирован или cloudFiles.cleanSource является одним из DELETE или OFF.

  • source_id STRING

    Идентификатор источника автозагрузчика в потоковом запросе. Это значение '0' для потоков, которые получают данные из одного расположения облачного хранилища объектов.

  • flow_name STRING

    Область применения:отмечено Databricks SQL отмечено Databricks Runtime 13.3 и выше

    Представляет определенный поток потоковой передачи в конвейерах Lakeflow, содержащих один или несколько источников облачных файлов. NULL если имя_таблицы не было задано.

  • ingestion_state STRING

    Применяется к:отмечено да Databricks SQL отмечено да Databricks Runtime 16.4 и более поздние версии

    Заполнено для: Файлы, обработанные потоками автозагрузчика, работающими в Databricks Runtime 16.4 и более поздних версий с cloudFiles.cleanSource включенным параметром, или Databricks Runtime 18.2 и более поздних версий. См. общие статьи.

    Указывает, был ли файл принят, что обозначается переходом в одно из следующих состояний:

    • NULL: файл еще не обработан или состояние файла невозможно определить автоматическим загрузчиком.
    • PROCESSING: обрабатывается файл.
    • SKIPPED_CORRUPTED: файл не был загружен, потому что он был поврежден.
    • SKIPPED_MISSING: файл не был приемлен, так как он не найден во время обработки.
    • INGESTED: файл обрабатывается приемником по крайней мере один раз. Он может обрабатываться повторно неидемпотентными приемниками, как foreachBatch в случае сбоев в потоке. Обработку завершили только файлы без значения NULL в поле commit_time, которые находятся в состоянии INGESTED.
    • NOT_RECOGNIZED_BY_DBR: зарезервировано для совместимости версий. Это состояние будет отображаться для состояний, представленных в более поздних версиях Databricks Runtime, которые не распознаются более ранними версиями Databricks Runtime.

Разрешения

Вам нужно:

  • При использовании идентификатора таблицы потоковой передачи
    • Databricks Runtime 17.1 и ниже: OWNER привилегии в таблице потоковой передачи
    • Databricks SQL и Databricks Runtime 17.2 и более поздних версий: SELECT и MODIFY привилегии для потоковой таблицы
  • READ FILESпривилегии на месте контрольной точки, если предоставляется контрольная точка во внешнем местоположении.

Примеры

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path

Ограничения

  • Пользователи считывают представление, которое ссылается cloud_files_state на таблицу потоковой передачи, должно иметь SELECT права на представление и необходимые привилегии в таблице потоковой передачи.
  • Last updated on