cloud_files_state
tabellvärdesfunktion
Gäller för: Databricks SQL
Databricks Runtime 11.3 LTS och senare
Returnerar filnivåtillståndet för en automatisk inläsare eller read_files
dataström.
Syntax
cloud_files_state( { TABLE ( table_name ) | checkpoint } )
Argument
- table_name: Identifieraren för den strömmande tabell som skrivs till av
read_files
. Namnet får inte innehålla någon temporal specifikation. Finns i Databricks Runtime 13.3 LTS och senare. checkpoint
: EnSTRING
literal. Kontrollpunktskatalogen för en dataström med hjälp av autoinläsningskällan. Se Vad är automatisk inläsare?.
Returer
Returnerar en tabell med följande schema:
path STRING NOT NULL PRIMARY KEY
Sökvägen till en fil.
size BIGINT NOT NULL
Storleken på en fil i byte.
create_time TIMESTAMP NOT NULL
Den tid då en fil skapades.
discovery_time TIMESTAMP NOT NULL
Viktigt!
Den här funktionen är en privat förhandsversion. Hör av dig till din Azure Databricks-kontakt om du vill prova.
Den tid då en fil upptäcktes.
commit_time TIMESTAMP
Viktigt!
Den här funktionen är en privat förhandsversion. Hör av dig till din Azure Databricks-kontakt om du vill prova.
Den tid då en fil checkades in på kontrollpunkten efter bearbetningen.
NULL
om filen inte har bearbetats ännu. En fil kan bearbetas, men kan markeras som bekräftad godtyckligt senare. Att markera filen som bekräftad innebär att Auto Loader inte kräver filen för bearbetning igen.archive_time TIMESTAMP
Viktigt!
Den här funktionen är en privat förhandsversion. Hör av dig till din Azure Databricks-kontakt om du vill prova.
Den tid då en fil arkiverades.
NULL
om filen inte har arkiverats.source_id STRING
ID:t för den automatiska inläsningskällan i strömningsfrågan. Det här värdet är
'0'
för strömmar som matas in från en enda plats för molnobjektarkivet.
Behörigheter
Du måste ha:
OWNER
behörigheter i strömningstabellen om du använder en strömningstabellidentifierare.READ FILES
behörigheter på kontrollpunktsplatsen om du tillhandahåller en kontrollpunkt under en extern plats.
Exempel
-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
/some/input/path
/other/input/path
-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
/some/input/path
/other/input/path
-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
/some/input/path
/other/input/path
Relaterade artiklar
Feedback
https://aka.ms/ContentUserFeedback.
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i:Skicka och visa feedback för