cloud_files_state
funkcja wartości tabeli
Dotyczy: Databricks SQL Databricks Runtime 11.3 LTS i nowsze
Zwraca stan na poziomie pliku modułu ładującego read_files
lub strumienia.
Składnia
cloud_files_state( { TABLE ( table_name ) | checkpoint } )
Argumenty
- table_name: identyfikator tabeli przesyłania strumieniowego zapisywanej w programie .
read_files
Nazwa nie może zawierać specyfikacji czasowej. Dostępne w środowisku Databricks Runtime 13.3 LTS i nowszym. checkpoint
STRING
: literał. Katalog punktów kontrolnych dla strumienia przy użyciu źródła automatycznego modułu ładującego. Zobacz Co to jest moduł automatycznego ładowania?.
Zwraca
Zwraca tabelę z następującym schematem:
path STRING NOT NULL PRIMARY KEY
Ścieżka pliku.
size BIGINT NOT NULL
Rozmiar pliku w bajtach.
create_time TIMESTAMP NOT NULL
Czas utworzenia pliku.
discovery_time TIMESTAMP NOT NULL
Ważne
Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.
Czas odnalezienia pliku.
commit_time TIMESTAMP
Ważne
Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.
Czas zatwierdzenia pliku do punktu kontrolnego po przetworzeniu.
NULL
jeśli plik nie został jeszcze przetworzony. Plik może zostać przetworzony, ale może zostać oznaczony jako zatwierdzony dowolnie później. Oznaczanie pliku jako zatwierdzone oznacza, że moduł automatycznego ładowania nie wymaga ponownego przetworzenia pliku.archive_time TIMESTAMP
Ważne
Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.
Czas archiwizacji pliku.
NULL
jeśli plik nie został zarchiwizowany.source_id STRING
Identyfikator źródła automatycznego modułu ładującego w zapytaniu przesyłania strumieniowego. Ta wartość dotyczy
'0'
strumieni pozyskanych z jednej lokalizacji magazynu obiektów w chmurze.
Uprawnienia
Musisz mieć następujące elementy:
OWNER
uprawnienia w tabeli przesyłania strumieniowego, jeśli używasz identyfikatora tabeli przesyłania strumieniowego.READ FILES
uprawnienia w lokalizacji punktu kontrolnego, jeśli podają punkt kontrolny w lokalizacji zewnętrznej.
Przykłady
-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
/some/input/path
/other/input/path
-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
/some/input/path
/other/input/path
-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
/some/input/path
/other/input/path
Powiązane artykuły
Opinia
https://aka.ms/ContentUserFeedback.
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź:Prześlij i wyświetl opinię dla