Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Dotyczy:
Databricks SQL
Important
Ta funkcja jest dostępna w wersji beta.
Nie musisz włączać podglądu, aby korzystać z CREATE TABLE ... FLOW.
Tworzy zarządzaną tabelę Katalogu Unity, której dane są zapisywane przez pojedynczy przepływ dołączeń. Po uruchomieniu instrukcji Azure Databricks tworzy bezserwerowy potok, który uruchamia przepływ wypełniający tabelę. Odświeżasz tabelę na żądanie lub według harmonogramu, tak jak odświeżasz tabelę streamingową.
W przeciwieństwie do tabeli strumieniowej, efektem jest standardowa zarządzana tabela Delta bez tabeli podkładowej. Użytkownicy i narzędzia działające na dalszej linii pracują z nią jak z każdą inną tabelą zarządzaną.
Aby zdefiniować tego typu tabelę w potoku, w tym z więcej niż jednym przepływem zapisującym do niej, zobacz CREATE TABLE ... PRZEPŁYW (rurociągi).
Requirements
CREATE TABLE ... FLOW ma takie same wymagania jak inne samodzielne potoki, w tym konto z włączonym serwerem bezserwerowym oraz przestrzeń roboczą z włączonym katalogiem Unity. Aby utworzyć tabelę, potrzebujesz CREATE TABLE uprawnień do docelowego schematu. Zobacz Wymagania.
Składnia
CREATE TABLE table_name
[ table_specification ]
[ table_clauses ]
flow_clause
table_specification
( { column_identifier column_type [ column_properties ] } [, ...]
[ CONSTRAINT expectation_name EXPECT (expectation_expr)
[ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )
column_properties
{ NOT NULL |
GENERATED ALWAYS AS ( expr ) |
COMMENT column_comment |
MASK clause } [ ... ]
table_clauses
{ PARTITIONED BY (col [, ...]) |
CLUSTER BY clause |
COMMENT table_comment |
TBLPROPERTIES clause |
schedule |
WITH { ROW FILTER clause } } [...]
schedule
{ SCHEDULE [ REFRESH ] schedule_clause |
TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }
schedule_clause
{ EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
CRON cron_string [ AT TIME ZONE timezone_id ]}
flow_clause
FLOW INSERT BY NAME query
Umieść wszystkie klauzule tabeli przed słowem kluczowym FLOW .
Parameters
-
Nazwa tabeli do utworzenia. Tabela musi znajdować się w katalogu Unity Catalog. Jeśli nazwa nie jest kwalifikowana, tabela jest tworzona w bieżącym katalogu i schemacie.
Nazwa nie może należeć do istniejącej tabeli strumieniowej ani widoku materializowanego.
specyfikacja_tabeli
Ta opcjonalna klauzula definiuje kolumny, ich typy, właściwości, opisy oraz oczekiwania dotyczące jakości danych. Jeśli go pominiesz, schemat jest wnioskowany z zapytania przepływu.
-
Unikatowa nazwa kolumny.
-
Określa typ danych kolumny.
NIE NULL
Jeśli jest określone, kolumna nie akceptuje
NULLwartości.WYGENEROWANE ZAWSZE JAKO ( wyrażenie )
Po określeniu tej klauzuli wartość tej kolumny jest określana przez określone
expr.KOMENTARZ KOLUMNY
Dosłownie opisujący
STRINGkolumnę.Klauzula MASK
Dodaje funkcję maski kolumn do anonimowości poufnych danych. Zobacz Filtry wierszy i maski kolumn.
CONSTRAINT expectation_name EXPECT (expectation_expr) [ W PRZYPADKU NARUSZENIA { FAIL UPDATE | DROP ROW } ]
Dodaje do tabeli oczekiwanie dotyczące jakości danych. Oczekiwanie
FAIL UPDATEpowoduje, że odświeżanie nie powiodło się, gdy wiersz je narusza. Oczekiwanie wypadaDROP ROWz każdego wiersza, który je narusza. Zobacz Zarządzanie jakością danych przy użyciu oczekiwań dotyczących przepływu danych.
-
PODZIELONE PRZEZ (słup [, ...])
Opcjonalnie partycjonuje tabelę według podzestawu kolumn. Nie można połączyć
PARTITIONED BYiCLUSTER BY.CLUSTER BY klauzuli
Opcjonalnie umożliwia płynne klastrowanie w tabeli.
Komentarz do tabeli
Dosłownie opisujący
STRINGstół.klauzula TBLPROPERTIES
Opcjonalnie ustawia co najmniej jedną właściwość tabeli zdefiniowanej przez użytkownika.
harmonogram
Opcjonalnie automatycznie odświeża tabelę.
SCHEDULEiTRIGGER ON UPDATEprzestrzegają tych samych zasad i limitów co dla CREATE STREAMING TABLE. Jeśli pominiesz harmonogram, tabela odświeża się tylko po uruchomieniuREFRESH.Klauzula WITH ROW FILTER
Dodaje do tabeli funkcję filtru wierszy. Zapytania na tabeli zwracają tylko te wiersze, dla których funkcja ocenia do .
TRUEZobacz Filtry wierszy i maski kolumn.Zapytanie FLOW INSERT BY NAME
Definiuje przepływ dołączeń, który zapisuje do tabeli. Kolumny w wyniku są
querydopasowywane do kolumn tabeli według nazwy.queryjest zazwyczaj odczytem strumieniowym, takim jakSTREAM(source_table)lubSTREAM read_files(...). Każde odświeżenie dołącza tylko dane, które dotarły do źródła od ostatniego odświeżenia.
Odśwież tabelę
Chociaż wynikiem jest tabela zarządzana, odświeżasz ją za pomocą REFRESH STREAMING TABLE instrukcji, tak jak tabela strumieniowa:
-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;
-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;
-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;
Warning
Pełne odświeżenie obcina tabelę i ponownie przetwarza wszystkie dane dostępne w źródle. Jeśli źródło przechowuje dane przez ograniczony czas, na przykład Kafka, dane, które zostały zestarzone poza źródłem, zostają utracone.
Między odświeżeniami możesz uruchamiać polecenia DML, takie jak DELETE Against the table.
Limitations
- Tabela musi znajdować się w Katalogu Unity. Katalog
hive_metastorenie jest obsługiwany. - Instrukcja definiuje
CREATE TABLE ... FLOWjedną tabelę z jednym przepływem. Aby zapisać do tabeli z więcej niż jednego przepływu, zdefiniuj tabelę w potoku. Zobacz CREATE TABLE ... FLOW (rurociągi). -
CREATE TABLE ... FLOWnie powiódł się, jeśli tabela już istnieje.CREATE OR REFRESH TABLE ... FLOWnie jest poprawną składnią iCREATE OR REPLACE TABLE ... FLOWnie jest dozwolona. -
CREATE TEMPORARY TABLE ... FLOWCREATE EXTERNAL TABLE ... FLOWi nie są dozwolone. -
FLOW AUTO CDCnie jest obsługiwany i nie udaje się zMANAGED_TABLE_DOES_NOT_SUPPORT_CDC. Aby zastosować przechwytywanie zmian danych (CDC), użyj klauzuli AUTO CDC FLOW. -
FLOW REPLACE WHEREnie jest obsługiwany i nie udaje się zUNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE. - Nie można ponownie użyć nazwy istniejącej tabeli strumieniowej ani widoku materializowanego. Redefiniowanie nazwy jako innego typu tabeli nie przebiega
CANNOT_CHANGE_TABLE_MODEL_TYPEz . Najpierw odłóż istniejącą tabelę. -
TARGET FRESHNESSnie jest obsługiwany i nie udaje się zTARGET_FRESHNESS_REQUIRES_ETL_PIPELINE. Aby użyć docelowej świeżości, zdefiniuj tabelę w potoku. -
PRIMARY KEYoraz ograniczeniaFOREIGN KEYsą akceptowane, ale nie są stosowane do tabeli. - Następujące klauzule nie są obsługiwane i nie ulegają błędowi podczas parsowania instrukcji:
DEFAULT COLLATIONOPTIONSCLUSTERED BY ... INTO num_buckets BUCKETS-
ROW FORMATiSTORED AS WITH CREDENTIAL
Przykłady
-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
SELECT * FROM STREAM(main.sales.orders_raw);
-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
order_id BIGINT NOT NULL,
region STRING,
amount DECIMAL(10, 2),
CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);
-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
SELECT order_id FROM STREAM(main.sales.orders_raw);
-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;