Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Ważna
Ta funkcja jest dostępna w wersji beta.
Użyj instrukcji CREATE TABLE ... FLOW , aby utworzyć zarządzaną tabelę w potoku napisaną przez co najmniej jeden przepływ.
Aby utworzyć zarządzaną tabelę z pojedynczym przepływem z Databricks SQL, poza definicją pipeline, zobacz CREATE TABLE ... FLOW.
Składnia
CREATE TABLE
table_name
[ table_specification ]
[ table_clauses ]
[ flow_clause ]
table_specification
( { column_identifier column_type [column_properties] } [, ...]
[ CONSTRAINT expectation_name EXPECT (expectation_expr)
[ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )
table_clauses
{ PARTITIONED BY (col [, ...]) |
CLUSTER BY clause |
LOCATION path |
COMMENT table_comment |
TBLPROPERTIES clause |
WITH { ROW FILTER clause } } [ ... ]
flow_clause
FLOW [ IMPORT CHECKPOINT checkpoint_path ] INSERT BY NAME query
Aby udostępnić wiele źródeł w jednej zarządzanej tabeli, zadeklaruj kilka przepływów przeznaczonych dla niej za pomocą polecenia CREATE FLOW (potoki):
CREATE FLOW flow_name AS INSERT INTO table_name BY NAME query
Parameters
table_name
Nazwa tabeli zarządzanej do utworzenia. Jeśli nazwa nie jest kwalifikowana, tabela zostanie utworzona w schemacie docelowym potoku. Nazwa nie może już należeć do tabeli przesyłania strumieniowego.
specyfikacja_tabeli
Opcjonalnie definiuje kolumny, ich typy, właściwości i opisy. W przypadku pominięcia schemat jest wnioskowany z zapytania przepływu.
CONSTRAINT expectation_name EXPECT (expectation_expr) [ W PRZYPADKU NARUSZENIA { FAIL UPDATE | DROP ROW } ]
Dodaje oczekiwania dotyczące jakości danych do tabeli zarządzanej. Te oczekiwania dotyczące jakości danych można śledzić w czasie i uzyskać dostęp do dziennika zdarzeń pipeline. Oczekiwanie
FAIL UPDATEpowoduje niepowodzenie przetwarzania podczas tworzenia tabeli, a także odświeżania tabeli. OczekiwanieDROP ROWpowoduje usunięcie całego wiersza, jeżeli oczekiwanie nie zostanie spełnione. Zobacz Zarządzanie jakością danych przy użyciu oczekiwań dotyczących przepływu danych.expectation_exprmogą składać się z literałów, identyfikatorów kolumn w tabeli oraz deterministycznych, wbudowanych funkcji lub operatorów SQL, z wyjątkiem:-
Funkcje agregujące
- funkcje okien analitycznych
- Funkcje okna rankingowego
- Funkcje generatora wartości tabeli
Ponadto
expectation_exprnie może zawierać żadnego podzapytania.-
Funkcje agregujące
PODZIELONE PRZEZ (słup [, ...])
Opcjonalnie partycjonuje tabelę według podzestawu kolumn.
CLUSTER BY klauzuli
Opcjonalnie umożliwia płynne klastrowanie w tabeli. Nie można połączyć
PARTITIONED BYiCLUSTER BY.ŚCIEŻKA LOKALIZACJI
Opcjonalna lokalizacja przechowywania danych tabeli.
Komentarz do tabeli
Literał
STRINGopisujący tabelę.klauzula TBLPROPERTIES
Opcjonalnie ustawia co najmniej jedną właściwość tabeli zdefiniowanej przez użytkownika.
Klauzula WITH ROW FILTER
Dodaje do tabeli funkcję filtru wierszy. Przyszłe zapytania dotyczące tej tabeli otrzymują podzbiór wierszy, dla których funkcja oblicza wartość
TRUE.Zapytanie FLOW INSERT BY NAME
Definiuje przepływ dołączania, który wstawia wynik
querydo tabeli, pasujące kolumny wyników do kolumn tabeli według nazwy.querymoże odwoływać się do źródeł wsadowych lub strumieniowych. Każdy nazwany przepływ przetwarza swoje dane wejściowe dokładnie raz na aktualizację potoku, identycznie jakFLOW INSERT BY NAMEw tabeli strumieniowej.IMPORTUJ checkpoint_path CHECKPOINT
Literal
STRINGz ścieżką do istniejącego punktu kontrolnego Structured Streaming, który można zaimportować do przepływu, tak aby migrowany strumień wznowił się od ostatniego zadeklarowanego offsetu zamiast ponownie przetwarzać źródło. Import punktu kontrolnego jest w fazie beta. Zobacz checkpoint Migracja Structured Streaming.
Migracja punktu kontrolnego Structured Streaming
Ważna
Import punktu kontrolnego jest w fazie beta.
Używam do IMPORT CHECKPOINT migracji istniejącego obciążenia Structured Streaming do potoku bez ponownego przetwarzania źródła. Ustaw checkpoint_pathcheckpointLocation na zapytanie Structured Streaming, które może być chmurowym magazynem, woluminami Unity Catalog lub ścieżką DBFS. Podczas pierwszej aktualizacji potoku przepływ klonuje ten punkt kontrolny do zarządzanej pamięci magazynowej. Następnie przepływ wznawia się od ostatniego zadeklarowanego przesunięcia z nienaruszonym stanem (takim jak agregacje, klucze deduplikacyjne i znaki wodne). Kolejne aktualizacje potoku wykorzystują sklonowany punkt kontrolny przepływu; oryginalny punkt kontrolny nie jest modyfikowany.
Warning
Zatrzymaj oryginalne zapytanie Structured Streaming przed uruchomieniem pipeline. Oryginalne zapytanie Structured Streaming można ponownie użyć po imporcie, ale musisz zarządzać jego stanem checkpointów i upewnić się, że pipeline i zapytanie nie zapisują się jednocześnie do tej samej tabeli, co może generować duplikaty danych.
Utwórz ponownie zapytanie Structured Streaming jako przepływ potoku, który kontynuuje zapis do tabeli, do której zapytanie zapisało, i importuj jego punkt kontrolny:
-- Use the existing table your Structured Streaming query writes to; CREATE TABLE adopts it.
CREATE TABLE streaming_table
-- Continue from the imported checkpoint instead of reprocessing the source.
FLOW IMPORT CHECKPOINT '/Volumes/my_catalog/my_schema/checkpoints/my_stream'
INSERT BY NAME
-- The same source your original query read from.
SELECT * FROM STREAM(source_table);
Punkt kontrolny jest importowany dopiero przy pierwszej aktualizacji pipeline. Późniejsze aktualizacje ignorują IMPORT CHECKPOINT.
Pełne odświeżenie nie importuje ponownie punktu kontrolnego. Zaczyna się od nowego, pustego punktu kontrolnego i przetwarza źródło ponownie.
Ograniczenia
- Tabele zarządzane nie obsługują przepływów zmian cdC.
AUTO CDC INTO(SQL) lubapply_changes/apply_changes_from_snapshot(Python) dla zarządzanej tabeli nie działa z .MANAGED_TABLE_DOES_NOT_SUPPORT_CDCDla celów CDC użyj (CREATE STREAMING TABLErurociągi) z przepływem zdefiniowanym przez CREATE FLOW (potoki). - Tabele zarządzane nie obsługują
FLOW ... REPLACE WHEREprogramu . Obsługiwany jest tylko warunekFLOW INSERT BY NAME. Aby przeliczyć i nadpisać docelowy podzbiór tabeli, stwórz tabelę strumieniową i zdefiniujREPLACE WHEREprzepływ za pomocą CREATE FLOW (potoki). Zobacz Przetwarzanie wsadowe z użyciem przepływów REPLACEWHERE. - Tabele zarządzane są obsługiwane tylko w potokach z wykazem aparatu Unity. Magazyn metadanych Hive nie jest obsługiwany.
- Nie można ponownie użyć nazwy istniejącej tabeli strumieniowej lub widoku materializowanego dla tabeli zarządzanej ani odwrotnie. Redefiniowanie nazwy jako innego typu tabeli nie przebiega
CANNOT_CHANGE_TABLE_MODEL_TYPEz . Najpierw odłóż istniejącą tabelę. -
IMPORT CHECKPOINTjest obsługiwany tylko na .FLOW INSERT BY NAME
Examples
-- Create a managed table populated by an inline append flow from a streaming table
CREATE TABLE output
FLOW INSERT BY NAME SELECT * FROM STREAM(samples.tpch.orders);
-- Create a managed table that ingests files with schema inference and evolution
CREATE TABLE raw_data
FLOW INSERT BY NAME
SELECT * FROM STREAM read_files('/Volumes/catalog/schema/landing/base/path');
-- Create a partitioned managed table from a streaming source
CREATE TABLE events
PARTITIONED BY (bucket)
FLOW INSERT BY NAME
SELECT id, bucket FROM STREAM read_files('/Volumes/catalog/schema/landing/my_path', format => 'json');
-- Create a managed table with liquid clustering
CREATE TABLE orders_clustered
CLUSTER BY (order_date, customer_id)
FLOW INSERT BY NAME
SELECT
o_orderkey AS order_id,
o_custkey AS customer_id,
o_orderdate AS order_date,
o_totalprice AS total_price
FROM STREAM(samples.tpch.orders);
-- Create a managed table with a data quality expectation that drops violating rows
CREATE TABLE valid_events
(CONSTRAINT positive_id EXPECT (id > 0) ON VIOLATION DROP ROW)
FLOW INSERT BY NAME
SELECT id FROM STREAM read_files('/Volumes/catalog/schema/landing/path', format => 'json');