CREATE TABLE ... FLOW (pipelines)

Ważna

Ta funkcja jest dostępna w wersji beta.

Użyj instrukcji CREATE TABLE ... FLOW , aby utworzyć zarządzaną tabelę w potoku napisaną przez co najmniej jeden przepływ.

Aby utworzyć zarządzaną tabelę z pojedynczym przepływem z Databricks SQL, poza definicją pipeline, zobacz CREATE TABLE ... FLOW.

Składnia

CREATE TABLE
  table_name
  [ table_specification ]
  [ table_clauses ]
  [ flow_clause ]

table_specification
  ( { column_identifier column_type [column_properties] } [, ...]
    [ CONSTRAINT expectation_name EXPECT (expectation_expr)
        [ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )

table_clauses
  { PARTITIONED BY (col [, ...]) |
    CLUSTER BY clause |
    LOCATION path |
    COMMENT table_comment |
    TBLPROPERTIES clause |
    WITH { ROW FILTER clause } } [ ... ]

flow_clause
  FLOW [ IMPORT CHECKPOINT checkpoint_path ] INSERT BY NAME query

Aby udostępnić wiele źródeł w jednej zarządzanej tabeli, zadeklaruj kilka przepływów przeznaczonych dla niej za pomocą polecenia CREATE FLOW (potoki):

CREATE FLOW flow_name AS INSERT INTO table_name BY NAME query

Parameters

  • table_name

    Nazwa tabeli zarządzanej do utworzenia. Jeśli nazwa nie jest kwalifikowana, tabela zostanie utworzona w schemacie docelowym potoku. Nazwa nie może już należeć do tabeli przesyłania strumieniowego.

  • specyfikacja_tabeli

    Opcjonalnie definiuje kolumny, ich typy, właściwości i opisy. W przypadku pominięcia schemat jest wnioskowany z zapytania przepływu.

  • CONSTRAINT expectation_name EXPECT (expectation_expr) [ W PRZYPADKU NARUSZENIA { FAIL UPDATE | DROP ROW } ]

    Dodaje oczekiwania dotyczące jakości danych do tabeli zarządzanej. Te oczekiwania dotyczące jakości danych można śledzić w czasie i uzyskać dostęp do dziennika zdarzeń pipeline. Oczekiwanie FAIL UPDATE powoduje niepowodzenie przetwarzania podczas tworzenia tabeli, a także odświeżania tabeli. Oczekiwanie DROP ROW powoduje usunięcie całego wiersza, jeżeli oczekiwanie nie zostanie spełnione. Zobacz Zarządzanie jakością danych przy użyciu oczekiwań dotyczących przepływu danych.

    expectation_expr mogą składać się z literałów, identyfikatorów kolumn w tabeli oraz deterministycznych, wbudowanych funkcji lub operatorów SQL, z wyjątkiem:

    Ponadto expectation_expr nie może zawierać żadnego podzapytania.

  • PODZIELONE PRZEZ (słup [, ...])

    Opcjonalnie partycjonuje tabelę według podzestawu kolumn.

  • CLUSTER BY klauzuli

    Opcjonalnie umożliwia płynne klastrowanie w tabeli. Nie można połączyć PARTITIONED BY i CLUSTER BY.

  • ŚCIEŻKA LOKALIZACJI

    Opcjonalna lokalizacja przechowywania danych tabeli.

  • Komentarz do tabeli

    Literał STRING opisujący tabelę.

  • klauzula TBLPROPERTIES

    Opcjonalnie ustawia co najmniej jedną właściwość tabeli zdefiniowanej przez użytkownika.

  • Klauzula WITH ROW FILTER

    Dodaje do tabeli funkcję filtru wierszy. Przyszłe zapytania dotyczące tej tabeli otrzymują podzbiór wierszy, dla których funkcja oblicza wartość TRUE.

  • Zapytanie FLOW INSERT BY NAME

    Definiuje przepływ dołączania, który wstawia wynik query do tabeli, pasujące kolumny wyników do kolumn tabeli według nazwy. query może odwoływać się do źródeł wsadowych lub strumieniowych. Każdy nazwany przepływ przetwarza swoje dane wejściowe dokładnie raz na aktualizację potoku, identycznie jak FLOW INSERT BY NAME w tabeli strumieniowej.

  • IMPORTUJ checkpoint_path CHECKPOINT

    Literal STRING z ścieżką do istniejącego punktu kontrolnego Structured Streaming, który można zaimportować do przepływu, tak aby migrowany strumień wznowił się od ostatniego zadeklarowanego offsetu zamiast ponownie przetwarzać źródło. Import punktu kontrolnego jest w fazie beta. Zobacz checkpoint Migracja Structured Streaming.

Migracja punktu kontrolnego Structured Streaming

Ważna

Import punktu kontrolnego jest w fazie beta.

Używam do IMPORT CHECKPOINT migracji istniejącego obciążenia Structured Streaming do potoku bez ponownego przetwarzania źródła. Ustaw checkpoint_pathcheckpointLocation na zapytanie Structured Streaming, które może być chmurowym magazynem, woluminami Unity Catalog lub ścieżką DBFS. Podczas pierwszej aktualizacji potoku przepływ klonuje ten punkt kontrolny do zarządzanej pamięci magazynowej. Następnie przepływ wznawia się od ostatniego zadeklarowanego przesunięcia z nienaruszonym stanem (takim jak agregacje, klucze deduplikacyjne i znaki wodne). Kolejne aktualizacje potoku wykorzystują sklonowany punkt kontrolny przepływu; oryginalny punkt kontrolny nie jest modyfikowany.

Warning

Zatrzymaj oryginalne zapytanie Structured Streaming przed uruchomieniem pipeline. Oryginalne zapytanie Structured Streaming można ponownie użyć po imporcie, ale musisz zarządzać jego stanem checkpointów i upewnić się, że pipeline i zapytanie nie zapisują się jednocześnie do tej samej tabeli, co może generować duplikaty danych.

Utwórz ponownie zapytanie Structured Streaming jako przepływ potoku, który kontynuuje zapis do tabeli, do której zapytanie zapisało, i importuj jego punkt kontrolny:

-- Use the existing table your Structured Streaming query writes to; CREATE TABLE adopts it.
CREATE TABLE streaming_table
-- Continue from the imported checkpoint instead of reprocessing the source.
FLOW IMPORT CHECKPOINT '/Volumes/my_catalog/my_schema/checkpoints/my_stream'
INSERT BY NAME
  -- The same source your original query read from.
  SELECT * FROM STREAM(source_table);

Punkt kontrolny jest importowany dopiero przy pierwszej aktualizacji pipeline. Późniejsze aktualizacje ignorują IMPORT CHECKPOINT. Pełne odświeżenie nie importuje ponownie punktu kontrolnego. Zaczyna się od nowego, pustego punktu kontrolnego i przetwarza źródło ponownie.

Ograniczenia

  • Tabele zarządzane nie obsługują przepływów zmian cdC. AUTO CDC INTO(SQL) lub apply_changes / apply_changes_from_snapshot (Python) dla zarządzanej tabeli nie działa z .MANAGED_TABLE_DOES_NOT_SUPPORT_CDC Dla celów CDC użyj (CREATE STREAMING TABLErurociągi) z przepływem zdefiniowanym przez CREATE FLOW (potoki).
  • Tabele zarządzane nie obsługują FLOW ... REPLACE WHEREprogramu . Obsługiwany jest tylko warunek FLOW INSERT BY NAME. Aby przeliczyć i nadpisać docelowy podzbiór tabeli, stwórz tabelę strumieniową i zdefiniuj REPLACE WHERE przepływ za pomocą CREATE FLOW (potoki). Zobacz Przetwarzanie wsadowe z użyciem przepływów REPLACEWHERE.
  • Tabele zarządzane są obsługiwane tylko w potokach z wykazem aparatu Unity. Magazyn metadanych Hive nie jest obsługiwany.
  • Nie można ponownie użyć nazwy istniejącej tabeli strumieniowej lub widoku materializowanego dla tabeli zarządzanej ani odwrotnie. Redefiniowanie nazwy jako innego typu tabeli nie przebiega CANNOT_CHANGE_TABLE_MODEL_TYPEz . Najpierw odłóż istniejącą tabelę.
  • IMPORT CHECKPOINTjest obsługiwany tylko na .FLOW INSERT BY NAME

Examples

-- Create a managed table populated by an inline append flow from a streaming table
CREATE TABLE output
FLOW INSERT BY NAME SELECT * FROM STREAM(samples.tpch.orders);

-- Create a managed table that ingests files with schema inference and evolution
CREATE TABLE raw_data
FLOW INSERT BY NAME
  SELECT * FROM STREAM read_files('/Volumes/catalog/schema/landing/base/path');

-- Create a partitioned managed table from a streaming source
CREATE TABLE events
PARTITIONED BY (bucket)
FLOW INSERT BY NAME
  SELECT id, bucket FROM STREAM read_files('/Volumes/catalog/schema/landing/my_path', format => 'json');

-- Create a managed table with liquid clustering
CREATE TABLE orders_clustered
CLUSTER BY (order_date, customer_id)
FLOW INSERT BY NAME
  SELECT
    o_orderkey   AS order_id,
    o_custkey    AS customer_id,
    o_orderdate  AS order_date,
    o_totalprice AS total_price
  FROM STREAM(samples.tpch.orders);

-- Create a managed table with a data quality expectation that drops violating rows
CREATE TABLE valid_events
  (CONSTRAINT positive_id EXPECT (id > 0) ON VIOLATION DROP ROW)
FLOW INSERT BY NAME
  SELECT id FROM STREAM read_files('/Volumes/catalog/schema/landing/path', format => 'json');

Dodatkowe zasoby