CREATE TABLE ... PRZEPŁYW

Dotyczy:zaznacz pole wyboru oznaczone jako tak Databricks SQL

Important

Ta funkcja jest dostępna w wersji beta.

Nie musisz włączać podglądu, aby korzystać z CREATE TABLE ... FLOW.

Tworzy zarządzaną tabelę Katalogu Unity, której dane są zapisywane przez pojedynczy przepływ dołączeń. Po uruchomieniu instrukcji Azure Databricks tworzy bezserwerowy potok, który uruchamia przepływ wypełniający tabelę. Odświeżasz tabelę na żądanie lub według harmonogramu, tak jak odświeżasz tabelę streamingową.

W przeciwieństwie do tabeli strumieniowej, efektem jest standardowa zarządzana tabela Delta bez tabeli podkładowej. Użytkownicy i narzędzia działające na dalszej linii pracują z nią jak z każdą inną tabelą zarządzaną.

Aby zdefiniować tego typu tabelę w potoku, w tym z więcej niż jednym przepływem zapisującym do niej, zobacz CREATE TABLE ... PRZEPŁYW (rurociągi).

Requirements

CREATE TABLE ... FLOW ma takie same wymagania jak inne samodzielne potoki, w tym konto z włączonym serwerem bezserwerowym oraz przestrzeń roboczą z włączonym katalogiem Unity. Aby utworzyć tabelę, potrzebujesz CREATE TABLE uprawnień do docelowego schematu. Zobacz Wymagania.

Składnia

CREATE TABLE table_name
  [ table_specification ]
  [ table_clauses ]
  flow_clause

table_specification
  ( { column_identifier column_type [ column_properties ] } [, ...]
    [ CONSTRAINT expectation_name EXPECT (expectation_expr)
      [ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )

column_properties
  { NOT NULL |
    GENERATED ALWAYS AS ( expr ) |
    COMMENT column_comment |
    MASK clause } [ ... ]

table_clauses
  { PARTITIONED BY (col [, ...]) |
    CLUSTER BY clause |
    COMMENT table_comment |
    TBLPROPERTIES clause |
    schedule |
    WITH { ROW FILTER clause } } [...]

schedule
  { SCHEDULE [ REFRESH ] schedule_clause |
    TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }

schedule_clause
  { EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
  CRON cron_string [ AT TIME ZONE timezone_id ]}

flow_clause
  FLOW INSERT BY NAME query

Umieść wszystkie klauzule tabeli przed słowem kluczowym FLOW .

Parameters

  • table_name

    Nazwa tabeli do utworzenia. Tabela musi znajdować się w katalogu Unity Catalog. Jeśli nazwa nie jest kwalifikowana, tabela jest tworzona w bieżącym katalogu i schemacie.

    Nazwa nie może należeć do istniejącej tabeli strumieniowej ani widoku materializowanego.

  • specyfikacja_tabeli

    Ta opcjonalna klauzula definiuje kolumny, ich typy, właściwości, opisy oraz oczekiwania dotyczące jakości danych. Jeśli go pominiesz, schemat jest wnioskowany z zapytania przepływu.

    • column_identifier

      Unikatowa nazwa kolumny.

    • typ_kolumny

      Określa typ danych kolumny.

    • NIE NULL

      Jeśli jest określone, kolumna nie akceptuje NULL wartości.

    • WYGENEROWANE ZAWSZE JAKO ( wyrażenie )

      Po określeniu tej klauzuli wartość tej kolumny jest określana przez określone expr.

    • KOMENTARZ KOLUMNY

      Dosłownie opisujący STRING kolumnę.

    • Klauzula MASK

      Dodaje funkcję maski kolumn do anonimowości poufnych danych. Zobacz Filtry wierszy i maski kolumn.

    • CONSTRAINT expectation_name EXPECT (expectation_expr) [ W PRZYPADKU NARUSZENIA { FAIL UPDATE | DROP ROW } ]

      Dodaje do tabeli oczekiwanie dotyczące jakości danych. Oczekiwanie FAIL UPDATE powoduje, że odświeżanie nie powiodło się, gdy wiersz je narusza. Oczekiwanie wypada DROP ROW z każdego wiersza, który je narusza. Zobacz Zarządzanie jakością danych przy użyciu oczekiwań dotyczących przepływu danych.

  • PODZIELONE PRZEZ (słup [, ...])

    Opcjonalnie partycjonuje tabelę według podzestawu kolumn. Nie można połączyć PARTITIONED BY i CLUSTER BY.

  • CLUSTER BY klauzuli

    Opcjonalnie umożliwia płynne klastrowanie w tabeli.

  • Komentarz do tabeli

    Dosłownie opisujący STRING stół.

  • klauzula TBLPROPERTIES

    Opcjonalnie ustawia co najmniej jedną właściwość tabeli zdefiniowanej przez użytkownika.

  • harmonogram

    Opcjonalnie automatycznie odświeża tabelę. SCHEDULE i TRIGGER ON UPDATE przestrzegają tych samych zasad i limitów co dla CREATE STREAMING TABLE. Jeśli pominiesz harmonogram, tabela odświeża się tylko po uruchomieniu REFRESH.

  • Klauzula WITH ROW FILTER

    Dodaje do tabeli funkcję filtru wierszy. Zapytania na tabeli zwracają tylko te wiersze, dla których funkcja ocenia do .TRUE Zobacz Filtry wierszy i maski kolumn.

  • Zapytanie FLOW INSERT BY NAME

    Definiuje przepływ dołączeń, który zapisuje do tabeli. Kolumny w wyniku są query dopasowywane do kolumn tabeli według nazwy. query jest zazwyczaj odczytem strumieniowym, takim jak STREAM(source_table) lub STREAM read_files(...). Każde odświeżenie dołącza tylko dane, które dotarły do źródła od ostatniego odświeżenia.

Odśwież tabelę

Chociaż wynikiem jest tabela zarządzana, odświeżasz ją za pomocą REFRESH STREAMING TABLE instrukcji, tak jak tabela strumieniowa:

-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;

-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;

-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;

Warning

Pełne odświeżenie obcina tabelę i ponownie przetwarza wszystkie dane dostępne w źródle. Jeśli źródło przechowuje dane przez ograniczony czas, na przykład Kafka, dane, które zostały zestarzone poza źródłem, zostają utracone.

Między odświeżeniami możesz uruchamiać polecenia DML, takie jak DELETE Against the table.

Limitations

  • Tabela musi znajdować się w Katalogu Unity. Katalog hive_metastore nie jest obsługiwany.
  • Instrukcja definiuje CREATE TABLE ... FLOW jedną tabelę z jednym przepływem. Aby zapisać do tabeli z więcej niż jednego przepływu, zdefiniuj tabelę w potoku. Zobacz CREATE TABLE ... FLOW (rurociągi).
  • CREATE TABLE ... FLOW nie powiódł się, jeśli tabela już istnieje. CREATE OR REFRESH TABLE ... FLOW nie jest poprawną składnią i CREATE OR REPLACE TABLE ... FLOW nie jest dozwolona.
  • CREATE TEMPORARY TABLE ... FLOW CREATE EXTERNAL TABLE ... FLOW i nie są dozwolone.
  • FLOW AUTO CDC nie jest obsługiwany i nie udaje się z MANAGED_TABLE_DOES_NOT_SUPPORT_CDC. Aby zastosować przechwytywanie zmian danych (CDC), użyj klauzuli AUTO CDC FLOW.
  • FLOW REPLACE WHERE nie jest obsługiwany i nie udaje się z UNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE.
  • Nie można ponownie użyć nazwy istniejącej tabeli strumieniowej ani widoku materializowanego. Redefiniowanie nazwy jako innego typu tabeli nie przebiega CANNOT_CHANGE_TABLE_MODEL_TYPEz . Najpierw odłóż istniejącą tabelę.
  • TARGET FRESHNESS nie jest obsługiwany i nie udaje się z TARGET_FRESHNESS_REQUIRES_ETL_PIPELINE. Aby użyć docelowej świeżości, zdefiniuj tabelę w potoku.
  • PRIMARY KEY oraz ograniczenia FOREIGN KEY są akceptowane, ale nie są stosowane do tabeli.
  • Następujące klauzule nie są obsługiwane i nie ulegają błędowi podczas parsowania instrukcji:
    • DEFAULT COLLATION
    • OPTIONS
    • CLUSTERED BY ... INTO num_buckets BUCKETS
    • ROW FORMAT i STORED AS
    • WITH CREDENTIAL

Przykłady

-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
  SELECT * FROM STREAM(main.sales.orders_raw);

-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
  order_id BIGINT NOT NULL,
  region STRING,
  amount DECIMAL(10, 2),
  CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
  SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);

-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
  SELECT order_id FROM STREAM(main.sales.orders_raw);

-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;