CREATE TABLE ... FLOW

Si applica a:spuntato sì Databricks SQL

Importante

Questa funzionalità è in versione beta.

Non è necessario abilitare un'anteprima per utilizzare CREATE TABLE ... FLOW.

Crea una tabella gestita da Unity Catalog i cui dati vengono scritti da un singolo flusso di appendi. Quando esegui l'istruzione, Azure Databricks crea una pipeline serverless che esegue il flusso per popolare la tabella. Aggiorni la tabella su richiesta o secondo un calendario, allo stesso modo in cui aggiorni una tabella in streaming.

A differenza di una tabella streaming, il risultato è una tabella Delta gestita standard senza tabella di supporto. Gli utenti e gli strumenti a valle lavorano con esso come qualsiasi altra tabella gestita.

Per definire questo tipo di tabella in una pipeline, inclusa la cui scrive più di un flow, vedi CREATE TABLE ... FLOW (pipeline).

Requirements

CREATE TABLE ... FLOW ha gli stessi requisiti di altre pipeline standalone, inclusi un account abilitato serverless e un'area di lavoro abilitata al Catalogo Unity. Per creare la tabella, è necessario il CREATE TABLE privilegio sullo schema di destinazione. Vedere Requisiti.

Syntax

CREATE TABLE table_name
  [ table_specification ]
  [ table_clauses ]
  flow_clause

table_specification
  ( { column_identifier column_type [ column_properties ] } [, ...]
    [ CONSTRAINT expectation_name EXPECT (expectation_expr)
      [ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )

column_properties
  { NOT NULL |
    GENERATED ALWAYS AS ( expr ) |
    COMMENT column_comment |
    MASK clause } [ ... ]

table_clauses
  { PARTITIONED BY (col [, ...]) |
    CLUSTER BY clause |
    COMMENT table_comment |
    TBLPROPERTIES clause |
    schedule |
    WITH { ROW FILTER clause } } [...]

schedule
  { SCHEDULE [ REFRESH ] schedule_clause |
    TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }

schedule_clause
  { EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
  CRON cron_string [ AT TIME ZONE timezone_id ]}

flow_clause
  FLOW INSERT BY NAME query

Metti tutte le clausole della tabella prima della FLOW parola chiave.

Parameters

  • table_name

    Nome della tabella da creare. La tabella deve essere in un catalogo del Catalogo Unity. Se il nome non è qualificato, la tabella viene creata nel catalogo e nello schema correnti.

    Il nome non deve appartenere a una tabella streaming o a una vista materializzata esistente.

  • table_specification

    Questa clausola opzionale definisce le colonne, i loro tipi, proprietà, descrizioni e aspettative relative alla qualità dei dati. Se lo ometti, lo schema viene inferto dalla query di flusso.

    • column_identifier

      Nome univoco per la colonna.

    • column_type

      Specifica il tipo di dati della colonna.

    • NON NULLO

      Se specificato, la colonna non accetta NULL valori.

    • GENERATO SEMPRE COME ( spr )

      Quando specifichi questa clausola, il valore di questa colonna è determinato dal valore specificato expr.

    • COMMENTO column_comment

      Un STRING letterale che descrive la colonna.

    • clausola MASK

      Aggiunge una funzione di mascheratura delle colonne per rendere anonimi i dati sensibili. Vedere Filtri di riga e maschere di colonna.

    • CONSTRAINT expectation_name ASPETTARSI (expectation_expr) [ IN VIOLAZIONE { FALLIMENTO UPDATE | ABBANDONARE RIGA } ]

      Aggiunge un'aspettativa di qualità dei dati alla tabella. Un'aspettativa FAIL UPDATE fa fallire l'aggiornamento quando una riga la viola. Un'aspettativa DROP ROW elimina ogni riga che la viola. Vedi Gestisci la qualità dei dati con le aspettative della pipeline.

  • PARTIZIONATO DA (col [, ...])

    Facoltativamente, partiziona la tabella in base a un subset di colonne. Non è possibile combinare PARTITIONED BY e CLUSTER BY.

  • CLUSTER BY clausola

    Facoltativamente, abilita il clustering liquido nella tabella.

  • COMMENTO table_comment

    Un STRING letterale che descrive la tabella.

  • clausola TBLPROPERTIES

    Facoltativamente, imposta una o più proprietà di tabella definite dall'utente.

  • Calendario

    Aggiorna la tabella automaticamente opzionalmente. SCHEDULE e TRIGGER ON UPDATE seguono le stesse regole e limiti che fanno per CREATE STREAMING TABLE. Se ometti la programmazione, la tabella si aggiorna solo quando esegui REFRESH.

  • clausola WITH ROW FILTER

    Aggiunge una funzione di filtro di riga alla tabella. Le query sulla tabella restituiscono solo le righe per le quali la funzione valuta a TRUE. Vedere Filtri di riga e maschere di colonna.

  • Query FLOW INSERT BY NAME

    Definisce il flusso di append che scrive nella tabella. Le colonne nel risultato di query sono abbinate alle colonne della tabella per nome. query è tipicamente una lettura in streaming, come STREAM(source_table) o STREAM read_files(...). Ogni aggiornamento aggiunge solo i dati che sono arrivati nella sorgente dall'ultimo aggiornamento.

Aggiorna la tabella

Sebbene il risultato sia una tabella gestita, la aggiorni con l'istruzione REFRESH STREAMING TABLE , come una tabella in streaming:

-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;

-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;

-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;

Warning

Un aggiornamento completo tronca la tabella e rielabora tutti i dati disponibili nella sorgente. Se la sorgente conserva i dati per un periodo limitato, come Kafka, i dati che sono invecchiati dalla sorgente vengono persi.

Tra un refresh e l'altro, puoi eseguire comandi DML come DELETE quelli contro la tabella.

Limitations

  • La tabella deve essere nel Catalogo Unity. Il hive_metastore catalogo non è supportato.
  • Un'istruzione CREATE TABLE ... FLOW definisce una tabella con un unico flusso. Per scrivere in una tabella da più flusso, definisci la tabella in una pipeline. Vedi CREATE TABLE ... FLOW (condotte).
  • CREATE TABLE ... FLOW fallisce se la tabella esiste già. CREATE OR REFRESH TABLE ... FLOW non è una sintassi valida ed CREATE OR REPLACE TABLE ... FLOW è non consentita.
  • CREATE TEMPORARY TABLE ... FLOW e CREATE EXTERNAL TABLE ... FLOW non è permesso.
  • FLOW AUTO CDC non è supportato e fallisce con MANAGED_TABLE_DOES_NOT_SUPPORT_CDC. Per applicare la rilevazione dei dati di modifica (CDC), usa la clausola AUTO CDC FLOW.
  • FLOW REPLACE WHERE non è supportato e fallisce con UNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE.
  • Non puoi riutilizzare il nome di una tabella streaming o di una vista materializzata esistente. La ridefinizione di un nome come un tipo di tabella diverso fallisce con CANNOT_CHANGE_TABLE_MODEL_TYPE. Elimina prima la tabella esistente.
  • TARGET FRESHNESS non è supportato e fallisce con TARGET_FRESHNESS_REQUIRES_ETL_PIPELINE. Per utilizzare la freschezza target, definisci la tabella in una pipeline.
  • PRIMARY KEY e FOREIGN KEY i vincoli sono accettati ma non applicati alla tabella.
  • Le seguenti clausole non sono supportate e falliscono quando l'istruzione viene analizzata:
    • DEFAULT COLLATION
    • OPTIONS
    • CLUSTERED BY ... INTO num_buckets BUCKETS
    • ROW FORMAT e STORED AS
    • WITH CREDENTIAL

Examples

-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
  SELECT * FROM STREAM(main.sales.orders_raw);

-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
  order_id BIGINT NOT NULL,
  region STRING,
  amount DECIMAL(10, 2),
  CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
  SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);

-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
  SELECT order_id FROM STREAM(main.sales.orders_raw);

-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;