Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Si applica a:
Databricks SQL
Importante
Questa funzionalità è in versione beta.
Non è necessario abilitare un'anteprima per utilizzare CREATE TABLE ... FLOW.
Crea una tabella gestita da Unity Catalog i cui dati vengono scritti da un singolo flusso di appendi. Quando esegui l'istruzione, Azure Databricks crea una pipeline serverless che esegue il flusso per popolare la tabella. Aggiorni la tabella su richiesta o secondo un calendario, allo stesso modo in cui aggiorni una tabella in streaming.
A differenza di una tabella streaming, il risultato è una tabella Delta gestita standard senza tabella di supporto. Gli utenti e gli strumenti a valle lavorano con esso come qualsiasi altra tabella gestita.
Per definire questo tipo di tabella in una pipeline, inclusa la cui scrive più di un flow, vedi CREATE TABLE ... FLOW (pipeline).
Requirements
CREATE TABLE ... FLOW ha gli stessi requisiti di altre pipeline standalone, inclusi un account abilitato serverless e un'area di lavoro abilitata al Catalogo Unity. Per creare la tabella, è necessario il CREATE TABLE privilegio sullo schema di destinazione. Vedere Requisiti.
Syntax
CREATE TABLE table_name
[ table_specification ]
[ table_clauses ]
flow_clause
table_specification
( { column_identifier column_type [ column_properties ] } [, ...]
[ CONSTRAINT expectation_name EXPECT (expectation_expr)
[ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )
column_properties
{ NOT NULL |
GENERATED ALWAYS AS ( expr ) |
COMMENT column_comment |
MASK clause } [ ... ]
table_clauses
{ PARTITIONED BY (col [, ...]) |
CLUSTER BY clause |
COMMENT table_comment |
TBLPROPERTIES clause |
schedule |
WITH { ROW FILTER clause } } [...]
schedule
{ SCHEDULE [ REFRESH ] schedule_clause |
TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }
schedule_clause
{ EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
CRON cron_string [ AT TIME ZONE timezone_id ]}
flow_clause
FLOW INSERT BY NAME query
Metti tutte le clausole della tabella prima della FLOW parola chiave.
Parameters
-
Nome della tabella da creare. La tabella deve essere in un catalogo del Catalogo Unity. Se il nome non è qualificato, la tabella viene creata nel catalogo e nello schema correnti.
Il nome non deve appartenere a una tabella streaming o a una vista materializzata esistente.
table_specification
Questa clausola opzionale definisce le colonne, i loro tipi, proprietà, descrizioni e aspettative relative alla qualità dei dati. Se lo ometti, lo schema viene inferto dalla query di flusso.
-
Nome univoco per la colonna.
-
Specifica il tipo di dati della colonna.
NON NULLO
Se specificato, la colonna non accetta
NULLvalori.GENERATO SEMPRE COME ( spr )
Quando specifichi questa clausola, il valore di questa colonna è determinato dal valore specificato
expr.COMMENTO column_comment
Un
STRINGletterale che descrive la colonna.clausola MASK
Aggiunge una funzione di mascheratura delle colonne per rendere anonimi i dati sensibili. Vedere Filtri di riga e maschere di colonna.
CONSTRAINT expectation_name ASPETTARSI (expectation_expr) [ IN VIOLAZIONE { FALLIMENTO UPDATE | ABBANDONARE RIGA } ]
Aggiunge un'aspettativa di qualità dei dati alla tabella. Un'aspettativa
FAIL UPDATEfa fallire l'aggiornamento quando una riga la viola. Un'aspettativaDROP ROWelimina ogni riga che la viola. Vedi Gestisci la qualità dei dati con le aspettative della pipeline.
-
PARTIZIONATO DA (col [, ...])
Facoltativamente, partiziona la tabella in base a un subset di colonne. Non è possibile combinare
PARTITIONED BYeCLUSTER BY.CLUSTER BY clausola
Facoltativamente, abilita il clustering liquido nella tabella.
COMMENTO table_comment
Un
STRINGletterale che descrive la tabella.clausola TBLPROPERTIES
Facoltativamente, imposta una o più proprietà di tabella definite dall'utente.
Calendario
Aggiorna la tabella automaticamente opzionalmente.
SCHEDULEeTRIGGER ON UPDATEseguono le stesse regole e limiti che fanno per CREATE STREAMING TABLE. Se ometti la programmazione, la tabella si aggiorna solo quando eseguiREFRESH.clausola WITH ROW FILTER
Aggiunge una funzione di filtro di riga alla tabella. Le query sulla tabella restituiscono solo le righe per le quali la funzione valuta a
TRUE. Vedere Filtri di riga e maschere di colonna.Query FLOW INSERT BY NAME
Definisce il flusso di append che scrive nella tabella. Le colonne nel risultato di
querysono abbinate alle colonne della tabella per nome.queryè tipicamente una lettura in streaming, comeSTREAM(source_table)oSTREAM read_files(...). Ogni aggiornamento aggiunge solo i dati che sono arrivati nella sorgente dall'ultimo aggiornamento.
Aggiorna la tabella
Sebbene il risultato sia una tabella gestita, la aggiorni con l'istruzione REFRESH STREAMING TABLE , come una tabella in streaming:
-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;
-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;
-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;
Warning
Un aggiornamento completo tronca la tabella e rielabora tutti i dati disponibili nella sorgente. Se la sorgente conserva i dati per un periodo limitato, come Kafka, i dati che sono invecchiati dalla sorgente vengono persi.
Tra un refresh e l'altro, puoi eseguire comandi DML come DELETE quelli contro la tabella.
Limitations
- La tabella deve essere nel Catalogo Unity. Il
hive_metastorecatalogo non è supportato. - Un'istruzione
CREATE TABLE ... FLOWdefinisce una tabella con un unico flusso. Per scrivere in una tabella da più flusso, definisci la tabella in una pipeline. Vedi CREATE TABLE ... FLOW (condotte). -
CREATE TABLE ... FLOWfallisce se la tabella esiste già.CREATE OR REFRESH TABLE ... FLOWnon è una sintassi valida edCREATE OR REPLACE TABLE ... FLOWè non consentita. -
CREATE TEMPORARY TABLE ... FLOWeCREATE EXTERNAL TABLE ... FLOWnon è permesso. -
FLOW AUTO CDCnon è supportato e fallisce conMANAGED_TABLE_DOES_NOT_SUPPORT_CDC. Per applicare la rilevazione dei dati di modifica (CDC), usa la clausola AUTO CDC FLOW. -
FLOW REPLACE WHEREnon è supportato e fallisce conUNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE. - Non puoi riutilizzare il nome di una tabella streaming o di una vista materializzata esistente. La ridefinizione di un nome come un tipo di tabella diverso fallisce con
CANNOT_CHANGE_TABLE_MODEL_TYPE. Elimina prima la tabella esistente. -
TARGET FRESHNESSnon è supportato e fallisce conTARGET_FRESHNESS_REQUIRES_ETL_PIPELINE. Per utilizzare la freschezza target, definisci la tabella in una pipeline. -
PRIMARY KEYeFOREIGN KEYi vincoli sono accettati ma non applicati alla tabella. - Le seguenti clausole non sono supportate e falliscono quando l'istruzione viene analizzata:
DEFAULT COLLATIONOPTIONSCLUSTERED BY ... INTO num_buckets BUCKETS-
ROW FORMATeSTORED AS WITH CREDENTIAL
Examples
-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
SELECT * FROM STREAM(main.sales.orders_raw);
-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
order_id BIGINT NOT NULL,
region STRING,
amount DECIMAL(10, 2),
CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);
-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
SELECT order_id FROM STREAM(main.sales.orders_raw);
-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;