適用於:
Databricks SQL
Important
這項功能位於 測試版 (Beta) 中。
您不需要啟用預覽即可使用 CREATE TABLE ... FLOW。
建立一個由 Unity Catalog 管理的資料表,其資料由單一附加流程寫入。 當您執行該語句時,Azure Databricks 會建立一個無伺服器管線,執行流程以填充資料表。 你可以隨時或依排程重新整理資料表,就像重新整理 串流資料表一樣。
與串流資料表不同,結果是一個標準管理的 Delta 資料表,沒有後備資料表。 下游使用者和工具會像處理其他受管理的資料表一樣使用它。
若要在管線中定義這類資料表,包括同時寫入多個流程的資料表,請參閱 CREATE TABLE ...FLOW(管線)。
Requirements
CREATE TABLE ... FLOW 具備與其他獨立管線相同的需求,包括支援無伺服器帳戶及支援 Unity 目錄的工作區。 要建立資料表,您需要對目標結構擁有 CREATE TABLE 權限。 請參閱 需求。
Syntax
CREATE TABLE table_name
[ table_specification ]
[ table_clauses ]
flow_clause
table_specification
( { column_identifier column_type [ column_properties ] } [, ...]
[ CONSTRAINT expectation_name EXPECT (expectation_expr)
[ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )
column_properties
{ NOT NULL |
GENERATED ALWAYS AS ( expr ) |
COMMENT column_comment |
MASK clause } [ ... ]
table_clauses
{ PARTITIONED BY (col [, ...]) |
CLUSTER BY clause |
COMMENT table_comment |
TBLPROPERTIES clause |
schedule |
WITH { ROW FILTER clause } } [...]
schedule
{ SCHEDULE [ REFRESH ] schedule_clause |
TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }
schedule_clause
{ EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
CRON cron_string [ AT TIME ZONE timezone_id ]}
flow_clause
FLOW INSERT BY NAME query
將所有表格子句放在關鍵字之前 FLOW 。
Parameters
-
要建立的數據表名稱。 該資料表必須位於 Unity 目錄中。 如果名稱未加限定,資料表會在目前目錄與結構中建立。
名稱不得屬於現有的串流資料表或物化檢視。
表格規格
此選填子句定義欄位、其類型、屬性、描述及資料品質期望。 若省略,結構結構將從流程查詢中推斷。
-
欄位的一個唯一名稱。
-
指定數據行的數據類型。
非空
如果指定,該欄位不接受
NULL數值。產生的 ALWAYS AS ( expr )
當您指定此子句時,此欄位的值將由指定的
expr所決定。註解 column_comment
一個
STRING描述該欄位的字面意義。MASK 子句
新增數據行遮罩函式來匿名敏感數據。 請參閱 行篩選和列遮罩。
CONSTRAINT expectation_name EXPECT (expectation_expr) [ON VIOLATION {FAIL UPDATE | DROP ROW}]
將資料品質期望新增至資料表。
FAIL UPDATE當某列違反期望值時,刷新會失敗。DROP ROW期望值會刪除每違反該期待的列。 請參閱 使用管線期望來管理資料品質。
-
分區為(欄[, ...])
可選擇性地將表格分割為欄位子集。 你無法將 和
PARTITIONED BY結合CLUSTER BY。CLUSTER BY 子句
可選擇性地啟用 桌面上的液體聚類 。
註解 table_comment
一個
STRING描述表格的字面意義。TBLPROPERTIES 子句
可選擇性地設定一個或多個使用者自訂的表格屬性。
附表
可選擇性地自動重新整理資料表。
SCHEDULE並TRIGGER ON UPDATE遵循與 相同的 CREATE STREAMING TABLE規則與限制。 如果您省略排程,表格僅在執行REFRESH時刷新。WITH ROW FILTER 子句
將數據列篩選函式加入至數據表。 資料表上的查詢只會回傳函數評估為
TRUE的列。 請參閱 行篩選和列遮罩。FLOW INSERT BY NAME 查詢
定義寫入資料表的附加流程。 結果
query中的欄位會依名稱與資料表欄位匹配。query通常是串流讀取,例如STREAM(source_table)STREAM read_files(...)或 。 每次重新整理只會附加自上次重新整理以來已抵達來源的資料。
重新整理資料表
雖然結果是一個受管理的資料表,但你會用以下 REFRESH STREAMING TABLE 語句重新整理它,就像串流資料表一樣:
-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;
-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;
-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;
Warning
完整刷新會截斷資料表,並重新處理來源中所有可用的資料。 如果來源只保留資料有限的時間,例如 Kafka,則已從來源中過時的資料會遺失。
在重新整理之間,您可以執行 DML 指令,例如 DELETE 對資料表執行。
Limitations
- 該資料表必須位於 Unity 目錄中。
hive_metastore目錄不被支援。 - 一個
CREATE TABLE ... FLOW語句定義一個資料表與一個流程。 若要從多個流程寫入資料表,請在管線中定義該資料表。 參見CREATE TABLE......流(管線)。 -
CREATE TABLE ... FLOW如果資料表已存在,則會失敗。CREATE OR REFRESH TABLE ... FLOW語法不正確,且CREATE OR REPLACE TABLE ... FLOW不允許。 -
CREATE TEMPORARY TABLE ... FLOW而且CREATE EXTERNAL TABLE ... FLOW不被允許。 -
FLOW AUTO CDC不支援且在 時MANAGED_TABLE_DOES_NOT_SUPPORT_CDC失敗。 若要套用變更資料擷取(CDC),請使用 AUTO CDC FLOW 子句。 -
FLOW REPLACE WHERE不支援且在 時UNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE失敗。 - 您無法重複使用現有串流資料表或物化檢視的名稱。 將名稱重新定義為不同資料表類型時,若有
CANNOT_CHANGE_TABLE_MODEL_TYPE則失敗。 先刪除現有的資料表。 -
TARGET FRESHNESS不支援且在 時TARGET_FRESHNESS_REQUIRES_ETL_PIPELINE失敗。 若要使用目標新鮮度,請在管線中定義該資料表。 -
PRIMARY KEY且FOREIGN KEY約束條件被接受,但不會套用到表格上。 - 以下子句不被支援,且在解析該語句時會失效:
DEFAULT COLLATIONOPTIONSCLUSTERED BY ... INTO num_buckets BUCKETS-
ROW FORMAT以及STORED AS WITH CREDENTIAL
範例
-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
SELECT * FROM STREAM(main.sales.orders_raw);
-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
order_id BIGINT NOT NULL,
region STRING,
amount DECIMAL(10, 2),
CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);
-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
SELECT order_id FROM STREAM(main.sales.orders_raw);
-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;