CREATE TABLE ...流程

适用于:勾选为 Databricks SQL

Important

此功能在 Beta 版中。

您无需启用预览即可使用 CREATE TABLE ... FLOW。

创建一个 Unity 目录管理表,其数据由单一追加流程写入。 运行该语句后,Azure Databricks 会创建一个无服务器管道,运行流程以填充该表。 你可以按需或按计划刷新表格,就像刷新 流媒体表格一样。

与流式表不同,其结果是一个标准的管理型 Delta 表,没有任何后台表。 下游用户和工具会像处理其他托管表一样使用它。

要在管道中定义此类表,包括包含多个流写入的表,请参见 CREATE TABLE ...FLOW(管道)。

Requirements

CREATE TABLE ... FLOW 具有与其他独立管道相同的要求,包括支持无服务器账户和支持 Unity 目录的工作区。 要创建表,您需要对目标架构拥有 CREATE TABLE 权限。 请参阅 要求。

Syntax

CREATE TABLE table_name
  [ table_specification ]
  [ table_clauses ]
  flow_clause

table_specification
  ( { column_identifier column_type [ column_properties ] } [, ...]
    [ CONSTRAINT expectation_name EXPECT (expectation_expr)
      [ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )

column_properties
  { NOT NULL |
    GENERATED ALWAYS AS ( expr ) |
    COMMENT column_comment |
    MASK clause } [ ... ]

table_clauses
  { PARTITIONED BY (col [, ...]) |
    CLUSTER BY clause |
    COMMENT table_comment |
    TBLPROPERTIES clause |
    schedule |
    WITH { ROW FILTER clause } } [...]

schedule
  { SCHEDULE [ REFRESH ] schedule_clause |
    TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }

schedule_clause
  { EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
  CRON cron_string [ AT TIME ZONE timezone_id ]}

flow_clause
  FLOW INSERT BY NAME query

将所有表格子句放在关键字之前 FLOW 。

Parameters

  • table_name

    要创建的表的名称。 该表必须位于 Unity 目录目录中。 如果名称未经过限定,表将在当前目录和架构中创建。

    名称不得属于现有的流表或物化视图。

  • table_specification

    此可选子句定义了列、其类型、属性、描述以及数据质量期望。 如果省略,则该架构将通过流程查询推断。

    • column_identifier

      列的唯一名称。

    • column_type

      指定列的数据类型。

    • 不是无效的

      如果指定,该列不接受 NULL 数值。

    • 始终生成为( expr )

      当您指定此子句时,该列的值由指定的 expr决定。

    • 评论column_comment

      一个 STRING 字面意义上的词,描述了这篇专栏。

    • MASK 子句

      添加列掩码函数以对敏感数据进行匿名化处理。 请参阅 行筛选器和列掩码。

    • CONSTRAINT expectation_name 期待 (expectation_expr) [ 违反 { 失败 UPDATE |丢弃行 } ]

      向表中添加数据质量期望值。 FAIL UPDATE当某行违反期望值时,刷新会失败。 DROP ROW期望值会删除每违反该期望的行。 请参阅通过管道预期管理数据质量。

  • 分区为(栏[, ...])

    (可选)按列的子集对表进行分区。 不能合并 PARTITIONED BY 和 CLUSTER BY。

  • CLUSTER BY 子句

    (可选)在表上启用 液体聚类 分析。

  • 评论table_comment

    一个 STRING 描述表格的字面值。

  • TBLPROPERTIES 子句

    (可选)设置一个或多个用户定义的表属性。

  • 赛程

    可选地自动刷新表格。 SCHEDULE 并 TRIGGER ON UPDATE 遵循与 相同的 CREATE STREAMING TABLE规则和限制。 如果省略计划,表仅在运行 REFRESH时刷新。

  • WITH ROW FILTER 子句

    向表中添加行筛选器函数。 对表的查询只返回函数计算为 TRUE的行。 请参阅 行筛选器和列掩码。

  • 按名称流 INSERT 查询

    定义写入表的追加流程。 结果 query 中的列按名称与表列匹配。 query 通常是流式读取,如 STREAM(source_table) 或 STREAM read_files(...)。 每次刷新只追加自上次刷新以来已到达源的数据。

刷新表格

虽然结果是一个托管表,但你用 REFRESH STREAMING TABLE 以下语句刷新它,就像流表一样:

-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;

-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;

-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;

Warning

完整刷新会截断表并重新处理源中所有可用的数据。 如果源头保留数据的时间有限,比如 Kafka,那么已从源头中过时的数据就会丢失。

在刷新之间,你可以运行 DML 命令,例如 DELETE 对表运行。

Limitations

  • 该表必须在 Unity 目录中。 hive_metastore该目录不被支持。
  • 一个 CREATE TABLE ... FLOW 语句定义了一个表和一个流程。 要从多个流程写入表,请在管道中定义该表。 参见CREATE TABLE......流动(管道)。
  • CREATE TABLE ... FLOW 如果该表已经存在,则失败。 CREATE OR REFRESH TABLE ... FLOW 是无效语法,且 CREATE OR REPLACE TABLE ... FLOW 不被允许。
  • CREATE TEMPORARY TABLE ... FLOW 而且 CREATE EXTERNAL TABLE ... FLOW 不被允许。
  • FLOW AUTO CDC 不支持且在 时 MANAGED_TABLE_DOES_NOT_SUPPORT_CDC失败。 要应用变更数据捕获(CDC),请使用 AUTO CDC FLOW 子句。
  • FLOW REPLACE WHERE 不支持且在 时 UNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE失败。
  • 您不能重复使用现有流表或物化视图的名称。 将名称重新定义为不同的表类型时失败。CANNOT_CHANGE_TABLE_MODEL_TYPE 先删除现有表。
  • TARGET FRESHNESS 不支持且在 时 TARGET_FRESHNESS_REQUIRES_ETL_PIPELINE失败。 要使用目标新鲜度,请在管道中定义该表。
  • PRIMARY KEY 约束 FOREIGN KEY 条件被接受,但不会应用于表。
  • 以下子句不受支持,且在解析语句时失败:
    • DEFAULT COLLATION
    • OPTIONS
    • CLUSTERED BY ... INTO num_buckets BUCKETS
    • ROW FORMAT 和 STORED AS
    • WITH CREDENTIAL

Examples

-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
  SELECT * FROM STREAM(main.sales.orders_raw);

-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
  order_id BIGINT NOT NULL,
  region STRING,
  amount DECIMAL(10, 2),
  CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
  SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);

-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
  SELECT order_id FROM STREAM(main.sales.orders_raw);

-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;