CREATE TABLE ... FLUJO

Aplica a:sí con la marca de verificación Databricks SQL

Important

Esta característica se encuentra en su versión beta.

No necesitas habilitar una vista previa para usar CREATE TABLE ... FLOW.

Crea una tabla administrada por Unity Catalog cuyos datos se escriben mediante un único flujo de añada. Cuando ejecutas la sentencia, Azure Databricks crea una canalización sin servidor que ejecuta el flujo para rellenar la tabla. Actualizas la tabla bajo demanda o según un horario, igual que actualizas una tabla en streaming.

A diferencia de una tabla de streaming, el resultado es una tabla Delta gestionada estándar sin tabla de respaldo. Los usuarios y herramientas posteriores trabajan con él como cualquier otra tabla gestionada.

Para definir este tipo de tabla en una canalización, incluyendo con más de un flujo escribiendo en ella, véaseCREATE TABLE ... FLOW (canalerías).

Requirements

CREATE TABLE ... FLOW tiene los mismos requisitos que otras canallas independientes, incluyendo una cuenta habilitada para serverless y un espacio de trabajo habilitado para Unity Catalog. Para crear la tabla, necesitas el CREATE TABLE privilegio en el esquema de destino. Vea Requisitos.

Syntax

CREATE TABLE table_name
  [ table_specification ]
  [ table_clauses ]
  flow_clause

table_specification
  ( { column_identifier column_type [ column_properties ] } [, ...]
    [ CONSTRAINT expectation_name EXPECT (expectation_expr)
      [ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )

column_properties
  { NOT NULL |
    GENERATED ALWAYS AS ( expr ) |
    COMMENT column_comment |
    MASK clause } [ ... ]

table_clauses
  { PARTITIONED BY (col [, ...]) |
    CLUSTER BY clause |
    COMMENT table_comment |
    TBLPROPERTIES clause |
    schedule |
    WITH { ROW FILTER clause } } [...]

schedule
  { SCHEDULE [ REFRESH ] schedule_clause |
    TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }

schedule_clause
  { EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
  CRON cron_string [ AT TIME ZONE timezone_id ]}

flow_clause
  FLOW INSERT BY NAME query

Coloca todas las cláusulas de tabla antes de la FLOW palabra clave.

Parameters

  • table_name

    El objeto de la tabla que se va a crear. La tabla debe estar en un catálogo de Unity Catalog. Si el nombre no está cualificado, la tabla se crea en el catálogo y esquema actuales.

    El nombre no debe pertenecer a una tabla de streaming existente ni a una vista materializada.

  • table_specification

    Esta cláusula opcional define las columnas, sus tipos, propiedades, descripciones y expectativas de calidad de los datos. Si lo omites, el esquema se infiere a partir de la consulta de flujo.

    • column_identifier

      Nombre único para la columna.

    • column_type

      Especifica el tipo de datos de la columna.

    • NO NULO

      Si se especifica, la columna no acepta NULL valores.

    • GENERADO SIEMPRE COMO ( expr )

      Cuando especificas esta cláusula, el valor de esta columna se determina por el .expr

    • COMENTARIO column_comment

      Un STRING literal que describe la columna.

    • cláusula MASK

      Agrega una función de máscara de columna para anonimizar datos confidenciales. Consulte Filtros de fila y máscaras de columna.

    • CONSTRAINT expectation_name ESPERA (expectation_expr) [ EN INFRACCIÓN { FALLO UPDATE | ELIMINAR FILA } ]

      Añade una expectativa de calidad de datos a la tabla. Una expectativa provoca que el refresco falle cuando una fila FAIL UPDATE la incumple. Una DROP ROW expectativa elimina cada fila que la viola. Consulte Administración de la calidad de los datos con las expectativas de canalización.

  • PARTICIONADO POR (col [, ...])

    Opcionalmente, particiona la tabla por un subconjunto de columnas. No se puede combinar PARTITIONED BY y CLUSTER BY.

  • CLUSTER BY cláusula

    Opcionalmente, habilita la agrupación en clústeres líquidos en la tabla.

  • COMENTARIO table_comment

    Un STRING literal que describe la tabla.

  • cláusula TBLPROPERTIES

    Opcionalmente, establece una o varias propiedades de tabla definidas por el usuario.

  • Calendario

    Opcionalmente, actualiza la tabla automáticamente. SCHEDULE y TRIGGER ON UPDATE siguen las mismas reglas y límites que para CREATE STREAMING TABLE. Si omites la programación, la tabla se actualiza solo cuando ejecutas REFRESH.

  • cláusula WITH ROW FILTER

    Agrega una función de filtro de fila a la tabla. Las consultas en la tabla devolven solo las filas para las que la función evalúa a TRUE. Consulte Filtros de fila y máscaras de columna.

  • Consulta FLUJO INSERT POR NOMBRE

    Define el flujo de añado que escribe en la tabla. Las columnas en el resultado de query se emparejan con las columnas de la tabla por nombre. query suele ser una lectura en streaming, como STREAM(source_table) o STREAM read_files(...). Cada actualización añade únicamente los datos que han llegado a la fuente desde la última actualización.

Actualizar la tabla

Aunque el resultado es una tabla gestionada, la actualizas con la REFRESH STREAMING TABLE sentencia, igual que una tabla de streaming:

-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;

-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;

-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;

Warning

Una actualización completa trunca la tabla y reprocesa todos los datos disponibles en la fuente. Si la fuente conserva datos durante un tiempo limitado, como Kafka, se pierde la información que ha envejecido la fuente.

Entre actualizaciones, puedes ejecutar comandos DML como DELETE contra la tabla.

Limitations

  • La tabla debe estar en el Catálogo de Unity. El hive_metastore catálogo no está soportado.
  • Una CREATE TABLE ... FLOW instrucción define una tabla con un solo flujo. Para escribir en una tabla desde más de un flujo, define la tabla en una canalización. Véase CREATE TABLE ... FLOW (tuberías).
  • CREATE TABLE ... FLOW falla si la tabla ya existe. CREATE OR REFRESH TABLE ... FLOW no es sintaxis válida y CREATE OR REPLACE TABLE ... FLOW no está permitida.
  • CREATE TEMPORARY TABLE ... FLOW y CREATE EXTERNAL TABLE ... FLOW no se permiten.
  • FLOW AUTO CDC no está soportado y falla con MANAGED_TABLE_DOES_NOT_SUPPORT_CDC. Para aplicar la captura de datos de cambio (CDC), utilice la cláusula AUTO CDC FLOW Clause.
  • FLOW REPLACE WHERE no está soportado y falla con UNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE.
  • No puedes reutilizar el nombre de una tabla de streaming existente o de una vista materializada. Redefinir un nombre como un tipo de tabla diferente falla con CANNOT_CHANGE_TABLE_MODEL_TYPE. Elimina primero la tabla existente.
  • TARGET FRESHNESS no está soportado y falla con TARGET_FRESHNESS_REQUIRES_ETL_PIPELINE. Para utilizar la frescura objetivo, define la tabla en una canalización.
  • PRIMARY KEY y FOREIGN KEY las restricciones se aceptan pero no se aplican a la tabla.
  • Las siguientes cláusulas no están soportadas y fallan cuando se analiza la sentencia:
    • DEFAULT COLLATION
    • OPTIONS
    • CLUSTERED BY ... INTO num_buckets BUCKETS
    • ROW FORMAT y STORED AS
    • WITH CREDENTIAL

Examples

-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
  SELECT * FROM STREAM(main.sales.orders_raw);

-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
  order_id BIGINT NOT NULL,
  region STRING,
  amount DECIMAL(10, 2),
  CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
  SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);

-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
  SELECT order_id FROM STREAM(main.sales.orders_raw);

-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;