Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Aplica a:
de verificación Databricks SQL
Important
Esta característica se encuentra en su versión beta.
No necesitas habilitar una vista previa para usar CREATE TABLE ... FLOW.
Crea una tabla administrada por Unity Catalog cuyos datos se escriben mediante un único flujo de añada. Cuando ejecutas la sentencia, Azure Databricks crea una canalización sin servidor que ejecuta el flujo para rellenar la tabla. Actualizas la tabla bajo demanda o según un horario, igual que actualizas una tabla en streaming.
A diferencia de una tabla de streaming, el resultado es una tabla Delta gestionada estándar sin tabla de respaldo. Los usuarios y herramientas posteriores trabajan con él como cualquier otra tabla gestionada.
Para definir este tipo de tabla en una canalización, incluyendo con más de un flujo escribiendo en ella, véaseCREATE TABLE ... FLOW (canalerías).
Requirements
CREATE TABLE ... FLOW tiene los mismos requisitos que otras canallas independientes, incluyendo una cuenta habilitada para serverless y un espacio de trabajo habilitado para Unity Catalog. Para crear la tabla, necesitas el CREATE TABLE privilegio en el esquema de destino. Vea Requisitos.
Syntax
CREATE TABLE table_name
[ table_specification ]
[ table_clauses ]
flow_clause
table_specification
( { column_identifier column_type [ column_properties ] } [, ...]
[ CONSTRAINT expectation_name EXPECT (expectation_expr)
[ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )
column_properties
{ NOT NULL |
GENERATED ALWAYS AS ( expr ) |
COMMENT column_comment |
MASK clause } [ ... ]
table_clauses
{ PARTITIONED BY (col [, ...]) |
CLUSTER BY clause |
COMMENT table_comment |
TBLPROPERTIES clause |
schedule |
WITH { ROW FILTER clause } } [...]
schedule
{ SCHEDULE [ REFRESH ] schedule_clause |
TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }
schedule_clause
{ EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
CRON cron_string [ AT TIME ZONE timezone_id ]}
flow_clause
FLOW INSERT BY NAME query
Coloca todas las cláusulas de tabla antes de la FLOW palabra clave.
Parameters
-
El objeto de la tabla que se va a crear. La tabla debe estar en un catálogo de Unity Catalog. Si el nombre no está cualificado, la tabla se crea en el catálogo y esquema actuales.
El nombre no debe pertenecer a una tabla de streaming existente ni a una vista materializada.
table_specification
Esta cláusula opcional define las columnas, sus tipos, propiedades, descripciones y expectativas de calidad de los datos. Si lo omites, el esquema se infiere a partir de la consulta de flujo.
-
Nombre único para la columna.
-
Especifica el tipo de datos de la columna.
NO NULO
Si se especifica, la columna no acepta
NULLvalores.GENERADO SIEMPRE COMO ( expr )
Cuando especificas esta cláusula, el valor de esta columna se determina por el .
exprCOMENTARIO column_comment
Un
STRINGliteral que describe la columna.cláusula MASK
Agrega una función de máscara de columna para anonimizar datos confidenciales. Consulte Filtros de fila y máscaras de columna.
CONSTRAINT expectation_name ESPERA (expectation_expr) [ EN INFRACCIÓN { FALLO UPDATE | ELIMINAR FILA } ]
Añade una expectativa de calidad de datos a la tabla. Una expectativa provoca que el refresco falle cuando una fila
FAIL UPDATEla incumple. UnaDROP ROWexpectativa elimina cada fila que la viola. Consulte Administración de la calidad de los datos con las expectativas de canalización.
-
PARTICIONADO POR (col [, ...])
Opcionalmente, particiona la tabla por un subconjunto de columnas. No se puede combinar
PARTITIONED BYyCLUSTER BY.CLUSTER BY cláusula
Opcionalmente, habilita la agrupación en clústeres líquidos en la tabla.
COMENTARIO table_comment
Un
STRINGliteral que describe la tabla.cláusula TBLPROPERTIES
Opcionalmente, establece una o varias propiedades de tabla definidas por el usuario.
Calendario
Opcionalmente, actualiza la tabla automáticamente.
SCHEDULEyTRIGGER ON UPDATEsiguen las mismas reglas y límites que para CREATE STREAMING TABLE. Si omites la programación, la tabla se actualiza solo cuando ejecutasREFRESH.cláusula WITH ROW FILTER
Agrega una función de filtro de fila a la tabla. Las consultas en la tabla devolven solo las filas para las que la función evalúa a
TRUE. Consulte Filtros de fila y máscaras de columna.Consulta FLUJO INSERT POR NOMBRE
Define el flujo de añado que escribe en la tabla. Las columnas en el resultado de
queryse emparejan con las columnas de la tabla por nombre.querysuele ser una lectura en streaming, comoSTREAM(source_table)oSTREAM read_files(...). Cada actualización añade únicamente los datos que han llegado a la fuente desde la última actualización.
Actualizar la tabla
Aunque el resultado es una tabla gestionada, la actualizas con la REFRESH STREAMING TABLE sentencia, igual que una tabla de streaming:
-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;
-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;
-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;
Warning
Una actualización completa trunca la tabla y reprocesa todos los datos disponibles en la fuente. Si la fuente conserva datos durante un tiempo limitado, como Kafka, se pierde la información que ha envejecido la fuente.
Entre actualizaciones, puedes ejecutar comandos DML como DELETE contra la tabla.
Limitations
- La tabla debe estar en el Catálogo de Unity. El
hive_metastorecatálogo no está soportado. - Una
CREATE TABLE ... FLOWinstrucción define una tabla con un solo flujo. Para escribir en una tabla desde más de un flujo, define la tabla en una canalización. Véase CREATE TABLE ... FLOW (tuberías). -
CREATE TABLE ... FLOWfalla si la tabla ya existe.CREATE OR REFRESH TABLE ... FLOWno es sintaxis válida yCREATE OR REPLACE TABLE ... FLOWno está permitida. -
CREATE TEMPORARY TABLE ... FLOWyCREATE EXTERNAL TABLE ... FLOWno se permiten. -
FLOW AUTO CDCno está soportado y falla conMANAGED_TABLE_DOES_NOT_SUPPORT_CDC. Para aplicar la captura de datos de cambio (CDC), utilice la cláusula AUTO CDC FLOW Clause. -
FLOW REPLACE WHEREno está soportado y falla conUNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE. - No puedes reutilizar el nombre de una tabla de streaming existente o de una vista materializada. Redefinir un nombre como un tipo de tabla diferente falla con
CANNOT_CHANGE_TABLE_MODEL_TYPE. Elimina primero la tabla existente. -
TARGET FRESHNESSno está soportado y falla conTARGET_FRESHNESS_REQUIRES_ETL_PIPELINE. Para utilizar la frescura objetivo, define la tabla en una canalización. -
PRIMARY KEYyFOREIGN KEYlas restricciones se aceptan pero no se aplican a la tabla. - Las siguientes cláusulas no están soportadas y fallan cuando se analiza la sentencia:
DEFAULT COLLATIONOPTIONSCLUSTERED BY ... INTO num_buckets BUCKETS-
ROW FORMATySTORED AS WITH CREDENTIAL
Examples
-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
SELECT * FROM STREAM(main.sales.orders_raw);
-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
order_id BIGINT NOT NULL,
region STRING,
amount DECIMAL(10, 2),
CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);
-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
SELECT order_id FROM STREAM(main.sales.orders_raw);
-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;