Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
S’applique à :
Databricks SQL
Important
Cette fonctionnalité est en version bêta.
Vous n’avez pas besoin d’activer un aperçu pour utiliser CREATE TABLE ... FLOW.
Crée une table gérée par le catalogue Unity dont les données sont écrites par un seul flux d’append. Lorsque vous exécutez l’instruction, Azure Databricks crée un pipeline serverless qui exécute le flux pour peupler la table. Vous actualisez la table à la demande ou selon un planning, de la même manière que vous actualisez une table en streaming.
Contrairement à une table en streaming, le résultat est une table Delta gérée standard sans table de soutien. Les utilisateurs et outils en aval fonctionnent avec elle comme n’importe quelle autre table gérée.
Pour définir ce type de table dans un pipeline, y compris avec plus d’un flux qui y écrit, voir CREATE TABLE ... FLOW (pipelines).
Requirements
CREATE TABLE ... FLOW a les mêmes exigences que les autres pipelines autonomes, incluant un compte activé sans serveur et un espace de travail compatible avec le catalogue Unity. Pour créer la table, vous avez besoin du CREATE TABLE privilège sur le schéma cible. Consultez Spécifications.
Syntax
CREATE TABLE table_name
[ table_specification ]
[ table_clauses ]
flow_clause
table_specification
( { column_identifier column_type [ column_properties ] } [, ...]
[ CONSTRAINT expectation_name EXPECT (expectation_expr)
[ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )
column_properties
{ NOT NULL |
GENERATED ALWAYS AS ( expr ) |
COMMENT column_comment |
MASK clause } [ ... ]
table_clauses
{ PARTITIONED BY (col [, ...]) |
CLUSTER BY clause |
COMMENT table_comment |
TBLPROPERTIES clause |
schedule |
WITH { ROW FILTER clause } } [...]
schedule
{ SCHEDULE [ REFRESH ] schedule_clause |
TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }
schedule_clause
{ EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
CRON cron_string [ AT TIME ZONE timezone_id ]}
flow_clause
FLOW INSERT BY NAME query
Placez toutes les clauses de table avant le FLOW mot-clé.
Parameters
-
Nom de la table à créer. Le tableau doit faire partie d’un catalogue du catalogue Unity. Si le nom n’est pas qualifié, la table est créée dans le catalogue et le schéma actuels.
Le nom ne doit pas appartenir à une table de streaming existante ni à une vue matérialisée.
spécification_de_table
Cette clause optionnelle définit les colonnes, leurs types, propriétés, descriptions et attentes en matière de qualité des données. Si vous l’omettis, le schéma est déduit de la requête de flux.
-
Nom unique de la colonne.
-
Spécifie le type de données de la colonne.
NON NULL
Si spécifié, la colonne n’accepte
NULLpas de valeurs.TOUJOURS GÉNÉRÉ EN TANT QUE ( expr )
Lorsque vous spécifiez cette clause, la valeur de cette colonne est déterminée par le .
exprCOMMENTAIRE Column_comment
Un
STRINGlittéral qui décrit la colonne.Clause MASK
Permet d’ajouter une fonction de masque de colonne pour anonymiser les données sensibles. Consultez les filtres de lignes et les masques de colonne.
CONSTRAINT expectation_name ATTENDRE (expectation_expr) [ ON VIOLATION { FAIL UPDATE | DROP ROW } ]
Ajoute une attente de qualité des données à la table. Une
FAIL UPDATEattente provoque l’échec du rafraîchissement lorsqu’une ligne la viole. UneDROP ROWattente élimine chaque ligne qui la viole. Voir Gérer la qualité des données avec les attentes de la chaîne de traitement.
-
PARTITIONNÉ PAR (col [, ...])
Partitionne éventuellement la table par un sous-ensemble de colonnes. Vous ne pouvez pas combiner
PARTITIONED BYetCLUSTER BY.Clause CLUSTER BY
Active éventuellement le clustering liquide sur la table.
COMMENTAIRE table_comment
Un
STRINGlittéral qui décrit la table.Clause TBLPROPERTIES
Définit éventuellement une ou plusieurs propriétés de table définies par l’utilisateur.
horaire
Actualise le tableau automatiquement en option.
SCHEDULEetTRIGGER ON UPDATEsuivent les mêmes règles et limites qu’ils le font pour CREATE STREAMING TABLE. Si vous omettez le planning, la table ne se rafraîchit que lorsque vous exécutezREFRESH.clause WITH ROW FILTER
Ajoute une fonction de filtre de ligne au tableau. Les requêtes sur la table ne retournent que les lignes pour lesquelles la fonction évalue à
TRUE. Consultez les filtres de lignes et les masques de colonne.requête FLOW INSERT BY NAME
Définit le flux d’append qui écrit dans la table. Les colonnes dans le résultat de
querysont associées aux colonnes de table par nom.queryest typiquement une lecture en continu, commeSTREAM(source_table)ouSTREAM read_files(...). Chaque actualisation ajoute uniquement les données arrivées dans la source depuis la dernière actualisation.
Actualisez le tableau
Bien que le résultat soit une table gérée, vous la rafraîchez avec l’instruction REFRESH STREAMING TABLE suivante, comme une table en streaming :
-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;
-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;
-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;
Warning
Une mise à jour complète tronque la table et retraite toutes les données disponibles dans la source. Si la source conserve les données pendant un temps limité, comme Kafka, les données ayant vieilli depuis la source sont perdues.
Entre les rafraîchissements, vous pouvez exécuter des commandes DML par exemple DELETE contre la table.
Limites
- Le tableau doit se trouver dans le catalogue Unity. Le
hive_metastorecatalogue n’est pas pris en charge. - Une
CREATE TABLE ... FLOWinstruction définit une table avec un seul flux. Pour écrire dans une table à partir de plusieurs flux, définissez la table dans un pipeline. Voir CREATE TABLE ... FLOW (pipelines). -
CREATE TABLE ... FLOWéchoue si la table existe déjà.CREATE OR REFRESH TABLE ... FLOWn’est pas une syntaxe valide, etCREATE OR REPLACE TABLE ... FLOWn’est pas autorisée. -
CREATE TEMPORARY TABLE ... FLOWetCREATE EXTERNAL TABLE ... FLOWne sont pas autorisés. -
FLOW AUTO CDCn’est pas supporté et échoue avecMANAGED_TABLE_DOES_NOT_SUPPORT_CDC. Pour appliquer la capture de données de modification (CDC), utilisez la clause AUTO CDC FLOW. -
FLOW REPLACE WHEREn’est pas supporté et échoue avecUNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE. - Vous ne pouvez pas réutiliser le nom d’une table de streaming existante ou d’une vue matérialisée. Redéfinir un nom comme un type de table différent échoue avec
CANNOT_CHANGE_TABLE_MODEL_TYPE. Supprimez d’abord la table existante. -
TARGET FRESHNESSn’est pas supporté et échoue avecTARGET_FRESHNESS_REQUIRES_ETL_PIPELINE. Pour utiliser la fraîcheur cible, définissez la table dans un pipeline. -
PRIMARY KEYetFOREIGN KEYles contraintes sont acceptées mais ne sont pas appliquées à la table. - Les clauses suivantes ne sont pas prises en charge et échouent lorsque l’instruction est analysée :
DEFAULT COLLATIONOPTIONSCLUSTERED BY ... INTO num_buckets BUCKETS-
ROW FORMATetSTORED AS WITH CREDENTIAL
Examples
-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
SELECT * FROM STREAM(main.sales.orders_raw);
-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
order_id BIGINT NOT NULL,
region STRING,
amount DECIMAL(10, 2),
CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);
-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
SELECT order_id FROM STREAM(main.sales.orders_raw);
-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;