CREATE TABLE ... FLUX

S’applique à :coché oui Databricks SQL

Important

Cette fonctionnalité est en version bêta.

Vous n’avez pas besoin d’activer un aperçu pour utiliser CREATE TABLE ... FLOW.

Crée une table gérée par le catalogue Unity dont les données sont écrites par un seul flux d’append. Lorsque vous exécutez l’instruction, Azure Databricks crée un pipeline serverless qui exécute le flux pour peupler la table. Vous actualisez la table à la demande ou selon un planning, de la même manière que vous actualisez une table en streaming.

Contrairement à une table en streaming, le résultat est une table Delta gérée standard sans table de soutien. Les utilisateurs et outils en aval fonctionnent avec elle comme n’importe quelle autre table gérée.

Pour définir ce type de table dans un pipeline, y compris avec plus d’un flux qui y écrit, voir CREATE TABLE ... FLOW (pipelines).

Requirements

CREATE TABLE ... FLOW a les mêmes exigences que les autres pipelines autonomes, incluant un compte activé sans serveur et un espace de travail compatible avec le catalogue Unity. Pour créer la table, vous avez besoin du CREATE TABLE privilège sur le schéma cible. Consultez Spécifications.

Syntax

CREATE TABLE table_name
  [ table_specification ]
  [ table_clauses ]
  flow_clause

table_specification
  ( { column_identifier column_type [ column_properties ] } [, ...]
    [ CONSTRAINT expectation_name EXPECT (expectation_expr)
      [ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )

column_properties
  { NOT NULL |
    GENERATED ALWAYS AS ( expr ) |
    COMMENT column_comment |
    MASK clause } [ ... ]

table_clauses
  { PARTITIONED BY (col [, ...]) |
    CLUSTER BY clause |
    COMMENT table_comment |
    TBLPROPERTIES clause |
    schedule |
    WITH { ROW FILTER clause } } [...]

schedule
  { SCHEDULE [ REFRESH ] schedule_clause |
    TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }

schedule_clause
  { EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
  CRON cron_string [ AT TIME ZONE timezone_id ]}

flow_clause
  FLOW INSERT BY NAME query

Placez toutes les clauses de table avant le FLOW mot-clé.

Parameters

  • table_name

    Nom de la table à créer. Le tableau doit faire partie d’un catalogue du catalogue Unity. Si le nom n’est pas qualifié, la table est créée dans le catalogue et le schéma actuels.

    Le nom ne doit pas appartenir à une table de streaming existante ni à une vue matérialisée.

  • spécification_de_table

    Cette clause optionnelle définit les colonnes, leurs types, propriétés, descriptions et attentes en matière de qualité des données. Si vous l’omettis, le schéma est déduit de la requête de flux.

    • column_identifier

      Nom unique de la colonne.

    • column_type

      Spécifie le type de données de la colonne.

    • NON NULL

      Si spécifié, la colonne n’accepte NULL pas de valeurs.

    • TOUJOURS GÉNÉRÉ EN TANT QUE ( expr )

      Lorsque vous spécifiez cette clause, la valeur de cette colonne est déterminée par le .expr

    • COMMENTAIRE Column_comment

      Un STRING littéral qui décrit la colonne.

    • Clause MASK

      Permet d’ajouter une fonction de masque de colonne pour anonymiser les données sensibles. Consultez les filtres de lignes et les masques de colonne.

    • CONSTRAINT expectation_name ATTENDRE (expectation_expr) [ ON VIOLATION { FAIL UPDATE | DROP ROW } ]

      Ajoute une attente de qualité des données à la table. Une FAIL UPDATE attente provoque l’échec du rafraîchissement lorsqu’une ligne la viole. Une DROP ROW attente élimine chaque ligne qui la viole. Voir Gérer la qualité des données avec les attentes de la chaîne de traitement.

  • PARTITIONNÉ PAR (col [, ...])

    Partitionne éventuellement la table par un sous-ensemble de colonnes. Vous ne pouvez pas combiner PARTITIONED BY et CLUSTER BY.

  • Clause CLUSTER BY

    Active éventuellement le clustering liquide sur la table.

  • COMMENTAIRE table_comment

    Un STRING littéral qui décrit la table.

  • Clause TBLPROPERTIES

    Définit éventuellement une ou plusieurs propriétés de table définies par l’utilisateur.

  • horaire

    Actualise le tableau automatiquement en option. SCHEDULE et TRIGGER ON UPDATE suivent les mêmes règles et limites qu’ils le font pour CREATE STREAMING TABLE. Si vous omettez le planning, la table ne se rafraîchit que lorsque vous exécutez REFRESH.

  • clause WITH ROW FILTER

    Ajoute une fonction de filtre de ligne au tableau. Les requêtes sur la table ne retournent que les lignes pour lesquelles la fonction évalue à TRUE. Consultez les filtres de lignes et les masques de colonne.

  • requête FLOW INSERT BY NAME

    Définit le flux d’append qui écrit dans la table. Les colonnes dans le résultat de query sont associées aux colonnes de table par nom. query est typiquement une lecture en continu, comme STREAM(source_table) ou STREAM read_files(...). Chaque actualisation ajoute uniquement les données arrivées dans la source depuis la dernière actualisation.

Actualisez le tableau

Bien que le résultat soit une table gérée, vous la rafraîchez avec l’instruction REFRESH STREAMING TABLE suivante, comme une table en streaming :

-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;

-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;

-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;

Warning

Une mise à jour complète tronque la table et retraite toutes les données disponibles dans la source. Si la source conserve les données pendant un temps limité, comme Kafka, les données ayant vieilli depuis la source sont perdues.

Entre les rafraîchissements, vous pouvez exécuter des commandes DML par exemple DELETE contre la table.

Limites

  • Le tableau doit se trouver dans le catalogue Unity. Le hive_metastore catalogue n’est pas pris en charge.
  • Une CREATE TABLE ... FLOW instruction définit une table avec un seul flux. Pour écrire dans une table à partir de plusieurs flux, définissez la table dans un pipeline. Voir CREATE TABLE ... FLOW (pipelines).
  • CREATE TABLE ... FLOW échoue si la table existe déjà. CREATE OR REFRESH TABLE ... FLOW n’est pas une syntaxe valide, et CREATE OR REPLACE TABLE ... FLOW n’est pas autorisée.
  • CREATE TEMPORARY TABLE ... FLOW et CREATE EXTERNAL TABLE ... FLOW ne sont pas autorisés.
  • FLOW AUTO CDC n’est pas supporté et échoue avec MANAGED_TABLE_DOES_NOT_SUPPORT_CDC. Pour appliquer la capture de données de modification (CDC), utilisez la clause AUTO CDC FLOW.
  • FLOW REPLACE WHERE n’est pas supporté et échoue avec UNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE.
  • Vous ne pouvez pas réutiliser le nom d’une table de streaming existante ou d’une vue matérialisée. Redéfinir un nom comme un type de table différent échoue avec CANNOT_CHANGE_TABLE_MODEL_TYPE. Supprimez d’abord la table existante.
  • TARGET FRESHNESS n’est pas supporté et échoue avec TARGET_FRESHNESS_REQUIRES_ETL_PIPELINE. Pour utiliser la fraîcheur cible, définissez la table dans un pipeline.
  • PRIMARY KEY et FOREIGN KEY les contraintes sont acceptées mais ne sont pas appliquées à la table.
  • Les clauses suivantes ne sont pas prises en charge et échouent lorsque l’instruction est analysée :
    • DEFAULT COLLATION
    • OPTIONS
    • CLUSTERED BY ... INTO num_buckets BUCKETS
    • ROW FORMAT et STORED AS
    • WITH CREDENTIAL

Examples

-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
  SELECT * FROM STREAM(main.sales.orders_raw);

-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
  order_id BIGINT NOT NULL,
  region STRING,
  amount DECIMAL(10, 2),
  CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
  SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);

-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
  SELECT order_id FROM STREAM(main.sales.orders_raw);

-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;