CREATE TABLE ... FLOW

Van toepassing op:aangevinkt als ja Databricks SQL

Important

Deze functie bevindt zich in de bètaversie.

Je hoeft geen preview in te schakelen om te gebruiken CREATE TABLE ... FLOW.

Maakt een Unity Catalog-beheerde tabel aan waarvan de gegevens worden geschreven door één enkele append-flow. Wanneer u de instructie uitvoert, maakt Azure Databricks een serverloze pijplijn aan die de flow uitvoert om de tabel te vullen. Je vernieuwt de tabel op aanvraag of volgens een schema, op dezelfde manier als je een streamingtabel ververst.

In tegenstelling tot een streamingtabel is het resultaat een standaard beheerde Delta-tabel zonder backing-tabel. Downstream-gebruikers en tools werken ermee zoals elke andere beheerde tabel.

Om dit soort tabel in een pipeline te definiëren, inclusief met meer dan één flow die ernaar schrijft, zie CREATE TABLE ... FLOW (pipelines).

Requirements

CREATE TABLE ... FLOW heeft dezelfde vereisten als andere zelfstandige pipelines, waaronder een serverloos account en een Unity Catalog-compatibele werkruimte. Om de tabel te maken, heb je het CREATE TABLE privilege op het doelschema nodig. Raadpleeg Vereisten.

Syntax

CREATE TABLE table_name
  [ table_specification ]
  [ table_clauses ]
  flow_clause

table_specification
  ( { column_identifier column_type [ column_properties ] } [, ...]
    [ CONSTRAINT expectation_name EXPECT (expectation_expr)
      [ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )

column_properties
  { NOT NULL |
    GENERATED ALWAYS AS ( expr ) |
    COMMENT column_comment |
    MASK clause } [ ... ]

table_clauses
  { PARTITIONED BY (col [, ...]) |
    CLUSTER BY clause |
    COMMENT table_comment |
    TBLPROPERTIES clause |
    schedule |
    WITH { ROW FILTER clause } } [...]

schedule
  { SCHEDULE [ REFRESH ] schedule_clause |
    TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }

schedule_clause
  { EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
  CRON cron_string [ AT TIME ZONE timezone_id ]}

flow_clause
  FLOW INSERT BY NAME query

Zet alle tabelclausules vóór het FLOW trefwoord.

Parameters

  • table_name

    De naam van de tabel die u wilt maken. De tabel moet in een Unity Catalogus-catalogus staan. Als de naam niet gekwalificeerd is, wordt de tabel aangemaakt in de huidige catalogus en het schema.

    De naam mag niet behoren tot een bestaande streamingtabel of gematerialiseerde weergave.

  • tafel_specificatie

    Deze optionele clausule definieert de kolommen, hun types, eigenschappen, beschrijvingen en verwachtingen van datakwaliteit. Als je het weglaat, wordt het schema afgeleid uit de flowquery.

    • column_identifier

      Een unieke naam voor de kolom.

    • column_type

      Hiermee geeft u het gegevenstype van de kolom.

    • NIET NULL

      Indien opgegeven, accepteert NULL de kolom geen waarden.

    • ALTIJD GEGENEREERD ALS ( expr )

      Wanneer u deze clausule opgeeft, wordt de waarde van deze kolom bepaald door de opgegeven expr.

    • OPMERKING (kolom opmerking)

      Een STRING letterlijk woord dat de kolom beschrijft.

    • MASK-clausule

      Voegt een kolommaskerfunctie toe om gevoelige gegevens anoniem te maken. Zie rijfilters en kolommaskers.

    • CONSTRAINT expectation_name VERWACHTEN (expectation_expr) [ BIJ SCHENDING { FAIL UPDATE | DROP ROW } ]

      Voegt een datakwaliteitsverwachting toe aan de tabel. Een FAIL UPDATE verwachting zorgt ervoor dat de verversing mislukt wanneer een rij deze overtreedt. Bij elke rij die deze overtreedt, valt een DROP ROW verwachting omlaag. Zie Gegevenskwaliteit beheren met pipelineverwachtingen.

  • OPGEDEELD DOOR (col [, ...])

    U kunt de tabel desgewenst partitioneren op basis van een subset kolommen. U kunt het niet combineren PARTITIONED BY en CLUSTER BY.

  • CLUSTER BY clausule

    U kunt eventueel liquide clustering op de tabel inschakelen.

  • OPMERKING: table_comment

    Een STRING letterlijk woord dat de tabel beschrijft.

  • TBLPROPERTIES-clausule

    U kunt desgewenst een of meer door de gebruiker gedefinieerde tabeleigenschappen instellen.

  • planning

    Vernieuwt de tabel optioneel automatisch. SCHEDULE TRIGGER ON UPDATE en dezelfde regels en limieten volgen als voor CREATE STREAMING TABLE. Als je het schema weglaat, wordt de tabel alleen vernieuwd wanneer je REFRESH. uitvoert.

  • WITH-clausule ROW FILTER

    Hiermee voegt u een rijfilterfunctie toe aan de tabel. Queries in de tabel geven alleen de rijen terug waarvoor de functie naar wordt geëvalueerd TRUE. Zie rijfilters en kolommaskers.

  • FLOW INSERT OP NAAM query

    Definieert de appendflow die naar de tabel schrijft. Kolommen in het resultaat van query worden op naam gekoppeld aan tabelkolommen. query is doorgaans een streaming read, zoals STREAM(source_table) of STREAM read_files(...). Elke verversing voegt alleen de gegevens toe die sinds de laatste verversing in de bron zijn aangekomen.

Vernieuw de tabel

Hoewel het resultaat een beheerde tabel is, ververs je deze met de REFRESH STREAMING TABLE instructie, net als een streamingtabel:

-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;

-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;

-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;

Warning

Een volledige verversing kortt de tabel af en verwerkt alle gegevens die in de bron beschikbaar zijn. Als de bron data voor een beperkte tijd bewaart, zoals bij Kafka, gaat data die uit de bron is gegroeid.

Tussen verversingen door kunt u DML-commando's uitvoeren, bijvoorbeeld DELETE tegen de tabel.

Limitations

  • De tabel moet in de Unity-catalogus staan. De hive_metastore catalogus wordt niet ondersteund.
  • Een instructie definieert CREATE TABLE ... FLOW één tabel met één flow. Om vanuit meer dan één flow naar een tabel te schrijven, definieer je de tabel in een pijplijn. Zie CREATE TABLE ... FLOW (pijpleidingen).
  • CREATE TABLE ... FLOW mislukt als de tabel al bestaat. CREATE OR REFRESH TABLE ... FLOW is geen geldige syntaxis en CREATE OR REPLACE TABLE ... FLOW is niet toegestaan.
  • CREATE TEMPORARY TABLE ... FLOW CREATE EXTERNAL TABLE ... FLOW en dat zijn niet toegestaan.
  • FLOW AUTO CDC wordt niet ondersteund en faalt met MANAGED_TABLE_DOES_NOT_SUPPORT_CDC. Gebruik AUTO CDC FLOW Clause om change data capture (CDC) toe te passen.
  • FLOW REPLACE WHERE wordt niet ondersteund en faalt met UNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE.
  • U kunt de naam van een bestaande streamingtabel of gematerialiseerde weergave niet hergebruiken. Het herdefiniëren van een naam als een ander tabeltype mislukt met CANNOT_CHANGE_TABLE_MODEL_TYPE. Laat eerst de bestaande tabel vallen.
  • TARGET FRESHNESS wordt niet ondersteund en faalt met TARGET_FRESHNESS_REQUIRES_ETL_PIPELINE. Om doelvernieuwing te gebruiken, definieer je de tabel in een pipeline.
  • PRIMARY KEY en FOREIGN KEY beperkingen worden geaccepteerd maar niet op de tabel toegepast.
  • De volgende clausules worden niet ondersteund en falen wanneer de instructie wordt geanalyseerd:
    • DEFAULT COLLATION
    • OPTIONS
    • CLUSTERED BY ... INTO num_buckets BUCKETS
    • ROW FORMAT en STORED AS
    • WITH CREDENTIAL

Examples

-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
  SELECT * FROM STREAM(main.sales.orders_raw);

-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
  order_id BIGINT NOT NULL,
  region STRING,
  amount DECIMAL(10, 2),
  CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
  SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);

-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
  SELECT order_id FROM STREAM(main.sales.orders_raw);

-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;