Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Van toepassing op:
Databricks SQL
Important
Deze functie bevindt zich in de bètaversie.
Je hoeft geen preview in te schakelen om te gebruiken CREATE TABLE ... FLOW.
Maakt een Unity Catalog-beheerde tabel aan waarvan de gegevens worden geschreven door één enkele append-flow. Wanneer u de instructie uitvoert, maakt Azure Databricks een serverloze pijplijn aan die de flow uitvoert om de tabel te vullen. Je vernieuwt de tabel op aanvraag of volgens een schema, op dezelfde manier als je een streamingtabel ververst.
In tegenstelling tot een streamingtabel is het resultaat een standaard beheerde Delta-tabel zonder backing-tabel. Downstream-gebruikers en tools werken ermee zoals elke andere beheerde tabel.
Om dit soort tabel in een pipeline te definiëren, inclusief met meer dan één flow die ernaar schrijft, zie CREATE TABLE ... FLOW (pipelines).
Requirements
CREATE TABLE ... FLOW heeft dezelfde vereisten als andere zelfstandige pipelines, waaronder een serverloos account en een Unity Catalog-compatibele werkruimte. Om de tabel te maken, heb je het CREATE TABLE privilege op het doelschema nodig. Raadpleeg Vereisten.
Syntax
CREATE TABLE table_name
[ table_specification ]
[ table_clauses ]
flow_clause
table_specification
( { column_identifier column_type [ column_properties ] } [, ...]
[ CONSTRAINT expectation_name EXPECT (expectation_expr)
[ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )
column_properties
{ NOT NULL |
GENERATED ALWAYS AS ( expr ) |
COMMENT column_comment |
MASK clause } [ ... ]
table_clauses
{ PARTITIONED BY (col [, ...]) |
CLUSTER BY clause |
COMMENT table_comment |
TBLPROPERTIES clause |
schedule |
WITH { ROW FILTER clause } } [...]
schedule
{ SCHEDULE [ REFRESH ] schedule_clause |
TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }
schedule_clause
{ EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
CRON cron_string [ AT TIME ZONE timezone_id ]}
flow_clause
FLOW INSERT BY NAME query
Zet alle tabelclausules vóór het FLOW trefwoord.
Parameters
-
De naam van de tabel die u wilt maken. De tabel moet in een Unity Catalogus-catalogus staan. Als de naam niet gekwalificeerd is, wordt de tabel aangemaakt in de huidige catalogus en het schema.
De naam mag niet behoren tot een bestaande streamingtabel of gematerialiseerde weergave.
tafel_specificatie
Deze optionele clausule definieert de kolommen, hun types, eigenschappen, beschrijvingen en verwachtingen van datakwaliteit. Als je het weglaat, wordt het schema afgeleid uit de flowquery.
-
Een unieke naam voor de kolom.
-
Hiermee geeft u het gegevenstype van de kolom.
NIET NULL
Indien opgegeven, accepteert
NULLde kolom geen waarden.ALTIJD GEGENEREERD ALS ( expr )
Wanneer u deze clausule opgeeft, wordt de waarde van deze kolom bepaald door de opgegeven
expr.OPMERKING (kolom opmerking)
Een
STRINGletterlijk woord dat de kolom beschrijft.MASK-clausule
Voegt een kolommaskerfunctie toe om gevoelige gegevens anoniem te maken. Zie rijfilters en kolommaskers.
CONSTRAINT expectation_name VERWACHTEN (expectation_expr) [ BIJ SCHENDING { FAIL UPDATE | DROP ROW } ]
Voegt een datakwaliteitsverwachting toe aan de tabel. Een
FAIL UPDATEverwachting zorgt ervoor dat de verversing mislukt wanneer een rij deze overtreedt. Bij elke rij die deze overtreedt, valt eenDROP ROWverwachting omlaag. Zie Gegevenskwaliteit beheren met pipelineverwachtingen.
-
OPGEDEELD DOOR (col [, ...])
U kunt de tabel desgewenst partitioneren op basis van een subset kolommen. U kunt het niet combineren
PARTITIONED BYenCLUSTER BY.CLUSTER BY clausule
U kunt eventueel liquide clustering op de tabel inschakelen.
OPMERKING: table_comment
Een
STRINGletterlijk woord dat de tabel beschrijft.TBLPROPERTIES-clausule
U kunt desgewenst een of meer door de gebruiker gedefinieerde tabeleigenschappen instellen.
planning
Vernieuwt de tabel optioneel automatisch.
SCHEDULETRIGGER ON UPDATEen dezelfde regels en limieten volgen als voor CREATE STREAMING TABLE. Als je het schema weglaat, wordt de tabel alleen vernieuwd wanneer jeREFRESH. uitvoert.WITH-clausule ROW FILTER
Hiermee voegt u een rijfilterfunctie toe aan de tabel. Queries in de tabel geven alleen de rijen terug waarvoor de functie naar wordt geëvalueerd
TRUE. Zie rijfilters en kolommaskers.FLOW INSERT OP NAAM query
Definieert de appendflow die naar de tabel schrijft. Kolommen in het resultaat van
queryworden op naam gekoppeld aan tabelkolommen.queryis doorgaans een streaming read, zoalsSTREAM(source_table)ofSTREAM read_files(...). Elke verversing voegt alleen de gegevens toe die sinds de laatste verversing in de bron zijn aangekomen.
Vernieuw de tabel
Hoewel het resultaat een beheerde tabel is, ververs je deze met de REFRESH STREAMING TABLE instructie, net als een streamingtabel:
-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;
-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;
-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;
Warning
Een volledige verversing kortt de tabel af en verwerkt alle gegevens die in de bron beschikbaar zijn. Als de bron data voor een beperkte tijd bewaart, zoals bij Kafka, gaat data die uit de bron is gegroeid.
Tussen verversingen door kunt u DML-commando's uitvoeren, bijvoorbeeld DELETE tegen de tabel.
Limitations
- De tabel moet in de Unity-catalogus staan. De
hive_metastorecatalogus wordt niet ondersteund. - Een instructie definieert
CREATE TABLE ... FLOWéén tabel met één flow. Om vanuit meer dan één flow naar een tabel te schrijven, definieer je de tabel in een pijplijn. Zie CREATE TABLE ... FLOW (pijpleidingen). -
CREATE TABLE ... FLOWmislukt als de tabel al bestaat.CREATE OR REFRESH TABLE ... FLOWis geen geldige syntaxis enCREATE OR REPLACE TABLE ... FLOWis niet toegestaan. -
CREATE TEMPORARY TABLE ... FLOWCREATE EXTERNAL TABLE ... FLOWen dat zijn niet toegestaan. -
FLOW AUTO CDCwordt niet ondersteund en faalt metMANAGED_TABLE_DOES_NOT_SUPPORT_CDC. Gebruik AUTO CDC FLOW Clause om change data capture (CDC) toe te passen. -
FLOW REPLACE WHEREwordt niet ondersteund en faalt metUNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE. - U kunt de naam van een bestaande streamingtabel of gematerialiseerde weergave niet hergebruiken. Het herdefiniëren van een naam als een ander tabeltype mislukt met
CANNOT_CHANGE_TABLE_MODEL_TYPE. Laat eerst de bestaande tabel vallen. -
TARGET FRESHNESSwordt niet ondersteund en faalt metTARGET_FRESHNESS_REQUIRES_ETL_PIPELINE. Om doelvernieuwing te gebruiken, definieer je de tabel in een pipeline. -
PRIMARY KEYenFOREIGN KEYbeperkingen worden geaccepteerd maar niet op de tabel toegepast. - De volgende clausules worden niet ondersteund en falen wanneer de instructie wordt geanalyseerd:
DEFAULT COLLATIONOPTIONSCLUSTERED BY ... INTO num_buckets BUCKETS-
ROW FORMATenSTORED AS WITH CREDENTIAL
Examples
-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
SELECT * FROM STREAM(main.sales.orders_raw);
-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
order_id BIGINT NOT NULL,
region STRING,
amount DECIMAL(10, 2),
CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);
-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
SELECT order_id FROM STREAM(main.sales.orders_raw);
-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;