Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Important
Deze functie bevindt zich in de bètaversie.
Gebruik de CREATE TABLE ... FLOW instructie om een beheerde tabel te maken in een pijplijn, geschreven door een of meer stromen.
Om een beheerde tabel te maken met één enkele flow vanuit Databricks SQL, buiten een pipeline-definitie, zie CREATE TABLE ... FLOW.
Syntax
CREATE TABLE
table_name
[ table_specification ]
[ table_clauses ]
[ flow_clause ]
table_specification
( { column_identifier column_type [column_properties] } [, ...]
[ CONSTRAINT expectation_name EXPECT (expectation_expr)
[ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )
table_clauses
{ PARTITIONED BY (col [, ...]) |
CLUSTER BY clause |
LOCATION path |
COMMENT table_comment |
TBLPROPERTIES clause |
WITH { ROW FILTER clause } } [ ... ]
flow_clause
FLOW [ IMPORT CHECKPOINT checkpoint_path ] INSERT BY NAME query
Als u meerdere bronnen in één beheerde tabel wilt weergeven, declareert u verschillende stromen die hierop zijn gericht met
CREATE FLOW flow_name AS INSERT INTO table_name BY NAME query
Parameters
table_name
De naam van de beheerde tabel die moet worden gemaakt. Als de naam niet is gekwalificeerd, wordt de tabel gemaakt in het doelschema van de pijplijn. De naam mag niet al deel uitmaken van een streamingtabel.
tafel_specificatie
Definieer eventueel de kolommen, hun typen, eigenschappen en beschrijvingen. Als u dit weglaat, wordt het schema afgeleid van de stroomquery.
CONSTRAINT expectation_name VERWACHTEN (expectation_expr) [ BIJ SCHENDING { FAIL UPDATE | DROP ROW } ]
Voegt verwachtingen van datakwaliteit toe aan de beheerde tabel. Deze verwachtingen van de datakwaliteit kunnen in de loop van de tijd worden gevolgd en worden benaderd via het gebeurtenislogboek van de pipeline. Een
FAIL UPDATEverwachting zorgt ervoor dat de verwerking mislukt bij het maken van de tabel en het vernieuwen van de tabel. EenDROP ROWverwachting zorgt ervoor dat de hele rij wordt verwijderd als niet aan de verwachting wordt voldaan. Zie Gegevenskwaliteit beheren met pipelineverwachtingen.expectation_exprkan bestaan uit literalen, kolomidentificaties binnen de tabel en deterministische, ingebouwde SQL-functies of -operatoren, behalve:-
Statistische functies
- Analytische vensterfuncties
- Rangschikking vensterfuncties
- Generatorfuncties voor tabelwaarden
Mag ook
expectation_exprgeen subquery bevatten.-
Statistische functies
OPGEDEELD DOOR (col [, ...])
U kunt de tabel desgewenst partitioneren op basis van een subset kolommen.
CLUSTER BY clausule
U kunt eventueel liquide clustering op de tabel inschakelen. U kunt het niet combineren
PARTITIONED BYenCLUSTER BY.LOCATIE-pad
Een optionele opslaglocatie voor de tabelgegevens.
OPMERKING: table_comment
Een
STRINGletterlijke beschrijving van de tabel.TBLPROPERTIES-clausule
U kunt desgewenst een of meer door de gebruiker gedefinieerde tabeleigenschappen instellen.
WITH-clausule ROW FILTER
Hiermee voegt u een rijfilterfunctie toe aan de tabel. Toekomstige query's voor die tabel ontvangen een subset van de rijen waarvoor de functie evalueert
TRUE.FLOW INSERT OP NAAM query
Definieert een toevoegstroom die het resultaat van
queryde tabel invoegt, waarbij resultaatkolommen op naam worden gekoppeld aan tabelkolommen.querykan verwijzen naar batch- of streamingbronnen. Elke benoemde flow verwerkt zijn invoer exact één keer per pipeline-update, identiek aanFLOW INSERT BY NAMEop een streamingtabel.IMPORTCONTROLEPUNT checkpoint_path
Een
STRINGletterlijke met het pad naar een bestaand Structured Streaming-checkpoint om in de flow te importeren, zodat een gemigreerde stream wordt hervat vanaf zijn laatst toegewijde offset in plaats van de bron opnieuw te verwerken. Het importeren van een checkpoint is in de bèta. Zie Migrate a Structured Streaming checkpoint.
Een Structured Streaming-checkpoint migreren
Important
Het importeren van een checkpoint is in de bèta.
Gebruik IMPORT CHECKPOINT om een bestaande Structured Streaming-workload naar een pipeline te migreren zonder de bron opnieuw te verwerken. Stel checkpoint_path in op de checkpointLocation gebruikte Structured Streaming-query, die een cloudopslag, Unity Catalog-volume of DBFS-pad kan zijn. Bij de eerste pipeline-update kloont de flow dat checkpoint naar de beheerde opslag van de pipeline. De stroom wordt vervolgens hervat vanaf de laatst toegewezen offset met de staat (zoals aggregaties, deduplicatiesleutels en watermerken) intact. Latere updates van de pijplijn gebruiken het gekloonde checkpoint van de flow; het oorspronkelijke checkpoint wordt niet gewijzigd.
Warning
Stop de oorspronkelijke Structured Streaming-query voordat je de pipeline uitvoert. De oorspronkelijke Structured Streaming-query kan na de import opnieuw worden gebruikt, maar je moet de checkpointstatus beheren en ervoor zorgen dat de pipeline en de query niet tegelijk naar dezelfde tabel schrijven, wat dubbele data kan opleveren.
Maak de Structured Streaming-query opnieuw aan als een pipelineflow die blijft schrijven naar de tabel waarnaar de query schreef, en importeer het checkpoint:
-- Use the existing table your Structured Streaming query writes to; CREATE TABLE adopts it.
CREATE TABLE streaming_table
-- Continue from the imported checkpoint instead of reprocessing the source.
FLOW IMPORT CHECKPOINT '/Volumes/my_catalog/my_schema/checkpoints/my_stream'
INSERT BY NAME
-- The same source your original query read from.
SELECT * FROM STREAM(source_table);
Het checkpoint wordt alleen geïmporteerd bij de eerste pipeline-update. Latere updates negeren IMPORT CHECKPOINT. Een volledige verversing importeert het checkpoint niet opnieuw. Het begint vanaf een nieuw, leeg checkpoint en verwerkt de bron opnieuw.
Limitations
- Beheerde tabellen bieden geen ondersteuning voor CDC-wijzigingsstromen.
AUTO CDC INTO(SQL) ofapply_changes/apply_changes_from_snapshot(Python) tegen een beheerde tabel faalt met .MANAGED_TABLE_DOES_NOT_SUPPORT_CDCVoor CDC-doelen gebruik een CREATE STREAMING TABLE (pijplijnen) met een flow gedefinieerd door CREATE FLOW (pijplijnen). - Beheerde tabellen bieden geen ondersteuning
FLOW ... REPLACE WHEREvoor . AlleenFLOW INSERT BY NAMEwordt ondersteund. Om een doelwit deel van een tabel opnieuw te berekenen en te overschrijven, maak je een streamingtabel en definieer je eenREPLACE WHEREflow met CREATE FLOW (pipelines). Zie Batchverwerking met REPLACE-flowsWHERE. - Beheerde tabellen worden alleen ondersteund in pijplijnen met Unity Catalog. De Hive-metastore wordt niet ondersteund.
- U kunt de naam van een bestaande streamingtabel of gematerialiseerde weergave niet hergebruiken voor een beheerde tabel, of andersom. Het herdefiniëren van een naam als een ander tabeltype mislukt met
CANNOT_CHANGE_TABLE_MODEL_TYPE. Laat eerst de bestaande tabel vallen. -
IMPORT CHECKPOINTwordt alleen ondersteund opFLOW INSERT BY NAME.
Examples
-- Create a managed table populated by an inline append flow from a streaming table
CREATE TABLE output
FLOW INSERT BY NAME SELECT * FROM STREAM(samples.tpch.orders);
-- Create a managed table that ingests files with schema inference and evolution
CREATE TABLE raw_data
FLOW INSERT BY NAME
SELECT * FROM STREAM read_files('/Volumes/catalog/schema/landing/base/path');
-- Create a partitioned managed table from a streaming source
CREATE TABLE events
PARTITIONED BY (bucket)
FLOW INSERT BY NAME
SELECT id, bucket FROM STREAM read_files('/Volumes/catalog/schema/landing/my_path', format => 'json');
-- Create a managed table with liquid clustering
CREATE TABLE orders_clustered
CLUSTER BY (order_date, customer_id)
FLOW INSERT BY NAME
SELECT
o_orderkey AS order_id,
o_custkey AS customer_id,
o_orderdate AS order_date,
o_totalprice AS total_price
FROM STREAM(samples.tpch.orders);
-- Create a managed table with a data quality expectation that drops violating rows
CREATE TABLE valid_events
(CONSTRAINT positive_id EXPECT (id > 0) ON VIOLATION DROP ROW)
FLOW INSERT BY NAME
SELECT id FROM STREAM read_files('/Volumes/catalog/schema/landing/path', format => 'json');