CREATE TABLE ... FLOW (pipelines)

Important

Deze functie bevindt zich in de bètaversie.

Gebruik de CREATE TABLE ... FLOW instructie om een beheerde tabel te maken in een pijplijn, geschreven door een of meer stromen.

Om een beheerde tabel te maken met één enkele flow vanuit Databricks SQL, buiten een pipeline-definitie, zie CREATE TABLE ... FLOW.

Syntax

CREATE TABLE
  table_name
  [ table_specification ]
  [ table_clauses ]
  [ flow_clause ]

table_specification
  ( { column_identifier column_type [column_properties] } [, ...]
    [ CONSTRAINT expectation_name EXPECT (expectation_expr)
        [ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )

table_clauses
  { PARTITIONED BY (col [, ...]) |
    CLUSTER BY clause |
    LOCATION path |
    COMMENT table_comment |
    TBLPROPERTIES clause |
    WITH { ROW FILTER clause } } [ ... ]

flow_clause
  FLOW [ IMPORT CHECKPOINT checkpoint_path ] INSERT BY NAME query

Als u meerdere bronnen in één beheerde tabel wilt weergeven, declareert u verschillende stromen die hierop zijn gericht met CREATE FLOW (pijplijnen):>

CREATE FLOW flow_name AS INSERT INTO table_name BY NAME query

Parameters

  • table_name

    De naam van de beheerde tabel die moet worden gemaakt. Als de naam niet is gekwalificeerd, wordt de tabel gemaakt in het doelschema van de pijplijn. De naam mag niet al deel uitmaken van een streamingtabel.

  • tafel_specificatie

    Definieer eventueel de kolommen, hun typen, eigenschappen en beschrijvingen. Als u dit weglaat, wordt het schema afgeleid van de stroomquery.

  • CONSTRAINT expectation_name VERWACHTEN (expectation_expr) [ BIJ SCHENDING { FAIL UPDATE | DROP ROW } ]

    Voegt verwachtingen van datakwaliteit toe aan de beheerde tabel. Deze verwachtingen van de datakwaliteit kunnen in de loop van de tijd worden gevolgd en worden benaderd via het gebeurtenislogboek van de pipeline. Een FAIL UPDATE verwachting zorgt ervoor dat de verwerking mislukt bij het maken van de tabel en het vernieuwen van de tabel. Een DROP ROW verwachting zorgt ervoor dat de hele rij wordt verwijderd als niet aan de verwachting wordt voldaan. Zie Gegevenskwaliteit beheren met pipelineverwachtingen.

    expectation_expr kan bestaan uit literalen, kolomidentificaties binnen de tabel en deterministische, ingebouwde SQL-functies of -operatoren, behalve:

    Mag ook expectation_expr geen subquery bevatten.

  • OPGEDEELD DOOR (col [, ...])

    U kunt de tabel desgewenst partitioneren op basis van een subset kolommen.

  • CLUSTER BY clausule

    U kunt eventueel liquide clustering op de tabel inschakelen. U kunt het niet combineren PARTITIONED BY en CLUSTER BY.

  • LOCATIE-pad

    Een optionele opslaglocatie voor de tabelgegevens.

  • OPMERKING: table_comment

    Een STRING letterlijke beschrijving van de tabel.

  • TBLPROPERTIES-clausule

    U kunt desgewenst een of meer door de gebruiker gedefinieerde tabeleigenschappen instellen.

  • WITH-clausule ROW FILTER

    Hiermee voegt u een rijfilterfunctie toe aan de tabel. Toekomstige query's voor die tabel ontvangen een subset van de rijen waarvoor de functie evalueert TRUE.

  • FLOW INSERT OP NAAM query

    Definieert een toevoegstroom die het resultaat van query de tabel invoegt, waarbij resultaatkolommen op naam worden gekoppeld aan tabelkolommen. query kan verwijzen naar batch- of streamingbronnen. Elke benoemde flow verwerkt zijn invoer exact één keer per pipeline-update, identiek aan FLOW INSERT BY NAME op een streamingtabel.

  • IMPORTCONTROLEPUNT checkpoint_path

    Een STRING letterlijke met het pad naar een bestaand Structured Streaming-checkpoint om in de flow te importeren, zodat een gemigreerde stream wordt hervat vanaf zijn laatst toegewijde offset in plaats van de bron opnieuw te verwerken. Het importeren van een checkpoint is in de bèta. Zie Migrate a Structured Streaming checkpoint.

Een Structured Streaming-checkpoint migreren

Important

Het importeren van een checkpoint is in de bèta.

Gebruik IMPORT CHECKPOINT om een bestaande Structured Streaming-workload naar een pipeline te migreren zonder de bron opnieuw te verwerken. Stel checkpoint_path in op de checkpointLocation gebruikte Structured Streaming-query, die een cloudopslag, Unity Catalog-volume of DBFS-pad kan zijn. Bij de eerste pipeline-update kloont de flow dat checkpoint naar de beheerde opslag van de pipeline. De stroom wordt vervolgens hervat vanaf de laatst toegewezen offset met de staat (zoals aggregaties, deduplicatiesleutels en watermerken) intact. Latere updates van de pijplijn gebruiken het gekloonde checkpoint van de flow; het oorspronkelijke checkpoint wordt niet gewijzigd.

Warning

Stop de oorspronkelijke Structured Streaming-query voordat je de pipeline uitvoert. De oorspronkelijke Structured Streaming-query kan na de import opnieuw worden gebruikt, maar je moet de checkpointstatus beheren en ervoor zorgen dat de pipeline en de query niet tegelijk naar dezelfde tabel schrijven, wat dubbele data kan opleveren.

Maak de Structured Streaming-query opnieuw aan als een pipelineflow die blijft schrijven naar de tabel waarnaar de query schreef, en importeer het checkpoint:

-- Use the existing table your Structured Streaming query writes to; CREATE TABLE adopts it.
CREATE TABLE streaming_table
-- Continue from the imported checkpoint instead of reprocessing the source.
FLOW IMPORT CHECKPOINT '/Volumes/my_catalog/my_schema/checkpoints/my_stream'
INSERT BY NAME
  -- The same source your original query read from.
  SELECT * FROM STREAM(source_table);

Het checkpoint wordt alleen geïmporteerd bij de eerste pipeline-update. Latere updates negeren IMPORT CHECKPOINT. Een volledige verversing importeert het checkpoint niet opnieuw. Het begint vanaf een nieuw, leeg checkpoint en verwerkt de bron opnieuw.

Limitations

  • Beheerde tabellen bieden geen ondersteuning voor CDC-wijzigingsstromen. AUTO CDC INTO(SQL) of apply_changes / apply_changes_from_snapshot (Python) tegen een beheerde tabel faalt met .MANAGED_TABLE_DOES_NOT_SUPPORT_CDC Voor CDC-doelen gebruik een CREATE STREAMING TABLE (pijplijnen) met een flow gedefinieerd door CREATE FLOW (pijplijnen).
  • Beheerde tabellen bieden geen ondersteuning FLOW ... REPLACE WHEREvoor . Alleen FLOW INSERT BY NAME wordt ondersteund. Om een doelwit deel van een tabel opnieuw te berekenen en te overschrijven, maak je een streamingtabel en definieer je een REPLACE WHERE flow met CREATE FLOW (pipelines). Zie Batchverwerking met REPLACE-flowsWHERE.
  • Beheerde tabellen worden alleen ondersteund in pijplijnen met Unity Catalog. De Hive-metastore wordt niet ondersteund.
  • U kunt de naam van een bestaande streamingtabel of gematerialiseerde weergave niet hergebruiken voor een beheerde tabel, of andersom. Het herdefiniëren van een naam als een ander tabeltype mislukt met CANNOT_CHANGE_TABLE_MODEL_TYPE. Laat eerst de bestaande tabel vallen.
  • IMPORT CHECKPOINT wordt alleen ondersteund op FLOW INSERT BY NAME.

Examples

-- Create a managed table populated by an inline append flow from a streaming table
CREATE TABLE output
FLOW INSERT BY NAME SELECT * FROM STREAM(samples.tpch.orders);

-- Create a managed table that ingests files with schema inference and evolution
CREATE TABLE raw_data
FLOW INSERT BY NAME
  SELECT * FROM STREAM read_files('/Volumes/catalog/schema/landing/base/path');

-- Create a partitioned managed table from a streaming source
CREATE TABLE events
PARTITIONED BY (bucket)
FLOW INSERT BY NAME
  SELECT id, bucket FROM STREAM read_files('/Volumes/catalog/schema/landing/my_path', format => 'json');

-- Create a managed table with liquid clustering
CREATE TABLE orders_clustered
CLUSTER BY (order_date, customer_id)
FLOW INSERT BY NAME
  SELECT
    o_orderkey   AS order_id,
    o_custkey    AS customer_id,
    o_orderdate  AS order_date,
    o_totalprice AS total_price
  FROM STREAM(samples.tpch.orders);

-- Create a managed table with a data quality expectation that drops violating rows
CREATE TABLE valid_events
  (CONSTRAINT positive_id EXPECT (id > 0) ON VIOLATION DROP ROW)
FLOW INSERT BY NAME
  SELECT id FROM STREAM read_files('/Volumes/catalog/schema/landing/path', format => 'json');

Aanvullende bronnen