CREATE TABLE ... FLOW

Gilt für:Grünes Häkchen für „Ja“ Databricks SQL

Important

Dieses Feature befindet sich in der Betaversion.

Sie müssen keine Vorschau aktivieren, um . zu verwenden CREATE TABLE ... FLOW.

Erstellt eine von Unity Catalog verwaltete Tabelle, deren Daten durch einen einzigen Anhängungsfluss geschrieben werden. Wenn Sie die Anweisung ausführen, erstellt Azure Databricks eine serverlose Pipeline, die den Ablauf ausführt, um die Tabelle zu füllen. Sie aktualisieren die Tabelle auf Abruf oder nach einem Zeitplan, genauso wie Sie eine Streaming-Tabelle aktualisieren.

Im Gegensatz zu einer Streaming-Tabelle ist das Ergebnis eine standardisierte verwaltete Delta-Tabelle ohne Backing-Table. Downstream-Benutzer und Tools arbeiten damit wie jede andere verwaltete Tabelle.

Um diese Art von Tabelle in einer Pipeline zu definieren, einschließlich mehrerer als einem Flow, der darauf geschrieben wird, siehe CREATE TABLE ... FLOW (Pipelines).

Requirements

CREATE TABLE ... FLOW erfüllt die gleichen Anforderungen wie andere eigenständige Pipelines, darunter ein serverloses Konto und einen mit Unity Catalog unterstützten Arbeitsbereich. Um die Tabelle zu erstellen, benötigen Sie das CREATE TABLE Privileg für das Zielschema. Siehe Anforderungen.

Syntax

CREATE TABLE table_name
  [ table_specification ]
  [ table_clauses ]
  flow_clause

table_specification
  ( { column_identifier column_type [ column_properties ] } [, ...]
    [ CONSTRAINT expectation_name EXPECT (expectation_expr)
      [ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )

column_properties
  { NOT NULL |
    GENERATED ALWAYS AS ( expr ) |
    COMMENT column_comment |
    MASK clause } [ ... ]

table_clauses
  { PARTITIONED BY (col [, ...]) |
    CLUSTER BY clause |
    COMMENT table_comment |
    TBLPROPERTIES clause |
    schedule |
    WITH { ROW FILTER clause } } [...]

schedule
  { SCHEDULE [ REFRESH ] schedule_clause |
    TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }

schedule_clause
  { EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
  CRON cron_string [ AT TIME ZONE timezone_id ]}

flow_clause
  FLOW INSERT BY NAME query

Setzen Sie alle Tabellenklauseln vor das FLOW Schlüsselwort.

Parameter

  • table_name

    Der Name der zu erstellenden Tabelle. Die Tabelle muss sich in einem Unity-Katalogkatalog befinden. Wenn der Name nicht qualifiziert ist, wird die Tabelle im aktuellen Katalog und Schema erstellt.

    Der Name darf nicht zu einer bestehenden Streaming-Tabelle oder einer materialisierten Ansicht gehören.

  • Tabellenspezifikation

    Diese optionale Klausel definiert die Spalten, ihre Typen, Eigenschaften, Beschreibungen und Erwartungen an die Datenqualität. Wenn Sie es weglassen, wird das Schema aus der Flow-Abfrage abgeleitet.

    • column_identifier

      Ein eindeutiger Name für die Spalte.

    • Spaltentyp

      Gibt den Datentyp der Spalte an.

    • NICHT NULL

      Wenn angegeben, akzeptiert NULL die Spalte keine Werte.

    • GENERIERT IMMER ALS ( Ausdruck )

      Wenn Sie diese Klausel angeben, wird der Wert dieser Spalte durch das angegebene expr. bestimmt.

    • KOMMENTAR column_comment

      Ein STRING Wörtliches Wort, das die Spalte beschreibt.

    • MASK-Klausel

      Fügt eine Spaltenmaskierungsfunktion hinzu, um sensible Daten zu anonymisieren. Siehe Zeilenfilter und Spaltenmasken.

    • CONSTRAINT expectation_name ERWARTEN (expectation_expr) [ ON VIOLATION { FAIL UPDATE | DROP ROW } ]

      Fügt der Tabelle eine Datenqualitätserwartung hinzu. Eine Erwartung FAIL UPDATE führt dazu, dass die Aktualisierung fehlschlägt, wenn eine Zeile sie verletzt. Eine Erwartung fällt DROP ROW bei jeder Zeile, die sie verletzt. Weitere Informationen finden Sie unter Verwalten der Datenqualität mit Pipelineerwartungen.

  • PARTITIONED BY (col [, ...])

    Partitioniert die Tabelle optional durch eine Teilmenge von Spalten. Sie können nicht kombinieren PARTITIONED BY und CLUSTER BY.

  • CLUSTER BY Klausel

    Ermöglicht optional die Flüssigkeitsclusterung auf dem Tisch.

  • KOMMENTAR table_comment

    Ein STRING Wörtliches Wort, das die Tabelle beschreibt.

  • TBLPROPERTIES-Klausel

    Legt optional eine oder mehrere benutzerdefinierte Tabelleneigenschaften fest.

  • Zeitplan

    Aktualisiert optional die Tabelle automatisch. SCHEDULE TRIGGER ON UPDATE und dieselben Regeln und Grenzen befolgen wie für CREATE STREAMING TABLE. Wenn Sie den Zeitplan weglassen, wird die Tabelle nur aktualisiert, wenn Sie . REFRESHausführen.

  • WITH-Klausel ROW FILTER

    Fügt der Tabelle eine Zeilenfilterfunktion hinzu. Abfragen in der Tabelle geben nur die Zeilen zurück, für die die Funktion auf TRUEausgewertet wird. Siehe Zeilenfilter und Spaltenmasken.

  • FLUSS INSERT NACH NAME Abfrage

    Definiert den Anhäng-Flow, der in die Tabelle geschrieben wird. Spalten im Ergebnis von query werden den Tabellenspalten nach Namen zugeordnet. query ist typischerweise eine Streaming-Lektüre, wie zum Beispiel STREAM(source_table) oder STREAM read_files(...). Jede Aktualisierung fügt nur die Daten hinzu, die seit der letzten Aktualisierung in die Quelle eingegangen sind.

Tabelle aktualisieren

Obwohl das Ergebnis eine verwaltete Tabelle ist, aktualisieren Sie sie mit der Anweisung REFRESH STREAMING TABLE , ähnlich wie bei einer Streaming-Tabelle:

-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;

-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;

-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;

Warning

Eine vollständige Aktualisierung kürzt die Tabelle ab und verarbeitet alle verfügbaren Daten in der Quelle neu. Wenn die Quelle Daten für eine begrenzte Zeit speichert, wie etwa bei Kafka, gehen Daten verloren, die aus der Quelle herausgealtert sind.

Zwischen den Aktualisierungen können Sie DML-Befehle wie DELETE zum Beispiel gegen die Tabelle ausführen.

Limitations

  • Die Tabelle muss sich im Unity-Katalog befinden. Der Katalog hive_metastore wird nicht unterstützt.
  • Eine Anweisung definiert eine Tabelle mit einem einzigen CREATE TABLE ... FLOW Flow. Um aus mehr als einem Flow in eine Tabelle zu schreiben, definieren Sie die Tabelle in einer Pipeline. Siehe CREATE TABLE ... FLOW (Pipelines).
  • CREATE TABLE ... FLOW scheitert, wenn die Tabelle bereits existiert. CREATE OR REFRESH TABLE ... FLOW ist keine gültige Syntax und CREATE OR REPLACE TABLE ... FLOW ist nicht erlaubt.
  • CREATE TEMPORARY TABLE ... FLOW und CREATE EXTERNAL TABLE ... FLOW sind nicht erlaubt.
  • FLOW AUTO CDC wird nicht unterstützt und versagt mit MANAGED_TABLE_DOES_NOT_SUPPORT_CDC. Um Change Data Capture (CDC) anzuwenden, verwenden Sie die AUTO CDC FLOW CLAUSE.
  • FLOW REPLACE WHERE wird nicht unterstützt und versagt mit UNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE.
  • Sie können den Namen einer bestehenden Streaming-Tabelle oder einer materialisierten Ansicht nicht wiederverwenden. Die Neudefinition eines Namens als einen anderen Tabellentyp fehlschlägt bei CANNOT_CHANGE_TABLE_MODEL_TYPE. Werfen Sie zuerst die bestehende Tabelle weg.
  • TARGET FRESHNESS wird nicht unterstützt und versagt mit TARGET_FRESHNESS_REQUIRES_ETL_PIPELINE. Um Ziel-Frische zu verwenden, definieren Sie die Tabelle in einer Pipeline.
  • PRIMARY KEY und FOREIGN KEY Einschränkungen werden akzeptiert, aber nicht auf die Tabelle angewendet.
  • Die folgenden Klauseln werden nicht unterstützt und versagen beim Parsen der Anweisung:
    • DEFAULT COLLATION
    • OPTIONS
    • CLUSTERED BY ... INTO num_buckets BUCKETS
    • ROW FORMAT und STORED AS
    • WITH CREDENTIAL

Examples

-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
  SELECT * FROM STREAM(main.sales.orders_raw);

-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
  order_id BIGINT NOT NULL,
  region STRING,
  amount DECIMAL(10, 2),
  CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
  SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);

-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
  SELECT order_id FROM STREAM(main.sales.orders_raw);

-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;