Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Gilt für:
Databricks SQL
Important
Dieses Feature befindet sich in der Betaversion.
Sie müssen keine Vorschau aktivieren, um . zu verwenden CREATE TABLE ... FLOW.
Erstellt eine von Unity Catalog verwaltete Tabelle, deren Daten durch einen einzigen Anhängungsfluss geschrieben werden. Wenn Sie die Anweisung ausführen, erstellt Azure Databricks eine serverlose Pipeline, die den Ablauf ausführt, um die Tabelle zu füllen. Sie aktualisieren die Tabelle auf Abruf oder nach einem Zeitplan, genauso wie Sie eine Streaming-Tabelle aktualisieren.
Im Gegensatz zu einer Streaming-Tabelle ist das Ergebnis eine standardisierte verwaltete Delta-Tabelle ohne Backing-Table. Downstream-Benutzer und Tools arbeiten damit wie jede andere verwaltete Tabelle.
Um diese Art von Tabelle in einer Pipeline zu definieren, einschließlich mehrerer als einem Flow, der darauf geschrieben wird, siehe CREATE TABLE ... FLOW (Pipelines).
Requirements
CREATE TABLE ... FLOW erfüllt die gleichen Anforderungen wie andere eigenständige Pipelines, darunter ein serverloses Konto und einen mit Unity Catalog unterstützten Arbeitsbereich. Um die Tabelle zu erstellen, benötigen Sie das CREATE TABLE Privileg für das Zielschema. Siehe Anforderungen.
Syntax
CREATE TABLE table_name
[ table_specification ]
[ table_clauses ]
flow_clause
table_specification
( { column_identifier column_type [ column_properties ] } [, ...]
[ CONSTRAINT expectation_name EXPECT (expectation_expr)
[ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )
column_properties
{ NOT NULL |
GENERATED ALWAYS AS ( expr ) |
COMMENT column_comment |
MASK clause } [ ... ]
table_clauses
{ PARTITIONED BY (col [, ...]) |
CLUSTER BY clause |
COMMENT table_comment |
TBLPROPERTIES clause |
schedule |
WITH { ROW FILTER clause } } [...]
schedule
{ SCHEDULE [ REFRESH ] schedule_clause |
TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }
schedule_clause
{ EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
CRON cron_string [ AT TIME ZONE timezone_id ]}
flow_clause
FLOW INSERT BY NAME query
Setzen Sie alle Tabellenklauseln vor das FLOW Schlüsselwort.
Parameter
-
Der Name der zu erstellenden Tabelle. Die Tabelle muss sich in einem Unity-Katalogkatalog befinden. Wenn der Name nicht qualifiziert ist, wird die Tabelle im aktuellen Katalog und Schema erstellt.
Der Name darf nicht zu einer bestehenden Streaming-Tabelle oder einer materialisierten Ansicht gehören.
Tabellenspezifikation
Diese optionale Klausel definiert die Spalten, ihre Typen, Eigenschaften, Beschreibungen und Erwartungen an die Datenqualität. Wenn Sie es weglassen, wird das Schema aus der Flow-Abfrage abgeleitet.
-
Ein eindeutiger Name für die Spalte.
-
Gibt den Datentyp der Spalte an.
NICHT NULL
Wenn angegeben, akzeptiert
NULLdie Spalte keine Werte.GENERIERT IMMER ALS ( Ausdruck )
Wenn Sie diese Klausel angeben, wird der Wert dieser Spalte durch das angegebene
expr. bestimmt.KOMMENTAR column_comment
Ein
STRINGWörtliches Wort, das die Spalte beschreibt.MASK-Klausel
Fügt eine Spaltenmaskierungsfunktion hinzu, um sensible Daten zu anonymisieren. Siehe Zeilenfilter und Spaltenmasken.
CONSTRAINT expectation_name ERWARTEN (expectation_expr) [ ON VIOLATION { FAIL UPDATE | DROP ROW } ]
Fügt der Tabelle eine Datenqualitätserwartung hinzu. Eine Erwartung
FAIL UPDATEführt dazu, dass die Aktualisierung fehlschlägt, wenn eine Zeile sie verletzt. Eine Erwartung fälltDROP ROWbei jeder Zeile, die sie verletzt. Weitere Informationen finden Sie unter Verwalten der Datenqualität mit Pipelineerwartungen.
-
PARTITIONED BY (col [, ...])
Partitioniert die Tabelle optional durch eine Teilmenge von Spalten. Sie können nicht kombinieren
PARTITIONED BYundCLUSTER BY.CLUSTER BY Klausel
Ermöglicht optional die Flüssigkeitsclusterung auf dem Tisch.
KOMMENTAR table_comment
Ein
STRINGWörtliches Wort, das die Tabelle beschreibt.TBLPROPERTIES-Klausel
Legt optional eine oder mehrere benutzerdefinierte Tabelleneigenschaften fest.
Zeitplan
Aktualisiert optional die Tabelle automatisch.
SCHEDULETRIGGER ON UPDATEund dieselben Regeln und Grenzen befolgen wie für CREATE STREAMING TABLE. Wenn Sie den Zeitplan weglassen, wird die Tabelle nur aktualisiert, wenn Sie .REFRESHausführen.WITH-Klausel ROW FILTER
Fügt der Tabelle eine Zeilenfilterfunktion hinzu. Abfragen in der Tabelle geben nur die Zeilen zurück, für die die Funktion auf
TRUEausgewertet wird. Siehe Zeilenfilter und Spaltenmasken.FLUSS INSERT NACH NAME Abfrage
Definiert den Anhäng-Flow, der in die Tabelle geschrieben wird. Spalten im Ergebnis von
querywerden den Tabellenspalten nach Namen zugeordnet.queryist typischerweise eine Streaming-Lektüre, wie zum BeispielSTREAM(source_table)oderSTREAM read_files(...). Jede Aktualisierung fügt nur die Daten hinzu, die seit der letzten Aktualisierung in die Quelle eingegangen sind.
Tabelle aktualisieren
Obwohl das Ergebnis eine verwaltete Tabelle ist, aktualisieren Sie sie mit der Anweisung REFRESH STREAMING TABLE , ähnlich wie bei einer Streaming-Tabelle:
-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;
-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;
-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;
Warning
Eine vollständige Aktualisierung kürzt die Tabelle ab und verarbeitet alle verfügbaren Daten in der Quelle neu. Wenn die Quelle Daten für eine begrenzte Zeit speichert, wie etwa bei Kafka, gehen Daten verloren, die aus der Quelle herausgealtert sind.
Zwischen den Aktualisierungen können Sie DML-Befehle wie DELETE zum Beispiel gegen die Tabelle ausführen.
Limitations
- Die Tabelle muss sich im Unity-Katalog befinden. Der Katalog
hive_metastorewird nicht unterstützt. - Eine Anweisung definiert eine Tabelle mit einem einzigen
CREATE TABLE ... FLOWFlow. Um aus mehr als einem Flow in eine Tabelle zu schreiben, definieren Sie die Tabelle in einer Pipeline. Siehe CREATE TABLE ... FLOW (Pipelines). -
CREATE TABLE ... FLOWscheitert, wenn die Tabelle bereits existiert.CREATE OR REFRESH TABLE ... FLOWist keine gültige Syntax undCREATE OR REPLACE TABLE ... FLOWist nicht erlaubt. -
CREATE TEMPORARY TABLE ... FLOWundCREATE EXTERNAL TABLE ... FLOWsind nicht erlaubt. -
FLOW AUTO CDCwird nicht unterstützt und versagt mitMANAGED_TABLE_DOES_NOT_SUPPORT_CDC. Um Change Data Capture (CDC) anzuwenden, verwenden Sie die AUTO CDC FLOW CLAUSE. -
FLOW REPLACE WHEREwird nicht unterstützt und versagt mitUNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE. - Sie können den Namen einer bestehenden Streaming-Tabelle oder einer materialisierten Ansicht nicht wiederverwenden. Die Neudefinition eines Namens als einen anderen Tabellentyp fehlschlägt bei
CANNOT_CHANGE_TABLE_MODEL_TYPE. Werfen Sie zuerst die bestehende Tabelle weg. -
TARGET FRESHNESSwird nicht unterstützt und versagt mitTARGET_FRESHNESS_REQUIRES_ETL_PIPELINE. Um Ziel-Frische zu verwenden, definieren Sie die Tabelle in einer Pipeline. -
PRIMARY KEYundFOREIGN KEYEinschränkungen werden akzeptiert, aber nicht auf die Tabelle angewendet. - Die folgenden Klauseln werden nicht unterstützt und versagen beim Parsen der Anweisung:
DEFAULT COLLATIONOPTIONSCLUSTERED BY ... INTO num_buckets BUCKETS-
ROW FORMATundSTORED AS WITH CREDENTIAL
Examples
-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
SELECT * FROM STREAM(main.sales.orders_raw);
-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
order_id BIGINT NOT NULL,
region STRING,
amount DECIMAL(10, 2),
CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);
-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
SELECT order_id FROM STREAM(main.sales.orders_raw);
-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;