適用対象:
Databricks SQL
Important
この機能は ベータ版です。
CREATE TABLE ... FLOWを使うのにプレビューを有効にする必要はありません。
単一の追加フローでデータを書き込む Unity カタログ管理テーブルを作成します。 ステートメントを実行すると、Azure Databricks はテーブルを入力するフローを実行するサーバーレスパイプラインを作成します。 ストリーミングテーブルをリフレッシュするのと同じ方法で、オンデマンドまたはスケジュールに合わせてテーブルをリフレッシュします。
ストリーミングテーブルとは異なり、結果としてはバックテーブルのない標準的な管理型Deltaテーブルが生成されます。 下流のユーザーやツールは、他のマネージドテーブルと同様にこれを扱います。
パイプライン内でこの種のテーブルを定義するには、複数のフロー書き込みを含む場合は、CREATE TABLE ... を参照してください。FLOW(パイプライン)。
Requirements
CREATE TABLE ... FLOW サーバーレス対応アカウントや Unity カタログ対応ワークスペースなど、他のスタンドアロンパイプラインと同じ要件を備えています。 テーブルを作成するには、ターゲットスキーマに対する CREATE TABLE 権限が必要です。
要件を参照してください。
Syntax
CREATE TABLE table_name
[ table_specification ]
[ table_clauses ]
flow_clause
table_specification
( { column_identifier column_type [ column_properties ] } [, ...]
[ CONSTRAINT expectation_name EXPECT (expectation_expr)
[ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )
column_properties
{ NOT NULL |
GENERATED ALWAYS AS ( expr ) |
COMMENT column_comment |
MASK clause } [ ... ]
table_clauses
{ PARTITIONED BY (col [, ...]) |
CLUSTER BY clause |
COMMENT table_comment |
TBLPROPERTIES clause |
schedule |
WITH { ROW FILTER clause } } [...]
schedule
{ SCHEDULE [ REFRESH ] schedule_clause |
TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }
schedule_clause
{ EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
CRON cron_string [ AT TIME ZONE timezone_id ]}
flow_clause
FLOW INSERT BY NAME query
すべてのテーブル句を FLOW キーワードの前に置いてください。
Parameters
-
作成するテーブルの名前です。 テーブルは Unity カタログに含まれている必要があります。 名前が修飾されていない場合、テーブルは現在のカタログおよびスキーマで作成されます。
名前は既存のストリーミングテーブルまたはマテリアライズドビューに属してはなりません。
テーブル仕様
この任意句は、列、そのタイプ、プロパティ、説明、およびデータ品質の期待値を定義します。 これを省略すると、スキーマはフロークエリから推論されます。
-
列に設定する一意の名前。
-
列のデータ型を指定します。
ヌルではない
指定されている場合、その列は
NULL値を受け入れません。常に自動生成 ( expr )
この句を指定すると、この列の値は指定された
exprによって決まります。コメント column_comment
列を表す
STRING文字。MASK句
列マスク関数を追加して、機密データを匿名化します。 「行フィルターと列マスク」を参照してください。
CONSTRAINT expectation_name EXPECT (expectation_expr) [ 違反時 { FAIL UPDATE | ROWを削除 } ]
テーブルにデータ品質の期待値を追加します。
FAIL UPDATE期待値があると、行がそれに違反するとリフレッシュが失敗します。DROP ROW期待値は、それに違反する行ごとに除外します。 「パイプラインの期待値を使用してデータ品質を管理する」を参照してください。
-
(コラム[, ...]で区切り)
必要に応じて、列のサブセットによってテーブルをパーティション分割します。
PARTITIONED BYとCLUSTER BYを組み合わせることはできません。CLUSTER BY 句
必要に応じて、テーブルで 液体クラスタリング を有効にします。
コメント table_comment
テーブルを表す
STRING文字。TBLPROPERTIES句
必要に応じて、1 つ以上のユーザー定義テーブル プロパティを設定します。
schedule
オプションでテーブルを自動的に更新します。
SCHEDULEそしてTRIGGER ON UPDATECREATE STREAMING TABLEと同じルールや制限に従っています。 スケジュールを省略すると、テーブルは実行したときにのみ更新REFRESH。WITH ROW FILTER 句
行フィルター関数をテーブルに追加します。 テーブル上のクエリは、関数が
TRUEに評価される行のみを返します。 「行フィルターと列マスク」を参照してください。FLOW INSERT NAME クエリ
テーブルに書き込みを行う追加フローを定義します。
query結果に含まれる列は、名前でテーブル列とマッチングされます。query通常、STREAM(source_table)やSTREAM read_files(...)のようなストリーミングリードです。 各リフレッシュは、前回の更新以降にソースに到着したデータのみを追加します。
表を更新する
結果は管理されたテーブルですが、ストリーミングテーブルと同様に REFRESH STREAMING TABLE 文で更新します。
-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;
-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;
-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;
Warning
フルリフレッシュはテーブルを切り落とし、ソース内のすべてのデータを再処理します。 ソースが Kafka のように限られた期間だけデータを保持する場合、ソースから時代遅れになったデータは失われます。
リフレッシュの合間には、テーブルに対して DELETE などの DML コマンドを実行できます。
Limitations
- テーブルは Unity カタログ内にある必要があります。
hive_metastoreカタログはサポートされていません。 -
CREATE TABLE ... FLOW文は、1つのフローを持つ1つのテーブルを定義します。 複数のフローからテーブルに書き込むには、パイプライン内でテーブルを定義します。 CREATE TABLEをご覧ください...流れ(パイプライン)。 -
CREATE TABLE ... FLOWテーブルがすでに存在する場合は失敗します。CREATE OR REFRESH TABLE ... FLOW有効な構文ではなく、CREATE OR REPLACE TABLE ... FLOWは許可されていません。 -
CREATE TEMPORARY TABLE ... FLOWそしてCREATE EXTERNAL TABLE ... FLOWは許されていません。 -
FLOW AUTO CDCサポートされておらず、MANAGED_TABLE_DOES_NOT_SUPPORT_CDCで失敗します。 変更データキャプチャ(CDC)を適用するには、 AUTO CDC FLOW 句を使用します。 -
FLOW REPLACE WHEREサポートされておらず、UNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLEで失敗します。 - 既存のストリーミングテーブルやマテリアライズドビューの名前を再利用することはできません。 名前を別のテーブルタイプに再定義しても、
CANNOT_CHANGE_TABLE_MODEL_TYPEでは失敗します。 まず既存のテーブルを削除します。 -
TARGET FRESHNESSサポートされておらず、TARGET_FRESHNESS_REQUIRES_ETL_PIPELINEで失敗します。 ターゲットフレッシュネスを使用するには、パイプライン内でテーブルを定義します。 -
PRIMARY KEYFOREIGN KEY制約は受け入れられますが、テーブルには適用されません。 - 以下の句はサポートされておらず、文が解析されると失敗します:
DEFAULT COLLATIONOPTIONSCLUSTERED BY ... INTO num_buckets BUCKETS-
ROW FORMATとSTORED AS WITH CREDENTIAL
例示
-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
SELECT * FROM STREAM(main.sales.orders_raw);
-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
order_id BIGINT NOT NULL,
region STRING,
amount DECIMAL(10, 2),
CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);
-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
SELECT order_id FROM STREAM(main.sales.orders_raw);
-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;