CREATE TABLE ...フロー

適用対象: チェック マークあり Databricks SQL

Important

この機能は ベータ版です。

CREATE TABLE ... FLOWを使うのにプレビューを有効にする必要はありません。

単一の追加フローでデータを書き込む Unity カタログ管理テーブルを作成します。 ステートメントを実行すると、Azure Databricks はテーブルを入力するフローを実行するサーバーレスパイプラインを作成します。 ストリーミングテーブルをリフレッシュするのと同じ方法で、オンデマンドまたはスケジュールに合わせてテーブルをリフレッシュします。

ストリーミングテーブルとは異なり、結果としてはバックテーブルのない標準的な管理型Deltaテーブルが生成されます。 下流のユーザーやツールは、他のマネージドテーブルと同様にこれを扱います。

パイプライン内でこの種のテーブルを定義するには、複数のフロー書き込みを含む場合は、CREATE TABLE ... を参照してください。FLOW(パイプライン)。

Requirements

CREATE TABLE ... FLOW サーバーレス対応アカウントや Unity カタログ対応ワークスペースなど、他のスタンドアロンパイプラインと同じ要件を備えています。 テーブルを作成するには、ターゲットスキーマに対する CREATE TABLE 権限が必要です。 要件を参照してください。

Syntax

CREATE TABLE table_name
  [ table_specification ]
  [ table_clauses ]
  flow_clause

table_specification
  ( { column_identifier column_type [ column_properties ] } [, ...]
    [ CONSTRAINT expectation_name EXPECT (expectation_expr)
      [ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )

column_properties
  { NOT NULL |
    GENERATED ALWAYS AS ( expr ) |
    COMMENT column_comment |
    MASK clause } [ ... ]

table_clauses
  { PARTITIONED BY (col [, ...]) |
    CLUSTER BY clause |
    COMMENT table_comment |
    TBLPROPERTIES clause |
    schedule |
    WITH { ROW FILTER clause } } [...]

schedule
  { SCHEDULE [ REFRESH ] schedule_clause |
    TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }

schedule_clause
  { EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
  CRON cron_string [ AT TIME ZONE timezone_id ]}

flow_clause
  FLOW INSERT BY NAME query

すべてのテーブル句を FLOW キーワードの前に置いてください。

Parameters

  • table_name

    作成するテーブルの名前です。 テーブルは Unity カタログに含まれている必要があります。 名前が修飾されていない場合、テーブルは現在のカタログおよびスキーマで作成されます。

    名前は既存のストリーミングテーブルまたはマテリアライズドビューに属してはなりません。

  • テーブル仕様

    この任意句は、列、そのタイプ、プロパティ、説明、およびデータ品質の期待値を定義します。 これを省略すると、スキーマはフロークエリから推論されます。

    • column_identifier

      列に設定する一意の名前。

    • カラムタイプ (column_type)

      列のデータ型を指定します。

    • ヌルではない

      指定されている場合、その列は NULL 値を受け入れません。

    • 常に自動生成 ( expr )

      この句を指定すると、この列の値は指定された exprによって決まります。

    • コメント column_comment

      列を表す STRING 文字。

    • MASK句

      列マスク関数を追加して、機密データを匿名化します。 「行フィルターと列マスク」を参照してください。

    • CONSTRAINT expectation_name EXPECT (expectation_expr) [ 違反時 { FAIL UPDATE | ROWを削除 } ]

      テーブルにデータ品質の期待値を追加します。 FAIL UPDATE期待値があると、行がそれに違反するとリフレッシュが失敗します。 DROP ROW期待値は、それに違反する行ごとに除外します。 「パイプラインの期待値を使用してデータ品質を管理する」を参照してください。

  • (コラム[, ...]で区切り)

    必要に応じて、列のサブセットによってテーブルをパーティション分割します。 PARTITIONED BYとCLUSTER BYを組み合わせることはできません。

  • CLUSTER BY 句

    必要に応じて、テーブルで 液体クラスタリング を有効にします。

  • コメント table_comment

    テーブルを表す STRING 文字。

  • TBLPROPERTIES句

    必要に応じて、1 つ以上のユーザー定義テーブル プロパティを設定します。

  • schedule

    オプションでテーブルを自動的に更新します。 SCHEDULEそしてTRIGGER ON UPDATECREATE STREAMING TABLEと同じルールや制限に従っています。 スケジュールを省略すると、テーブルは実行したときにのみ更新 REFRESH。

  • WITH ROW FILTER 句

    行フィルター関数をテーブルに追加します。 テーブル上のクエリは、関数が TRUEに評価される行のみを返します。 「行フィルターと列マスク」を参照してください。

  • FLOW INSERT NAME クエリ

    テーブルに書き込みを行う追加フローを定義します。 query結果に含まれる列は、名前でテーブル列とマッチングされます。 query 通常、 STREAM(source_table) や STREAM read_files(...)のようなストリーミングリードです。 各リフレッシュは、前回の更新以降にソースに到着したデータのみを追加します。

表を更新する

結果は管理されたテーブルですが、ストリーミングテーブルと同様に REFRESH STREAMING TABLE 文で更新します。

-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;

-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;

-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;

Warning

フルリフレッシュはテーブルを切り落とし、ソース内のすべてのデータを再処理します。 ソースが Kafka のように限られた期間だけデータを保持する場合、ソースから時代遅れになったデータは失われます。

リフレッシュの合間には、テーブルに対して DELETE などの DML コマンドを実行できます。

Limitations

  • テーブルは Unity カタログ内にある必要があります。 hive_metastoreカタログはサポートされていません。
  • CREATE TABLE ... FLOW文は、1つのフローを持つ1つのテーブルを定義します。 複数のフローからテーブルに書き込むには、パイプライン内でテーブルを定義します。 CREATE TABLEをご覧ください...流れ(パイプライン)。
  • CREATE TABLE ... FLOW テーブルがすでに存在する場合は失敗します。 CREATE OR REFRESH TABLE ... FLOW 有効な構文ではなく、 CREATE OR REPLACE TABLE ... FLOW は許可されていません。
  • CREATE TEMPORARY TABLE ... FLOW そして CREATE EXTERNAL TABLE ... FLOW は許されていません。
  • FLOW AUTO CDC サポートされておらず、 MANAGED_TABLE_DOES_NOT_SUPPORT_CDCで失敗します。 変更データキャプチャ(CDC)を適用するには、 AUTO CDC FLOW 句を使用します。
  • FLOW REPLACE WHERE サポートされておらず、 UNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLEで失敗します。
  • 既存のストリーミングテーブルやマテリアライズドビューの名前を再利用することはできません。 名前を別のテーブルタイプに再定義しても、 CANNOT_CHANGE_TABLE_MODEL_TYPEでは失敗します。 まず既存のテーブルを削除します。
  • TARGET FRESHNESS サポートされておらず、 TARGET_FRESHNESS_REQUIRES_ETL_PIPELINEで失敗します。 ターゲットフレッシュネスを使用するには、パイプライン内でテーブルを定義します。
  • PRIMARY KEY FOREIGN KEY制約は受け入れられますが、テーブルには適用されません。
  • 以下の句はサポートされておらず、文が解析されると失敗します:
    • DEFAULT COLLATION
    • OPTIONS
    • CLUSTERED BY ... INTO num_buckets BUCKETS
    • ROW FORMAT と STORED AS
    • WITH CREDENTIAL

例示

-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
  SELECT * FROM STREAM(main.sales.orders_raw);

-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
  order_id BIGINT NOT NULL,
  region STRING,
  amount DECIMAL(10, 2),
  CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
  SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);

-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
  SELECT order_id FROM STREAM(main.sales.orders_raw);

-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;