次の方法で共有

パイプライン データセットで ALTER ステートメントを使用する

Important

この機能は パブリック プレビュー段階です。

Lakeflow Spark 宣言パイプライン (SDP) は、SDP に固有のソース コードでパイプラインを定義します。 パイプライン ソースは、 たとえば Lakeflow Pipelines エディターで SQL または Python で編集できます。

Azure Databricks には、 Databricks SQL と呼ばれる SQL 環境も用意されています。 SDP の外部にあるパイプライン機能を使用して、Databricks SQL を使用して具体化されたビューとストリーミング テーブルを作成できます ( Databricks SQL でのパイプラインの使用を参照)。 通常、Databricks SQL は Lakeflow Spark 宣言パイプラインでは使用されません。

ただし、Databricks SQL ALTER SQL ステートメントを使用して、SDP または Databricks SQL で作成されたデータセットのプロパティを変更できます。 SDP データセットを変更する場合でも、Databricks SQL パイプライン データセットを変更する場合でも、Databricks SQL 環境からこれらの SQL ステートメントを使用します。

注

ALTER ステートメントを使用して SDP で定義されたデータセットのスケジュールまたはトリガーを変更することはできません。

制限事項: パイプラインの更新と変更 ALTER

ALTER ステートメントがパイプラインで作成されたデータセットの定義と競合する場合があります。 パイプライン内のテーブルまたはビューを定義する SQL は、更新ごとに再実行されます。 これにより、 ALTER ステートメントで行った変更を元に戻すことができます。

たとえば、次のような具体化されたビューを定義する SQL ステートメントがあるとします。

CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

次に、次のように、ssn ステートメントを使用して、ALTER列からマスクを削除します。

ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

マスクは削除されますが、次に具体化されたビューが更新されるときに、SQL 定義によって追加されます。

マスクを安全に削除するには、マスクが削除されるように SQL 定義を編集してから、ALTER コマンドを実行してマスクをDROPする必要があります。

注

SDP で定義されているパイプラインの定義を編集するには、 パイプライン エディターを使用してパイプライン ソースを編集します。 Databricks SQL で定義されているパイプラインの定義を編集するには、任意の Databricks SQL 環境で変更された SQL ステートメントを実行します。

その他のリソース

  • Last updated on