Bagikan melalui

Menggunakan ALTER pernyataan dengan himpunan data alur

Penting

Fitur ini ada di Pratinjau Umum.

Lakeflow Spark Declarative Pipelines (SDP) mendefinisikan alur dalam kode sumber yang khusus untuk SDP. Anda dapat mengedit sumber alur baik di SQL atau Python, misalnya, di Editor Alur Lakeflow.

Azure Databricks juga menyediakan lingkungan SQL yang disebut Databricks SQL. Anda dapat membuat tampilan materialisasi dan tabel streaming dengan Databricks SQL menggunakan fungsionalitas alur di luar SDP (lihat Menggunakan alur di Databricks SQL). Biasanya, Databricks SQL tidak digunakan dengan Alur Deklaratif Lakeflow Spark.

Namun Anda dapat menggunakan ALTER pernyataan SQL di Databricks SQL untuk memodifikasi properti himpunan data yang dibuat dengan SDP atau Databricks SQL. Gunakan pernyataan SQL ini dari lingkungan Databricks SQL apa pun, baik Anda memodifikasi himpunan data SDP, atau himpunan data alur Databricks SQL.

Nota

Anda tidak dapat mengubah jadwal atau pemicu himpunan data yang ditentukan dalam SDP dengan ALTER pernyataan.

Batasan: Pembaruan alur dan perubahan yang dibuat dengan ALTER

Ada kasus di mana ALTER pernyataan bertentangan dengan definisi himpunan data yang dibuat oleh alur. SQL yang menentukan tabel atau tampilan dalam alur dijalankan kembali pada setiap pembaruan. Ini dapat membatalkan perubahan yang Anda buat dengan sebuah pernyataan ALTER.

Misalnya, jika Anda memiliki pernyataan SQL yang menentukan tampilan materialisasi, seperti berikut ini:

CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

Kemudian Anda mencoba menghapus masker dari ssn kolom menggunakan ALTER pernyataan, seperti ini:

ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

Masker dihapus, tetapi lain kali tampilan materialisasi diperbarui definisi SQL menambahkannya kembali.

Untuk melepas masker dengan aman, Anda harus mengedit definisi SQL untuk melepas masker lalu menjalankan ALTER perintah ke DROP masker.

Nota

Untuk mengedit definisi alur yang ditentukan dalam SDP, edit sumber alur Anda menggunakan editor alur. Untuk mengedit definisi alur yang ditentukan dalam Databricks SQL, jalankan pernyataan SQL yang dimodifikasi di lingkungan Databricks SQL apa pun.

Sumber daya tambahan

  • Last updated on