Menggunakan ALTER pernyataan dengan himpunan data alur

Alur Lakeflow didefinisikan dalam kode sumber khusus yang Anda buat di SQL atau Python, misalnya, di Editor Alur Lakeflow.

Lakeflow Connect membuat alur yang menyerap data, dan membuat tabel streaming penyerapan.

Azure Databricks juga menyediakan lingkungan SQL yang disebut Databricks SQL. Anda dapat membuat tampilan materialisasi dan tabel streaming dengan Databricks SQL menggunakan fungsionalitas alur di luar Lakeflow (lihat Alur mandiri). Biasanya, Databricks SQL tidak digunakan untuk membuat pembaruan alur Lakeflow.

Namun Anda dapat menggunakan ALTER pernyataan SQL di Databricks SQL untuk memodifikasi properti himpunan data yang dibuat dengan alur Lakeflow, Databricks SQL, atau Lakeflow Connect. Gunakan pernyataan SQL ini dari lingkungan Databricks SQL apa pun, baik Anda memodifikasi himpunan data alur Lakeflow, himpunan data alur mandiri, atau himpunan data Lakeflow Connect.

Untuk himpunan data yang didukung oleh alur mandiri yang dibuat di Databricks SQL, Anda juga dapat mengubah pemilik dengan SET OWNER TO.

Nota

Anda tidak dapat mengubah jadwal atau pemicu dataset yang ditentukan dalam pipeline Lakeflow dengan pernyataan ALTER.

Batasan: Pembaruan alur dan perubahan yang dibuat dengan ALTER

Ada kasus di mana ALTER pernyataan bertentangan dengan definisi himpunan data yang dibuat oleh alur. SQL yang menentukan tabel atau tampilan dalam alur dijalankan kembali pada setiap pembaruan. Ini dapat membatalkan perubahan yang Anda buat dengan sebuah pernyataan ALTER.

Misalnya, jika Anda memiliki pernyataan SQL yang menentukan tampilan materialisasi, seperti berikut ini:

CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

Kemudian Anda mencoba menghapus masker dari ssn kolom menggunakan ALTER pernyataan, seperti ini:

ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

Masker dihapus, tetapi lain kali tampilan materialisasi diperbarui definisi SQL menambahkannya kembali.

Untuk melepas masker dengan aman, Anda harus mengedit definisi SQL untuk melepas masker lalu menjalankan ALTER perintah ke DROP masker.

Nota

Untuk mengedit definisi alur yang ditentukan dalam alur Lakeflow, edit sumber alur Anda menggunakan editor alur. Untuk mengedit definisi alur mandiri, jalankan pernyataan SQL yang dimodifikasi di lingkungan Databricks SQL apa pun.

Sumber daya tambahan

  • Last updated on