Penerapan katalog

Halaman ini menjelaskan cara mengaktifkan penerapan katalog, fitur tabel Delta yang mengalihkan koordinasi penerapan dari sistem file ke Katalog Unity, menjadikan katalog sebagai sumber kebenaran tunggal untuk status tabel.

Ikhtisar

Transaksi Delta Lake tradisional mengoordinasikan komitmen pada tingkat tabel individual. Setiap tabel mengelola log transaksi dan deteksi konfliknya sendiri secara independen. Komitmen katalog memindah koordinasi ini ke tingkat katalog. Hal ini memungkinkan organisasi untuk secara konsisten mengatur semua akses ke Lakehouse melalui Unity Catalog. Ini juga memungkinkan Unity Catalog untuk mengkoordinasikan komit di beberapa tabel dalam satu batas transaksi sambil mempertahankan jaminan ACID dari Delta Lake.

Keuntungan

Komitmen katalog menyediakan kemampuan berikut:

  • Transaksi yang mencakup beberapa tabel: Jalankan beberapa pernyataan SQL di beberapa tabel sebagai komit tunggal atomik. Semua perubahan berhasil bersama-sama atau gagal bersama-sama. Lihat Transaksi.

    Penting

    Transaksi yang menulis ke tabel Delta terkelola Katalog Unity ada di Pratinjau Umum.

    Transaksi yang menulis ke tabel Iceberg yang dikelola oleh Unity Catalog ada di Pratinjau Privat. Untuk bergabung dengan pratinjau ini, kirim formulir pendaftaran pratinjau tabel Iceberg terkelola.

  • Akses yang diatur: Pembacaan dan penulisan dikoordinasikan melalui Unity Catalog, sehingga mesin melihat status yang telah dikomit dan kebijakan tata kelola yang diterapkan secara terbaru.

  • Perencanaan dan penulisan kueri yang lebih cepat: Katalog Unity menginformasikan klien Delta metadata tingkat tabel secara langsung saat mengakses tabel, melewati penyimpanan cloud, dan menghapus sumber utama latensi metadata.

  • Batasan yang dapat diberlakukan: Katalog Unity memvalidasi atau menolak perubahan skema dan batasan, mencegah pembaruan yang tidak kompatibel yang dapat merusak integritas data atau beban kerja hilir.

  • Akses eksternal: Tulis tabel terkelola Unity Catalog dengan aman dari mesin eksternal. Unity Catalog mengoordinasikan komit untuk mencegah kerusakan dan konflik konkurensi. Lihat Mengakses data Databricks menggunakan sistem eksternal.

    Penting

    Fitur ini ada di Beta. Admin ruang kerja dapat mengontrol akses ke fitur ini dari halaman Pratinjau . Lihat Kelola pratinjau Azure Databricks.

Persyaratan

  • Tabel harus berupa tabel terkelola Unity Catalog (Delta atau Iceberg).
  • Databricks Runtime 16.4 ke atas diperlukan untuk membaca dari, menulis ke, atau membuat tabel dengan commit katalog diaktifkan.
  • Databricks Runtime 18.0 ke atas diperlukan untuk mengaktifkan atau menonaktifkan penerapan katalog pada tabel yang ada.

Mengaktifkan komitmen katalog

Anda dapat mengaktifkan penerapan katalog pada tabel baru dan yang sudah ada.

Mengaktifkan komit katalog untuk tabel baru

delta.feature.catalogManaged Gunakan properti tabel saat membuat tabel:

CREATE TABLE sales_data (
  sale_id BIGINT,
  amount DECIMAL(10,2),
  sale_date DATE
)
TBLPROPERTIES ('delta.feature.catalogManaged' = 'supported');

Mengaktifkan komit katalog untuk tabel yang sudah ada

Gunakan ALTER TABLE untuk menambahkan penerapan katalog ke tabel yang sudah ada:

ALTER TABLE sales_data SET TBLPROPERTIES ('delta.feature.catalogManaged' = 'supported');

Penting

Mengaktifkan komit katalog pada tabel yang ada menyinkronkan status tabel dengan katalog. Operasi ini dapat memakan waktu beberapa menit pada tabel dengan beban kerja tulis tinggi.

Periksa apakah komit katalog diaktifkan

Untuk memverifikasi apakah tabel mengaktifkan penerapan katalog:

DESCRIBE DETAIL sales_data;

Jika diaktifkan, catalogManaged muncul di tableFeatures kolom .

Menonaktifkan penerapan katalog

Anda dapat menonaktifkan komit katalog menggunakan Databricks Runtime 18.0 ke atas. Lihat Menghilangkan fitur tabel Delta Lake dan menurunkan protokol tabel.

Peringatan

Jangan batalkan operasi upgrade atau downgrade saat menjalankan pernyataan ALTER atau DROP. Interupsi dapat meninggalkan tabel dalam keadaan sebagian meningkat atau sebagian menurun, menguncinya dari semua pembacaan dan penulisan di masa mendatang. Untuk mengembalikan, jalankan perintah yang sesuai lagi daripada membatalkan. Hubungi dukungan Databricks jika tabel terkunci.

Keterbatasan

  • Anda tidak dapat mengaktifkan atau menonaktifkan komit katalog menggunakan CREATE OR REPLACE TABLE atau REPLACE TABLE. Gunakan CREATE TABLE dengan delta.feature.catalogManaged properti untuk mengaktifkannya saat membuat tabel, atau ALTER TABLE untuk mengaktifkan atau menonaktifkannya pada tabel yang sudah ada.
  • Tabel dengan komit katalog diaktifkan dibagikan melalui Delta Sharing menggunakan URL prapertanda tangan alih-alih token cloud.
  • Tampilan di atas tabel dengan komit katalog diaktifkan tidak dapat dibagikan sebagai Delta.
  • Tampilan materialisasi dan tabel streaming tidak dapat mengaktifkan penerapan katalog.
  • Tabel dengan komit katalog diaktifkan tidak dapat menjadi tabel sumber untuk trigger Lakeflow Jobs.
  • Zerobus tidak dapat menulis ke tabel dengan komit katalog diaktifkan.

Langkah berikutnya

  • Last updated on