Pengoptimalan prediktif untuk tabel terkelola Katalog Unity

Halaman ini menjelaskan pengoptimalan prediktif, yang secara otomatis menjalankan operasi pemeliharaan untuk tabel terkelola Unity Catalog di Azure Databricks.

Catatan

Pengoptimalan prediktif diaktifkan secara default untuk akun yang dibuat pada atau setelah 11 November 2024. Databricks mulai mengaktifkan akun yang ada pada 7 Mei 2025. Peluncuran ini bertahap dan diharapkan selesai pada April 2026. Untuk memeriksa apakah akun Anda sudah diaktifkan, lihat Memverifikasi apakah pengoptimalan prediktif diaktifkan.

Dengan pengoptimalan prediktif diaktifkan, Databricks secara otomatis melakukan hal berikut:

• Mengidentifikasi tabel yang akan mendapat manfaat dari operasi pemeliharaan dan mengantrekan operasi tersebut untuk dijalankan.
• Mengumpulkan statistik saat data ditulis ke tabel terkelola.

Ini menghilangkan eksekusi pemeliharaan yang tidak perlu dan beban pelacakan dan performa pemecahan masalah secara manual.

Databricks merekomendasikan pengoptimalan prediktif untuk semua tabel terkelola Unity Catalog. Misalnya, pengklusteran cairan otomatis menggunakan pengoptimalan cerdas tata letak data berdasarkan pola penggunaan data Anda. Lihat Menggunakan pengklusteran cair untuk tabel.

Operasi apa yang dijalankan pengoptimalan prediktif?

Pengoptimalan prediktif menjalankan operasi berikut pada tabel terkelola Unity Catalog:

Operasi	Deskripsi
OPTIMIZE	Memicu pengklusteran inkremental untuk tabel yang diaktifkan. Lihat Menggunakan pengklusteran cair untuk tabel. Meningkatkan performa kueri dengan mengoptimalkan ukuran file. Lihat Optimalkan tata letak file data.
VACUUM	Mengurangi biaya penyimpanan dengan menghapus file data tidak lagi direferensikan oleh tabel. Lihat Menghapus file data yang tidak digunakan dengan vakum.
ANALYZE	Memicu pembaruan statistik secara bertahap untuk meningkatkan kinerja kueri. Lihat ANALYZE TABLE ... STATISTIK KOMPUTASI.

Catatan

OPTIMIZE tidak berjalan ZORDER ketika dieksekusi oleh pengoptimalan prediktif. Pada tabel yang menggunakan urutan Z, pengoptimalan prediktif mengabaikan file yang diurutkan Z.

Jika pengklusteran cair otomatis diaktifkan, pengoptimalan prediktif mungkin memilih kunci pengklusteran baru sebelum pengklusteran data. Lihat pengklusteran cairan otomatis.

Peringatan

Jendela retensi untuk VACUUM ditentukan oleh delta.deletedFileRetentionDuration properti tabel, yang defaultnya menjadi 7 hari. VACUUM menghapus file data yang tidak lagi dirujuk oleh versi tabel Delta dalam jendela tersebut. Untuk menyimpan data untuk durasi yang lebih lama (misalnya, untuk mendukung perjalanan waktu yang diperpanjang), atur properti ini sebelum Anda mengaktifkan pengoptimalan prediktif:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');

Komputasi dan penagihan

Pengoptimalan prediktif menjalankan ANALYZE, OPTIMIZE, dan VACUUM operasi menggunakan komputasi tanpa server untuk tugas. Akun Anda ditagih untuk komputasi ini menggunakan SKU pekerjaan tanpa server.

Lihat harga untuk layanan terkelola Databricks. Lihat Melacak pengoptimalan prediktif dengan tabel sistem.

Prasyarat

Persyaratan berikut harus dipenuhi untuk menggunakan pengoptimalan prediktif:

• Ruang kerja Azure Databricks Anda harus berada di paket Premium di wilayah yang didukung.
• Anda harus menggunakan gudang SQL atau Databricks Runtime 12.2 LTS atau lebih tinggi.
• Hanya tabel terkelola Unity Catalog yang didukung.

• Jika Anda memerlukan konektivitas privat untuk akun penyimpanan Anda, konfigurasikan konektivitas privat tanpa server. Lihat Mengonfigurasi konektivitas privat ke sumber daya Azure.

Mengaktifkan pengoptimalan prediktif

Anda dapat mengaktifkan pengoptimalan prediktif untuk akun, katalog, atau skema. Semua tabel terkelola Unity Catalog mewarisi nilai akun secara default. Anda dapat mengubah default akun pada tingkat katalog atau skema.

Anda harus memiliki hak istimewa berikut untuk mengaktifkan atau menonaktifkan pengoptimalan prediktif:

Objek Katalog Unity	Hak Istimewa
Akun	Administrator akun
Katalog	Pemilik katalog
Skema	Pemilik skema

Mengaktifkan atau menonaktifkan pengoptimalan prediktif untuk akun Anda

Administrator akun dapat mengaktifkan pengoptimalan prediktif untuk semua metastore dalam akun. Katalog dan skema mewarisi pengaturan ini secara default, tetapi Anda dapat mengambil alihnya di salah satu tingkat.

1. Buka konsol akun.
2. Navigasi ke Pengaturan, lalu Pengaktifan fitur.
3. Pilih opsi yang Anda inginkan (misalnya, Diaktifkan) di samping Pengoptimalan prediktif.

Catatan

• Metastore di wilayah yang tidak mendukung pengoptimalan prediktif tidak diaktifkan.
• Menonaktifkan pengoptimalan prediktif di tingkat akun tidak menonaktifkannya untuk katalog atau skema yang telah mengaktifkannya secara khusus.

Mengaktifkan atau menonaktifkan pengoptimalan prediktif untuk katalog atau skema

Pengoptimalan prediktif menggunakan model pewarisan. Saat diaktifkan untuk katalog, skema dalam katalog tersebut mewarisi pengaturan, dan tabel dalam skema yang diaktifkan juga mewarisinya. Anda dapat secara eksplisit mengaktifkan atau menonaktifkan pengoptimalan prediktif untuk katalog atau skema untuk mengambil alih perilaku ini.

Catatan

Anda dapat menonaktifkan pengoptimalan prediktif di tingkat katalog atau skema sebelum mengaktifkannya di tingkat akun. Jika pengoptimalan prediktif kemudian diaktifkan di tingkat akun, pengoptimalan tetap diblokir untuk tabel di objek tersebut.

Gunakan sintaks berikut untuk mengaktifkan, menonaktifkan, atau mengatur ulang pengoptimalan prediktif untuk mewarisi dari objek induk:

ALTER CATALOG [catalog_name] { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER { SCHEMA | DATABASE } schema_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;

Verifikasi apakah pengoptimalan prediktif diaktifkan

Bidang Predictive Optimization adalah properti Katalog Unity yang menunjukkan apakah pengoptimalan prediktif diaktifkan. Jika pengaturan diwarisi dari objek induk, nilai bidang menunjukkan ini.

Gunakan sintaks berikut untuk memeriksa status:

DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name

Melacak pengoptimalan prediktif dengan tabel sistem

Databricks menyediakan tabel system.storage.predictive_optimization_operations_history sistem untuk pemantauan operasi pengoptimalan prediktif, biaya, dan dampaknya. Lihat referensi tabel sistem pengoptimalan prediktif .

Pesan kesalahan tautan privat

Jika tabel sistem menandai operasi sebagai gagal dengan FAILED: PRIVATE_LINK_SETUP_ERROR, tautan privat tanpa server mungkin tidak dikonfigurasi dengan benar. Lihat Mengonfigurasi konektivitas privat ke sumber daya Azure.

Batasan

Pengoptimalan prediktif tidak berjalan pada jenis tabel berikut:

• Tabel dimuat ke ruang kerja sebagai pihak penerima Delta Sharing
• Tabel eksternal