Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Catatan
Pengoptimalan prediktif diaktifkan secara default jika akun Anda dibuat pada atau setelah 11 November 2024. Databricks mulai mengaktifkan akun yang ada mulai 7 Mei 2025. Pengaktifan ini diluncurkan secara bertahap dan diharapkan selesai pada Februari 2026. Jika Anda tidak yakin apakah akun Anda sudah diaktifkan, lihat Memeriksa apakah pengoptimalan prediktif diaktifkan.
Pengoptimalan prediktif menghapus kebutuhan untuk mengelola operasi pemeliharaan secara manual untuk tabel terkelola Unity Catalog di Azure Databricks.
Dengan pengoptimalan prediktif diaktifkan, Azure Databricks secara otomatis melakukan hal berikut:
- Mengidentifikasi tabel yang akan mendapat manfaat dari operasi pemeliharaan dan menjadwalkan operasi ini untuk dijalankan.
- Mengumpulkan statistik saat data ditulis ke tabel terkelola.
Operasi pemeliharaan dijalankan seperlunya, menghilangkan pelaksanaan yang tidak perlu untuk operasi pemeliharaan dan beban terkait pelacakan serta pemecahan masalah performa.
Databricks merekomendasikan penggunaan pengoptimalan prediktif untuk semua tabel terkelola Unity Catalog. Misalnya, pengklusteran cairan otomatis memiliki pengoptimalan cerdas tata letak data berdasarkan pola penggunaan data Anda. Lihat Menggunakan pengklusteran cair untuk tabel.
Penting
Pengoptimalan prediktif hanya berjalan pada tabel terkelola Unity Catalog.
Pengoptimalan prediktif tidak tersedia di semua wilayah. Lihat Fitur yang memiliki ketersediaan regional terbatas.
Operasi apa yang dijalankan pengoptimalan prediktif?
Pengoptimalan prediktif menjalankan operasi berikut secara otomatis untuk tabel yang diaktifkan:
| Operasi | Deskripsi |
|---|---|
OPTIMIZE
(1) |
Memicu pengklusteran inkremental untuk tabel yang diaktifkan. Lihat Menggunakan pengklusteran cair untuk tabel. Meningkatkan performa kueri dengan mengoptimalkan ukuran file. Lihat Optimalkan tata letak file data. |
VACUUM |
Mengurangi biaya penyimpanan dengan menghapus file data tidak lagi direferensikan oleh tabel. Lihat Menghapus file data yang tidak digunakan dengan vakum. |
ANALYZE |
Memicu pembaruan statistik secara bertahap untuk meningkatkan kinerja kueri. Lihat ANALYZE TABLE. |
(1)OPTIMIZE tidak berjalan ZORDER saat dijalankan dengan pengoptimalan prediktif. Pada tabel yang menggunakan urutan Z, pengoptimalan prediktif akan mengabaikan file yang diurutkan Z.
Jika pengklusteran cair otomatis diaktifkan, pengoptimalan prediktif mungkin memilih kunci pengklusteran baru sebelum pengklusteran data. Lihat pengklusteran cairan otomatis.
Peringatan
Jendela retensi untuk perintah VACUUM ditentukan oleh properti tabel delta.deletedFileRetentionDuration, yang defaultnya menjadi 7 hari. Ini berarti VACUUM menghapus file data yang tidak lagi dirujuk oleh versi tabel Delta dalam 7 hari terakhir. Jika Anda ingin menyimpan data lebih lama (seperti mendukung perjalanan waktu untuk durasi yang lebih lama), Anda harus mengatur properti tabel ini dengan tepat sebelum mengaktifkan pengoptimalan prediktif, seperti dalam contoh berikut:
ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');
Jika Anda mengonfigurasi delta.deletedFileRetentionDuration di bawah default 7 hari, pengoptimalan prediktif berjalan VACUUM dengan durasi retensi 7 hari.
Di mana pengoptimalan prediktif berjalan?
Pengoptimalan prediktif mengidentifikasi tabel yang akan mendapat manfaat dari operasi ANALYZE, OPTIMIZE, dan VACUUM dan mengantrekannya untuk dijalankan menggunakan komputasi tanpa server untuk pekerjaan. Akun Anda ditagih untuk komputasi yang terkait dengan beban kerja ini menggunakan SKU pekerjaan tanpa server.
Lihat harga untuk layanan terkelola Databricks. Lihat Menggunakan tabel sistem untuk melacak pengoptimalan prediktif.
Prasyarat untuk pengoptimalan prediktif
Anda harus memenuhi persyaratan berikut untuk mengaktifkan pengoptimalan prediktif:
- Ruang kerja Azure Databricks Anda harus berada di paket Premium di wilayah yang mendukung pengoptimalan prediktif. Lihat Fitur yang memiliki ketersediaan regional terbatas.
- Anda harus menggunakan gudang SQL atau Databricks Runtime 12.2 LTS atau lebih tinggi saat Anda mengaktifkan pengoptimalan prediktif.
- Hanya tabel terkelola Unity Catalog yang didukung.
- Jika Anda memerlukan konektivitas privat untuk akun penyimpanan, Anda harus mengonfigurasi konektivitas privat tanpa server. Lihat Mengonfigurasi konektivitas privat ke sumber daya Azure.
Mengaktifkan pengoptimalan prediktif
Anda dapat mengaktifkan pengoptimalan prediktif untuk akun, katalog, atau skema. Semua tabel terkelola Unity Catalog mewarisi nilai akun secara default. Anda dapat mengganti pengaturan bawaan akun untuk katalog atau skema untuk mengaktifkan atau menonaktifkan pengoptimalan prediktif pada level tersebut.
Catatan
Pengoptimalan prediktif diaktifkan secara default jika akun Anda dibuat pada atau setelah 11 November 2024. Databricks mulai mengaktifkan akun yang ada mulai 7 Mei 2025. Pengaktifan ini diluncurkan secara bertahap dan diharapkan selesai pada Februari 2026.
Anda harus memiliki hak istimewa berikut untuk mengaktifkan atau menonaktifkan pengoptimalan prediktif pada tingkat yang ditentukan:
| Objek Katalog Unity | Hak Istimewa |
|---|---|
| Akun | Administrator akun |
| Katalog | Pemilik katalog |
| Skema | Pemilik skema |
Mengaktifkan atau menonaktifkan pengoptimalan prediktif untuk akun Anda
Admin akun dapat menyelesaikan langkah-langkah berikut untuk mengaktifkan pengoptimalan prediktif untuk semua metastor di akun. Objek dalam akun akan mewarisi pengaturan ini secara default (tetapi pengaturan dapat digantikan di tingkat katalog atau skema):
- Akses konsol akun.
- Navigasi ke Pengaturan, lalu Pengaktifan fitur.
- Pilih opsi untuk digunakan (misalnya, Diaktifkan) di samping Pengoptimalan prediktif.
Catatan
- Metastore di wilayah yang tidak mendukung pengoptimalan prediktif tidak diaktifkan.
- Menonaktifkan pengoptimalan prediktif di tingkat akun tidak menonaktifkannya untuk katalog atau skema yang telah mengaktifkannya secara khusus.
Mengaktifkan atau menonaktifkan pengoptimalan prediktif untuk katalog atau skema
Pengoptimalan prediktif menggunakan model pewarisan. Ketika diaktifkan untuk katalog, skema akan mewarisi properti tersebut. Tabel dalam skema yang diaktifkan mewarisi pengoptimalan prediktif. Untuk mengambil alih perilaku pewarisan ini, Anda dapat secara eksplisit mengaktifkan atau menonaktifkan pengoptimalan prediktif untuk katalog atau skema.
Catatan
Anda dapat menonaktifkan pengoptimalan prediktif di tingkat katalog atau skema sebelum mengaktifkannya di tingkat akun. Jika pengoptimalan prediktif kemudian diaktifkan pada akun, pengoptimalan tersebut akan diblokir untuk tabel dalam objek ini.
Gunakan sintaks berikut untuk mengaktifkan atau menonaktifkan pengoptimalan prediktif, atau untuk kembali ke default pewarisan dari objek induk:
ALTER CATALOG [catalog_name] { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER { SCHEMA | DATABASE } schema_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
Periksa apakah pengoptimalan prediktif diaktifkan
Bidang Predictive Optimization adalah properti Katalog Unity yang merinci apakah pengoptimalan prediktif diaktifkan. Jika pengoptimalan prediktif diwarisi dari objek induk, ini ditunjukkan dalam nilai bidang.
Gunakan sintaks berikut untuk melihat apakah pengoptimalan prediktif diaktifkan:
DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name
Menggunakan tabel sistem untuk melacak pengoptimalan prediktif
Azure Databricks menyediakan tabel sistem system.storage.predictive_optimization_operations_history untuk mengamati operasi, biaya, dan dampak dari pengoptimalan prediktif. Lihat referensi tabel sistem pengoptimalan prediktif .
Pesan kesalahan tautan privat
Jika tabel sistem menandai operasi sebagai gagal dengan FAILED: PRIVATE_LINK_SETUP_ERROR, Anda mungkin belum mengonfigurasi tautan privat dengan benar untuk komputasi tanpa server. Lihat Mengonfigurasi konektivitas privat ke sumber daya Azure.
Batasan
Pengoptimalan prediktif tidak tersedia di semua wilayah. Lihat Fitur yang memiliki ketersediaan regional terbatas.
Untuk tabel dengan durasi retensi file yang dihapus (delta.deletedFileRetentionDuration) yang dikonfigurasi di bawah default 7 hari, pengoptimalan prediktif berjalan VACUUM dengan durasi retensi selama 7 hari. Lihat Mengonfigurasi retensi data untuk kueri perjalanan lintas waktu.
Pengoptimalan prediktif tidak melakukan operasi pemeliharaan pada tabel berikut:
- Tabel dimuat ke dalam ruang kerja sebagai penerima dalam Delta Sharing.
- Tabel eksternal.