Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Databricks secara otomatis meningkatkan tabel terkelola Unity Catalog untuk menggunakan fitur yang direkomendasikan yang tersedia secara umum, tanpa memerlukan perubahan kode atau pernyataan manual ALTER TABLE . Peningkatan otomatis memverifikasi bahwa klien kompatibel sebelum mengaktifkan fitur baru.
Peningkatan otomatis memberikan manfaat berikut:
- Kurangi upaya administratif yang diperlukan untuk memvalidasi persyaratan kompatibilitas individual untuk setiap kombinasi tabel dan fitur di ruang kerja Anda. Ini sangat membantu jika Anda memiliki katalog dengan ribuan tabel.
- Secara otomatis mendapatkan peningkatan performa dan keandalan terbaru pada tabel terkelola Anda.
- Tingkatkan tabel dengan aman. Peningkatan otomatis hanya mengaktifkan fitur setelah memverifikasi kompatibilitas beban kerja.
Untuk detail selengkapnya tentang manfaat yang terkait dengan fitur ini, lihat Peningkatan Otomatis: fitur praktik terbaik untuk tabel lakehouse Anda.
Cara kerja peningkatan otomatis
Peningkatan otomatis memantau pola akses tabel terkelola Katalog Unity dan menggunakan jendela pengamatan untuk memverifikasi bahwa pola akses kompatibel sebelum mengaktifkan fitur apa pun. Periode observasi adalah 50 hari untuk pembaruan yang masih dalam Pratinjau Umum, dan 100 hari untuk pembaruan yang tersedia secara umum. Lihat Fitur yang didukung.
Peningkatan otomatis menggunakan komputasi tanpa server untuk meningkatkan tabel di latar belakang. Tidak ada biaya untuk proses ini.
Skema dan tabel
Perilaku peningkatan otomatis tergantung pada apakah skema baru atau sudah ada saat fitur dirilis. Saat Anda membuat tabel baru, tabel tersebut mewarisi fitur dari properti default skemanya. Tabel berikut ini menjelaskan setiap kasus:
| Schema | Tabel | Behavior |
|---|---|---|
| Baru | Baru | Peningkatan otomatis mengatur default tingkat skema pada waktu pembuatan sehingga tabel segera mewarisi semua fitur yang didukung. |
| Tersedia | Baru | Peningkatan otomatis mengaktifkan fitur hanya jika semua tabel dalam skemanya diakses oleh beban kerja terverifikasi selama jendela pengamatan sebelumnya. Jika tidak, jika satu beban kerja yang belum diverifikasi mengakses tabel apa pun dalam skema, peningkatan otomatis mengabaikan tabel baru. Lihat beban kerja terverifikasi. |
| Tersedia | Tersedia | Peningkatan otomatis mengaktifkan fitur saat semua hal berikut ini benar:
|
Beban kerja terverifikasi
Beban kerja dianggap diverifikasi untuk fitur tertentu jika mengakses tabel dari kluster Databricks dengan versi Databricks Runtime pada atau di atas versi minimum fitur yang diperlukan.
Peningkatan otomatis menganggap beban kerja berikut sebagai belum diverifikasi:
- Klien eksternal dan layanan pihak ketiga seperti Flink atau Presto. Lihat Integrasi Katalog Unity.
- Layanan Azure Databricks dengan akses langsung ke tabel, seperti Zerobus, yang mengabaikan pola akses standar Databricks Runtime. Lihat Gambaran umum konektor Zerobus Ingest.
Jika ada tabel dalam skema yang diakses dalam jendela pengamatan oleh versi Databricks Runtime di bawah versi minimum fitur yang diperlukan atau oleh klien eksternal, peningkatan otomatis tidak mengaktifkan fitur yang sesuai pada tabel apa pun dalam skema tersebut.
Fitur yang didukung
Peningkatan otomatis berlaku untuk subset fitur yang tersedia secara umum, yang dijelaskan dalam tabel berikut. Ketersediaan fitur mungkin berbeda menurut wilayah.
Important
Pengklusteran cairan otomatis hanya berlaku untuk tabel baru. Tidak seperti fitur lain, fitur ini ditambahkan secara default saat Anda membuat tabel dan tidak pernah berlaku untuk tabel yang ada.
Fitur dengan peningkatan yang umumnya tersedia
Fitur berikut umumnya tersedia, dan peningkatan otomatis menerapkannya ke jenis tabel yang ditentukan. Sistem peningkatan otomatis juga tersedia secara umum.
Setiap fitur diluncurkan secara bertahap, dimulai pada tanggal rilisnya dan menjangkau semua pelanggan dalam waktu sekitar enam bulan.
| Feature | Jenis tabel | Versi minimum Runtime Databricks yang kompatibel | Apa fungsinya | Tanggal rilis |
|---|---|---|---|---|
| Pengklusteran cairan otomatis |
|
15.4 LTS | Menata data tabel secara otomatis berdasarkan kolom yang sering dikueri untuk meningkatkan performa kueri tanpa partisi manual. Peningkatan otomatis tidak menerapkan fitur ini ke tabel yang sudah ada. | 22 Mei 2026 |
| Titik Pemeriksaan V2 |
|
13.3 LTS | Mendukung lebih banyak penulisan secara bersamaan dan mengurangi konflik penulisan pada tabel berukuran besar atau yang sering diperbarui. | 19 Mei 2026 untuk tabel baru dalam skema baru 13 Juli 2026 untuk semua tabel dalam skema yang ada |
| Pelacakan baris |
|
14.1 | Mempertahankan ID baris tersembunyi untuk pemrosesan inkremental. Saat pelacakan baris diaktifkan, umpan data perubahan otomatis tersedia tanpa konfigurasi tambahan. Lihat AUTO CDC APIs. | 25 Juli 2026 untuk tabel baru dalam skema baru 13 Juli 2026 untuk semua tabel dalam skema yang ada |
| Penerapan katalog |
|
16.4 LTS | Memusatkan komit di Unity Catalog untuk memungkinkan transaksi multi-tabel, meningkatkan interoperabilitas untuk penulisan eksternal, dan memungkinkan penerapan kebijakan tata kelola lintas mesin. | Juli 13, 2026 |
| Parquet v2 |
|
18.1 | Menggunakan enkode Parquet tingkat lanjut, header halaman data, dan INT64tanda waktu untuk meningkatkan performa kueri dan mengurangi kebutuhan penyimpanan pada tabel Delta Lake. |
25 Juni 2026 |
Fitur dengan peningkatan di Pratinjau Umum
Fitur berikut umumnya sudah tersedia, tetapi pemutakhiran otomatisnya masih dalam Pratinjau Publik dan memerlukan pendaftaran.
Important
Peningkatan otomatis untuk fitur berikut berada di Pratinjau Umum. Untuk mendaftar, lengkapi formulir ini dengan ID akun Anda. Tidak ada perubahan kode atau konfigurasi tambahan yang diperlukan setelah pendaftaran.
Peningkatan otomatis berlaku untuk fitur-fitur ini hanya jika Anda terdaftar di Pratinjau Umum, dan berlaku segera setelah Anda mendaftar:
| Feature | Jenis tabel | Versi minimum Runtime Databricks yang kompatibel | Apa fungsinya |
|---|---|---|---|
| Penerapan katalog |
|
16.4 LTS | Memusatkan komit di Unity Catalog untuk memungkinkan transaksi multi-tabel, meningkatkan interoperabilitas untuk penulisan eksternal, dan memungkinkan penerapan kebijakan tata kelola lintas mesin. |
| Pemetaan kolom |
|
15.4 LTS | Memungkinkan Anda mengganti nama dan menghilangkan kolom tanpa menulis ulang data. |
| Parquet v2 |
|
18.1 | Menggunakan enkode Parquet tingkat lanjut, header halaman data, dan INT64tanda waktu untuk meningkatkan performa kueri dan mengurangi kebutuhan penyimpanan pada tabel Delta Lake. |
Requirements
- Komputasi tanpa server harus tersedia di wilayah Anda.
- Tabel harus berupa tabel terkelola Unity Catalog dalam format Delta Lake atau Apache Iceberg.
Mengamati fitur yang diaktifkan
Untuk memeriksa apakah peningkatan otomatis mengaktifkan fitur pada tabel, cari operasi SET TBLPROPERTIES di tab Riwayat di Catalog Explorer, atau gunakan DESCRIBE HISTORY <table_name>. Jika operasi tersebut dijalankan oleh peningkatan otomatis, kolom nama pengguna menampilkan nilai hash, bukan nama pengguna, seperti 4d137f29-62. Lihat Apa itu Catalog Explorer? dan Lihat riwayat tabel.
Setelah peningkatan otomatis mengaktifkan fitur pada tabel dalam skema baru, lihat default skema di tab Properti di Penjelajah Katalog. Misalnya, skema dengan pelacakan baris diaktifkan menunjukkan properti seperti catalog.schema.enableRowTracking: "true". Skema yang ada tidak memiliki properti pengamatan peningkatan otomatis.
Untuk visibilitas seluruh akun, kueri tabel sistem peningkatan otomatis. Tabel ini merekam setiap fitur yang ditambahkan peningkatan otomatis ke tabel, saat ditambahkan, dan tabel mana yang terpengaruh, sehingga Anda dapat mengaudit aktivitas peningkatan di semua ruang kerja Anda. Lihat Referensi tabel sistem peningkatan otomatis.
Mengelola fitur yang direkomendasikan
Administrator dapat mengembalikan perubahan dari peningkatan atau menonaktifkan fitur pada tabel individual.
Mengembalikan perubahan
Gunakan RESTORE untuk mengembalikan data dan metadata untuk tabel ke versi sebelum fitur diaktifkan:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Lihat Memulihkan tabel ke status sebelumnya untuk informasi selengkapnya tentang riwayat tabel dan pemulihan.
Menonaktifkan fitur untuk tabel
Untuk menonaktifkan fitur pada tabel individual:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
Peningkatan otomatis tidak mengaktifkan fitur lagi setelah Anda menonaktifkannya secara manual.
Keterbatasan
- Tabel yang dibagikan oleh Delta Lake Sharing, baik Databricks-to-Open maupun Databricks-to-Databricks, dikecualikan dari peningkatan otomatis. Lihat Apa itu OpenSharing?.
- Peningkatan otomatis tidak memiliki mekanisme rollback massal untuk menonaktifkan fitur di seluruh tabel dalam suatu akun. Lihat Mengelola fitur yang direkomendasikan untuk pemutakhiran otomatis.
- Tampilan bermaterialisasi dan tabel streaming tidak didukung.
- Beban kerja yang melewati Unity Catalog dan mengakses tabel secara langsung melalui path tidak dilacak oleh upgrade otomatis. Jika beban kerja Anda menggunakan akses berbasis jalur, hubungi tim akun Anda untuk membahas kompatibilitas.
- Tabel eksternal dikecualikan dari peningkatan otomatis. Tabel eksternal biasanya diakses oleh jalur file, melewati Katalog Unity, dan Katalog Unity tidak dapat melacak pola akses ini dengan andal. Lihat Bekerja dengan tabel-tabel eksternal.
Tanya jawab umum
Berikut ini menjawab pertanyaan umum tentang peningkatan otomatis.
Apa itu peningkatan otomatis untuk tabel terkelola Katalog Unity?
Lihat pengenalan di bagian atas halaman ini.
Bagaimana pemutakhiran otomatis memeriksa kompatibilitas?
Lihat Beban kerja terverifikasi.
Apakah pemutakhiran otomatis mengubah tabel saya secara otomatis?
Yes. Setelah sebuah fitur diverifikasi aman untuk tabel, Databricks menerapkannya melalui tugas latar belakang ringan. Anda masih dapat menonaktifkan fitur pada tabel individual.
Jika saya menonaktifkan fitur pada tabel, dapatkah peningkatan otomatis mengaktifkannya lagi nanti?
No. Setelah Anda menonaktifkan fitur yang ditambahkan peningkatan otomatis, peningkatan otomatis tidak mengaktifkan fitur itu lagi untuk tabel tersebut.
Apakah peningkatan otomatis mengubah tabel saya yang sudah ada?
Ya, tetapi hanya setelah jendela pengamatan mengonfirmasi bahwa setiap klien yang mengakses tabel mendukung fitur tersebut. Pengklusteran cairan otomatis adalah pengecualian: hanya berlaku untuk tabel yang baru dibuat, tidak pernah untuk yang sudah ada, karena melakukannya akan mengubah tata letak data yang ada.
Bagaimana peningkatan otomatis berbeda dari pengoptimalan prediktif?
Pengoptimalan prediktif mempertahankan tata letak data Anda melalui operasi seperti pemadatan dan vakum, dengan opsi untuk menggunakan pengklusteran cairan otomatis. Peningkatan otomatis mengaktifkan fitur tabel baru, seperti pelacakan baris atau Checkpoint V2. Keduanya saling melengkapi: satu menjaga tabel tetap terawat dengan baik, dan yang lain menjaganya tetap terkini. Pengklusteran cairan otomatis diterapkan ke tabel baru melalui peningkatan otomatis. Lihat Pengoptimalan prediktif untuk tabel yang dikelola oleh Unity Catalog.
Bagaimana peningkatan otomatis memverifikasi bahwa tabel aman untuk ditingkatkan?
Peningkatan otomatis hanya mengaktifkan fitur yang tersedia secara umum yang tidak secara material mengurangi performa atau menaikkan biaya. Peningkatan otomatis menunggu hingga jendela observasi berakhir, mengharuskan setiap klien yang mengaksesnya kompatibel, mengabaikan tabel yang tidak dapat diverifikasi sepenuhnya, dan memungkinkan Anda menonaktifkan fitur apa pun pada tabel kapan saja.
Jika tabel saya berubah, bagaimana cara mengetahuinya adalah peningkatan otomatis?
Setiap perubahan yang dibuat oleh pemutakhiran otomatis muncul dalam output tabel DESCRIBE HISTORY dan tab Riwayat di Catalog Explorer, yang ditandai secara jelas agar berbeda dari perubahan yang Anda buat sendiri. Untuk visibilitas seluruh akun, kueri system.storage.table_auto_upgrade_operations_history untuk melihat kapan fitur apa pun ditambahkan ke tabel apa pun. Lihat Menampilkan riwayat tabel.
Apakah peningkatan otomatis akan merusak tabel yang dibaca alat eksternal atau sumber terbuka saya?
No. Tabel yang diakses oleh klien eksternal atau sumber terbuka berada di luar cakupan. Peningkatan otomatis hanya bertindak ketika mereka dapat memverifikasi bahwa setiap klien yang mengakses tabel mendukung fitur tersebut.
Tabel mana yang memenuhi syarat untuk peningkatan otomatis?
Lihat Persyaratan dan Batasan.
Berapa lama hingga tabel saya dimutakhirkan? Kapan saya akan melihat perubahan?
Pemutakhiran otomatis menggunakan periode pengamatan untuk mengidentifikasi beban kerja yang jarang terjadi, seperti pekerjaan batch bulanan, laporan triwulanan, dan analisis ad hoc, sebelum mengambil tindakan. Setelah tabel diverifikasi kompatibel, fitur diterapkan segera setelahnya melalui pekerjaan latar belakang. Saat sebuah fitur pertama kali diluncurkan, peluncurannya dilakukan secara bertahap di seluruh pelanggan dan tabel, sehingga mungkin memerlukan waktu sekitar enam bulan hingga fitur tersebut tersedia untuk tabel Anda dengan beban kerja yang kompatibel.
Apa yang perlu saya lakukan untuk mengaktifkan fitur tabel secara otomatis di Databricks?
Tidak diperlukan tindakan. Peningkatan otomatis mengevaluasi dan meningkatkan tabel yang memenuhi syarat tanpa konfigurasi.
Dapatkah saya menonaktifkan peningkatan otomatis untuk seluruh akun saya, atau untuk skema, katalog, atau ruang kerja?
Peningkatan otomatis tidak dapat dinonaktifkan sepenuhnya, tetapi Anda dapat menonaktifkan fitur individual apa pun pada tabel kapan saja. Setelah Anda melakukannya, peningkatan otomatis tidak mengaktifkan fitur itu lagi untuk tabel tersebut.
Apakah peningkatan otomatis membutuhkan biaya apa pun?
Tidak ada biaya untuk proses peningkatan otomatis (operasi latar belakang ALTER TABLE ).
Apakah fitur yang diterapkan melalui peningkatan otomatis dikenakan biaya apa pun?
Secara umum, fitur yang meningkatkan biaya secara material dikecualikan dari peningkatan otomatis. Beberapa fitur yang diterapkan, seperti vektor penghapusan dan Parquet v2, menurunkan biaya penyimpanan dan komputasi. Pelacakan baris menambahkan sedikit biaya awal yang hanya terjadi sekali pada tabel yang sangat besar karena memberikan pengidentifikasi unik ke setiap baris, tetapi juga membantu Anda menghemat biaya pada materialized view dengan mengaktifkan penyegaran inkremental alih-alih penghitungan ulang penuh.
Bagaimana cara melacak fitur yang akan diluncurkan melalui peningkatan otomatis di masa mendatang?
Periksa fitur yang didukung untuk melihat fitur mana yang ada di Pratinjau Umum dan yang akan segera diluncurkan ke semua pelanggan. Untuk diberi tahu saat fitur baru dikirim, siapkan umpan RSS di halaman catatan rilis Azure Databricks. Anda juga dapat memeriksa Apa yang akan datang?.