Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Penting
Pengaktifan fitur otomatis untuk skema yang ada ada di Pratinjau Umum. Untuk mendaftar, lengkapi formulir ini dengan ID akun Anda. Tidak ada perubahan kode atau konfigurasi tambahan yang diperlukan setelah pendaftaran.
Pengaktifan fitur otomatis untuk skema baru umumnya tersedia.
Pengaktifan fitur otomatis (AFE) secara otomatis meningkatkan tabel terkelola Unity Catalog untuk menggunakan fitur yang direkomendasikan yang tersedia secara umum tanpa memerlukan perubahan kode atau pernyataan manual ALTER TABLE . AFE juga memverifikasi bahwa klien kompatibel sebelum mengaktifkan fitur baru.
AFE memberikan manfaat berikut:
- Kurangi upaya administratif yang diperlukan untuk memvalidasi persyaratan kompatibilitas individual untuk setiap kombinasi tabel dan fitur di ruang kerja Anda, terutama jika Anda memiliki katalog dengan ribuan tabel.
- Secara otomatis mendapatkan peningkatan performa dan keandalan terbaru pada tabel terkelola Anda.
- Terapkan peningkatan dengan aman. AFE hanya mengaktifkan fitur setelah memverifikasi kompatibilitas beban kerja.
Cara kerja AFE
AFE memantau pola akses Katalog Unity pada tingkat tabel dan skema dan menggunakan jendela pengamatan untuk memverifikasi bahwa pola akses kompatibel sebelum mengaktifkan fitur apa pun. Jendela pengamatan adalah 50 hari untuk fitur di Pratinjau Umum, dan 100 hari untuk fitur GA.
AFE menggunakan komputasi tanpa server untuk meningkatkan tabel di latar belakang.
Skema dan tabel
Perilaku AFE bergantung pada apakah skema dan tabel ada sebelum AFE diaktifkan. Tabel ini memiliki detail selengkapnya:
| Skema | Tabel | Perilaku AFE |
|---|---|---|
| Baru | Baru | AFE menetapkan default tingkat skema pada waktu pembuatan sehingga tabel segera mewarisi semua fitur yang didukung tanpa periode pengamatan. |
| Yang Sudah Ada | Baru | AFE mengaktifkan fitur hanya jika beban kerja terverifikasi telah mengakses semua tabel dalam skema selama jendela pengamatan. Jika tidak, AFE tidak mengaktifkan fitur untuk tabel baru dalam skema jika satu beban kerja yang belum diverifikasi mengakses tabel apa pun dalam skema. Lihat beban kerja terverifikasi. |
| Yang Sudah Ada | Yang Sudah Ada | AFE mengaktifkan fitur saat semua hal berikut ini benar:
|
Beban kerja terverifikasi
Beban kerja dianggap diverifikasi untuk fitur tertentu jika mengakses tabel dari kluster Databricks dengan versi Databricks Runtime pada atau di atas versi minimum fitur yang diperlukan.
Beban kerja berikut dianggap belum diverifikasi:
- Klien eksternal dan layanan pihak ketiga seperti Flink atau Presto. Lihat Integrasi Katalog Unity.
- layanan Azure Databricks dengan akses tabel langsung atau tingkat kernel, seperti Zerobus, yang melewati pola akses standar Databricks Runtime. Lihat Gambaran umum konektor Zerobus Ingest.
Jika ada tabel dalam skema yang diakses dalam jendela pengamatan oleh versi Databricks Runtime di bawah versi minimum fitur yang diperlukan atau oleh klien eksternal, AFE tidak mengaktifkan fitur yang sesuai pada tabel apa pun dalam skema tersebut.
Fitur yang didukung
AFE dapat secara otomatis mengaktifkan fitur berikut:
| Feature | Apa fungsinya | Versi minimum Runtime Databricks yang kompatibel |
|---|---|---|
| Pelacakan baris | Mempertahankan ID baris tersembunyi untuk pemrosesan inkremental dengan umpan data perubahan. | 14.1 |
| Pemetaan kolom | Memungkinkan Anda mengganti nama dan menghilangkan kolom tanpa menulis ulang data. | 15.3 |
| Titik Pemeriksaan V2 | Memungkinkan Delta Lake mendukung lebih banyak penulis simultan dan mengurangi konflik penulisan pada tabel besar atau yang sering diperbarui. | 13.3 |
| Commit yang dikelola katalog | Memusatkan penerapan di Unity Catalog untuk mengaktifkan transaksi multi-tabel, meningkatkan interoperabilitas untuk penulisan eksternal, dan memungkinkan kebijakan tata kelola di seluruh mesin. | 16.4 |
Ketersediaan fitur mungkin berbeda menurut wilayah.
Persyaratan
- Komputasi tanpa server harus tersedia di wilayah Anda.
- Tabel harus berupa tabel terkelola Unity Catalog dalam format Delta Lake atau Apache Iceberg.
Mengamati fitur yang diaktifkan
Untuk memeriksa apakah AFE mengaktifkan fitur pada tabel, cari SET TBLPROPERTIES operasi di tab Riwayat di Catalog Explorer, atau gunakan DESCRIBE HISTORY <table_name>. Jika AFE melakukan operasi, bidang nama pengguna menampilkan nilai hash alih-alih nama pengguna, seperti 4d137f29-62. Lihat Apa itu Catalog Explorer? dan Lihat riwayat tabel.
Setelah AFE mengaktifkan fitur pada tabel dalam skema baru, lihat default skema di tab Properti di Penjelajah Katalog. Misalnya, skema dengan pelacakan baris diaktifkan menunjukkan properti seperti catalog.schema.enableRowTracking: "true". Skema yang ada tidak memiliki properti observabilitas AFE.
Mengelola fitur yang direkomendasikan AFE
Administrator dapat mengelola perilaku dan operasi AFE dengan berbagai kontrol.
Mengembalikan perubahan
Gunakan RESTORE untuk mengembalikan data dan metadata untuk tabel ke versi sebelum fitur diaktifkan:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Lihat Memulihkan tabel ke status sebelumnya untuk informasi selengkapnya tentang riwayat tabel dan pemulihan.
Menonaktifkan fitur untuk tabel
Untuk menonaktifkan fitur pada tabel individual:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
AFE tidak mengaktifkan fitur lagi setelah Anda menonaktifkannya secara manual.
Keterbatasan
- Tabel yang dibagikan oleh Delta Lake Sharing, baik Databricks-to-Open maupun Databricks-to-Databricks, dikecualikan dari AFE. Lihat Apa yang dimaksud dengan Delta Sharing?.
- AFE tidak memiliki mekanisme putar kembali batch untuk menonaktifkan fitur di semua tabel dalam akun. Lihat Mengelola fitur yang direkomendasikan AFE.
- Tampilan bermaterialisasi dan tabel streaming tidak didukung.
- Beban kerja yang melewati Unity Catalog dan mengakses tabel langsung melalui jalur file tidak dilacak oleh AFE. Jika beban kerja Anda menggunakan akses berbasis jalur, hubungi tim akun Anda untuk membahas kompatibilitas.
- Tabel eksternal biasanya diakses oleh jalur file, melewati Katalog Unity, dan dengan beban kerja yang belum diverifikasi dari klien eksternal. Katalog Unity tidak dapat melacak pola akses ini dengan andal, sehingga tabel eksternal dikecualikan dari AFE. Lihat Bekerja dengan tabel-tabel eksternal.