Catatan rilis Alur Deklaratif Lakeflow Spark 2026

Fitur, peningkatan, dan perbaikan bug Lakeflow Spark Declarative Pipelines berikut dirilis pada tahun 2026.

Nota

Karena rilis saluran dari Lakeflow Spark Declarative Pipelines mengikuti proses pembaruan bergulir, peningkatan saluran diterapkan di berbagai wilayah pada waktu yang berbeda. Rilis Anda, termasuk versi Databricks Runtime, mungkin tidak diperbarui hingga seminggu atau lebih setelah tanggal rilis awal. Untuk menemukan versi Databricks Runtime untuk suatu pipeline, lihat Informasi Runtime.

Januari 2026

Fitur dan peningkatan Alur Deklaratif Lakeflow Spark ini dirilis antara 14 November 2025 dan 13 Januari 2026.

Versi-versi Databricks Runtime yang digunakan pada rilis ini

Channel:

• Saat Ini (default): Databricks Runtime 16.4
• PRATINJAU: Databricks Runtime 17.3

Fitur dan peningkatan baru

• Anda sekarang dapat menyimpan dan mengelola ekspektasi kualitas data langsung dalam tabel Unity Catalog, memusatkan aturan kualitas data dengan kerangka kerja tata kelola data Anda. Ini memungkinkan aturan kualitas yang dikendalikan versi dan dapat diaudit yang dapat dibagikan di beberapa alur.

• Alur berkelanjutan yang berjalan lebih dari 7 hari sekarang dimulai ulang secara lancar dengan waktu henti minimal dan penyebab pembaruan yang jelas (INFRASTRUCTURE_MAINTENANCE), alih-alih memulai ulang tiba-tiba ketika sistem komputasi perlu diperbarui.

• Sistem pipeline sekarang mendukung mode eksekusi dalam antrean, di mana beberapa permintaan pembaruan secara otomatis diantrekan dan dieksekusi secara berurutan alih-alih gagal dengan konflik. Ini menyederhanakan operasi untuk alur dengan pemicu pembaruan yang sering dan menghilangkan kebutuhan akan koordinasi coba lagi manual.

• Anda sekarang dapat mewujudkan beberapa tampilan SCD Tipe 2 dari satu sumber data perubahan, meningkatkan efisiensi saat membuat beberapa tampilan historis dari data yang sama. Ini menghilangkan kebutuhan untuk memproses ulang data sumber untuk setiap output SCD Tipe 2.

• Jadwal dan konfigurasi alur sekarang dapat disimpan dan dibaca dari properti tabel Katalog Unity, memungkinkan manajemen pengaturan terpusat melalui tata kelola data. Ini memungkinkan Anda mengelola perilaku alur bersama definisi data Anda.

• MANAGE izin sekarang secara otomatis disebarkan ke tampilan materialisasi dan tabel streaming di Unity Catalog, menyederhanakan manajemen izin untuk output alur. Ini memastikan kontrol akses yang konsisten tanpa pemberian izin manual.

• Operasi SCD Tipe 2 sekarang secara otomatis menggabungkan rekaman duplikat dengan kunci alami yang sama, memastikan konsistensi data dan mencegah rekaman historis duplikat dalam tabel dimensi Anda yang berubah secara perlahan.

• Pipa sekarang memiliki opsi untuk secara otomatis menghapus tabel tidak aktif yang tidak lagi termasuk dalam definisi pipa. Ini membantu memelihara gudang data yang bersih dan mengurangi biaya penyimpanan dari tabel usang. Lihat Menggunakan Unity Catalog dengan alur.

• Definisi alur, operasi patch, dan perubahan identitas run-as sekarang disertakan dalam log audit, menyediakan pelacakan komprehensif perubahan konfigurasi untuk kepatuhan dan pemantauan keamanan. Lihat Log peristiwa alur.

Pemulihan kesalahan perangkat lunak

Tidak ada perbaikan bug yang signifikan yang disertakan dalam periode rilis ini. Semua perubahan adalah fitur dan peningkatan baru.