Catatan rilis Alur Deklaratif Lakeflow Spark 2026

Fitur, peningkatan, dan perbaikan bug Lakeflow Spark Declarative Pipelines berikut dirilis pada tahun 2026.

Nota

Karena rilis saluran dari Lakeflow Spark Declarative Pipelines mengikuti proses pembaruan bergulir, peningkatan saluran diterapkan di berbagai wilayah pada waktu yang berbeda. Rilis Anda, termasuk versi Databricks Runtime, mungkin tidak diperbarui hingga seminggu atau lebih setelah tanggal rilis awal. Untuk menemukan versi Databricks Runtime saat ini untuk pipeline, lihat Informasi Runtime.

Maret 2026

Fitur dan peningkatan Alur Deklaratif Lakeflow Spark ini dirilis antara 26 Februari 2026 dan 31 Maret 2026.

Versi-versi Databricks Runtime yang digunakan pada rilis ini

Versi berikut saat ini per 31 Maret 2026.

Channel:

• CURRENT (default): Databricks Runtime 17.3.8
• PRATINJAU: Databricks Runtime 18.1.0

Fitur dan peningkatan baru

• Alur tanpa server sekarang mendukung autoscaling vertikal berbasis CPU. Fitur ini secara dinamis menyesuaikan sumber daya kluster berdasarkan pemanfaatan CPU aktual untuk meningkatkan stabilitas beban kerja.
• Anda sekarang dapat mempertahankan tabel Unity Catalog saat menghapus alur, mempertahankan aset data Anda bahkan setelah penghapusan alur. Ini memberi Anda fleksibilitas yang lebih besar dalam mengelola siklus hidup alur tanpa mempertaruhkan kehilangan data.
• Anda sekarang dapat membuat tabel streaming menggunakan sintaks alur baru, yang menyediakan cara yang lebih langsung dan deklaratif untuk menentukan alur data streaming. Ini menyederhanakan penulisan alur dan selaras dengan pola rekayasa data saat ini.
• Kait pengait pipa sekarang tersedia untuk pipa yang dipicu pekerjaan. Gunakan untuk menjalankan logika kustom sebelum dan sesudah pembaruan alur dalam Pekerjaan Lakeflow. Kait alur memperluas kemampuan otomatisasi untuk pemrosesan data yang diorkestrasi.
• Alur sekarang mempertahankan konfigurasi filter baris dan masker kolom selama pembaruan tabel, sehingga kebijakan keamanan Katalog Unity Anda tetap utuh di seluruh pembaruan alur. Ini mencegah penghapusan kebijakan keamanan yang tidak disengaja selama evolusi skema.
• CDC menerapkan perubahan sekarang mendukung mode rebase tanggalwaktu. Fitur ini menangani konversi tanda waktu dengan benar antara sistem kalender warisan dan modern. Ini mencegah inkonsistensi data saat memproses data tanggalwaktu historis melalui alur pengambilan data perubahan.
• Anda sekarang dapat menggunakan pernyataan SQL dalam operasi foreachBatch di alur streaming, memungkinkan logika pemrosesan mikro-batch yang lebih fleksibel. Ini menghapus batasan sebelumnya yang diperlukan Python atau Scala untuk penanganan batch kustom.
• Alur sekarang mendukung referensi penerusan dalam pendaftaran sink. Anda dapat menentukan aliran data yang mereferensikan tabel lanjutan sebelum dinyatakan. Ini menyederhanakan definisi alur yang kompleks dan menghapus batasan pengurutan.
• Alur tambahan sekali sekarang divalidasi selama eksekusi kering, menangkap kesalahan konfigurasi sebelum eksekusi alur dimulai. Ini meningkatkan pengalaman pengembangan dengan mengidentifikasi masalah lebih awal dalam alur kerja penulisan pipeline.

Pemulihan kesalahan perangkat lunak

Tidak ada perbaikan bug yang signifikan yang disertakan dalam periode rilis ini. Semua perubahan adalah fitur dan peningkatan baru.

Februari 2026

Fitur dan peningkatan Alur Deklaratif Lakeflow Spark ini dirilis antara 14 Januari 2026 dan 25 Februari 2026.

Versi-versi Databricks Runtime yang digunakan pada rilis ini

Versi berikut saat ini per 25 Februari 2026.

Channel:

• SAAT INI (default): Databricks Runtime 17.3
• PRATINJAU: Databricks Runtime 17.3

Fitur dan peningkatan baru

• Pipeline sekarang mendukung pemekaran tipe untuk tabel Delta, memungkinkan jenis data kolom diperluas dengan aman (misalnya, INT ke LONG, FLOAT ke DOUBLE) tanpa memerlukan pengaturan ulang pipeline secara penuh. Ini memungkinkan alur kerja evolusi skema yang sebelumnya memerlukan intervensi manual.
• Anda sekarang dapat menggunakan materialisasi SCD Tipe 1 dengan AUTO CDC, menyediakan pola CDC yang lebih sederhana yang memasukkan atau memperbarui nilai terbaru tanpa menyimpan riwayat perubahan penuh. Ini mengurangi overhead penyimpanan untuk kasus penggunaan yang tidak memerlukan riwayat penuh.
• Alur sekarang memanfaatkan kembali kluster yang ada saat mengulang kembali pembaruan yang gagal, mengurangi latensi pengulangan dan menurunkan biaya komputasi dengan menghilangkan waktu startup kluster yang tidak perlu.
• Pengaktifan pengoptimalan prediktif sekarang ditampilkan dengan benar pada tampilan terwujud dan tabel streaming, jika telah disegarkan dalam sebulan terakhir.
• Pipelines sekarang memvalidasi beberapa alur secara bersamaan, mengidentifikasi konflik konfigurasi dan masalah dependensi di seluruh alur selama fase dry-run sebelum eksekusi dimulai.
• Metadata yang dapat diubah sekarang dipertahankan selama pembaruan alur penyerapan, memungkinkan dukungan penuh untuk perintah 'ALTER' pada tabel streaming penyerapan.
• Kesalahan Python dalam jalur pemrosesan sekarang membawa kode status SQL, meningkatkan diagnostik kesalahan dan memungkinkan penanganan kesalahan terprogram yang lebih baik di alat pemrosesan selanjutnya.
• Pipeline sekarang mendukung instans ARM untuk komputasi klasik.

Pemulihan kesalahan perangkat lunak

• Nilai kolom identitas dalam tabel streaming khusus tambahan sekarang dihasilkan dengan benar pada eksekusi pembaruan pertama.

Januari 2026

Fitur dan peningkatan Alur Deklaratif Lakeflow Spark ini dirilis antara 14 November 2025 dan 13 Januari 2026.

Versi-versi Databricks Runtime yang digunakan pada rilis ini

Versi berikut saat ini per 13 Januari 2026.

Channel:

• SAAT INI (default): Databricks Runtime 17.3
• PRATINJAU: Databricks Runtime 17.3

Fitur dan peningkatan baru

• Anda sekarang dapat menyimpan dan mengelola ekspektasi kualitas data langsung dalam tabel Unity Catalog, memusatkan aturan kualitas data dengan kerangka kerja tata kelola data Anda. Ini memungkinkan aturan kualitas yang dikendalikan versi dan dapat diaudit yang dapat dibagikan di beberapa alur.

• Alur berkelanjutan yang berjalan lebih dari 7 hari sekarang dimulai ulang secara lancar dengan waktu henti minimal dan penyebab pembaruan yang jelas (INFRASTRUCTURE_MAINTENANCE), alih-alih memulai ulang tiba-tiba ketika sistem komputasi perlu diperbarui.

• Sistem pipeline sekarang mendukung mode eksekusi dalam antrean, di mana beberapa permintaan pembaruan secara otomatis diantrekan dan dieksekusi secara berurutan alih-alih gagal dengan konflik. Ini menyederhanakan operasi untuk alur dengan pemicu pembaruan yang sering dan menghilangkan kebutuhan akan koordinasi coba lagi manual.

• Anda sekarang dapat mewujudkan beberapa tampilan SCD Tipe 2 dari satu sumber data perubahan, meningkatkan efisiensi saat membuat beberapa tampilan historis dari data yang sama. Ini menghilangkan kebutuhan untuk memproses ulang data sumber untuk setiap output SCD Tipe 2.

• Jadwal dan konfigurasi alur sekarang dapat disimpan dan dibaca dari properti tabel Katalog Unity, memungkinkan manajemen pengaturan terpusat melalui tata kelola data. Ini memungkinkan Anda mengelola perilaku alur bersama definisi data Anda.

• MANAGE izin sekarang secara otomatis disebarkan ke tampilan materialisasi dan tabel streaming di Unity Catalog, menyederhanakan manajemen izin untuk output alur. Ini memastikan kontrol akses yang konsisten tanpa pemberian izin manual.

• Operasi SCD Tipe 2 sekarang secara otomatis menggabungkan rekaman duplikat dengan kunci alami yang sama, memastikan konsistensi data dan mencegah rekaman historis duplikat dalam tabel dimensi Anda yang berubah secara perlahan.

• Pipa sekarang memiliki opsi untuk secara otomatis menghapus tabel tidak aktif yang tidak lagi termasuk dalam definisi pipa. Ini membantu memelihara gudang data yang bersih dan mengurangi biaya penyimpanan dari tabel usang. Lihat Menggunakan Unity Catalog dengan alur.

• Definisi alur, operasi patch, dan perubahan identitas run-as sekarang disertakan dalam log audit, menyediakan pelacakan komprehensif perubahan konfigurasi untuk kepatuhan dan pemantauan keamanan. Lihat Log peristiwa alur.

Pemulihan kesalahan perangkat lunak

Tidak ada perbaikan bug yang signifikan yang disertakan dalam periode rilis ini. Semua perubahan adalah fitur dan peningkatan baru.