Catatan rilis alur Lakeflow 2026

Alur Lakeflow berikut fitur, peningkatan, dan perbaikan bug dirilis pada tahun 2026.

Nota

Karena rilis saluran alur Lakeflow mengikuti proses peningkatan bergulir, peningkatan saluran disebarkan ke berbagai wilayah pada waktu yang berbeda. Rilis Anda, termasuk versi Databricks Runtime, mungkin tidak diperbarui hingga seminggu atau lebih setelah tanggal rilis awal. Untuk menemukan versi Databricks Runtime saat ini untuk pipeline, lihat Informasi Runtime.

Juli 2026

Fitur-fitur dan peningkatan pada pipa Lakeflow ini dirilis antara 7 Juli 2026 dan 12 Agustus 2026.

Versi-versi Databricks Runtime yang digunakan pada rilis ini

Versi-versi berikut telah berlaku hingga 12 Agustus 2026.

Channel:

  • SAAT INI (default): Databricks Runtime 17.3
  • PRATINJAU: Databricks Runtime 18

Fitur dan peningkatan baru

  • Pipeline kini mendukung mode tanpa versi, di mana Azure Databricks mengelola versi Databricks Runtime secara otomatis alih-alih Anda menetapkan versi tertentu. Ini menjaga pipeline tetap menggunakan runtime yang dipelihara tanpa perlu upgrade versi secara manual.
  • Komit katalog kini tersedia dalam Pratinjau Publik untuk semua workspace untuk tabel streaming dan tampilan terwujud. Anda dapat menjalankan operasi pernyataan manipulasi data (DML) pada tabel streaming yang mendukung commit katalog dalam transaksi multi-tabel dan multi-statement. Lihat Penerapan katalog.
  • Pipeline kini dapat mengimpor checkpoint yang sudah ada, sehingga mempermudah migrasi dan pemulihan.
  • Pipeline berkelanjutan kini terintegrasi dengan riwayat kueri, meningkatkan keterlacakan perubahan yang dihasilkan oleh pembaruan berkelanjutan yang berlangsung lama.
  • Anda sekarang dapat mengonfigurasi jumlah maksimum pembaruan pipeline yang aktif secara bersamaan, sehingga Anda memiliki kontrol yang lebih besar atas tingkat konkurensi pipeline.
  • Pipeline baru kini secara otomatis menggunakan mode penerbitan saat ini, sehingga menyederhanakan pembuatan pipeline.
  • Refresh terjadwal kini diblokir pada tampilan materialized mandiri dan tabel streaming yang merujuk pada tampilan sementara, mencegah kegagalan refresh.

Pemulihan kesalahan perangkat lunak

Tidak ada perbaikan bug yang signifikan yang disertakan dalam periode rilis ini. Semua perubahan adalah fitur dan peningkatan baru.

Juni 2026

Fitur dan peningkatan alur Lakeflow ini dirilis antara 10 Juni 2026 dan 7 Juli 2026.

Versi-versi Databricks Runtime yang digunakan pada rilis ini

Versi berikut saat ini per 7 Juli 2026.

Channel:

  • SAAT INI (default): Databricks Runtime 17.3
  • PRATINJAU: Databricks Runtime 18

Fitur dan peningkatan baru

  • AUTO CDC tabel target sekarang mendukung pengklusteran cairan, yang dapat Anda aktifkan dengan kunci primer atau melalui spesifikasi penyerapan. Ini meningkatkan performa kueri pada mengubah target penangkapan data tanpa pemeliharaan pengklusteran manual.
  • Anda sekarang dapat menambahkan ekspektasi kualitas data ke tampilan terwujud mandiri menggunakan CONSTRAINT expectation_name EXPECT (expectation_expr) klausa. Ini memungkinkan Anda menerapkan aturan kualitas data pada tampilan materialisasi mandiri tanpa definisi alur.
  • REPLACE WHERE alur sekarang mendukung refresh inkremental. Alur yang memenuhi syarat hanya menghitung ulang data yang berubah alih-alih memproses ulang seluruh input, sehingga mengurangi biaya penyegaran.
  • Alur yang berjalan pada komputasi klasik sekarang mendukung versi lingkungan, memberi Anda lebih banyak kontrol atas manajemen dependensi pada komputasi klasik.

Pemulihan kesalahan perangkat lunak

  • Memperbaiki masalah saat kursor yang telah di-commit dapat macet ketika konektor yang idle kembali berjalan, yang dapat menghambat progres ingestion.

Mei 2026

Fitur dan peningkatan alur Lakeflow ini dirilis antara 6 Mei 2026 dan 9 Juni 2026.

Versi-versi Databricks Runtime yang digunakan pada rilis ini

Versi berikut saat ini per 9 Juni 2026.

Channel:

  • SAAT INI (default): Databricks Runtime 17.3
  • PRATINJAU: Databricks Runtime 18.1

Fitur dan peningkatan baru

  • AUTO CDC sekarang mendukung pelacakan bitemporal, mempertahankan waktu sistem (ketika rekaman disimpan) dan waktu yang valid (ketika itu benar) untuk setiap baris. Ini memungkinkan akurasi pada titik waktu tertentu untuk beban kerja keuangan, audit, dan kepatuhan terhadap regulasi.
  • alur berbasis Python sekarang menggunakan kembali lingkungan virtual dari pembaruan sebelumnya. REPL warm pool memuat sebelumnya lingkungan yang di-cache, sehingga dapat melewati penginstalan dependensi ketika lingkungan tersebut tidak berubah antarpembaruan. Ini mengurangi waktu mulai.
  • Anda sekarang dapat mendeklarasikan dependensi pustaka Python secara langsung dalam definisi pipeline Anda daripada menggunakan pemanggilan %pip install di sel notebook. Dependensi diinstal di lingkungan Python pada awal pembaruan. Lihat Mengelola dependensi Python untuk alur.
  • Alur yang menggunakan pengklusteran cair otomatis (CLUSTER BY AUTO) sekarang secara otomatis menghilangkan kolom pengklusteran ketika kolom tersebut dihapus dari skema tampilan materialisasi. Sebelumnya, ini memerlukan refresh penuh manual.
  • Anda sekarang dapat mengubah pemilik tampilan materialisasi atau tabel streaming menjadi perwakilan layanan dengan ALTER MATERIALIZED VIEW atau ALTER STREAMING TABLE ... SET OWNER TO. Sebelumnya, kepemilikan hanya dapat diubah melalui Catalog Explorer.
  • ALTER TABLE ... DROP FEATURE sekarang didukung untuk tampilan materialisasi dan tabel streaming.

Pemulihan kesalahan perangkat lunak

  • Menyelesaikan kondisi balapan di mana panggilan duplikat StartUpdate dapat memicu beberapa pembaruan alur bersamaan. Token idempotency sekarang divalidasi dan disimpan untuk mencegah eksekusi duplikat.

April 2026

Fitur dan peningkatan alur Lakeflow ini dirilis antara 5 April 2026 dan 6 Mei 2026.

Versi-versi Databricks Runtime yang digunakan pada rilis ini

Versi berikut saat ini per 6 Mei 2026.

Channel:

  • SAAT INI (default): Databricks Runtime 17.3
  • PRATINJAU: Databricks Runtime 18.1

Fitur dan peningkatan baru

  • Tampilan terwujud mandiri dan tabel streaming (sebelumnya disebut alur di Databricks SQL) sekarang tersedia pada komputasi tanpa server (Beta), memungkinkan Anda membuat dan mengelola objek ini tanpa menyediakan kluster alur khusus. Ini mengurangi overhead operasional dan biaya untuk objek deklaratif mandiri.
  • Pipeline dan tabel streaming mandiri kini mendukung REPLACE WHERE flow (Beta). REPLACE WHERE alur kerja sangat cocok untuk pemrosesan batch inkremental untuk join dan agregasi. Lihat Pemrosesan batch dengan alur REPLACE WHERE.
  • Pemrosesan SCD Tipe 2 sekarang menghilangkan entri null dari peta versi selama operasi baca dan tulis, meningkatkan efisiensi penyimpanan dan performa kueri untuk beban kerja dimensi yang berubah secara perlahan.
  • Editor Databricks SQL sekarang menyertakan keterampilan khusus untuk membuat tampilan materialisasi, memberikan bantuan terpandu dan bantuan sintaksis langsung di editor. Ini menyederhanakan alur kerja untuk menentukan dan mengonfigurasi tampilan materialisasi.
  • Editor SQL Databricks kini menyertakan fitur AUTO CDC yang membantu Anda menyiapkan pipeline CDC (change data capture). Ini mengurangi kurva pembelajaran untuk mengonfigurasi alur CDC.

Pemulihan kesalahan perangkat lunak

Tidak ada perbaikan bug yang signifikan yang disertakan dalam periode rilis ini. Semua perubahan adalah fitur dan peningkatan baru.

Maret 2026

Fitur dan peningkatan alur Lakeflow ini dirilis antara 26 Februari 2026 dan 31 Maret 2026.

Versi-versi Databricks Runtime yang digunakan pada rilis ini

Versi berikut saat ini per 31 Maret 2026.

Channel:

  • SAAT INI (bawaan): Databricks Runtime 17.3.8
  • PRATINJAU: Databricks Runtime 18.1.0

Fitur dan peningkatan baru

  • Alur tanpa server sekarang mendukung autoscaling vertikal berbasis CPU. Fitur ini secara dinamis menyesuaikan sumber daya kluster berdasarkan pemanfaatan CPU aktual untuk meningkatkan stabilitas beban kerja.
  • Anda sekarang dapat mempertahankan tabel Unity Catalog saat menghapus alur, mempertahankan aset data Anda bahkan setelah penghapusan alur. Ini memberi Anda fleksibilitas yang lebih besar dalam mengelola siklus hidup alur tanpa mempertaruhkan kehilangan data.
  • Anda sekarang dapat membuat tabel streaming menggunakan sintaks alur baru, yang menyediakan cara yang lebih langsung dan deklaratif untuk menentukan alur data streaming. Ini menyederhanakan penulisan alur dan selaras dengan pola rekayasa data saat ini.
  • Alur sekarang mempertahankan konfigurasi filter baris dan masker kolom selama pembaruan tabel, sehingga kebijakan keamanan Katalog Unity Anda tetap utuh di seluruh pembaruan alur. Ini mencegah penghapusan kebijakan keamanan yang tidak disengaja selama evolusi skema.
  • CDC menerapkan perubahan sekarang mendukung mode rebase tanggalwaktu. Fitur ini menangani konversi tanda waktu dengan benar antara sistem kalender warisan dan modern. Ini mencegah inkonsistensi data saat memproses data tanggalwaktu historis melalui alur pengambilan data perubahan.
  • Anda sekarang dapat menggunakan pernyataan SQL dalam operasi foreachBatch di alur streaming, memungkinkan logika pemrosesan mikro-batch yang lebih fleksibel. Ini menghapus batasan sebelumnya yang diperlukan Python atau Scala untuk penanganan batch kustom.
  • Alur sekarang mendukung referensi penerusan dalam pendaftaran sink. Anda dapat menentukan aliran data yang mereferensikan tabel lanjutan sebelum dinyatakan. Ini menyederhanakan definisi alur yang kompleks dan menghapus batasan pengurutan.
  • Alur tambahan sekali sekarang divalidasi selama eksekusi kering, menangkap kesalahan konfigurasi sebelum eksekusi alur dimulai. Ini meningkatkan pengalaman pengembangan dengan mengidentifikasi masalah lebih awal dalam alur kerja penulisan pipeline.

Pemulihan kesalahan perangkat lunak

Tidak ada perbaikan bug yang signifikan yang disertakan dalam periode rilis ini. Semua perubahan adalah fitur dan peningkatan baru.

Februari 2026

Fitur dan peningkatan alur Lakeflow ini dirilis antara 14 Januari 2026 dan 25 Februari 2026.

Versi-versi Databricks Runtime yang digunakan pada rilis ini

Versi berikut saat ini per 25 Februari 2026.

Channel:

  • SAAT INI (default): Databricks Runtime 17.3
  • PRATINJAU: Databricks Runtime 17.3

Fitur dan peningkatan baru

  • Pipeline sekarang mendukung pemekaran tipe untuk tabel Delta, memungkinkan jenis data kolom diperluas dengan aman (misalnya, INT ke LONG, FLOAT ke DOUBLE) tanpa memerlukan pengaturan ulang pipeline secara penuh. Ini memungkinkan alur kerja evolusi skema yang sebelumnya memerlukan intervensi manual.
  • Anda sekarang dapat menggunakan materialisasi SCD Tipe 1 dengan AUTO CDC, menyediakan pola CDC yang lebih sederhana yang memasukkan atau memperbarui nilai terbaru tanpa menyimpan riwayat perubahan penuh. Ini mengurangi overhead penyimpanan untuk kasus penggunaan yang tidak memerlukan riwayat penuh.
  • Alur sekarang memanfaatkan kembali kluster yang ada saat mengulang kembali pembaruan yang gagal, mengurangi latensi pengulangan dan menurunkan biaya komputasi dengan menghilangkan waktu startup kluster yang tidak perlu.
  • Pengaktifan pengoptimalan prediktif sekarang ditampilkan dengan benar pada tampilan terwujud dan tabel streaming, jika telah disegarkan dalam sebulan terakhir.
  • Pipelines sekarang memvalidasi beberapa alur secara bersamaan, mengidentifikasi konflik konfigurasi dan masalah dependensi di seluruh alur selama fase dry-run sebelum eksekusi dimulai.
  • Metadata yang dapat diubah sekarang dipertahankan selama pembaruan alur penyerapan, memungkinkan dukungan penuh untuk perintah 'ALTER' pada tabel streaming penyerapan.
  • Kesalahan Python dalam jalur pemrosesan sekarang membawa kode status SQL, meningkatkan diagnostik kesalahan dan memungkinkan penanganan kesalahan terprogram yang lebih baik di alat pemrosesan selanjutnya.
  • Pipeline sekarang mendukung instans ARM untuk komputasi klasik.

Pemulihan kesalahan perangkat lunak

  • Nilai kolom identitas dalam tabel streaming khusus tambahan sekarang dihasilkan dengan benar pada eksekusi pembaruan pertama.

Januari 2026

Fitur dan peningkatan alur Lakeflow ini dirilis antara 14 November 2025 dan 13 Januari 2026.

Versi-versi Databricks Runtime yang digunakan pada rilis ini

Versi berikut saat ini per 13 Januari 2026.

Channel:

  • SAAT INI (default): Databricks Runtime 17.3
  • PRATINJAU: Databricks Runtime 17.3

Fitur dan peningkatan baru

  • Anda sekarang dapat menyimpan dan mengelola ekspektasi kualitas data langsung dalam tabel Unity Catalog, memusatkan aturan kualitas data dengan kerangka kerja tata kelola data Anda. Ini memungkinkan aturan kualitas yang dikendalikan versi dan dapat diaudit yang dapat dibagikan di beberapa alur.

  • Alur berkelanjutan yang berjalan lebih dari 7 hari sekarang dimulai ulang secara lancar dengan waktu henti minimal dan penyebab pembaruan yang jelas (INFRASTRUCTURE_MAINTENANCE), alih-alih memulai ulang tiba-tiba ketika sistem komputasi perlu diperbarui.

  • Sistem pipeline sekarang mendukung mode eksekusi dalam antrean, di mana beberapa permintaan pembaruan secara otomatis diantrekan dan dieksekusi secara berurutan alih-alih gagal dengan konflik. Ini menyederhanakan operasi untuk alur dengan pemicu pembaruan yang sering dan menghilangkan kebutuhan akan koordinasi coba lagi manual.

  • Anda sekarang dapat mewujudkan beberapa tampilan SCD Tipe 2 dari satu sumber data perubahan, meningkatkan efisiensi saat membuat beberapa tampilan historis dari data yang sama. Ini menghilangkan kebutuhan untuk memproses ulang data sumber untuk setiap output SCD Tipe 2.

  • Jadwal dan konfigurasi alur sekarang dapat disimpan dan dibaca dari properti tabel Katalog Unity, memungkinkan manajemen pengaturan terpusat melalui tata kelola data. Ini memungkinkan Anda mengelola perilaku alur bersama definisi data Anda.

  • MANAGE izin sekarang secara otomatis disebarkan ke tampilan materialisasi dan tabel streaming di Unity Catalog, menyederhanakan manajemen izin untuk output alur. Ini memastikan kontrol akses yang konsisten tanpa pemberian izin manual.

  • Operasi SCD Tipe 2 sekarang secara otomatis menggabungkan rekaman duplikat dengan kunci alami yang sama, memastikan konsistensi data dan mencegah rekaman historis duplikat dalam tabel dimensi Anda yang berubah secara perlahan.

  • Pipa sekarang memiliki opsi untuk secara otomatis menghapus tabel tidak aktif yang tidak lagi termasuk dalam definisi pipa. Ini membantu memelihara gudang data yang bersih dan mengurangi biaya penyimpanan dari tabel usang. Lihat Menggunakan Unity Catalog dengan alur.

  • Definisi alur, operasi patch, dan perubahan identitas run-as sekarang disertakan dalam log audit, menyediakan pelacakan komprehensif perubahan konfigurasi untuk kepatuhan dan pemantauan keamanan. Lihat Log peristiwa alur.

Pemulihan kesalahan perangkat lunak

Tidak ada perbaikan bug yang signifikan yang disertakan dalam periode rilis ini. Semua perubahan adalah fitur dan peningkatan baru.

  • Last updated on