Rilis DLT 2022.40

28 September - 5 Oktober 2022

Fitur dan peningkatan ini dirilis dengan rilis DLT 2022.40.

Versi Runtime Databricks yang digunakan oleh rilis ini

Saluran :

• SAAT INI (default): Databricks Runtime 11.0.7
• PRATINJAU: Databricks Runtime 11.0.7

Fitur dan peningkatan baru dalam rilis ini

• Menggunakan label kluster selain default atau maintenance di pengaturan alur Anda menyebabkan kegagalan selama pembuatan atau pengeditan alur. Untuk informasi selengkapnya tentang konfigurasi kluster untuk Alur Deklaratif Lakeflow Spark, lihat Mengonfigurasi komputasi klasik untuk alur.

• Sekarang Anda dapat membuka atau menjalankan alur langsung dari buku catatan Lakeflow Spark Declarative Pipelines Anda. Lihat Kembangkan dan me-debug alur dengan notebook (versi lama).

• Rilis ini mencakup perubahan besar dalam struktur data pengaturan pipeline yang dikembalikan oleh permintaan API DLT . Perubahan ini mengembalikan bidang edition sebagai nilai huruf kapital. Sebelumnya, nilai ini dikembalikan sebagai huruf campuran. Anda harus memperbarui klien yang membaca nilai edition dalam respons API untuk memastikan pemrosesan nilai yang dikembalikan dengan benar. Namun, nilai edition dalam permintaan API tidak sensitif terhadap penggunaan huruf besar dan kecil; klien Anda yang mengirimkan permintaan yang menyertakan bidang ini tidak memerlukan pembaruan.

Perbaikan Bug dalam rilis ini

• Rilis ini memperbaiki bug yang menyebabkan UI DLT menampilkan alur dalam status RUNNING bahkan setelah kegagalan pembaruan.

• Pembaruan ini memperbaiki bug di antarmuka APPLY_CHANGES saat memproses ulang data input di mana data berisi operasi DELETE duplikat dengan nilai yang sama di kolom SEQUENCE. Skenario ini menghasilkan nilai NULL dalam tabel target dan penghapusan nilai DeleteVersion. Ini setara dengan menandai rekaman sebagai NOT-DELETED. Dengan perubahan ini, operasi duplikat DELETE ditangani secara idempotensi dan selalu menandai rekaman sebagai DELETED.

• Rilis ini memperbaiki bug yang menyebabkan baris disembunyikan selama pemrosesan SCD tipe 2 ketika rekaman historis sebelumnya dihapus yang berisi kolom yang sama dengan rekaman historis berikutnya.

• Pembaruan ini memperbaiki bug yang menyebabkan tampilan dengan ekspektasi expect_or_fail tetap dalam status RUNNING meskipun ekspektasi tersebut gagal. Dengan perbaikan ini, alur gagal dan transisi ke status FAILED.