Rilis DLT 2022.49

6 - 9 Desember 2022

Fitur dan peningkatan ini dirilis dengan rilis DLT 2022.49.

Versi-versi Databricks Runtime yang digunakan dalam rilis ini

Saluran :

• SAAT INI (default): Databricks Runtime 11.0.11
• PRATINJAU: Databricks Runtime 11.3.2

Fitur dan peningkatan baru dalam rilis ini

• Anda sekarang dapat mengimpor file dari folder Databricks Git sebagai modul Python. Anda dapat mengimpor file dari jalur repositori saat ini atau jalur repositori tertentu menggunakan sys.path.append().

• Autoscaling yang disempurnakan sekarang tersedia secara umum. Dengan rilis ini, penskalaan otomatis yang ditingkatkan adalah mode penskalaan otomatis default untuk alur baru yang dibuat di UI. Databricks merekomendasikan agar alur yang menggunakan autoscaling kluster yang ada diperbarui untuk menggunakan autoscaling yang lebih canggih.

• Untuk jalur proses yang berjalan dalam mode berkelanjutan, batas ulang coba default sekarang adalah 2 jika terjadi kegagalan yang dapat diulang. Termasuk percobaan awal, semua alur memiliki tiga percobaan (dengan penundaan eksponensial) untuk dijalankan ketika terjadi kegagalan non-fatal. Sebelumnya, default adalah percobaan ulang yang tidak terbatas untuk alur batch, dan lima percobaan ulang untuk alur streaming.

• Parameter konfigurasi pipelines.maxFlowRetryAttempts sekarang berlaku untuk batas percobaan ulang untuk semua alur kerja, termasuk alur batch dan streaming, serta alur yang terus menerus atau yang terpicu. Sebelumnya, pipelines.maxFlowRetryAttempts diterapkan ke semua batas pengulangan dalam mode yang dipicu, tetapi hanya untuk alur batch dalam mode berkelanjutan; pengulangan untuk pipeline streaming dalam mode berkelanjutan dikontrol oleh pipelines.numStreamRetryAttempts. Untuk alur yang ada, pipelines.numStreamRetryAttempts terus didukung untuk aliran streaming dalam mode berkelanjutan. Jika pipelines.numStreamRetryAttempts dan pipelines.maxFlowRetryAttempts diatur, pipelines.numStreamRetryAttempts memiliki prioritas untuk aliran streaming dalam mode kontinu. Jika tidak, nilai yang dikonfigurasi untuk pipelines.maxFlowRetryAttempts digunakan. Lihat Referensi properti alur.

Perbaikan bug dalam rilis ini

• Rilis ini memperbaiki bug yang menyebabkan tampilan perhitungan DBU per jam yang salah untuk kluster yang diaktifkan Photon.

• Rilis ini memperbaiki bug yang menyebabkan tugas pemeliharaan DLT gagal di ruang kerja yang diaktifkan Katalog Unity.

• Rilis ini memperbaiki bug di mana menghentikan atau memulai ulang alur berkelanjutan yang menyerap data dengan Auto Loader menyebabkan alur macet selama beberapa menit.