Catatan rilis alur Lakeflow dan proses peningkatan rilis

Artikel ini menjelaskan proses rilis alur Lakeflow, cara runtime dikelola, dan menyediakan tautan ke catatan rilis untuk setiap rilis.

Versi saluran Databricks Runtime saat ini

Versi Databricks Runtime saat ini untuk setiap saluran adalah:

Untuk daftar paket yang diinstal di setiap runtime — pustaka Python, R, dan Java — lihat catatan rilis Databricks Runtime terkait yang ditautkan di atas.

Catatan rilis alur Lakeflow

Catatan rilis diatur menurut bulan. Karena alur tidak memiliki versi, perubahan ruang kerja dan runtime berlangsung secara otomatis. Catatan rilis berikut memberikan gambaran umum perubahan dan perbaikan bug di setiap rilis:

Sebelumnya, catatan rilis diselenggarakan berdasarkan tahun dan minggu dalam setahun.

Catatan rilis yang lebih lama

Saluran runtime alur Lakeflow

Klaster pipeline menggunakan runtime yang didasarkan pada versi dan kompatibilitas dalam catatan rilis Databricks Runtime. Azure Databricks secara otomatis memutakhirkan runtime pipeline untuk mendukung penyempurnaan dan pemutakhiran pada platform. Anda dapat menggunakan channel bidang di pengaturan alur untuk mengontrol versi runtime yang menjalankan alur Anda. Nilai yang didukung adalah:

  • current untuk menggunakan versi runtime saat ini.
  • preview untuk menguji alur Anda dengan perubahan yang akan datang pada versi runtime.

Secara default, alur Anda berjalan menggunakan versi runtime current. Databricks merekomendasikan penggunaan runtime current untuk beban kerja produksi. Untuk mempelajari cara menggunakan preview pengaturan untuk menguji alur Anda dengan versi runtime berikutnya, lihat Mengotomatiskan pengujian alur Anda dengan versi runtime berikutnya.

Important

Fitur yang ditandai sebagai tersedia secara umum atau Pratinjau Umum tersedia di saluran current.

Untuk informasi selengkapnya tentang saluran alur, lihat channel bidang di pengaturan alur.

Untuk memahami bagaimana peningkatan dikelola untuk setiap rilis, lihat Bagaimana cara kerja peningkatan alur Lakeflow?.

Bagaimana cara menemukan versi Databricks Runtime untuk pembaruan alur?

Anda dapat mengkueri log peristiwa alur untuk menemukan versi Databricks Runtime untuk pembaruan alur tertentu. Lihat informasi waktu proses .

Bagaimana cara kerja peningkatan alur Lakeflow?

Pipeline Lakeflow bersifat tanpa versi, yang berarti Azure Databricks secara otomatis memutakhirkan runtime untuk mendukung penyempurnaan dan peningkatan pada platform. Databricks merekomendasikan pembatasan dependensi eksternal.

Databricks secara proaktif bekerja untuk mencegah peningkatan otomatis memperkenalkan kesalahan atau masalah ke alur produksi. Lihat Proses peningkatan alur Lakeflow.

Terutama bagi pengguna yang men-deploy pipeline dengan dependensi eksternal, Databricks merekomendasikan untuk secara proaktif menguji pipeline menggunakan channel preview. Lihat Mengotomatiskan pengujian alur Anda dengan versi runtime berikutnya.

Proses peningkatan alur Lakeflow

Azure Databricks mengelola Databricks Runtime yang digunakan oleh sumber daya komputasi alur. Ini secara otomatis meningkatkan runtime di ruang kerja Azure Databricks Anda dan memantau kesehatan alur Anda setelah peningkatan.

Jika Azure Databricks mendeteksi bahwa alur tidak dapat dimulai karena peningkatan, versi runtime untuk alur kembali ke versi sebelumnya yang diketahui stabil, dan langkah-langkah berikut dipicu secara otomatis:

  • Runtime pipeline dikunci ke versi sebelumnya yang telah diketahui stabil.
  • Dukungan Databricks diberi tahu tentang masalah ini.
    • Jika masalah terkait dengan regresi dalam runtime, Databricks menyelesaikan masalah.
    • Jika masalah disebabkan oleh pustaka atau paket kustom yang digunakan oleh jalur pemrosesan, Databricks akan menghubungi Anda untuk mengatasi masalah tersebut.
  • Ketika masalah diselesaikan, Azure Databricks memulai peningkatan lagi.

Important

Azure Databricks hanya mengembalikan pipeline yang berjalan dalam mode produksi dengan saluran yang diatur ke current.

Mengotomatiskan pengujian alur Anda dengan versi runtime berikutnya

Untuk memastikan perubahan dalam versi runtime berikutnya tidak berdampak pada alur Anda, gunakan fitur saluran alur:

  1. Buat alur penahapan dan atur saluran ke preview.
  2. Di UI pipeline, buat jadwal untuk menjalankan pipeline setiap minggu dan aktifkan peringatan agar Anda menerima notifikasi email jika terjadi kegagalan pipeline. Databricks merekomendasikan penjadwalan eksekusi pengujian alur mingguan, terutama jika Anda menggunakan dependensi alur kustom.
  3. Jika Anda menerima pemberitahuan kegagalan dan tidak dapat mengatasinya, buka tiket dukungan dengan Databricks.

Note

Jika Anda mengubah alur saat menyelesaikan kegagalan saluran pratinjau, validasi perubahan tersebut current terhadap saluran sebelum menyebarkan ke produksi yang berjalan di current. Perubahan yang diterapkan pada preview mungkin berperilaku berbeda pada current.

dependensi alur

Alur mendukung dependensi eksternal; misalnya, Anda dapat menginstal paket Python apa pun menggunakan %pip install perintah . Mereka juga mendukung penggunaan skrip init global dan cakupan kluster. Namun, dependensi eksternal ini, terutama skrip init, meningkatkan risiko masalah dengan peningkatan runtime. Untuk mengurangi risiko ini, minimalkan menggunakan skrip init di alur Anda. Jika pemrosesan Anda memerlukan skrip init, otomatiskan pengujian alur Anda untuk mendeteksi masalah lebih awal; lihat Mengotomatiskan pengujian alur Anda dengan versi runtime berikutnya. Jika Anda menggunakan skrip init, Databricks merekomendasikan untuk meningkatkan frekuensi pengujian Anda.

  • Last updated on