Bagikan melalui

Catatan rilis Lakeflow Spark Declarative Pipelines dan proses peningkatan rilis

Artikel ini menjelaskan proses rilis Lakeflow Spark Declarative Pipelines, bagaimana Lakeflow Spark Declarative Pipelines runtime dikelola, dan menyediakan tautan ke catatan rilis untuk setiap rilis Lakeflow Spark Declarative Pipelines.

Saluran runtime untuk Pipeline Deklaratif Lakeflow Spark

Note

Untuk melihat versi Databricks Runtime yang digunakan dengan rilis Lakeflow Spark Declarative Pipelines, lihat catatan rilis untuk rilis tersebut.

Kluster Lakeflow Spark Declarative Pipelines menggunakan runtime berdasarkan versi dan kompatibilitas catatan rilis Databricks Runtime. Databricks secara otomatis meningkatkan runtime Lakeflow Spark Declarative Pipelines untuk mendukung peningkatan dan perbaikan terhadap platform. Anda dapat menggunakan channel bidang di pengaturan Alur Deklaratif Lakeflow Spark untuk mengontrol versi runtime Alur Deklaratif Lakeflow Spark yang menjalankan alur Anda. Nilai yang didukung adalah:

  • current untuk menggunakan versi runtime saat ini.
  • preview untuk menguji alur Anda dengan perubahan yang akan datang pada versi runtime.

Secara default, alur Anda berjalan menggunakan versi runtime current. Databricks merekomendasikan penggunaan runtime current untuk beban kerja produksi. Untuk mempelajari cara menggunakan preview pengaturan untuk menguji alur Anda dengan versi runtime berikutnya, lihat Mengotomatiskan pengujian alur Anda dengan versi runtime berikutnya.

Important

Fitur yang ditandai sebagai tersedia secara umum atau Pratinjau Umum tersedia di saluran current.

Untuk informasi selengkapnya tentang saluran Alur Deklaratif Lakeflow Spark, lihat channel bidang di pengaturan alur Alur Deklaratif Lakeflow Spark.

Untuk memahami bagaimana Lakeflow Spark Declarative Pipelines mengelola proses peningkatan untuk setiap rilis, lihat Bagaimana cara kerja peningkatan Lakeflow Spark Declarative Pipelines?.

Bagaimana cara menemukan versi Databricks Runtime untuk pembaruan alur?

Anda dapat mengkueri log peristiwa Lakeflow Spark Declarative Pipelines untuk menemukan versi Databricks Runtime untuk pembaruan alur. Lihat informasi waktu proses .

Catatan rilis Alur Deklaratif Lakeflow Spark

Catatan rilis Lakeflow Spark Declarative Pipelines diatur berdasarkan tahun dan minggu dalam setahun. Karena Alur Deklaratif Lakeflow Spark tidak memiliki versi, perubahan ruang kerja dan runtime berlangsung secara otomatis. Catatan rilis berikut memberikan gambaran umum perubahan dan perbaikan bug di setiap rilis:

Bagaimana cara kerja peningkatan Alur Deklaratif Lakeflow Spark?

Lakeflow Spark Declarative Pipelines dianggap sebagai produk tanpa versi, yang berarti bahwa Databricks secara otomatis memperbarui runtime Lakeflow Spark Declarative Pipelines untuk mendukung peningkatan dan perbaikan pada platform tersebut. Databricks merekomendasikan pembatasan dependensi eksternal untuk Alur Deklaratif Lakeflow Spark.

Databricks secara proaktif berfungsi untuk mencegah peningkatan otomatis menimbulkan kesalahan atau masalah pada produksi Lakeflow Spark Declarative Pipelines. Lihat Proses peningkatan Alur Deklaratif Lakeflow Spark.

Terutama bagi pengguna yang menerapkan alur deklaratif Lakeflow Spark dengan dependensi eksternal, Databricks merekomendasikan untuk secara proaktif menguji alur tersebut melalui saluran preview. Lihat Mengotomatiskan pengujian alur Anda dengan versi runtime berikutnya.

Proses peningkatan Alur Deklaratif Lakeflow Spark

Databricks mengelola Databricks Runtime yang digunakan oleh sumber daya komputasi dari Lakeflow Spark Declarative Pipelines. Lakeflow Spark Declarative Pipelines secara otomatis meningkatkan runtime di ruang kerja Azure Databricks Anda dan memantau kesehatan alur Anda setelah peningkatan.

Jika Alur Deklaratif Lakeflow Spark mendeteksi bahwa alur tidak dapat dimulai karena peningkatan, versi runtime untuk alur kembali ke versi sebelumnya yang diketahui stabil, dan langkah-langkah berikut dipicu secara otomatis:

  • Runtime Pipa Deklaratif Lakeflow Spark dipatok ke versi stabil sebelumnya.
  • Dukungan Databricks diberi tahu tentang masalah ini.
    • Jika masalah terkait dengan regresi dalam runtime, Databricks menyelesaikan masalah.
    • Jika masalah disebabkan oleh pustaka atau paket kustom yang digunakan oleh jalur pemrosesan, Databricks akan menghubungi Anda untuk mengatasi masalah tersebut.
  • Ketika masalah diselesaikan, Databricks memulai peningkatan lagi.

Important

Alur Deklaratif Lakeflow Spark hanya mengembalikan alur ke kondisi semula yang berjalan dalam mode produksi dengan saluran diatur ke current.

Mengotomatiskan pengujian alur Anda dengan versi runtime berikutnya

Untuk memastikan perubahan dalam versi runtime Alur Deklaratif Lakeflow Spark berikutnya tidak memengaruhi alur Anda, gunakan fitur saluran Alur Deklaratif Lakeflow Spark:

  1. Buat alur penahapan dan atur saluran ke preview.
  2. Di UI Pipeline Deklaratif Lakeflow Spark, buat jadwal untuk menjalankan pipeline secara mingguan dan aktifkan peringatan untuk menerima pemberitahuan email jika terjadi kegagalan pipeline. Databricks merekomendasikan penjadwalan eksekusi pengujian alur mingguan, terutama jika Anda menggunakan dependensi alur kustom.
  3. Jika Anda menerima pemberitahuan kegagalan dan tidak dapat mengatasinya, buka tiket dukungan dengan Databricks.

dependensi alur

Alur Deklaratif Lakeflow Spark mendukung dependensi eksternal dalam alur Anda; misalnya, Anda dapat menginstal paket Python apa pun menggunakan %pip install perintah . Lakeflow Spark Declarative Pipelines juga mendukung penggunaan skrip init global dan cakupan kluster. Namun, dependensi eksternal ini, terutama skrip init, meningkatkan risiko masalah dengan peningkatan runtime. Untuk mengurangi risiko ini, minimalkan menggunakan skrip init di alur Anda. Jika pemrosesan Anda memerlukan skrip init, otomatiskan pengujian alur Anda untuk mendeteksi masalah lebih awal; lihat Mengotomatiskan pengujian alur Anda dengan versi runtime berikutnya. Jika Anda menggunakan skrip init, Databricks merekomendasikan untuk meningkatkan frekuensi pengujian Anda.

  • Last updated on