Kebijakan pemeliharaan Databricks ML Runtime

Databricks Runtime ML mencakup berbagai pustaka ML dan DL populer. Perpustakaan diperbarui pada setiap peluncuran untuk menyertakan fitur dan perbaikan baru. Artikel ini menjelaskan pustaka tingkat atas yang didukung, jadwal pembaruannya, dan skenario ketika pustaka sudah usang.

Kebijakan dukungan pustaka

Databricks telah menetapkan subset pustaka yang didukung sebagai pustaka tingkat atas. Untuk pustaka ini, Databricks menyediakan frekuensi pembaruan yang lebih cepat, memperbarui ke rilis paket terbaru dengan setiap rilis runtime, kecuali ada konflik dependensi. Databricks juga menyediakan dukungan tingkat lanjut, pengujian, dan pengoptimalan yang disematkan untuk perpustakaan kelas atas. Pustaka tingkat atas hanya ditambahkan atau dihapus saat ada rilis utama.

Daftar lengkap pustaka tingkat atas adalah:

• himpunan data
• GraphFrame
• MLflow
• PyTorch
• Scikit-learn
• Streaming
• TensorBoard
• transformator

Untuk daftar semua pustaka yang disertakan dalam setiap versi runtime, silakan lihat catatan rilis untuk Databricks Runtime ML.

Nota

Dimulai dengan Databricks Runtime 18.0 ML, TensorFlow dan spark-tensorflow-connector tidak lagi dianggap sebagai pustaka unggulan.

Kebijakan pendepresiasian pustaka

Databricks mungkin menghapus pustaka dari daftar tingkat atas dalam situasi berikut:

• Jika pustaka tidak memiliki komit baru dalam dua bulan dan tidak ada rilis baru dalam lebih dari enam bulan. Databricks mungkin menambahkan kembali pustaka yang telah dihapus ketika pemeliharaan yang aktif dilanjutkan.
• Jika penggunaan pustaka turun secara signifikan.
• Pustaka diganti jika paket baru telah ditambahkan untuk mengisi celah utama yang ada.

Databricks akan menghapus pustaka yang telah diinstal sebelumnya ketika pustaka mencapai salah satu kondisi berikut:

• Pustaka tidak lagi dipertahankan secara aktif. Pustaka dianggap tidak dipertahankan secara aktif ketika salah satu kondisi berikut terpenuhi:
  • Tidak ada komit baru dalam tiga bulan dan tidak ada rilis baru dalam lebih dari sembilan bulan.
  • Repositori perpustakaan tersebut diarsipkan.
  • Penghentian pemeliharaan yang diumumkan untuk perpustakaan tersebut.
• Tidak ada rilis stabil yang ditemukan berfungsi untuk runtime baru.

Saat pustaka direncanakan untuk dihapus, Databricks mengambil langkah-langkah berikut untuk memberi tahu pelanggan:

• Peringatan penghentian ditambahkan dalam catatan rilis runtime, yang menunjukkan bahwa pustaka akan dihapus dalam rilis utama Databricks Runtime ML berikutnya.
• Pemberitahuan ditampilkan saat mengimpor pustaka, menunjukkan bahwa pustaka akan dihapus dalam rilis ML Databricks Runtime utama berikutnya.
• Dokumentasi Databricks yang mereferensikan pustaka diperbarui untuk menunjukkan bahwa pustaka direncanakan untuk dihapus.

Untuk terus menggunakan perpustakaan perangkat lunak yang telah dihapus, Anda dapat menginstalnya secara manual atau menggunakan versi Databricks Runtime ML yang lebih lama.