2020 Mei

Fitur-fitur ini dan peningkatan platform Azure Databricks dirilis pada Mei 2020.

Catatan

Rilis dilakukan bertahap. Akun Azure Databricks Anda mungkin tidak diperbarui hingga seminggu setelah tanggal rilis awal.

Mesin Virtual seri Easv4 (Beta)

29 Mei 2020

Azure Databricks sekarang menyediakan dukungan Beta untuk VM seri Easv4, yang menggunakan SSD premium dan dapat mencapai frekuensi maksimum 3,35GHz yang ditingkatkan. Jenis instans ini dapat mengoptimalkan kinerja beban kerja Anda untuk aplikasi perusahaan yang memerlukan banyak memori.

Databricks Runtime 6.6 untuk Genomics GA

26 Mei 2020

Databricks Runtime 6.6 untuk Genomics dibangun di atas Databricks Runtime 6.6 dan menghadirkan fitur-fitur baru berikut:

• Pembaca GFF3
• Dukungan genom referensi khusus
• Batas waktu alur per sampel
• Opsi ekspor BAM
• Blob manifes

Databricks Runtime 6.6 ML GA

26 Mei 2020

Databricks Runtime 6.6 ML dibangun di atas Databricks Runtime 6.6 dan menyertakan fitur-fitur baru berikut:

• Peningkatan mlflow: 1.7.0 hingga 1.8.0

Databricks Runtime 6.6 GA

26 Mei 2020

Databricks Runtime 6.6 membawa banyak peningkatan pustaka dan fitur baru, termasuk fitur Delta Lake berikut:

• Anda sekarang dapat mengembangkan skema tabel secara otomatis dengan operasi merge. Ini berguna dalam skenario di mana Anda ingin memasukkan atau memperbarui data perubahan ke dalam tabel, dan skema data berubah seiring waktu. Alih-alih mendeteksi dan menerapkan perubahan skema sebelum melakukan penyisipan dan pembaruan, merge dapat secara bersamaan memodifikasi skema dan melakukan penyisipan serta pembaruan perubahan. Lihat Evolusi skema otomatis untuk penggabungan.
• Performa operasi penggabungan yang hanya memiliki klausul yang cocok, yaitu, mereka hanya memiliki tindakan update dan delete dan tidak ada tindakan insert, telah ditingkatkan.
• Tabel Parquet yang direferensikan dalam metastore Hive sekarang dapat dikonversi ke Delta Lake melalui pengidentifikasi tabel mereka menggunakan CONVERT TO DELTA.

Batas Ukuran pada Titik Akhir Penghapusan API DBFS REST

21-28 Mei 2020: Versi 3.20

Saat Anda menghapus sejumlah besar file secara rekursif menggunakan API DBFS, operasi penghapusan dilakukan secara bertahap. Panggilan mengembalikan respons setelah kira-kira 45 detik dengan pesan kesalahan yang meminta Anda untuk memanggil kembali operasi penghapusan hingga struktur direktori dihapus sepenuhnya. Contohnya:

{
  "error_code": "PARTIAL_DELETE",
  "message": "The requested operation has deleted 324 files. There are more files remaining. You must make another request to delete more."
}

Melihat sejumlah besar model terdaftar MLflow dengan mudah

21-28 Mei 2020: Versi 3.20

MLflow Model Registry sekarang mendukung pencarian sisi server dan paginasi untuk model terdaftar, yang memungkinkan organisasi dengan sejumlah besar model untuk melakukan pendaftaran dan pencarian secara efisien. Seperti sebelumnya, Anda dapat mencari model berdasarkan nama dan mendapatkan hasil yang diurutkan berdasarkan nama atau waktu terakhir diperbarui. Namun, jika Anda memiliki sejumlah besar model, halaman akan memuat lebih cepat, dan pencarian akan mengambil tampilan model yang paling mutakhir.

Pustaka yang dikonfigurasi untuk diinstal pada semua kluster tidak diinstal pada kluster yang menjalankan Databricks Runtime 7.0 ke atas

21-28 Mei 2020: Versi 3.20

Dalam Databricks Runtime 7.0 ke atas, versi Apache Spark yang mendasari menggunakan Scala 2.12. Karena pustaka yang dikompilasi terhadap Scala 2.11 dapat menonaktifkan kluster Databricks Runtime 7.0 dengan cara yang tidak terduga, kluster yang menjalankan Databricks Runtime 7.0 dan versi yang lebih baru tidak menginstal pustaka yang dikonfigurasi untuk dipasang pada semua kluster. Tab Pustaka kluster menampilkan status Skipped dan pesan penghentian penggunaan yang menjelaskan perubahan dalam penanganan pustaka.

Namun, jika Anda memiliki kluster yang dibuat pada versi Databricks Runtime yang lebih lama sebelum 3.20 dirilis ke ruang kerja Anda, dan Anda sekarang mengedit kluster tersebut untuk menggunakan Databricks Runtime 7.0, pustaka apa pun yang dikonfigurasi untuk diinstal pada semua kluster akan diinstal pada kluster tersebut. Dalam hal ini, setiap JAR yang tidak kompatibel di pustaka yang diinstal dapat menyebabkan kluster dinonaktifkan. Solusinya adalah mengkloning kluster atau membuat kluster baru.

Databricks Runtime 7.0 untuk Genomika (Beta)

21 Mei 2020

Databricks Runtime 7.0 untuk Genomics dibangun di atas Databricks Runtime 7.0 dan menyertakan perubahan pustaka berikut:

• Pustaka ADAM telah diperbarui dari versi 0.30.0 menjadi 0.32.0.
• Pustaka Hail tidak disertakan dalam Databricks Runtime 7.0 untuk Genomics karena belum ada rilis berdasarkan Apache Spark 3.0.

Databricks Runtime 7.0 ML (Beta)

21 Mei 2020

Databricks Runtime 7.0 ML dibangun di atas Databricks Runtime 7.0 dan menyertakan fitur-fitur baru berikut:

• Perpustakaan Python berjangkauan notebook dan lingkungan khusus yang dikelola oleh perintah conda dan pip.
• Pembaruan untuk paket Python utama termasuk tensorflow, tensorboard, pytorch, xgboost, sparkdl, dan hyperopt.
• Paket Python yang baru ditambahkan seperti lightgbm, nltk, petastorm, dan plotly.
• RStudio Server Open Source v1.2.

Databricks Runtime 6.6 untuk Genomik (Beta)

7 Mei 2020

Databricks Runtime 6.6 untuk Genomics dibangun di atas Databricks Runtime 6.6 dan menghadirkan fitur-fitur baru berikut:

• Pembaca GFF3
• Dukungan genom referensi khusus
• Batas waktu alur per sampel
• Opsi ekspor BAM
• Blob manifes

Databricks Runtime 6.6 ML (Beta)

7 Mei 2020

Databricks Runtime 6.6 ML dibangun di atas Databricks Runtime 6.6 dan menyertakan fitur-fitur baru berikut:

• Peningkatan mlflow: 1.7.0 hingga 1.8.0

Databricks Runtime 6.6 (Beta)

7 Mei 2020

Databricks Runtime 6.6 (Beta) menghadirkan banyak peningkatan pustaka dan fitur baru, termasuk fitur Delta Lake, berikut ini:

• Anda sekarang dapat mengembangkan skema tabel secara otomatis dengan operasi merge. Ini berguna dalam skenario di mana Anda ingin memasukkan atau memperbarui data perubahan ke dalam tabel, dan skema data berubah seiring waktu. Alih-alih mendeteksi dan menerapkan perubahan skema sebelum melakukan penyisipan dan pembaruan, merge dapat secara bersamaan memodifikasi skema dan melakukan penyisipan serta pembaruan perubahan. Lihat Evolusi skema otomatis untuk penggabungan.
• Performa operasi penggabungan yang hanya memiliki klausul yang cocok, yaitu, mereka hanya memiliki tindakan update dan delete dan tidak ada tindakan insert, telah ditingkatkan.
• Tabel Parquet yang direferensikan dalam metastore Hive sekarang dapat dikonversi ke Delta Lake melalui pengidentifikasi tabel mereka menggunakan CONVERT TO DELTA.

Kluster pekerjaan sekarang ditandai dengan nama pekerjaan dan ID.

5-12 Mei 2020: Versi 3.19

Kluster pekerjaan secara otomatis ditandai dengan nama pekerjaan dan ID. Tag muncul dalam laporan penggunaan yang dapat ditagih sehingga Anda dapat dengan mudah mencatat penggunaan DBU Anda berdasarkan pekerjaan dan mengidentifikasi anomali. Tag dibersihkan sesuai dengan spesifikasi klaster tag, seperti karakter yang diizinkan, ukuran maksimum, dan jumlah tag maksimum. Nama pekerjaan terkandung dalam RunName tag dan ID pekerjaan terkandung dalam JobId tag.

Memulihkan sel buku catatan yang dihapus

5-12 Mei 2020: Versi 3.19

Anda sekarang dapat memulihkan sel yang dihapus baik dengan menggunakan pintasan keyboard (Z) atau dengan memilih Edit > Urungkan Hapus Sel.

Batas antrean pekerjaan tertunda

5-12 Mei 2020: Versi 3.19

Ruang kerja sekarang dibatasi hingga 1000 eksekusi pekerjaan yang aktif (sedang berjalan dan tertunda). Karena ruang kerja dibatasi maksimal 150 eksekusi pekerjaan bersamaan, ruang kerja dapat memiliki hingga 850 eksekusi dalam antrean pending.