Mei 2018

Rilis dilakukan bertahap. Akun Azure Databricks Anda mungkin tidak diperbarui hingga satu minggu setelah tanggal rilis awal.

Peraturan Perlindungan Data Umum (General Data Protection Regulation/GDPR)

24 Mei 2018: Versi 2.72

Untuk memenuhi persyaratan Peraturan Perlindungan Data Umum Uni Eropa (GDPR), yang mulai berlaku pada 25 Mei 2018, kami telah melakukan sejumlah modifikasi pada platform Azure Databricks untuk memberi Anda kontrol retensi data yang lebih besar, baik di tingkat akun maupun pengguna. Pembaruan meliputi:

  • Penghapusan kluster: menghapus konfigurasi kluster secara permanen menggunakan antarmuka pengguna atau CLUSTERS API. Lihat Menghapus komputasi.
  • Pembersihan ruang kerja (dirilis di versi 2.71): menghapus objek ruang kerja secara permanen, seperti seluruh buku catatan, sel buku catatan individual, komentar buku catatan individual, dan riwayat revisi buku catatan. Lihat Bersihkan penyimpanan ruang kerja.
  • Penghapusan menyeluruh riwayat revisi buku catatan:
    • Menghapus riwayat revisi semua buku catatan secara permanen di ruang kerja untuk jangka waktu yang ditentukan. Lihat Bersihkan penyimpanan ruang kerja.
    • Menghapus satu revisi buku catatan secara permanen atau seluruh riwayat revisi buku catatan. Lihat riwayat Versi di buku catatan.

Untuk mendapatkan informasi tentang menghapus layanan Azure Databricks atau membatalkan akun Azure Anda, lihat Mengelola langganan Anda.

Pengguna Azure Databricks harus merupakan bagian dari tenant Microsoft Entra ID

24 Mei 2018: Versi 2.72

Pengguna sekarang dapat masuk ke Azure Databricks hanya jika mereka termasuk dalam penyewa Microsoft Entra ID (sebelumnya Azure Active Directory) dari ruang kerja Azure Databricks. Jika Anda memiliki pengguna yang bukan milik penyewa ID Microsoft Entra, Anda dapat menambahkannya sebagai pengguna standar atau tamu.

HorovodEstimator

29 Mei 2018: Versi 2.72

Menambahkan dokumentasi dan notebook untuk HorovodEstimator, API estimator yang bergaya MLlib dan memanfaatkan kerangka kerja Horovod dari Uber. HorovodEstimator memfasilitasi pelatihan multi-GPU terdistribusi dari jaringan saraf dalam di Spark DataFrames, menyederhanakan integrasi ETL di Spark dengan pelatihan model di TensorFlow.

Ekspor Model MLeap ML

24 Mei 2018: Versi 2.72

Menambahkan dokumentasi dan buku catatan saat menggunakan MLeap di Azure Databricks. MLeap memungkinkan Anda untuk menyebarkan alur pembelajaran mesin dari Apache Spark dan scikit-learn ke format portabel dan mesin eksekusi. Lihat Ekspor model ML MLeap.

Bahkan lebih banyak jenis kluster GPU

24 Mei 2018: Versi 2.72

Selain jenis instans Azure NC (NC12 dan NC24) yang kami tambahkan di Rilis 2.71, kami sekarang mendukung seri tipe instans NCv3 (NC6s_v3, NC12s_v3, dan NC24s_v3) di kluster Azure Databricks. Instans NC dan NCv3 menyediakan GPU untuk mendukung pemrosesan gambar, analisis teks, dan pembelajaran mesin lainnya dan tugas pembelajaran mendalam yang menantang secara komputasi dan menuntut kinerja yang unggul.

Lihat Komputasi yang mendukung GPU.

Sel buku catatan: sembunyikan dan perlihatkan

24 Mei 2018: Versi 2.72

Indikator dan pesan baru memudahkan untuk menampilkan konten sel Notebook setelah disembunyikan. Lihat Menyembunyikan dan menampilkan isi sel.

22 Mei 2018

Kami telah mengganti pencarian situs dokumen kami dengan alat pencarian yang lebih baik. Anda akan melihat lebih banyak peningkatan pencarian selama beberapa minggu mendatang.

Catatan

Pencarian mungkin terkesan tidak berfungsi jika Anda mencobanya tak lama setelah pencarian baru diluncurkan. Cukup bersihkan cache browser Anda untuk melihat pengalaman pencarian baru.

Databricks Runtime 4.1 ML untuk Pembelajaran Mesin (Beta)

17 Mei 2018

Databricks Runtime ML (Beta) menyediakan lingkungan yang siap digunakan untuk machine learning dan ilmu data. Itu berisi beberapa pustaka populer, termasuk TensorFlow, Keras, dan XGBoost.

Runtime ML Databricks memungkinkan Anda memulai kluster Databricks dengan semua pustaka yang diperlukan untuk training TensorFlow secara terdistribusi. Tindakan ini memastikan kompatibilitas pustaka yang disertakan pada kluster (antara TensorFlow dan CUDA/cuDNN, misalnya) dan secara substansial mengurangi waktu start-up kluster dibandingkan dengan menggunakan skrip init.

Catatan

Databricks Runtime 4.1 ML hanya tersedia di SKU Premium.

Databricks Delta

17 Mei 2018

Databricks Delta sekarang tersedia di Pratinjau Pribadi untuk pengguna Azure Databricks. Hubungi manajer akun Anda atau daftar di https://databricks.com/product/databricks-delta. Rilis ini merupakan rilis kandidat sebagai persiapan untuk rilis GA yang akan datang.

Untuk informasi selengkapnya, lihat Apa itu Delta Lake di Azure Databricks?.

Dukungan Display() untuk tipe data gambar

17 Mei 2018

Di Databricks Runtime 4.1, display() sekarang merender kolom yang berisi tipe data gambar sebagai HTML yang kaya.

Lihat Visualisasi di buku catatan Databricks dan editor SQL.

Jenis kluster GPU

15 Mei 2018: Versi 2.71

Kami dengan senang hati mengumumkan dukungan untuk jenis instans Azure NC (NC12 dan NC24) pada kluster Azure Databricks. Instans NC menyediakan GPU untuk mendukung pemrosesan gambar, analisis teks, dan pembelajaran mesin lainnya dan tugas pembelajaran mendalam yang menantang secara komputasi dan menuntut kinerja yang unggul.

Azure Databricks juga menyediakan driver dan pustaka NVIDIA yang telah diinstal sebelumnya yang dikonfigurasi untuk GPU, bersama dengan materi untuk memulai dengan beberapa pustaka pembelajaran mendalam yang populer.

Lihat juga:

Manajemen rahasia GA

15 Mei 2018: Versi 2.71

Manajemen rahasia, yang telah berada di pratinjau tertutup, sekarang tersedia secara umum. Ini menyediakan alat yang kuat untuk mengelola kredensial yang Anda butuhkan untuk mengautentikasi ke sumber data eksternal. Alih-alih mengetik kredensial Anda langsung ke buku catatan, gunakan manajemen rahasia Databricks untuk menyimpan dan mereferensikan kredensial Anda di buku catatan dan pekerjaan. Untuk mengelola rahasia, Anda dapat menggunakan Secrets CLI (warisan) untuk mengakses Secrets API.

Catatan

Pengelolaan rahasia memerlukan Databricks Runtime 4.0 atau versi yang lebih tinggi dan Databricks CLI 0.7.1 atau versi yang lebih tinggi.

Lihat Manajemen Rahasia.

Titik akhir API Rahasia dan perubahan perintah CLI

15 Mei 2018: Versi 2.71

Perubahan berikut dilakukan pada titik akhir Secrets API:

  • Untuk semua titik akhir, jalur root diubah dari /secret menjadi /secrets.
  • Untuk titik akhir rahasia, /secret/secrets diciutkan ke /secrets/.
  • Metode write diubah menjadi put.

Databricks CLI 0.7.1 menyertakan pembaruan perintah Secrets untuk menyelaraskan dengan titik akhir API yang diperbarui ini.

Lihat API Rahasia dan Manajemen Rahasia.

Penyematan klaster

15 Mei 2018: Versi 2.71

Anda sekarang dapat menyematkan kluster ke daftar Kluster. Tindakan ini memungkinkan Anda mempertahankan konfigurasi kluster yang dihentikan lebih dari 30 hari.

Kluster pin

Selain itu, halaman Kluster sekarang menampilkan semua kluster yang dihentikan dalam waktu 30 hari (meningkat dari 7 hari).

Lihat Menyematkan komponen komputasi.

Kluster Mulai Otomatis

15 Mei 2018: Versi 2.71

Sebelum perilisan ini, pekerjaan yang dijadwalkan untuk berjalan pada cluster Terminated gagal. Untuk kluster yang dibuat di Azure Databricks versi 2.71 ke atas, perintah dari antarmuka JDBC/ODBC atau pekerjaan yang dijalankan yang ditetapkan ke kluster yang dihentikan yang ada secara otomatis memulai ulang kluster tersebut. Lihat Koneksi JDBC dan Mengonfigurasi dan mengedit Tugas Lakeflow.

Autostart memperbolehkan Anda mengonfigurasi kluster agar dapat mengakhiri sendiri, tanpa memerlukan intervensi manual untuk memulai ulang kluster dalam penjadwalan tugas. Selain itu, Anda dapat menjadwalkan inisialisasi kluster dengan menjadwalkan pekerjaan yang memulai ulang kluster yang dihentikan pada waktu tertentu.

Kontrol akses kluster diberlakukan dan izin pemilik pekerjaan diperiksa seperti biasa.

Pembersihan ruang kerja

15 Mei 2018: Versi 2.71

Sebagai bagian dari upaya berkelanjutan kami untuk mematuhi Peraturan Perlindungan Data Umum Uni Eropa (GDPR), kami telah menambahkan kemampuan untuk membersihkan objek ruang kerja, seperti seluruh buku catatan, sel buku catatan individual, komentar buku catatan individual, dan riwayat revisi buku catatan. Kami akan merilis lebih banyak fungsi dan dokumentasi untuk mendukung kepatuhan GDPR dalam beberapa pekan mendatang.

Lihat Bersihkan penyimpanan ruang kerja.

Databricks CLI 0.7.1

10 Mei 2018

Databricks CLI 0.7.1 menyertakan pembaruan perintah Rahasia untuk menyelaraskan dengan titik akhir API yang diperbarui.

Lihat Databricks CLI Warisan dan Manajemen Rahasia.

  • Last updated on