November 2023

Fitur-fitur ini dan peningkatan platform Azure Databricks dirilis pada November 2023.

Catatan

Rilis dilakukan bertahap. Ruang kerja Azure Databricks Anda mungkin tidak diperbarui hingga seminggu atau lebih setelah tanggal rilis awal.

Pencarian Vektor AI Mosaik adalah Pratinjau Umum

30 November 2023

Mosaic AI Vector Search adalah mesin pencari kesamaan tanpa server yang memungkinkan Anda menyimpan representasi vektor data Anda, termasuk metadata, dalam database vektor. Sebagai bagian dari fungsionalitas ini, Anda dapat membuat indeks pencarian vektor pembaruan otomatis dari data di Katalog Unity dan mengkuerinya dengan API sederhana untuk mengembalikan vektor yang paling mirip sebagai bagian dari alur kerja RAG Anda. Lihat Pencarian Vektor Mosaik AI.

Daftar kontrol akses tidak dapat lagi dinonaktifkan

29 November 2023

Pengaturan berikut diaktifkan di semua ruang kerja paket Premium dan tidak dapat lagi dinonaktifkan dari halaman pengaturan admin ruang kerja atau Workspace Conf API:

• Kontrol akses ruang kerja: memungkinkan pengguna mengonfigurasi izin ke objek ruang kerja.
• Kontrol akses kluster, kumpulan, pekerjaan: memungkinkan pengguna untuk mengonfigurasi izin ke kluster, kumpulan, dan pekerjaan.
• Kontrol visibilitas kluster: mencegah kluster terlihat oleh pengguna yang tidak memiliki izin padanya.
• Kontrol visibilitas pekerjaan: mencegah pekerjaan terlihat oleh pengguna yang tidak memiliki izin pada mereka.
• Pengaturan kontrol visibilitas ruang kerja: mencegah buku catatan dan folder terlihat oleh pengguna yang tidak memiliki izin pada mereka.

Pengaturan kontrol akses telah diaktifkan pada ruang kerja baru secara default sejak Maret 2018 dan pengaturan kontrol visibilitas telah diaktifkan secara default sejak Desember 2020.

Untuk informasi selengkapnya, lihat Daftar kontrol akses.

Perilaku dan tindakan baru di Catalog Explorer untuk volume

22 November 2023

Anda sekarang dapat membuat volume baru dalam skema target jika tidak ada dari antarmuka pengguna Unggah ke volume . Lihat Mengunggah file ke volume Katalog Unity.

Tindakan seperti Hapus file dan File unduhan telah ditambahkan ke Catalog Explorer untuk file dalam volume.

Databricks Runtime 14.2 adalah GA

22 November 2023

Databricks Runtime 14.2 dan Databricks Runtime 14.2 ML sekarang tersedia secara umum.

Lihat Databricks Runtime 14.2 dan Databricks Runtime 14.2 untuk Pembelajaran Mesin.

Konektor SQL Databricks untuk Python versi 3.0.0

17 November 2023

Anda sekarang dapat menjalankan pip install databricks-sql-connector==3.0.0.

Rilis ini:

• Menghapus dukungan untuk Python 3.7
• Menambahkan dukungan untuk kueri SQL berparameter asli. Membutuhkan DBR 14.2 ke atas. Untuk informasi selengkapnya, lihat Menggunakan Parameter Asli di repositori GitHub databricks-sql-python.
• Termasuk dialek SQLAlchemy kami yang sepenuhnya ditulis ulang:
  • Menambahkan dukungan untuk SQLAlchemy >= 2.0 dan menghilangkan dukungan untuk SQLAlchemy 1.x
  • Cakupan pengujian menyeluruh penuh dari semua fitur yang didukung
  • Catatan penggunaan terperinci tersedia di sini
  • Menambahkan dukungan untuk:
    • Jenis baru: TIME, TIMESTAMP, TIMESTAMP_NTZ, TINYINT
    • Numeric skala jenis dan presisi, seperti Numeric(10,2)
    • Membaca dan menulis PrimaryKeyConstraint dan ForeignKeyConstraint
    • Membaca dan menulis kunci komposit
    • Membaca dan menulis dari tampilan
    • Menulis Identity ke tabel (autoincrementing kunci primer)
    • LIMIT dan OFFSET untuk penomor melalui hasil
    • Penembolokan panggilan metadata
• Mengaktifkan Cloud Fetch secara default. Untuk menonaktifkan, atur use_cloud_fetch=False saat membangun databricks.sql.client.
• Menambahkan pengujian integrasi untuk kueri penyerapan volume Azure Databricks Unity Catalog
• Pengulangan:
  • Tambahkan _retry_max_redirects konfigurasi
  • Atur _enable_v3_retries=True dan peringatkan jika pengguna mengambil alihnya.
• Keamanan: Benjolan versi pyarrow minimum ke 14.0.1 (CVE-2023-47248)

Pustaka dalam file ruang kerja yang didukung pada kluster bersama tanpa isolasi

15 November 2023

Anda sekarang dapat menginstal pustaka yang disimpan sebagai file ruang kerja untuk menghitung yang dikonfigurasi dengan mode akses bersama tanpa isolasi di Databricks Runtime 14.1 ke atas.

Penghentian pustaka ruang kerja

15 November 2023

Pustaka ruang kerja sekarang tidak digunakan lagi dan membuat pustaka ruang kerja baru telah dinonaktifkan. Pustaka ruang kerja yang ada terus berfungsi. Perhatikan bahwa menyimpan pustaka sebagai file ruang kerja berbeda dari pustaka ruang kerja dan masih didukung sepenuhnya. Anda dapat menginstal pustaka yang disimpan sebagai file ruang kerja langsung ke tugas komputasi atau pekerjaan. Lihat Pustaka.

Dukungan untuk jenis VM komputasi rahasia Azure sekarang menjadi GA

15 November 2023

Dukungan Azure Databricks untuk jenis VM komputasi rahasia Azure sekarang tersedia secara umum. Komputasi rahasia Azure membantu melindungi data yang digunakan, mencegah penyedia cloud memiliki akses ke data sensitif. Lihat VM komputasi rahasia Azure.

Mencari daftar Marketplace Databricks menggunakan pencarian ruang kerja global

13 November 2023

Anda sekarang dapat menemukan himpunan data, model AI, dan Databricks Solution Accelerators di Databricks Marketplace menggunakan bilah pencarian global di UI ruang kerja Azure Databricks. Lihat Apa itu Databricks Marketplace? dan Cari objek ruang kerja.

Mengonsumsi produk data di Databricks Marketplace menggunakan platform eksternal

10 November 2023

Konsumen tanpa ruang kerja Azure Databricks yang mendukung Unity Catalog sekarang dapat mengakses produk data di Databricks Marketplace. Anda dapat menggunakan konektor berbagi terbuka Berbagi Delta untuk mengakses data Marketplace menggunakan sejumlah platform umum, termasuk ruang kerja Microsoft Power BI, Microsoft Excel, pandas, Apache Spark, dan non-Unity Catalog Databricks. Hanya himpunan data tabular yang tersedia di platform eksternal (bukan notebook atau model Databricks, misalnya). Lihat Mengakses produk data di Databricks Marketplace menggunakan platform eksternal.

Dukungan untuk gudang SQL tanpa server ditambahkan untuk beberapa wilayah Azure

9 November 2023

Wilayah Azure berikut ini sekarang mendukung gudang SQL tanpa server:

• Brasil Selatan (brasil)
• India Tengah (centralindia)
• Jepang Timur (jepang)
• US Tengah Utara (northcentralus)
• UK Selatan (uksouth)

Lihat Wilayah Azure Databricks dan Mengaktifkan gudang SQL tanpa server.

Pengaktifan otomatis Unity Catalog untuk ruang kerja baru

9 November 2023

Databricks telah mulai mengaktifkan Unity Catalog secara otomatis untuk ruang kerja baru. Ini menghapus kebutuhan admin akun untuk mengonfigurasi Katalog Unity setelah ruang kerja dibuat. Peluncuran akan dilanjutkan secara bertahap di seluruh akun. Lihat Pengaktifan Otomatis Katalog Unity.

Databricks Runtime 14.2 (beta)

8 November 2023

Databricks Runtime 14.2 dan Databricks Runtime 14.2 ML sekarang tersedia sebagai rilis beta.

Lihat Databricks Runtime 14.2 dan Databricks Runtime 14.2 untuk Pembelajaran Mesin.

Databricks Marketplace mencakup Databricks Solution Accelerators

7 November 2023

Databricks Marketplace sekarang memberi Anda akses ke Databricks Solution Accelerators, panduan yang dibuat khusus yang menyediakan notebook yang berfungsi penuh, panduan praktik terbaik, dan data sampel untuk menyiapkan Anda dengan cepat dengan banyak kasus penggunaan populer di Azure Databricks. Lihat Mendapatkan akses ke Akselerator Solusi Databricks.

Federasi Lakehouse menambahkan dukungan untuk Google BigQuery

3 November 2023

Anda sekarang dapat mengonfigurasi Federasi Lakehouse untuk menjalankan kueri federasi dengan BigQuery jenis konektor. Konektor BigQuery baru didukung di gudang Pro dan SQL Tanpa Server dan Databricks Runtime 13.3 LTS ke atas. Lihat Menjalankan kueri federasi di Google BigQuery.