Pembaruan pemeliharaan untuk Databricks Runtime (diarsipkan)

Halaman yang diarsipkan ini mencantumkan pembaruan pemeliharaan yang dikeluarkan untuk rilis Runtime Databricks yang tidak lagi didukung. Untuk menambahkan pembaruan pemeliharaan ke kluster yang ada, mulai ulang kluster.

Penting

Dokumentasi ini telah dihentikan dan mungkin tidak diperbarui. Produk, layanan, atau teknologi yang disebutkan dalam konten ini telah mencapai akhir dukungan. Lihat Catatan rilis versi dan kompatibilitas Databricks Runtime.

Rilis Databricks Runtime

Pembaruan pemeliharaan berdasarkan rilis:

Untuk pembaruan pemeliharaan pada versi Runtime Databricks yang didukung, lihat Pembaruan pemeliharaan Runtime Databricks.

Databricks Runtime 17.2

Lihat Databricks Runtime 17.2 (EoS).

  • 10 Maret 2026
    • [SPARK-55701]ES-1694761[SS] Memperbaiki kondisi balapan di CompactibleFileStreamLog.allFiles
    • [SPARK-55493] [SS] Jangan melakukan mkdirs di direktori status checkpoint streaming di StateDataSource
    • Penambal keamanan sistem operasi.

  • 26 Februari 2026

    • Penambal keamanan sistem operasi.

  • Februari 19, 2026

    • Saat menyimpulkan skema file Excel, sel string sekarang disimpulkan sebagai Spark StringType. Ini mematuhi jenis sel yang diatur dalam Excel. Sebelumnya, string dengan nilai numerik ditransmisikan secara otomatis ke jenis yang lebih sempit seperti Long atau Decimal.
    • [SPARK-55243][CONNECT] Izinkan pengaturan header biner melalui akhiran -bin di klien Scala Connect
    • [SCALA][SPARK-54887]](https://issues.apache.org/jira/browse/SPARK-54887)[CONNECT] Selalu atur status sql di klien spark connect
    • [SPARK-54887][CONNECT] Tambahkan sqlstate opsional ke sparkthrowables
    • [SPARK-55282][PYTHON][CONNECT] Hindari menggunakan worker_util di sisi Driver
    • Penambal keamanan sistem operasi.
  • 27 Januari 2026
    • [SPARK-55015][SS][SQL] Perbaiki perhitungan numFields dalam decodeRemainingKey di PrefixKeyScanStateEncoder
    • [SPARK-54768][SS]Python Sumber Data Stream harus mengklasifikasikan kesalahan jika data yang dikembalikan tidak cocok dengan skema yang dikonfigurasi
    • Penambal keamanan sistem operasi.
  • 9 Januari 2026
    • [SPARK-54711][PYTHON] Tambahkan batas waktu untuk koneksi pekerja yang dibuat daemon
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • Tabel Delta yang dipartisi akan memiliki kolom partisi yang diimplementasikan dalam file data parquet ke depannya. Ini memungkinkan sinergi yang lebih baik dengan bagaimana tabel Iceberg dan UniForm ditangani, dan meningkatkan kompatibilitas dengan pembaca non-Delta eksternal.
    • [SPARK-54427][SQL] Izinkan ColumnarRow untuk memanggil copy dengan jenis varian
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • [SPARK-50906][SQL] Perbaiki cek kejadian null pada Avro untuk bidang struct yang disusun ulang
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54078][SS] Uji baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan hapus infra dari pengujian lama
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • [SPARK-54099][SQL] pengurai varian XML harus beralih kembali ke string pada kesalahan penguraian desimal
    • [SPARK-54015][PYTHON] Melonggarkan persyaratan Py4J untuk py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Approx_top_k menggunakan Apache DataSketches
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • [SPARK-53973][Avro] Mengklasifikasikan kesalahan untuk kegagalan konversi boolean AvroOptions
    • [SPARK-53972][SS] Perbaiki kemunduran progress terkini pada kueri streaming di PySpark klasik
    • [SPARK-53908][CONNECT] Perbaiki pengamatan pada Spark Connect dengan cache rencana
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 8 Oktober 2025
    • [SPARK-53555] Perbaikan: SparkML-connect tidak dapat memuat model tersimpan SparkML (mode warisan)
    • [SPARK-53598][SQL] Periksa keberadaan numParts sebelum membaca properti tabel besar
    • [SPARK-53625][SS] Sebarkan kolom metadata melalui proyeksi untuk mengatasi ketidakcocokan ApplyCharTypePadding
    • [SPARK-53568][CONNECT][PYTHON] Memperbaiki beberapa bug kecil di logika penanganan kesalahan klien Spark Connect Python
    • [SPARK-53574] Memperbaiki AnalysisContext yang dihapus/hilang selama resolusi rencana bertingkat
    • [SPARK-53623][SQL] meningkatkan pembacaan properti pada tabel besar...
    • [SPARK-53729][PYTHON][CONNECT] Perbaiki serialisasi pyspark.sql.connect.window.WindowSpec
    • [SPARK-53549][SS] Selalu tutup alokator panah saat proses permintaan status daftar selesai
    • Penambal keamanan sistem operasi.
  • 10 September 2025
    • Memperbaiki masalah yang dapat menyebabkan Auto Loader menggantung tanpa batas waktu.
    • [SPARK-53362] [ML] [CONNECT] Memperbaiki bug pemuat lokal IDFModel
    • [SPARK-53382][SQL] Perbaiki bug rCTE dengan rekursi cacat
    • Perbaikan pengujian backport flaky untuk [SPARK-53345]
    • [SPARK-49872][CORE] Hapus batasan panjang string JSON jackson
    • [SPARK-53423] [SQL] Pindahkan semua tag terkait resolver pass tunggal ke ResolverTag
    • [SPARK-53431][PYTHON] Perbaiki UDTF Python dengan argumen tabel bernama di DataFrame API
    • [SPARK-53336] [ML] [CONNECT] Reset MLCache.totalMLCacheSizeBytes ketika MLCache.clear() dipanggil
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible harus menghindari interupsi yang berulang
    • [SPARK-53470][SQL] Ekspresi ExtractValue harus selalu melakukan pemeriksaan jenis
    • Pilihan Ceri dari [SPARK-53389] Peningkatan untuk Pandas API di Spark di bawah ANSI
    • Penambal keamanan sistem operasi.

Databricks Runtime 17.1

Lihat Databricks Runtime 17.1 (EoS).

  • 27 Januari 2026
    • [SPARK-55015][SS][SQL] Perbaiki perhitungan numFields dalam decodeRemainingKey di PrefixKeyScanStateEncoder
    • [SPARK-54768][SS]Python Sumber Data Stream harus mengklasifikasikan kesalahan jika data yang dikembalikan tidak cocok dengan skema yang dikonfigurasi
    • Penambal keamanan sistem operasi.
  • 9 Januari 2026
    • [SPARK-54711][PYTHON] Tambahkan batas waktu untuk koneksi pekerja yang dibuat daemon
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • Tabel Delta yang dipartisi akan memiliki kolom partisi yang diimplementasikan dalam file data parquet ke depannya. Ini memungkinkan sinergi yang lebih baik dengan bagaimana tabel Iceberg dan UniForm ditangani, dan meningkatkan kompatibilitas dengan pembaca non-Delta eksternal.
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • [SPARK-50906][SQL] Perbaiki cek kejadian null pada Avro untuk bidang struct yang disusun ulang
    • [SPARK-54427][SQL] Izinkan ColumnarRow untuk memanggil copy dengan jenis varian
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54015][PYTHON] Melonggarkan persyaratan Py4J untuk py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Approx_top_k menggunakan Apache DataSketches
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • [SPARK-54078][SS] Uji baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan hapus infra dari pengujian lama
    • [SPARK-54099][SQL] pengurai varian XML harus beralih kembali ke string pada kesalahan penguraian desimal
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • [SPARK-53972][SS] Perbaiki kemunduran progress terkini pada kueri streaming di PySpark klasik
    • [SPARK-53908][CONNECT] Perbaiki pengamatan pada Spark Connect dengan cache rencana
    • [SPARK-53973][Avro] Mengklasifikasikan kesalahan untuk kegagalan konversi boolean AvroOptions
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 7 Oktober 2025
    • [SPARK-53574] Memperbaiki AnalysisContext yang dihapus/hilang selama resolusi rencana bertingkat
    • [SPARK-53549][SS] Selalu tutup alokator panah saat proses permintaan status daftar selesai
    • [SPARK-53568][CONNECT][PYTHON] Memperbaiki beberapa bug kecil di logika penanganan kesalahan klien Spark Connect Python
    • [SPARK-53625][SS] Sebarkan kolom metadata melalui proyeksi untuk mengatasi ketidakcocokan ApplyCharTypePadding
    • [SPARK-53598][SQL] Periksa keberadaan numParts sebelum membaca properti tabel besar
    • [SPARK-53623][SQL] meningkatkan pembacaan properti pada tabel besar...
    • [SPARK-53555] Perbaikan: SparkML-connect tidak dapat memuat model tersimpan SparkML (mode warisan)
    • [SPARK-53729][PYTHON][CONNECT] Perbaiki serialisasi pyspark.sql.connect.window.WindowSpec
    • Penambal keamanan sistem operasi.
  • 16 September 2025
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Memperbaiki masalah yang dapat menyebabkan Auto Loader menggantung tanpa batas waktu.
    • [SPARK-53362] [ML] [CONNECT] Memperbaiki bug pemuat lokal IDFModel
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible harus menghindari interupsi yang berulang
    • [SPARK-53382][SQL] Perbaiki bug rCTE dengan rekursi cacat
    • [SPARK-53431][PYTHON] Perbaiki UDTF Python dengan argumen tabel bernama di DataFrame API
    • [SPARK-53336] [ML] [CONNECT] Reset MLCache.totalMLCacheSizeBytes ketika MLCache.clear() dipanggil
    • [SPARK-49872][CORE] Hapus batasan panjang string JSON jackson
    • Penambal keamanan sistem operasi.
  • 25 Agustus 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.3.3 hingga 1.3.5
    • [SPARK-52482][SQL][CORE] Meningkatkan penanganan pengecualian untuk membaca file zstd tertentu yang rusak
    • [SPARK-53192][CONNECT] Selalu cache DataSource di Spark Connect Plan Cache
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • [SPARK-52833][SQL] Perbaikan VariantBuilder.appendFloat
    • [SPARK-52961][PYTHON] Perbaiki UDTF Python yang dioptimalkan panah dengan evaluasi 0 arg pada gabungan lateral
    • [SPARK-51505][SQL] Selalu tampilkan metrik nomor partisi kosong di AQEShuffleReadExec
    • [SPARK-52753][SQL] Buat biner parseDataType kompatibel dengan versi sebelumnya
    • [SPARK-52842][SQL] Fungsionalitas baru dan perbaikan bug untuk penganalisis satu lintasan
    • [SPARK-52960][SQL] Tampilkan string subtree di LogicalQueryStage toString
    • [SPARK-53054][CONNECT] Perbaiki perilaku format default DataFrameReader dalam konteks koneksi
    • Penambal keamanan sistem operasi.

Databricks Runtime 17.0

Lihat Databricks Runtime 17.0 (EoS).

  • 9 Desember 2025
    • Tabel Delta yang dipartisi akan memiliki kolom partisi yang diimplementasikan dalam file data parquet ke depannya. Ini memungkinkan sinergi yang lebih baik dengan bagaimana tabel Iceberg dan UniForm ditangani, dan meningkatkan kompatibilitas dengan pembaca non-Delta eksternal.
    • Untuk konektor Snowflake dan Snowflake Lakehouse Federation, TIMESTAMP_NTZ (tanda waktu tanpa zona waktu) literal tidak lagi diteruskan ke Snowflake. Perubahan ini mencegah kegagalan kueri yang disebabkan oleh penanganan tanda waktu yang tidak kompatibel dan meningkatkan keandalan untuk kueri yang terpengaruh.
    • [SPARK-54427][SQL] Izinkan ColumnarRow untuk memanggil copy dengan jenis varian
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54099][SQL] pengurai varian XML harus beralih kembali ke string pada kesalahan penguraian desimal
    • [SPARK-54015][PYTHON] Melonggarkan persyaratan Py4J untuk py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Uji baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan hapus infra dari pengujian lama
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • [SPARK-53908][CONNECT] Perbaiki pengamatan pada Spark Connect dengan cache rencana
    • [SPARK-53972][SS] Perbaiki kemunduran progress terkini pada kueri streaming di PySpark klasik
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 7 Oktober 2025
    • [SPARK-53598][SQL] Periksa keberadaan numParts sebelum membaca properti tabel besar
    • [SPARK-53568][CONNECT][PYTHON] Memperbaiki beberapa bug kecil di logika penanganan kesalahan klien Spark Connect Python
    • [SPARK-53574] Memperbaiki AnalysisContext yang dihapus/hilang selama resolusi rencana bertingkat
    • [SPARK-53549][SS] Selalu tutup alokator panah saat proses permintaan status daftar selesai
    • [SPARK-53623][SQL] meningkatkan pembacaan properti pada tabel besar...
    • [SPARK-53729][PYTHON][CONNECT] Perbaiki serialisasi pyspark.sql.connect.window.WindowSpec
    • Penambal keamanan sistem operasi.
  • 16 September 2025
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Memperbaiki masalah yang dapat menyebabkan Auto Loader menggantung tanpa batas waktu.
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible harus menghindari interupsi yang berulang
    • [SPARK-53336] [ML] [CONNECT] Reset MLCache.totalMLCacheSizeBytes ketika MLCache.clear() dipanggil
    • [SPARK-49872][CORE] Hapus batasan panjang string JSON jackson
    • [SPARK-53431][PYTHON] Perbaiki UDTF Python dengan argumen tabel bernama di DataFrame API
    • [SPARK-53382][SQL] Perbaiki bug rCTE dengan rekursi cacat
    • Penambal keamanan sistem operasi.
  • 26 Agustus 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.3.3 hingga 1.3.5
    • [SPARK-52482][SQL][CORE] Meningkatkan penanganan pengecualian untuk membaca file zstd tertentu yang rusak
    • [SPARK-53192][CONNECT] Selalu cache DataSource di Spark Connect Plan Cache
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • [SPARK-51505][SQL] Selalu tampilkan metrik nomor partisi kosong di AQEShuffleReadExec
    • [SPARK-53054][CONNECT] Perbaiki perilaku format default DataFrameReader dalam konteks koneksi
    • [SPARK-52961][PYTHON] Perbaiki UDTF Python yang dioptimalkan panah dengan evaluasi 0 arg pada gabungan lateral
    • [SPARK-52833][SQL] Perbaikan VariantBuilder.appendFloat
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • [SPARK-51889][PYTHON][SS] Perbaiki bug untuk MapState clear() di Python TWS
    • [SPARK-52753][SQL] Buat biner parseDataType kompatibel dengan versi sebelumnya
    • [SPARK-49428][SQL] Pindahkan Klien Scala Connect dari Connector ke SQL
    • Penambal keamanan sistem operasi.
  • 15 Juli 2025
    • Memperbaiki masalah kehilangan data non-deterministik saat menggunakan Spark Structured Streaming untuk mengalirkan data dari Pulsar.
    • [SPARK-52430][SQL] Memperbaiki bug pada kenull-an Union dalam rCTEs
    • [SPARK-52503][SQL][CONNECT] Perbaiki drop saat kolom input tidak ada
    • [SPARK-52579][PYTHON] Atur cadangan jejak berkala untuk pekerja Python
    • [SPARK-52450] Meningkatkan performa salinan mendalam skema
    • [SPARK-52599][PYTHON] Mendukung dump penelusuran balik berkala di sisi Driver pekerja
    • [SPARK-52553][SS] Perbaiki NumberFormatException saat membaca changelog v1
    • Penambal keamanan sistem operasi.
  • Mei 28, 2025
    • Pustaka Python yang diperbarui:
      • google-auth dari 2.40.0 hingga 2.40.1
      • mlflow-skinny dari 2.22.0 hingga 3.0.0
      • opentelemetry-api dari 1.32.1 hingga 1.33.0
      • opentelemetry-sdk dari 1.32.1 hingga 1.33.0
      • opentelemetry-semantic-conventions dari 0.53b1 hingga 0.54b0
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.3.0 hingga 1.3.3
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • Memperbaiki batasan bahwa cloud_files_state fungsi TVF tidak dapat digunakan untuk membaca status tingkat file tabel streaming di seluruh alur
    • Memperbaiki masalah otorisasi Katalog Unity untuk kueri pada tampilan sementara.
    • Mengaktifkan bendera di 17.0.1, menerapkan bendera SAFE untuk semua ruang kerja pada 17.0.0
    • Dukungan Berbagi Delta untuk menggunakan cache I/O Parquet Spark untuk kueri yang menggunakan URL yang sudah dipra-tandatangani (tersedia mulai dari versi 17.0.1).
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • Konektor Teradata sekarang akan meneruskan TMODE=ANSI ke driver secara default. Ini berarti bahwa semua perbandingan string yang dilakukan melalui Federasi Lakehouse akan peka terhadap huruf besar/kecil.
    • [SPARK-51921][SS][PYTHON] Gunakan jenis panjang untuk durasi TTL dalam milidetik dalam transformWithState
    • [SPARK-52259][ML][CONNECT] Perbaiki kompatibilitas biner kelas Param
    • [SPARK-52195][PYTHON][SS] Perbaiki masalah penurunan kolom status awal untuk Python TWS
    • [SPARK-52057] [ML] [CONNECT] Mengumpulkan pesan peringatan batas ukuran pohon untuk klien
    • [SPARK-52051] [ML] [CONNECT] Aktifkan ringkasan model saat kontrol memori diaktifkan
    • [SPARK-51606][CONNECT] Tambahkan SPARK_IDENT_STRING saat menghentikan server Spark Connect
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement tidak boleh mengakses SQLConf secara dinamis
    • [SPARK-52232][SQL] Perbaiki kueri non-deterministik untuk menghasilkan hasil yang berbeda di setiap langkah
    • [SPARK-52013] [CONNECT] [ML] Remove SparkConnectClient.ml_caches
    • [SPARK-52353][SQL] Perbaiki bug dengan batasan yang salah dalam LogicalRDD yang mereferensikan iterasi sebelumnya di UnionLoop
    • [SPARK-52130] [ML] [CONNECT] Perbaiki pesan kesalahan, dan sembunyikan konfigurasi spark internal
    • [SPARK-52470][ML][CONNECT] Mendukung offloading ringkasan model
    • [SPARK-51935][SQL] Perbaiki perilaku iterator yang malas dalam df.collect() yang ditafsirkan
    • [SPARK-52482][SQL][CORE] Dukungan ZStandard untuk pembaca sumber data file
    • [SPARK-52159][SQL] Tangani pemeriksaan keberadaan tabel dengan benar untuk dialek jdbc
    • [SPARK-52010] Jangan hasilkan dokumen API untuk kelas internal
    • [SPARK-52049] Memperbaiki bug yang tidak dapat diurai atribut XML sebagai Varian
    • [SPARK-52312][SQL] Abaikan V2WriteCommand saat caching DataFrame
    • [SPARK-52229][ML][CONNECT] Meningkatkan estimasi ukuran model
    • [SPARK-50815][PYTHON] Memperbaiki Konversi Data Lokal Varian ke Arrow
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference harus mempertahankan ID rencana
    • [SPARK-51981][SS] Tambahkan JobTags ke queryStartedEvent
    • [PERBAIKI KEMBALI][spark-52100]](https://issues.apache.org/jira/browse/SPARK-52100)[SQL] Aktifkan menggantikan batas tingkat rekursi pada sintaks
    • [SPARK-52101][SQL] Nonaktifkan Pemaksaan Inline untuk rCTEs
    • [SPARK-52099][SQL] Aktifkan penggantian batas baris rekursi dengan menambahkan LIMIT operator
    • Penambal keamanan sistem operasi.

Databricks Runtime 16.3

Lihat Databricks Runtime 16.3 (EoS).

  • 16 September 2025
    • Konektor Snowflake sekarang menggunakan INFORMATION_SCHEMA tabel untuk mencantumkan skema alih-alih perintah SHOW SCHEMAS. Perubahan ini menghapus batas 10.000 skema dari pendekatan sebelumnya dan meningkatkan dukungan untuk database dengan sejumlah besar skema.
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Memperbaiki masalah yang dapat menyebabkan Auto Loader menggantung tanpa batas waktu.
    • Memperbaiki kesalahan sementara di Auto Loader yang dapat menyebabkan pekerjaan gagal.
    • [SPARK-51821][CORE] Panggil interupsi() tanpa menahan uninterruptibleLock untuk menghindari kemungkinan kebuntuan
    • [SPARK-49872][CORE] Hapus batasan panjang string JSON jackson
    • Penambal keamanan sistem operasi.
  • 26 Agustus 2025
    • [SPARK-52482][SQL][CORE] Meningkatkan penanganan pengecualian untuk membaca file zstd tertentu yang rusak
    • [SPARK-53192][CONNECT] Selalu cache DataSource di Spark Connect Plan Cache
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • [SPARK-51011][CORE] Tambahkan pengelogan untuk apakah tugas akan terganggu saat dibunuh
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • Penambal keamanan sistem operasi.
  • 15 Juli 2025
    • Memperbaiki masalah kehilangan data non-deterministik saat menggunakan Spark Structured Streaming untuk mengalirkan data dari Pulsar.
    • [SPARK-52553][SS] Perbaiki NumberFormatException saat membaca changelog v1
    • Penambal keamanan sistem operasi.
  • 1 Juli 2025
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • [SPARK-52482][SQL][CORE] Dukungan ZStandard untuk pembaca sumber data file
    • [SPARK-52312][SQL] Abaikan V2WriteCommand saat caching DataFrame
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement tidak boleh mengakses SQLConf secara dinamis
    • Penambal keamanan sistem operasi.
  • 17 Juni 2025
    • Mengatasi batasan bahwa fungsi bernilai tabel (TVF) cloud_files_state tidak dapat digunakan untuk membaca status tingkat file dari tabel streaming di berbagai pipeline.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference harus mempertahankan ID rencana
    • Penambal keamanan sistem operasi.
  • 3 Juni 2025
    • Pustaka Python yang diperbarui:
      • kriptografi dari 41.0.7, 41.0.7, 42.0.5 hingga 42.0.5
      • kemasan dari 24.0, 24.1 hingga 24.1
      • platformdirs dari versi 3.10.0, 4.2.2 ke 3.10.0
      • pyparsing dari 3.0.9, 3.1.1 ke 3.0.9
      • Menambahkan autocommand 2.2.2
      • Menambahkan backports.tarfile 1.2.0
      • Menambahkan importlib_resources 6.4.0
      • Menambahkan inflect 7.3.1
      • Menambahkan jaraco.context versi 5.3.0
      • Telah menambahkan jaraco.functools 4.0.1
      • Menambahkan jaraco.text 3.12.1
      • Menambahkan more-itertools 10.3.0
      • Menambahkan pip 24.2
      • Menambahkan setuptools 74.0.0
      • Menambahkan tomli 2.0.1
      • Menambahkan typeguard 4.3.0
      • Ditambahkan wcwidth 0.2.5
      • Menambahkan roda 0.43.0
      • Dihapus distro 1.9.0
      • Dihapus distro-info 1.7+build1
      • Telah dihapus python-apt 2.7.7+ubuntu4
    • [SPARK-52195][PYTHON][SS] Perbaiki masalah penurunan kolom status awal untuk Python TWS
    • [SPARK-52159][SQL] Tangani pemeriksaan keberadaan tabel dengan benar untuk dialek jdbc
    • Penambal keamanan sistem operasi.
  • Mei 20, 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.2.6 hingga 1.2.7
      • org.apache.avro.avro dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-ipc dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-mapred dari 1.11.3 ke 1.11.4
    • Sesi kloning streaming akan digunakan di dalam fungsi pengguna foreachBatch di Kluster Bersama/Tanpa Server. Ini selaras dengan perilaku dalam klasik (Kluster yang Ditetapkan).
    • Sesi kloning streaming akan digunakan di dalam fungsi pengguna foreachBatch di Kluster Bersama/Tanpa Server. Ini selaras dengan perilaku dalam klasik (Kluster yang Ditetapkan).
    • Sebelum perubahan ini, spasi awal dan tab dalam jalur pada ekspresi variant_get diabaikan ketika Photon dinonaktifkan. Misalnya, select variant_get(parse_json('{"key": "value"}'), '$['key']') tidak akan efektif dalam mengekstrak nilai "key". Namun, pengguna akan dapat mengekstrak kunci tersebut sekarang.
    • [SPARK-51921][SS][PYTHON] Gunakan jenis panjang untuk durasi TTL dalam milidetik dalam transformWithState
    • [SPARK-51935][SQL] Perbaiki perilaku iterator yang malas dalam df.collect() yang ditafsirkan
    • Penambal keamanan sistem operasi.
  • 22 April 2025
    • Pelacakan skema Delta akan menampilkan kesalahan evolusi skema dengan DELTA_STREAMING_CANNOT_CONTINUE_PROCESSING_POST_SCHEMA_EVOLUTION alih-alih DELTA_STREAMING_CANNOT_CONTINUE_PROCESSING_TYPE_WIDENING untuk konsistensi dengan pengecualian perubahan skema non-aditif lainnya.
    • [SPARK-51589][SQL] Perbaiki bug kecil yang gagal memeriksa fungsi agregat di |>SELECT
    • [SPARK-51645][SQL] Perbaiki BUAT ATAU GANTI TABLE ... KOLATASI DEFAULT ... kueri
    • Kembalikan "[SPARK-47895][SQL] pengelompokan berdasarkan alias harus idempoten" di 15.4, 16.0, 16.1, 16.2 dan 16.3
    • [SPARK-51717][SS][RocksDB] Perbaiki kerusakan karena ketidakcocokan SST yang dapat terjadi untuk snapshot kedua yang dibuat untuk kueri baru
  • 26 Maret 2025
    • [SPARK-51624][SQL] Sampaikan metadata GetStructField ke dalam CreateNamedStruct.dataType
    • [SPARK-51505][SQL] Log metrik jumlah partisi kosong di AQE coalesce
    • [SPARK-47895][SQL] group by alias harus bersifat idempoten
    • Penambal keamanan sistem operasi.

Databricks Runtime 16.2

Lihat Databricks Runtime 16.2 (EoS).

  • 14 Agustus 2025
    • [SPARK-51011][CORE] Tambahkan pengelogan untuk apakah tugas akan terganggu saat dibunuh
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • Penambal keamanan sistem operasi.
  • 15 Juli 2025
    • Memperbaiki masalah kehilangan data non-deterministik saat menggunakan Spark Structured Streaming untuk mengalirkan data dari Pulsar.
    • [SPARK-52553][SS] Perbaiki NumberFormatException saat membaca changelog v1
    • Penambal keamanan sistem operasi.
  • 1 Juli 2025
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement tidak boleh mengakses SQLConf secara dinamis
    • [SPARK-52312][SQL] Abaikan V2WriteCommand saat caching DataFrame
    • [SPARK-52482][SQL][CORE] Dukungan ZStandard untuk pembaca sumber data file
    • Penambal keamanan sistem operasi.
  • 17 Juni 2025
    • Mengatasi batasan bahwa fungsi bernilai tabel (TVF) cloud_files_state tidak dapat digunakan untuk membaca status tingkat file dari tabel streaming di berbagai pipeline.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference harus mempertahankan ID rencana
    • Penambal keamanan sistem operasi.
  • 3 Juni 2025
    • Pustaka Python yang diperbarui:
      • kriptografi dari 41.0.7, 41.0.7, 42.0.5 hingga 42.0.5
      • kemasan dari 24.0, 24.1 hingga 24.1
      • platformdirs dari versi 3.10.0, 4.2.2 ke 3.10.0
      • pyparsing dari 3.0.9, 3.1.1 ke 3.0.9
      • Menambahkan autocommand 2.2.2
      • Menambahkan backports.tarfile 1.2.0
      • Menambahkan importlib_resources 6.4.0
      • Menambahkan inflect 7.3.1
      • Menambahkan jaraco.context versi 5.3.0
      • Telah menambahkan jaraco.functools 4.0.1
      • Menambahkan jaraco.text 3.12.1
      • Menambahkan more-itertools 10.3.0
      • Menambahkan pip 24.2
      • Menambahkan setuptools 74.0.0
      • Menambahkan tomli 2.0.1
      • Menambahkan typeguard 4.3.0
      • Ditambahkan wcwidth 0.2.5
      • Menambahkan roda 0.43.0
      • Dihapus distro 1.9.0
      • Dihapus distro-info 1.7+build1
      • Telah dihapus python-apt 2.7.7+ubuntu4
    • [SPARK-52159][SQL] Tangani pemeriksaan keberadaan tabel dengan benar untuk dialek jdbc
    • [SPARK-52195][PYTHON][SS] Perbaiki masalah penurunan kolom status awal untuk Python TWS
    • Penambal keamanan sistem operasi.
  • Mei 20, 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.2.6 hingga 1.2.7
      • org.apache.avro.avro dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-ipc dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-mapred dari 1.11.3 ke 1.11.4
    • Sesi kloning streaming akan digunakan di dalam fungsi pengguna foreachBatch di Kluster Bersama/Tanpa Server. Ini selaras dengan perilaku dalam klasik (Kluster yang Ditetapkan).
    • Sesi kloning streaming akan digunakan di dalam fungsi pengguna foreachBatch di Kluster Bersama/Tanpa Server. Ini selaras dengan perilaku dalam klasik (Kluster yang Ditetapkan).
    • Sebelum perubahan ini, spasi awal dan tab dalam jalur pada ekspresi variant_get diabaikan ketika Photon dinonaktifkan. Misalnya, select variant_get(parse_json('{"key": "value"}'), '$[' key']') tidak akan efektif dalam mengekstrak nilai "key". Namun, pengguna akan dapat mengekstrak kunci tersebut sekarang.
    • [SPARK-51935][SQL] Perbaiki perilaku iterator yang malas dalam df.collect() yang ditafsirkan
    • [SPARK-51921][SS][PYTHON] Gunakan jenis panjang untuk durasi TTL dalam milidetik dalam transformWithState
    • Penambal keamanan sistem operasi.
  • 22 April 2025
    • [SPARK-51717][SS][RocksDB] Perbaiki kerusakan karena ketidakcocokan SST yang dapat terjadi untuk snapshot kedua yang dibuat untuk kueri baru
    • Kembalikan "[SPARK-47895][SQL] pengelompokan berdasarkan alias harus idempoten" di 15.4, 16.0, 16.1, 16.2 dan 16.3
    • Penambal keamanan sistem operasi.

  • 09 April 2025

    • Pustaka Java yang diperbarui:
      • Dihapus io.starburst.openjson.openjson 1.8-e.12
      • Dihapus io.starburst.openx.data.json-serde 1.3.9-e.12
      • Dihapus io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] group by alias harus bersifat idempoten
    • [SPARK-51505][SQL] Log metrik jumlah partisi kosong di AQE coalesce
    • [SPARK-51624][SQL] Sampaikan metadata GetStructField ke dalam CreateNamedStruct.dataType
    • [SPARK-51589][SQL] Perbaiki bug kecil yang gagal memeriksa fungsi agregat di |>SELECT
    • Penambal keamanan sistem operasi.

  • 11 Maret 2025

    • Databricks Runtime 14.3 LTS ke atas mencakup perbaikan untuk masalah yang menyebabkan ketidakcocokan biner dengan kode yang menginstansikan kelas dan dikompilasi terhadap Apache Spark. Ketidaksesuaian ini dihasilkan dari penggabungan SPARK-46399 ke dalam Apache Spark. Penggabungan ini menyertakan perubahan yang menambahkan argumen default ke konstruktor SparkListenerApplicationEnd. Untuk memulihkan kompatibilitas biner, perbaikan ini menambahkan satu konstruktor argumen ke kelas SparkListenerApplicationEnd.
    • Batalkan "[SPARK-48273][SQL] Perbaiki penulisan ulang yang terlambat pada PlanWithUnresolvedIdentifier"
    • [SPARK-50985][SS] Klasifikasikan kesalahan ketidakcocokan Offset Tanda Waktu Kafka, bukan menegaskan dan melempar kesalahan saat server hilang di KafkaTokenProvider.
    • [SPARK-51065][SQL] Melarang skema yang tidak dapat diubah ke null saat pengodean Avro digunakan untuk TransformWithState
    • [SPARK-51237][SS] Tambahkan detail API untuk API pembantu transformWithState baru sesuai kebutuhan
    • [SPARK-51222][SQL] Mengoptimalkan ReplaceCurrentLike
    • [SPARK-51351][SS] Jangan menyajikan output pada pekerja Python untuk TWS
    • [SPARK-51084][SQL] Menetapkan kelas kesalahan yang sesuai untuk negativeScaleNotAllowedError
    • [SPARK-51249][SS] Memperbaiki pengodean NoPrefixKeyStateEncoder dan Avro untuk menggunakan jumlah byte versi yang benar
    • Penambal keamanan sistem operasi.

  • 5 Februari 2025

    • Rilis ini mencakup perbaikan untuk masalah yang memengaruhi konversi jenis data tertentu saat membuat serial kolom data XML yang diselamatkan. Jenis data yang terpengaruh adalah tanggal, tanda waktu non-NTZ, dan desimal saat prefersDecimal diaktifkan. Untuk mempelajari selengkapnya tentang kolom data yang diselamatkan, lihat Apa kolom data yang diselamatkan?.
    • [SPARK-50770][SS] Menghapus cakupan paket untuk API operator transformWithState
    • Penambal keamanan sistem operasi.

Databricks Runtime 16.1

Lihat Databricks Runtime 16.1 (EoS).

  • 12 Agustus 2025
    • Penambal keamanan sistem operasi.

  • 29 Juli 2025

    • Penambal keamanan sistem operasi.

  • 15 Juli 2025

    • Penambal keamanan sistem operasi.

  • 1 Juli 2025

    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • [SPARK-52482][SQL][CORE] Dukungan ZStandard untuk pembaca sumber data file
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement tidak boleh mengakses SQLConf secara dinamis
    • [SPARK-52312][SQL] Abaikan V2WriteCommand saat caching DataFrame
    • Penambal keamanan sistem operasi.

  • 17 Juni 2025

    • Mengatasi batasan bahwa fungsi bernilai tabel (TVF) cloud_files_state tidak dapat digunakan untuk membaca status tingkat file dari tabel streaming di berbagai pipeline.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference harus mempertahankan ID rencana
    • Penambal keamanan sistem operasi.
  • 3 Juni 2025
    • Pustaka Python yang diperbarui:
      • kriptografi dari 41.0.7, 41.0.7, 42.0.5 hingga 42.0.5
      • kemasan dari 24.0, 24.1 hingga 24.1
      • platformdirs dari versi 3.10.0, 4.2.2 ke 3.10.0
      • pyparsing dari 3.0.9, 3.1.1 ke 3.0.9
      • Menambahkan autocommand 2.2.2
      • Menambahkan backports.tarfile 1.2.0
      • Menambahkan importlib_resources 6.4.0
      • Menambahkan inflect 7.3.1
      • Menambahkan jaraco.context versi 5.3.0
      • Telah menambahkan jaraco.functools 4.0.1
      • Menambahkan jaraco.text 3.12.1
      • Menambahkan more-itertools 10.3.0
      • Menambahkan pip 24.2
      • Menambahkan setuptools 74.0.0
      • Menambahkan tomli 2.0.1
      • Menambahkan typeguard 4.3.0
      • Ditambahkan wcwidth 0.2.5
      • Menambahkan roda 0.43.0
      • Dihapus distro 1.9.0
      • Dihapus distro-info 1.7+build1
      • Telah dihapus python-apt 2.7.7+ubuntu4
    • Pustaka Java yang diperbarui:
      • com.github.fommil.netlib.native_ref-java dari 1.1, 1.1-natives ke 1.1, 1.1
      • com.github.fommil.netlib.native_system-java dari 1.1, 1.1-natives ke 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 dari 1.1-natives ke 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 dari 1.1-natives ke 1.1
      • io.netty.netty-tcnative-boringssl-static dari 2.0.61.Final-db-r16, 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 ke 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll dari 4.1.108.Final, 4.1.108.Final-linux-aarch_64, 4.1.108.Final-linux-riscv64, 4.1.108.Final-linux-x86_64 ke 4.1.108.Final, 4.1.108.Final, 4.1.108.Final, 4.1.108.Final
      • io.netty.netty-transport-native-kqueue dari 4.1.108.Final-osx-aarch_64, 4.1.108.Final-osx-x86_64 ke 4.1.108.Final, 4.1.108.Final
      • org.apache.orc.orc-core dari 1.9.2-shaded-protobuf menjadi 1.9.2
      • org.apache.orc.orc-mapreduce dari 1.9.2-shaded-protobuf ke 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider dari 2.4.1-linux-x86_64 ke 2.4.1
    • [SPARK-52159][SQL] Tangani pemeriksaan keberadaan tabel dengan benar untuk dialek jdbc
    • Penambal keamanan sistem operasi.
  • Mei 20, 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.2.5 hingga 1.2.7
      • org.apache.avro.avro dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-ipc dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-mapred dari 1.11.3 ke 1.11.4
    • Sesi kloning streaming akan digunakan di dalam fungsi pengguna foreachBatch di Kluster Bersama/Tanpa Server. Ini selaras dengan perilaku dalam klasik (Kluster yang Ditetapkan).
    • Sebelum perubahan ini, spasi awal dan tab dalam jalur pada ekspresi variant_get diabaikan ketika Photon dinonaktifkan. Misalnya, select variant_get(parse_json('{"key": "value"}'), '$['key']') tidak akan efektif dalam mengekstrak nilai "key". Namun, pengguna akan dapat mengekstrak kunci tersebut sekarang.
    • [SPARK-51935][SQL] Perbaiki perilaku iterator yang malas dalam df.collect() yang ditafsirkan
    • Penambal keamanan sistem operasi.
  • 22 April 2025
    • Kembalikan "[SPARK-47895][SQL] pengelompokan berdasarkan alias harus idempoten" di 15.4, 16.0, 16.1, 16.2 dan 16.3
    • [SPARK-50682][SQL] Alias Internal harus dikononisasi
    • [SPARK-51717][SS][RocksDB] Perbaiki kerusakan karena ketidakcocokan SST yang dapat terjadi untuk snapshot kedua yang dibuat untuk kueri baru
    • Penambal keamanan sistem operasi.
  • 9 April 2025
    • Pustaka Java yang diperbarui:
      • Dihapus io.starburst.openjson.openjson 1.8-e.12
      • Dihapus io.starburst.openx.data.json-serde 1.3.9-e.12
      • Dihapus io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-51505][SQL] Log metrik jumlah partisi kosong di AQE coalesce
    • [SPARK-51624][SQL] Sampaikan metadata GetStructField ke dalam CreateNamedStruct.dataType
    • [SPARK-47895][SQL] group by alias harus bersifat idempoten
    • Penambal keamanan sistem operasi.
  • 11 Maret 2025
    • Databricks Runtime 14.3 LTS ke atas mencakup perbaikan untuk masalah yang menyebabkan ketidakcocokan biner dengan kode yang menginstansikan kelas dan dikompilasi terhadap Apache Spark. Ketidaksesuaian ini dihasilkan dari penggabungan SPARK-46399 ke dalam Apache Spark. Penggabungan ini menyertakan perubahan yang menambahkan argumen default ke konstruktor SparkListenerApplicationEnd. Untuk memulihkan kompatibilitas biner, perbaikan ini menambahkan satu konstruktor argumen ke kelas SparkListenerApplicationEnd.
    • [SPARK-51084][SQL] Menetapkan kelas kesalahan yang sesuai untuk negativeScaleNotAllowedError
    • Kembalikan versi sebelumnya [SPARK-48273][SQL] Perbaikan terlambat penulisan ulang PlanWithUnresolvedIdentifier
    • [SPARK-51222][SQL] Mengoptimalkan ReplaceCurrentLike
    • [SPARK-50985][SS] Klasifikasikan kesalahan ketidakcocokan Offset Tanda Waktu Kafka, bukan menegaskan dan melempar kesalahan saat server hilang di KafkaTokenProvider.
    • [SPARK-50791][SQL] Perbaiki NPE dalam penanganan kesalahan penyimpanan status
    • Penambal keamanan sistem operasi.
  • 11 Februari 2025
    • Rilis ini mencakup perbaikan untuk masalah yang memengaruhi konversi jenis data tertentu saat membuat serial kolom data XML yang diselamatkan. Jenis data yang terpengaruh adalah tanggal, tanda waktu non-NTZ, dan desimal saat prefersDecimal diaktifkan. Untuk mempelajari selengkapnya tentang kolom data yang diselamatkan, lihat Apa kolom data yang diselamatkan?.
    • [SPARK-50492][SS] Perbaiki java.util.NoSuchElementException ketika kolom waktu kejadian hilang setelah dropDuplicatesWithinWatermark
    • Penambal keamanan sistem operasi.
  • 27 November 2024
    • Rilis ini mencakup perbaikan untuk masalah yang dapat menyebabkan kunci utama pada tabel Delta dihilangkan dalam kasus-kasus tepi tertentu yang terkait dengan pemadatan otomatis yang dilakukan di latar belakang.
    • Rilis ini mencakup perbaikan untuk masalah yang memengaruhi konversi jenis data tertentu saat membuat serial kolom data XML yang diselamatkan. Jenis data yang terpengaruh adalah tanggal, tanda waktu non-NTZ, dan desimal saat prefersDecimal diaktifkan. Untuk mempelajari selengkapnya tentang kolom data yang diselamatkan, lihat Apa kolom data yang diselamatkan?.
    • Dengan rilis ini, ukuran cache yang digunakan oleh SSD pada node komputasi Databricks secara dinamis berkembang hingga ukuran awal SSD dan menyusut ketika diperlukan, hingga batas spark.databricks.io.cache.maxDiskUsage. Lihat Mengoptimalkan performa dengan caching pada Azure Databricks.
    • [SPARK-50338][CORE] Membuat pengecualian LazyTry tidak terlalu bertele-tele
    • Penambal keamanan sistem operasi.

Databricks Runtime 16.0

Lihat Databricks Runtime 16.0 (EoS).

  • 22 April 2025
    • Kembalikan "[SPARK-47895][SQL] pengelompokan berdasarkan alias harus idempoten" di 15.4, 16.0, 16.1, 16.2 dan 16.3
    • Penambal keamanan sistem operasi.
  • 9 April 2025
    • Pustaka Java yang diperbarui:
      • Dihapus io.starburst.openjson.openjson 1.8-e.12
      • Dihapus io.starburst.openx.data.json-serde 1.3.9-e.12
      • Dihapus io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] group by alias harus bersifat idempoten
    • [SPARK-51624][SQL] Sampaikan metadata GetStructField ke dalam CreateNamedStruct.dataType
    • Penambal keamanan sistem operasi.
  • 11 Maret 2025
    • Databricks Runtime 14.3 dan versi yang lebih baru menyertakan solusi untuk masalah yang menyebabkan ketidakcocokan biner dengan kode yang membuat instans kelas SparkListenerApplicationEnd dan dikompilasi terhadap Apache Spark. Ketidaksesuaian ini dihasilkan dari penggabungan SPARK-46399 ke dalam Apache Spark. Penggabungan ini menyertakan perubahan yang menambahkan argumen default ke konstruktor SparkListenerApplicationEnd. Untuk memulihkan kompatibilitas biner, perbaikan ini menambahkan satu konstruktor argumen ke kelas SparkListenerApplicationEnd.
    • [SPARK-51084][SQL] Menetapkan kelas kesalahan yang sesuai untuk negativeScaleNotAllowedError
    • [SPARK-51222][SQL] Mengoptimalkan ReplaceCurrentLike
    • [SPARK-50985][SS] Klasifikasikan kesalahan ketidakcocokan Offset Tanda Waktu Kafka, bukan menegaskan dan melempar kesalahan saat server hilang di KafkaTokenProvider.
    • [SPARK-50791][SQL] Perbaiki NPE dalam penanganan kesalahan penyimpanan status
    • Penambal keamanan sistem operasi.
  • 11 Februari 2025
    • Rilis ini mencakup perbaikan untuk masalah yang memengaruhi konversi jenis data tertentu saat membuat serial kolom data XML yang diselamatkan. Jenis data yang terpengaruh adalah tanggal, tanda waktu non-NTZ, dan desimal saat prefersDecimal diaktifkan. Untuk mempelajari selengkapnya tentang kolom data yang diselamatkan, lihat Apa kolom data yang diselamatkan?.
    • [SPARK-50705][SQL] Buat QueryPlan bebas kunci
    • [SPARK-50492][SS] Perbaiki java.util.NoSuchElementException ketika kolom waktu kejadian hilang setelah dropDuplicatesWithinWatermark
    • Penambal keamanan sistem operasi.
  • 4 Desember 2024
    • Pernyataan USE CATALOG sekarang mendukung klausul IDENTIFIER. Dengan dukungan ini, Anda dapat membuat parameter katalog saat ini berdasarkan variabel string atau penanda parameter.
    • Rilis ini mencakup perbaikan untuk masalah yang dapat menyebabkan kunci utama pada tabel Delta dihilangkan dalam kasus-kasus tepi tertentu yang terkait dengan pemadatan otomatis yang dilakukan di latar belakang.
    • Dengan rilis ini, ukuran cache yang digunakan oleh SSD pada node komputasi Databricks secara dinamis berkembang hingga ukuran awal SSD dan menyusut ketika diperlukan, hingga batas spark.databricks.io.cache.maxDiskUsage. Lihat Mengoptimalkan performa dengan caching pada Azure Databricks.
    • [SPARK-50322][SQL] Memperbaiki pengidentifikasi berparameter dalam sub-kueri
    • [SPARK-50034][CORE] Perbaiki Pelaporan Kesalahan Fatal sebagai pengecualian yang tidak tertangkap di SparkUncaughtExceptionHandler
    • [SPARK-47435][SQL] Memperbaiki masalah overflow MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Mendukung ekspresi IDENTIFIER dalam pernyataan SETCATALOG
    • [SPARK-50426][PYTHON] Hindari pencarian sumber data Python statis saat menggunakan sumber data bawaan atau Java
    • [SPARK-50338][CORE] Membuat pengecualian LazyTry tidak terlalu bertele-tele
    • Penambal keamanan sistem operasi.
  • 10 Desember 2024
    • (Perubahan signifikan) Dalam Databricks Runtime 15.4 dan versi yang lebih baru, penanganan ekspresi reguler di Photon diperbarui agar sesuai dengan cara penanganan ekspresi reguler Apache Spark. Sebelumnya, fungsi ekspresi reguler yang dijalankan oleh Photon, seperti split() dan regexp_extract(), menerima beberapa ekspresi reguler yang ditolak oleh pengurai Spark. Untuk mempertahankan konsistensi dengan Apache Spark, kueri Photon sekarang akan gagal untuk ekspresi reguler yang dianggap Spark tidak valid. Karena perubahan ini, Anda mungkin melihat kesalahan jika kode Spark Anda menyertakan ekspresi reguler yang tidak valid. Misalnya, ekspresi split(str_col, '{'), yang berisi kurung kurawal yang tidak sepadan dan dulunya diterima oleh Photon, kini menjadi tidak valid. Untuk memperbaiki ekspresi ini, Anda dapat menghindari karakter kurung kurawal: split(str_col, '\\{'). Perilaku Photon dan Spark juga bervariasi dalam beberapa pencocokan pola ekspresi reguler untuk karakter yang bukan ASCII. Ini juga diperbarui sehingga Photon cocok dengan perilaku Apache Spark.
    • Dengan rilis ini, Anda sekarang dapat mengkueri fungsi vector_search menggunakan query_text untuk input teks atau query_vector untuk menyematkan input.
    • Anda sekarang dapat mengatur batas waktu untuk kueri Spark Connect menggunakan properti konfigurasi Spark spark.databricks.execution.timeout. Untuk notebook yang berjalan pada komputasi serverless, nilai defaultnya adalah 9000 (detik). Pekerjaan yang berjalan pada komputasi tanpa server dan komputasi dengan mode akses standar tidak memiliki batas waktu kecuali properti konfigurasi ini diatur. Eksekusi yang berlangsung lebih lama dari batas waktu yang ditentukan menghasilkan kesalahan QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-49843][SQL] Memperbaiki perubahan komentar pada kolom char/varchar
    • [SPARK-49924][SQL] Pertahankan containsNull setelah penggantian ArrayCompact
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-48780][SQL] Jadikan kesalahan di NamedParametersSupport bersifat generik untuk menangani fungsi dan prosedur
    • [SPARK-49876][CONNECT] Singkirkan kunci global dari Spark Connect Service
    • [SPARK-49905] Gunakan ShuffleOrigin khusus untuk operator stateful untuk mencegah shuffle dimodifikasi selama AQE
    • [SPARK-49615] Bugfix: Membuat validasi skema kolom ML sesuai dengan konfigurasi spark spark.sql.caseSensitive
    • [SPARK-48782][SQL] Tambahkan dukungan untuk menjalankan prosedur dalam katalog
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • Kembalikan "[SPARK-49002][SQL] Secara konsisten menangani lokasi yang tidak valid di WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY"
    • [SPARK-50028][CONNECT] Mengganti kunci global pada pendengar server Spark Connect dengan kunci berbutir halus
    • [SPARK-49615] [ML] Membuat semua validasi skema himpunan data transformator fitur ML sesuai dengan konfigurasi "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET harus mempertahankan urutan data
    • Penambal keamanan sistem operasi.

Databricks Runtime 15.3

Lihat Databricks Runtime 15.3 (EoS).

  • 26 November 2024
    • Dengan rilis ini, Anda sekarang dapat mengkueri fungsi vector_search menggunakan query_text untuk input teks atau query_vector untuk menyematkan input.
    • Penambal keamanan sistem operasi.
  • 5 November 2024
    • [SPARK-49905] Gunakan ShuffleOrigin khusus untuk operator stateful untuk mencegah shuffle dimodifikasi selama AQE
    • [SPARK-49867][SQL] Meningkatkan pesan kesalahan saat indeks berada di luar batas saat memanggil GetColumnByOrdinal
    • [SPARK-48843][15.3,15.2] Mencegah perulangan tak terbatas dengan BindParameters
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-46632][SQL] Memperbaiki eliminasi subekspresi ketika ekspresi terner yang setara memiliki elemen berbeda
    • Penambal keamanan sistem operasi.
  • 22 Oktober 2024
    • [SPARK-49905] Gunakan ShuffleOrigin khusus untuk operator stateful untuk mencegah shuffle dimodifikasi selama AQE
    • [SPARK-49867][SQL] Meningkatkan pesan kesalahan saat indeks berada di luar batas saat memanggil GetColumnByOrdinal
    • [SPARK-48843][15.3,15.2] Mencegah perulangan tak terbatas dengan BindParameters
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-46632][SQL] Memperbaiki eliminasi subekspresi ketika ekspresi terner yang setara memiliki elemen berbeda
    • Penambal keamanan sistem operasi.
  • 10 Oktober 2024
    • [SPARK-49688][SAMBUNGKAN] Memperbaiki balapan data antara interupsi dan rencana eksekusi
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields
    • [BACKPORT] [SPARK-49474][SS] Mengklasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna FlatMapGroupsWithState
    • Penambal keamanan sistem operasi.
  • 25 September 2024
    • [SPARK-49492][CONNECT] Upaya memasang kembali pada ExecutionHolder yang tidak aktif
    • [SPARK-49628][SQL] ConstantFolding harus menyalin ekspresi stateful sebelum mengevaluasi
    • [SPARK-49000][SQL] Perbaiki "select count(distinct 1) from t" di mana t merupakan tabel kosong dengan memperluas RewriteDistinctAggregates
    • [SPARK-49458][CONNECT][PYTHON] Menyediakan session id sisi server melalui ReattachExecute
    • [SPARK-48719][SQL] Perbaiki bug perhitungan RegrSlope & RegrIntercept ketika parameter pertama adalah null
    • Penambal keamanan sistem operasi.
  • 17 September 2024
    • [SPARK-49336][CONNECT] Batasi tingkat sarang saat memotong pesan protobuf
    • [SPARK-49526][CONNECT][15.3.5] Mendukung jalur gaya Windows di ArtifactManager
    • [SPARK-49366][CONNECT] Perlakukan simpul Union sebagai daun dalam resolusi kolom dataframe
    • [SPARK-43242][CORE] Memperbaiki 'Tipe BlockId yang tidak terduga' saat mendiagnosis kerusakan shuffle
    • [SPARK-49409][SAMBUNGKAN] Menyesuaikan default nilai dari CONNECT_SESSION_PLAN_CACHE_SIZE
    • Penambal keamanan sistem operasi.
  • 29 Agustus 2024
    • [SPARK-49263][SAMBUNGKAN] Klien python Spark Connect: Menangani opsi pembaca Dataframe boolean secara konsisten
    • [SPARK-49056][SQL] ErrorClassesJsonReader tidak dapat menangani null dengan benar
    • [SPARK-48862][PYTHON][CONNECT] Hindari memanggil _proto_to_string saat tingkat INFO tidak diaktifkan
    • [SPARK-49146][SS] Memindahkan kesalahan asersi terkait watermark yang hilang dalam kueri streaming mode tambah ke kerangka kesalahan
  • 14 Agustus 2024
    • [SPARK-48941][SPARK-48970] Perbaikan untuk penulisan/pembacaan ML dengan backport
    • [SPARK-48706][PYTHON] Python UDF dalam fungsi tingkat tinggi tidak boleh menghasilkan kesalahan internal
    • [SPARK-48954] try_mod() menggantikan try_remainder()
    • [SPARK-48597][SQL] Memperkenalkan penanda untuk properti isStreaming dalam representasi teks dari rencana logis
    • [SPARK-49065][SQL] Pemutakhiran basis dalam pemformat/pengurai warisan harus mendukung zona waktu default non JVM
    • [SPARK-49047][PYTHON][KONEKSI] Memotong pesan untuk pencatatan log
    • [SPARK-48740][SQL] Menangkap kesalahan spesifikasi jendela yang hilang secara dini
  • 1 Agustus 2024
    • [Perubahan menerobos] Dalam Databricks Runtime 15.3 ke atas, memanggil fungsi Python yang ditentukan pengguna (UDF), fungsi agregat yang ditentukan pengguna (UDAF), atau fungsi tabel yang ditentukan pengguna (UDTF) yang menggunakan jenis VARIANT sebagai argumen atau nilai pengembalian melempar pengecualian. Perubahan ini dilakukan untuk mencegah masalah yang mungkin terjadi karena nilai yang tidak valid yang dikembalikan oleh salah satu fungsi ini. Untuk mempelajari lebih lanjut tentang jenis VARIANT, lihat menggunakan VARIAN untuk menyimpan data semi-terstruktur.
    • Pada komputasi tanpa server untuk notebook dan pekerjaan, mode ANSI SQL diaktifkan secara default. Lihatlah parameter konfigurasi Spark yang didukung .
    • Keluaran dari pernyataan SHOW CREATE TABLE sekarang menyertakan filter baris atau masker kolom yang ditentukan pada tampilan terwujud atau tabel streaming. Lihat SHOW CREATE TABLE. Untuk mempelajari tentang filter baris dan masker kolom, lihat Filter baris dan masker kolom.
    • Pada komputasi yang dikonfigurasi dengan mode akses bersama, pembacaan dan penulisan batch Kafka sekarang memiliki batasan yang sama seperti yang didokumentasikan untuk streaming terstruktur. Lihat Batasan streaming.
    • [SPARK-46957][CORE] Penonaktifan file shuffle yang telah dimigrasikan harus dapat dibersihkan dari eksekutor
    • [SPARK-48648][PYTHON][CONNECT] Buat agar SparkConnectClient.tags benar-benar threadlocal
    • [SPARK-48896][SPARK-48909][SPARK-48883] Perbaikan penulisan Spark ML yang di-backport
    • [SPARK-48713][SQL] Tambahkan cek rentang indeks untuk UnsafeRow.pointTo ketika baseObject berupa array byte.
    • [SPARK-48834][SQL] Nonaktifkan input/output varian ke UDF skalar Python, UDTF, UDAF pada saat kompilasi kueri
    • [SPARK-48934][SS] Jenis tanggal dan waktu Python dikonversi secara salah untuk mengatur batas waktu di applyInPandasWithState
    • [SPARK-48705][PYTHON] Gunakan worker_main secara eksplisit ketika memulai dengan pyspark
    • [SPARK-48544][SQL] Mengurangi tekanan memori TreeNode BitSets kosong
    • [SPARK-48889][SS] testStream untuk membongkar penyimpanan status sebelum selesai
    • [SPARK-49054][SQL] Nilai default kolom harus mendukung fungsi current_*
    • [SPARK-48653][PYTHON] Memperbaiki referensi kelas kesalahan sumber data Python yang tidak valid
    • [SPARK-48463] Membuat StringIndexer yang mendukung kolom input berlapis
    • [SPARK-48810][CONNECT] Sesi stop() API harus bersifat idempoten dan tidak gagal jika sesi sudah ditutup oleh server.
    • [SPARK-48873][SQL] Gunakan UnsafeRow di pengurai JSON.
    • Penambal keamanan sistem operasi.
  • 11 Juli 2024
    • (Perubahan Perilaku) DataFrames yang di-cache terhadap sumber tabel Delta sekarang tidak valid jika tabel sumber ditimpa. Perubahan ini berarti bahwa semua perubahan status pada tabel Delta sekarang membatalkan hasil yang disimpan dalam cache. Gunakan .checkpoint() untuk mempertahankan status tabel sepanjang masa pakai DataFrame.
    • Snowflake JDBC Driver diperbarui ke versi 3.16.1.
    • Rilis ini mencakup perbaikan untuk masalah yang mencegah tab Lingkungan Spark UI ditampilkan dengan benar saat berjalan di Layanan Kontainer Databricks.
    • Untuk mengabaikan partisi yang tidak valid saat membaca data, sumber data berbasis file, seperti Parquet, ORC, CSV, atau JSON, dapat mengatur opsi sumber data ignoreInvalidPartitionPaths ke true. Misalnya: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Anda juga dapat menggunakan konfigurasi SQL spark.sql.files.ignoreInvalidPartitionPaths. Namun, opsi sumber data lebih diutamakan daripada konfigurasi SQL. Pengaturan ini salah secara default.
    • [SPARK-48100][SQL] Memperbaiki masalah dalam melompati bidang struktur berlapis yang tidak dipilih dalam skema
    • [SPARK-47463][SQL] Gunakan V2Predicate untuk membungkus ekspresi dengan jenis pengembalian boolean
    • [SPARK-48292][CORE] Mengembalikan [SPARK-39195][SQL] Spark OutputCommitCoordinator harus membatalkan tahapan ketika file yang dikomitmen tidak sesuai dengan status tugas
    • [SPARK-48475][PYTHON] Optimalkan _get_jvm_function di PySpark.
    • [SPARK-48286] Perbaiki analisis kolom dengan ekspresi default yang ada - Tambahkan kesalahan yang dihadapi pengguna
    • [SPARK-48481][SQL][SS] Jangan terapkan OptimizeOneRowPlan terhadap Himpunan Data streaming
    • Kembalikan "[SPARK-47406][SQL] Menangani TIMESTAMP dan DATETIME di MYSQLDialect"
    • [SPARK-48383][SS] Menampilkan kesalahan yang lebih jelas untuk partisi yang tidak sesuai dalam opsi startOffset di Kafka
    • [SPARK-48503][14.3-15.3][SQL] Memperbaiki subkueri skalar yang tidak valid dengan group-by pada kolom yang tidak setara yang diizinkan secara salah
    • [SPARK-48445][SQL] Jangan menggabungkan UDF dengan komponen-komponen yang memakan banyak sumber daya
    • [SPARK-48252][SQL] Perbarui CommonExpressionRef bila perlu
    • [SPARK-48273][master][SQL] Perbaiki penulisan ulang terlambat dari PlanWithUnresolvedIdentifier
    • [SPARK-48566][PYTHON] Memperbaiki bug di mana indeks partisi salah ketika UDTF analyze() menggunakan select dan partitionColumns
    • [SPARK-48556][SQL] Memperbaiki pesan kesalahan yang salah yang menunjuk ke UNSUPPORTED_GROUPING_EXPRESSION
    • Penambal keamanan sistem operasi.

Databricks Runtime 15.2

Lihat Databricks Runtime 15.2 (EoS).

  • 26 November 2024
    • Penambal keamanan sistem operasi.
  • 5 November 2024
    • [SPARK-49905] Gunakan ShuffleOrigin khusus untuk operator stateful untuk mencegah shuffle dimodifikasi selama AQE
    • [SPARK-48843][15.3,15.2] Mencegah perulangan tak terbatas dengan BindParameters
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-46632][SQL] Memperbaiki eliminasi subekspresi ketika ekspresi terner yang setara memiliki elemen berbeda
    • Penambal keamanan sistem operasi.
  • 22 Oktober 2024
    • [SPARK-49905] Gunakan ShuffleOrigin khusus untuk operator stateful untuk mencegah shuffle dimodifikasi selama AQE
    • [SPARK-48843][15.3,15.2] Mencegah perulangan tak terbatas dengan BindParameters
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-46632][SQL] Memperbaiki eliminasi subekspresi ketika ekspresi terner yang setara memiliki elemen berbeda
    • Penambal keamanan sistem operasi.
  • 10 Oktober 2024
    • [BACKPORT] [SPARK-49474][SS] Mengklasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields
    • [SPARK-49688][SAMBUNGKAN] Memperbaiki balapan data antara interupsi dan rencana eksekusi
    • Penambal keamanan sistem operasi.
  • 25 September 2024
    • [SPARK-49000][SQL] Perbaiki "select count(distinct 1) from t" di mana t merupakan tabel kosong dengan memperluas RewriteDistinctAggregates
    • [SPARK-48719][SQL] Perbaiki bug perhitungan RegrSlope & RegrIntercept saat parameter pertama null
    • [SPARK-49458][CONNECT][PYTHON] Menyediakan session id sisi server melalui ReattachExecute
    • [SPARK-49628][SQL] ConstantFolding harus menyalin ekspresi stateful sebelum mengevaluasi
    • [SPARK-49492][CONNECT] Upaya memasang kembali pada ExecutionHolder yang tidak aktif
    • Penambal keamanan sistem operasi.
  • 17 September 2024
    • [SPARK-49336][CONNECT] Batasi tingkat sarang saat memotong pesan protobuf
    • [SPARK-49526][CONNECT] Mendukung jalur gaya Windows di ArtifactManager
    • [SPARK-49366][CONNECT] Perlakukan simpul Union sebagai daun dalam resolusi kolom dataframe
    • [SPARK-43242][CORE] Memperbaiki 'Tipe BlockId yang tidak terduga' saat mendiagnosis kerusakan shuffle
    • [SPARK-49409][SAMBUNGKAN] Menyesuaikan default nilai dari CONNECT_SESSION_PLAN_CACHE_SIZE
    • Penambal keamanan sistem operasi.
  • 29 Agustus 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader tidak dapat menangani null dengan benar
    • [SPARK-48597][SQL] Memperkenalkan penanda untuk properti isStreaming dalam representasi teks dari rencana logis
    • [SPARK-48862][PYTHON][CONNECT] Hindari memanggil _proto_to_string saat tingkat INFO tidak diaktifkan
    • [SPARK-49263][SAMBUNGKAN] Klien python Spark Connect: Menangani opsi pembaca Dataframe boolean secara konsisten
    • [SPARK-49146][SS] Memindahkan kesalahan asersi terkait watermark yang hilang dalam kueri streaming mode tambah ke kerangka kesalahan
  • 14 Agustus 2024
    • [SPARK-48941][SPARK-48970] Perbaikan untuk penulisan/pembacaan ML dengan backport
    • [SPARK-48050][SS] Catat rencana logis saat kueri dimulai
    • [SPARK-48706][PYTHON] Python UDF dalam fungsi tingkat tinggi tidak boleh menghasilkan kesalahan internal
    • [SPARK-48740][SQL] Menangkap kesalahan spesifikasi jendela yang hilang secara dini
    • [SPARK-49065][SQL] Pemutakhiran basis dalam pemformat/pengurai warisan harus mendukung zona waktu default non JVM
    • [SPARK-49047][PYTHON][KONEKSI] Memotong pesan untuk pencatatan log
  • 1 Agustus 2024
    • Pada komputasi tanpa server untuk notebook dan pekerjaan, mode ANSI SQL diaktifkan secara default. Lihatlah parameter konfigurasi Spark yang didukung .
    • Pada komputasi yang dikonfigurasi dengan mode akses bersama, pembacaan dan penulisan batch Kafka sekarang memiliki batasan yang sama seperti yang didokumentasikan untuk streaming terstruktur. Lihat Batasan streaming.
    • Keluaran dari pernyataan SHOW CREATE TABLE sekarang menyertakan filter baris atau masker kolom yang ditentukan pada tampilan terwujud atau tabel streaming. Lihat SHOW CREATE TABLE. Untuk mempelajari tentang filter baris dan masker kolom, lihat Filter baris dan masker kolom.
    • Pada komputasi yang dikonfigurasi dengan mode akses bersama, pembacaan dan penulisan batch Kafka sekarang memiliki batasan yang sama seperti yang didokumentasikan untuk streaming terstruktur. Lihat Batasan streaming.
    • Keluaran dari pernyataan SHOW CREATE TABLE sekarang menyertakan filter baris atau masker kolom yang ditentukan pada tampilan terwujud atau tabel streaming. Lihat SHOW CREATE TABLE. Untuk mempelajari tentang filter baris dan masker kolom, lihat Filter baris dan masker kolom.
    • [SPARK-48705][PYTHON] Gunakan worker_main secara eksplisit ketika memulai dengan pyspark
    • [SPARK-48047][SQL] Mengurangi tekanan memori tag TreeNode kosong
    • [SPARK-48810][CONNECT] Sesi stop() API harus bersifat idempoten dan tidak gagal jika sesi sudah ditutup oleh server.
    • [SPARK-48873][SQL] Gunakan UnsafeRow di pengurai JSON.
    • [SPARK-46957][CORE] Penonaktifan file shuffle yang telah dimigrasikan harus dapat dibersihkan dari eksekutor
    • [SPARK-48889][SS] testStream untuk membongkar penyimpanan status sebelum selesai
    • [SPARK-48713][SQL] Tambahkan cek rentang indeks untuk UnsafeRow.pointTo ketika baseObject berupa array byte.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Perbaikan penulisan Spark ML yang di-backport
    • [SPARK-48544][SQL] Mengurangi tekanan memori TreeNode BitSets kosong
    • [SPARK-48934][SS] Jenis tanggal dan waktu Python dikonversi secara salah untuk mengatur batas waktu di applyInPandasWithState
    • [SPARK-48463] Membuat StringIndexer yang mendukung kolom input berlapis
    • Penambal keamanan sistem operasi.
  • 11 Juli 2024
    • (Perubahan Perilaku) DataFrames yang di-cache terhadap sumber tabel Delta sekarang tidak valid jika tabel sumber ditimpa. Perubahan ini berarti bahwa semua perubahan status pada tabel Delta sekarang membatalkan hasil yang disimpan dalam cache. Gunakan .checkpoint() untuk mempertahankan status tabel sepanjang masa pakai DataFrame.
    • Snowflake JDBC Driver diperbarui ke versi 3.16.1.
    • Rilis ini mencakup perbaikan untuk masalah yang mencegah tab Lingkungan Spark UI ditampilkan dengan benar saat berjalan di Layanan Kontainer Databricks.
    • Pada notebook dan pekerjaan tanpa server, mode ANSI SQL akan diaktifkan secara default dan mendukung nama pendek
    • Untuk mengabaikan partisi yang tidak valid saat membaca data, sumber data berbasis file, seperti Parquet, ORC, CSV, atau JSON, dapat mengatur opsi sumber data ignoreInvalidPartitionPaths ke true. Misalnya: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Anda juga dapat menggunakan konfigurasi SQL spark.sql.files.ignoreInvalidPartitionPaths. Namun, opsi sumber data lebih diutamakan daripada konfigurasi SQL. Pengaturan ini salah secara default.
    • [SPARK-48273][SQL] Memperbaiki penulisan ulang planWithUnresolvedIdentifier yang terlambat
    • [SPARK-48292][CORE] Mengembalikan [SPARK-39195][SQL] Spark OutputCommitCoordinator harus membatalkan tahapan ketika file yang dikomitmen tidak sesuai dengan status tugas
    • [SPARK-48100][SQL] Memperbaiki masalah dalam melompati bidang struktur berlapis yang tidak dipilih dalam skema
    • [SPARK-48286] Perbaiki analisis kolom dengan ekspresi default yang ada - Tambahkan kesalahan yang dihadapi pengguna
    • [SPARK-48294][SQL] Menangani huruf kecil dalam nestedTypeMissingElementTypeError
    • [SPARK-48556][SQL] Memperbaiki pesan kesalahan yang salah yang menunjuk ke UNSUPPORTED_GROUPING_EXPRESSION
    • [SPARK-48648][PYTHON][CONNECT] Buat agar SparkConnectClient.tags benar-benar threadlocal
    • [SPARK-48503][SQL] Memperbaiki subkueri skalar tidak valid dengan group-by pada kolom yang tidak setara yang diizinkan secara keliru
    • [SPARK-48252][SQL] Perbarui CommonExpressionRef bila perlu
    • [SPARK-48475][PYTHON] Optimalkan _get_jvm_function di PySpark.
    • [SPARK-48566][PYTHON] Memperbaiki bug di mana indeks partisi salah ketika UDTF analyze() menggunakan select dan partitionColumns
    • [SPARK-48481][SQL][SS] Jangan terapkan OptimizeOneRowPlan terhadap Himpunan Data streaming
    • [SPARK-47463][SQL] Gunakan V2Predicate untuk membungkus ekspresi dengan jenis pengembalian boolean
    • [SPARK-48383][SS] Menampilkan kesalahan yang lebih jelas untuk partisi yang tidak sesuai dalam opsi startOffset di Kafka
    • [SPARK-48445][SQL] Jangan menggabungkan UDF dengan komponen-komponen yang memakan banyak sumber daya
    • Penambal keamanan sistem operasi.
  • 17 Juni 2024
    • applyInPandasWithState() tersedia di kluster bersama.
    • Memperbaiki bug di mana pengoptimalan jendela peringkat menggunakan Photon TopK salah menangani partisi dengan struktur.
    • Memperbaiki bug dalam fungsi try_divide() di mana input yang berisi desimal menghasilkan pengecualian yang tidak terduga.
    • [SPARK-48197][SQL] Hindari kesalahan pernyataan untuk fungsi lambda yang tidak valid
    • [SPARK-48276][Python][CONNECT] Tambahkan metode yang hilang __repr__ untuk SQLExpression
    • [SPARK-48014][SQL] Mengubah kesalahan makeFromJava di EvaluatePython menjadi kesalahan yang dihadapi pengguna
    • [SPARK-48016][SQL] Memperbaiki bug dalam fungsi try_divide saat dengan desimal
    • [SPARK-47986][SAMBUNGKAN][PyTHON] Tidak dapat membuat sesi baru ketika sesi default ditutup oleh server
    • [SPARK-48173][SQL] CheckAnalysis akan melihat seluruh rencana kueri
    • [SPARK-48056][SAMBUNGKAN][PYTHON] Jalankan kembali rencana pemrosesan jika terjadi kesalahan SESSION_NOT_FOUND dan respons parsial tidak diterima.
    • [SPARK-48172][SQL] Memperbaiki masalah penyalinan di backport JDBCDialects ke versi 15.2
    • [SPARK-48105][SS] Memperbaiki kondisi pacu antara pelepasan penyimpanan status dan pemotretan
    • [SPARK-48288] Menambahkan jenis data sumber untuk ekspresi konversi konektor
    • [SPARK-48310][PYTHON][CONNECT] Properti yang disimpan dalam cache harus mengembalikan salinan
    • [SPARK-48277] Meningkatkan pesan kesalahan untuk ErrorClassesJsonReader.getErrorMessage
    • [SPARK-47986][SAMBUNGKAN][PyTHON] Tidak dapat membuat sesi baru ketika sesi default ditutup oleh server
    • Kembalikan "[SPARK-47406][SQL] Menangani TIMESTAMP dan DATETIME di MYSQLDialect"
    • [SPARK-47994][SQL] Perbaiki bug dengan penurunan filter kolom CASE WHEN di SQL Server
    • [SPARK-47764][CORE][SQL] Membersihkan dependensi shuffle berdasarkan ShuffleCleanupMode
    • [SPARK-47921][CONNECT] Perbaiki pembuatan ExecuteJobTag di ExecuteHolder
    • [SPARK-48010][SQL] Hindari panggilan berulang ke conf.resolver di resolveExpression
    • [SPARK-48146][SQL] Memperbaiki fungsi agregat dalam ekspresi With pada penegasan elemen anak
    • [SPARK-48180][SQL] Memperbaiki kesalahan ketika panggilan UDTF dengan argumen TABLE melupakan tanda kurung di sekitar beberapa ekspresi PARTITION/ORDER BY
    • Penambal keamanan sistem operasi.

Databricks Runtime Versi 15.1

Lihat Databricks Runtime 15.1 (EoS).

  • 22 Oktober 2024
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [SPARK-46632][SQL] Memperbaiki eliminasi subekspresi ketika ekspresi terner yang setara memiliki elemen berbeda
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-49905] Gunakan ShuffleOrigin khusus untuk operator stateful untuk mencegah shuffle dimodifikasi selama AQE
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • Penambal keamanan sistem operasi.
  • 10 Oktober 2024
    • [SPARK-49688][SAMBUNGKAN] Memperbaiki balapan data antara interupsi dan rencana eksekusi
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields
    • [BACKPORT] [SPARK-49474][SS] Mengklasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna FlatMapGroupsWithState
    • Penambal keamanan sistem operasi.
  • 25 September 2024
    • [SPARK-49628][SQL] ConstantFolding harus menyalin ekspresi stateful sebelum mengevaluasi
    • [SPARK-48719][SQL] Perbaiki bug perhitungan RegrSlope & RegrIntercept saat parameter pertama null
    • [SPARK-49492][CONNECT] Upaya memasang kembali pada ExecutionHolder yang tidak aktif
    • [SPARK-49000][SQL] Perbaiki "select count(distinct 1) from t" di mana t merupakan tabel kosong dengan memperluas RewriteDistinctAggregates
    • [SPARK-49458][CONNECT][PYTHON] Menyediakan session id sisi server melalui ReattachExecute
    • Penambal keamanan sistem operasi.
  • 17 September 2024
    • [SPARK-49336][CONNECT] Batasi tingkat sarang saat memotong pesan protobuf
    • [SPARK-49526][CONNECT] Mendukung jalur gaya Windows di ArtifactManager
    • [SPARK-49409][SAMBUNGKAN] Menyesuaikan default nilai dari CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-43242][CORE] Memperbaiki 'Tipe BlockId yang tidak terduga' saat mendiagnosis kerusakan shuffle
    • [SPARK-49366][CONNECT] Perlakukan simpul Union sebagai daun dalam resolusi kolom dataframe
  • 29 Agustus 2024
    • [SPARK-49263][SAMBUNGKAN] Klien python Spark Connect: Menangani opsi pembaca Dataframe boolean secara konsisten
    • [SPARK-49056][SQL] ErrorClassesJsonReader tidak dapat menangani null dengan benar
    • [SPARK-48862][PYTHON][CONNECT] Hindari memanggil _proto_to_string saat tingkat INFO tidak diaktifkan
    • [SPARK-49146][SS] Memindahkan kesalahan asersi terkait watermark yang hilang dalam kueri streaming mode tambah ke kerangka kesalahan
  • 14 Agustus 2024
    • [SPARK-48941][SPARK-48970] Perbaikan untuk penulisan/pembacaan ML dengan backport
    • [SPARK-48050][SS] Catat rencana logis saat kueri dimulai
    • [SPARK-48706][PYTHON] Python UDF dalam fungsi tingkat tinggi tidak boleh menghasilkan kesalahan internal
    • [SPARK-48597][SQL] Memperkenalkan penanda untuk properti isStreaming dalam representasi teks dari rencana logis
    • [SPARK-49065][SQL] Pemutakhiran basis dalam pemformat/pengurai warisan harus mendukung zona waktu default non JVM
    • [SPARK-49047][PYTHON][KONEKSI] Memotong pesan untuk pencatatan log
    • [SPARK-48740][SQL] Menangkap kesalahan spesifikasi jendela yang hilang secara dini
  • 1 Agustus 2024
    • Pada komputasi tanpa server untuk notebook dan pekerjaan, mode ANSI SQL diaktifkan secara default. Lihatlah parameter konfigurasi Spark yang didukung .
    • Pada komputasi yang dikonfigurasi dengan mode akses bersama, pembacaan dan penulisan batch Kafka sekarang memiliki batasan yang sama seperti yang didokumentasikan untuk streaming terstruktur. Lihat Batasan streaming.
    • Keluaran dari pernyataan SHOW CREATE TABLE sekarang menyertakan filter baris atau masker kolom yang ditentukan pada tampilan terwujud atau tabel streaming. Lihat SHOW CREATE TABLE. Untuk mempelajari tentang filter baris dan masker kolom, lihat Filter baris dan masker kolom.
    • Pada komputasi yang dikonfigurasi dengan mode akses bersama, pembacaan dan penulisan batch Kafka sekarang memiliki batasan yang sama seperti yang didokumentasikan untuk streaming terstruktur. Lihat Batasan streaming.
    • Keluaran dari pernyataan SHOW CREATE TABLE sekarang menyertakan filter baris atau masker kolom yang ditentukan pada tampilan terwujud atau tabel streaming. Lihat SHOW CREATE TABLE. Untuk mempelajari tentang filter baris dan masker kolom, lihat Filter baris dan masker kolom.
    • [SPARK-48544][SQL] Mengurangi tekanan memori TreeNode BitSets kosong
    • [SPARK-46957][CORE] Penonaktifan file shuffle yang telah dimigrasikan harus dapat dibersihkan dari eksekutor
    • [SPARK-47202][PYTHON] Memperbaiki kesalahan ketik yang mengganggu tanggal dan waktu dengan tzinfo
    • [SPARK-48713][SQL] Tambahkan cek rentang indeks untuk UnsafeRow.pointTo ketika baseObject berupa array byte.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Perbaikan penulisan Spark ML yang di-backport
    • [SPARK-48810][CONNECT] Sesi stop() API harus bersifat idempoten dan tidak gagal jika sesi sudah ditutup oleh server.
    • [SPARK-48873][SQL] Gunakan UnsafeRow di pengurai JSON.
    • [SPARK-48934][SS] Jenis tanggal dan waktu Python dikonversi secara salah untuk mengatur batas waktu di applyInPandasWithState
    • [SPARK-48705][PYTHON] Gunakan worker_main secara eksplisit ketika memulai dengan pyspark
    • [SPARK-48889][SS] testStream untuk membongkar penyimpanan status sebelum selesai
    • [SPARK-48047][SQL] Mengurangi tekanan memori tag TreeNode kosong
    • [SPARK-48463] Membuat StringIndexer yang mendukung kolom input berlapis
    • Penambal keamanan sistem operasi.
  • 11 Juli 2024
    • (Perubahan Perilaku) DataFrames yang di-cache terhadap sumber tabel Delta sekarang tidak valid jika tabel sumber ditimpa. Perubahan ini berarti bahwa semua perubahan status pada tabel Delta sekarang membatalkan hasil yang disimpan dalam cache. Gunakan .checkpoint() untuk mempertahankan status tabel sepanjang masa pakai DataFrame.
    • Snowflake JDBC Driver diperbarui ke versi 3.16.1.
    • Rilis ini mencakup perbaikan untuk masalah yang mencegah tab Lingkungan Spark UI ditampilkan dengan benar saat berjalan di Layanan Kontainer Databricks.
    • Pada komputasi tanpa server untuk notebook dan pekerjaan, mode ANSI SQL diaktifkan secara default. Lihatlah parameter konfigurasi Spark yang didukung .
    • Untuk mengabaikan partisi yang tidak valid saat membaca data, sumber data berbasis file, seperti Parquet, ORC, CSV, atau JSON, dapat mengatur opsi sumber data ignoreInvalidPartitionPaths ke true. Misalnya: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Anda juga dapat menggunakan konfigurasi SQL spark.sql.files.ignoreInvalidPartitionPaths. Namun, opsi sumber data lebih diutamakan daripada konfigurasi SQL. Pengaturan ini salah secara default.
    • [SPARK-48383][SS] Menampilkan kesalahan yang lebih jelas untuk partisi yang tidak sesuai dalam opsi startOffset di Kafka
    • [SPARK-48481][SQL][SS] Jangan terapkan OptimizeOneRowPlan terhadap Himpunan Data streaming
    • [SPARK-48100][SQL] Memperbaiki masalah dalam melompati bidang struktur berlapis yang tidak dipilih dalam skema
    • [SPARK-47463][SQL] Gunakan V2Predicate untuk membungkus ekspresi dengan jenis pengembalian boolean
    • [SPARK-48445][SQL] Jangan menggabungkan UDF dengan komponen-komponen yang memakan banyak sumber daya
    • [SPARK-48292][CORE] Mengembalikan [SPARK-39195][SQL] Spark OutputCommitCoordinator harus membatalkan tahapan ketika file yang dikomitmen tidak sesuai dengan status tugas
    • [SPARK-48566][PYTHON] Memperbaiki bug di mana indeks partisi salah ketika UDTF analyze() menggunakan select dan partitionColumns
    • [SPARK-48648][PYTHON][CONNECT] Buat agar SparkConnectClient.tags benar-benar threadlocal
    • [SPARK-48503][SQL] Memperbaiki subkueri skalar tidak valid dengan group-by pada kolom yang tidak setara yang diizinkan secara keliru
    • [SPARK-48252][SQL] Perbarui CommonExpressionRef bila perlu
    • [SPARK-48475][PYTHON] Optimalkan _get_jvm_function di PySpark.
    • [SPARK-48294][SQL] Menangani huruf kecil dalam nestedTypeMissingElementTypeError
    • [SPARK-48286] Perbaiki analisis kolom dengan ekspresi default yang ada - Tambahkan kesalahan yang dihadapi pengguna
    • [SPARK-47309][SQL] XML: Menambahkan pengujian inferensi skema untuk tag nilai
    • [SPARK-47309][SQL][XML] Penambahan pengujian unit inferensi skema
    • [SPARK-48273][SQL] Memperbaiki penulisan ulang planWithUnresolvedIdentifier yang terlambat
    • Penambal keamanan sistem operasi.
  • 17 Juni 2024
    • applyInPandasWithState() tersedia di kluster bersama.
    • Memperbaiki bug di mana pengoptimalan jendela peringkat menggunakan Photon TopK salah menangani partisi dengan struktur.
    • [SPARK-48310][PYTHON][CONNECT] Properti yang disimpan dalam cache harus mengembalikan salinan
    • [SPARK-48276][Python][CONNECT] Tambahkan metode yang hilang __repr__ untuk SQLExpression
    • [SPARK-48277] Meningkatkan pesan kesalahan untuk ErrorClassesJsonReader.getErrorMessage
    • [SPARK-47764][CORE][SQL] Membersihkan dependensi shuffle berdasarkan ShuffleCleanupMode
    • Penambal keamanan sistem operasi.
  • Mei 21, 2024
    • Memperbaiki bug dalam fungsi try_divide() di mana input yang berisi desimal menghasilkan pengecualian yang tidak terduga.
    • [SPARK-48173][SQL] CheckAnalysis akan melihat seluruh rencana kueri
    • [SPARK-48016][SQL] Memperbaiki bug dalam fungsi try_divide saat dengan desimal
    • [SPARK-48105][SS] Memperbaiki kondisi pacu antara pelepasan penyimpanan status dan pemotretan
    • [SPARK-48197][SQL] Hindari kesalahan pernyataan untuk fungsi lambda yang tidak valid
    • [SPARK-48180][SQL] Memperbaiki kesalahan ketika panggilan UDTF dengan argumen TABLE melupakan tanda kurung di sekitar beberapa ekspresi PARTITION/ORDER BY
    • [SPARK-48014][SQL] Mengubah kesalahan makeFromJava di EvaluatePython menjadi kesalahan yang dihadapi pengguna
    • [SPARK-48056][SAMBUNGKAN][PYTHON] Jalankan kembali rencana pemrosesan jika terjadi kesalahan SESSION_NOT_FOUND dan respons parsial tidak diterima.
    • [SPARK-48146][SQL] Memperbaiki fungsi agregat dalam ekspresi With pada penegasan elemen anak
    • [SPARK-47994][SQL] Perbaiki bug dengan penurunan filter kolom CASE WHEN di SQL Server
    • Penambal keamanan sistem operasi.
  • Mei 9, 2024
    • [SPARK-47543][CONNECT][Python] Menyimpulkan dict sebagai MapType dari Pandas DataFrame untuk memungkinkan pembuatan DataFrame
    • [SPARK-47739][SQL] Mendaftarkan jenis avro logis
    • [SPARK-48044][PYTHON][KONEKSI] Cache DataFrame.isStreaming
    • [SPARK-47855][CONNECT] Tambahkan spark.sql.execution.arrow.pyspark.fallback.enabled dalam daftar yang tidak didukung
    • [SPARK-48010][SQL] Hindari panggilan berulang ke conf.resolver di resolveExpression
    • [SPARK-47941] [SS] [Connect] Menyampaikan kesalahan inisialisasi pekerja ForeachBatch kepada pengguna untuk PySpark
    • [SPARK-47819][CONNECT][Cherry-pick-15.0] Gunakan callback asinkron untuk pembersihan eksekusi
    • [SPARK-47956][SQL] Pemeriksaan kewarasan untuk referensi LCA yang belum terselesaikan
    • [SPARK-47839][SQL] Memperbaiki bug agregat di RewriteWithExpression
    • [SPARK-48018][SS] Memperbaiki ID grup null yang menyebabkan kesalahan parameter yang hilang saat menghasilkan KafkaException.couldNotReadOffsetRange
    • [SPARK-47371] [SQL] XML: Mengabaikan tag baris yang ditemukan di CDATA
    • [SPARK-47907][SQL] Letakkan "bang" di bawah pengaturan konfigurasi
    • [SPARK-47895][SQL] grup menurut semua harus idempoten
    • [SPARK-47973][CORE] Mencatat lokasi panggilan di SparkContext.stop() dan kemudian di SparkContext.assertNotStopped()
    • [SPARK-47986][SAMBUNGKAN][PyTHON] Tidak dapat membuat sesi baru ketika sesi default ditutup oleh server
    • Penambal keamanan sistem operasi.

Databricks Runtime 15.0

Lihat Databricks Runtime 15.0 (EoS).

  • 30 Mei 2024
  • 25 April 2024
    • [SPARK-47786]SELECT DISTINCT () tidak boleh menjadi struct DISTINCT SELECT () (kembali ke perilaku sebelumnya)
    • [SPARK-47802][SQL] Kembalikan () dari makna struct() kembali ke makna *
    • [SPARK-47509][SQL] Memblokir ekspresi subkueri dalam fungsi lambda dan urutan yang lebih tinggi
    • [SPARK-47722] Tunggu hingga pekerjaan latar belakang RocksDB selesai sebelum menutup
    • [SPARK-47081][SAMBUNGKAN][IKUTI] Meningkatkan kegunaan Pengelola Kemajuan
    • [SPARK-47694][CONNECT] Membuat ukuran pesan maksimum dapat dikonfigurasi pada pihak klien
    • [SPARK-47669][SQL][SAMBUNGKAN][PyTHON] Tambah Column.try_cast
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-15.0] Validasi nama kolom dengan skema cache
    • [SPARK-47818][SAMBUNGKAN][Cherry-pick-15.0] Memperkenalkan cache rencana di SparkConnectPlanner untuk meningkatkan performa permintaan analisis
    • [SPARK-47704][SQL] Penguraian JSON gagal dengan "java.lang.ClassCastException" saat spark.sql.json.enablePartialResults diaktifkan
    • [SPARK-47755][CONNECT] Pivot harus gagal ketika jumlah nilai yang berbeda terlalu besar
    • [SPARK-47713][SQL][CONNECT] Memperbaiki kegagalan self-join
    • [SPARK-47812][KONEKSI] Mendukung Serialisasi SparkSession untuk pekerja ForEachBatch
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite gagal dengan perencanaan yang tidak valid
    • [SPARK-47862][PYTHON][CONNECT] Memperbaiki pembuatan file proto
    • [SPARK-47800][SQL] Buat metode baru untuk mengubah pengidentifikasi menjadi tableIdentifier
    • Penambal keamanan sistem operasi.
  • 3 April 2024
    • (Perubahan Perilaku) Untuk memastikan perilaku yang konsisten di seluruh jenis komputasi, UDF PySpark pada kluster bersama sekarang mencocokkan perilaku UDF pada kluster tanpa isolasi dan kluster yang ditetapkan. Pembaruan ini mencakup perubahan berikut yang mungkin merusak kode yang ada:
      • UDF dengan jenis pengembalian string tidak lagi secara implisit mengonversi nilai non-string menjadi nilai string. Sebelumnya, UDF dengan tipe pengembalian str akan membungkus nilai pengembalian dengan fungsi str() terlepas dari jenis data aktual dari nilai yang dikembalikan.
      • UDF dengan timestamp jenis pengembalian tidak lagi secara implisit menerapkan konversi ke timestamp dengan timezone.
      • Konfigurasi spark.databricks.sql.externalUDF.* kluster Spark tidak lagi berlaku untuk UDF PySpark pada kluster bersama.
      • Konfigurasi spark.databricks.safespark.externalUDF.plan.limit kluster Spark tidak lagi memengaruhi UDF PySpark, menghapus batasan 5 UDF per kueri pada versi Pratinjau Publik untuk UDF PySpark.
      • Konfigurasi spark.databricks.safespark.sandbox.size.default.mib kluster Spark tidak lagi berlaku untuk UDF PySpark pada kluster bersama. Sebagai gantinya, memori yang tersedia pada sistem digunakan. Untuk membatasi memori UDF PySpark, gunakan spark.databricks.pyspark.udf.isolation.memoryLimit dengan nilai minimum 100m.
    • Jenis data TimestampNTZ kini didukung sebagai kolom pengelompokan dengan penggunaan teknologi clustering cair. Lihat Menggunakan pengklusteran cair untuk tabel.
    • [SPARK-47218][SQL] XML: Abaikan tag baris yang dikomentari di tokenizer XML
    • [SPARK-46990][SQL] Memperbaiki pemuatan file Avro kosong yang dihasilkan oleh Event Hubs
    • [SPARK-47033][SQL] Perbaikan EXECUTE IMMEDIATE USING tidak mengenali nama variabel sesi
    • [SPARK-47368][SQL] Hapus pengecekan konfigurasi inferTimestampNTZ di ParquetRowConverter
    • [SPARK-47561][SQL] Memperbaiki masalah urutan aturan penganalisis terkait Alias
    • [SPARK-47638][PS][CONNECT] Lewati validasi nama kolom di PS
    • [SPARK-46906][BACKPORT][SS] Menambahkan pemeriksaan perubahan operator yang bersifat stateful untuk streaming
    • [SPARK-47569][SQL] Larang membandingkan varian.
    • [SPARK-47241][SQL] Memperbaiki masalah urutan aturan untuk ExtractGenerator
    • [SPARK-47218] [SQL] XML: Mengubah SchemaOfXml agar gagal ketika menggunakan mode DROPMALFORMED
    • [SPARK-47300][SQL] quoteIfNeeded harus mengutip pengidentifikasi yang dimulai dengan angka
    • [SPARK-47009][SQL][Collation] Aktifkan dukungan buat tabel untuk kolase
    • [SPARK-47322][PYTHON][CONNECT] Membuat nama kolom withColumnsRenamed penanganan duplikasi yang konsisten dengan withColumnRenamed
    • [SPARK-47544][PyTHON] Metode penyusun SparkSession tidak kompatibel dengan intellisense kode studio visual
    • [SPARK-47511][SQL] Mengkanonisasi ekspresi dengan menetapkan ulang ID
    • [SPARK-47385] Perbaiki encoder tuple dengan input opsional.
    • [SPARK-47200][SS] Kategori kesalahan untuk kesalahan fungsi pengguna pada sink batch Foreach
    • [SPARK-47135][SS] Menerapkan kelas kesalahan untuk pengecualian kehilangan data Kafka
    • [SPARK-38708][SQL] Tingkatkan Apache Hive Metastore Client ke 3.1.3 untuk Apache Hive 3.1
    • [SPARK-47305][SQL] Perbaiki PruneFilters untuk menandai flag isStreaming dari LocalRelation dengan benar ketika rencana tersebut memiliki batch dan streaming
    • [SPARK-47380][KONEKSI] Pastikan di sisi server bahwa SparkSession itu sama
    • Penambal keamanan sistem operasi.

Databricks Runtime 14.2

Lihat Databricks Runtime 14.2 (EoS).

  • 22 Oktober 2024
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-49905] Gunakan ShuffleOrigin khusus untuk operator stateful untuk mencegah shuffle dimodifikasi selama AQE
    • Penambal keamanan sistem operasi.
  • 10 Oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields
    • [BACKPORT] [SPARK-49474][SS] Mengklasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna FlatMapGroupsWithState
  • 25 September 2024
    • [SPARK-48719][SQL] Perbaiki bug perhitungan `RegrS...
    • [SPARK-49628][SQL] ConstantFolding harus menyalin ekspresi stateful sebelum mengevaluasi
    • [SPARK-49000][SQL] Perbaiki "select count(distinct 1) from t" di mana t merupakan tabel kosong dengan memperluas RewriteDistinctAggregates
    • [SPARK-43242][CORE] Memperbaiki 'Tipe BlockId yang tidak terduga' saat mendiagnosis kerusakan shuffle
    • [SPARK-46601] [CORE] Memperbaiki kesalahan log dalam handleStatusMessage
    • Penambal keamanan sistem operasi.
  • 17 September 2024
    • [SPARK-49526][CONNECT] Mendukung jalur gaya Windows di ArtifactManager
  • 29 Agustus 2024
    • [SPARK-49263][SAMBUNGKAN] Klien python Spark Connect: Menangani opsi pembaca Dataframe boolean secara konsisten
    • [SPARK-49146][SS] Memindahkan kesalahan asersi terkait watermark yang hilang dalam kueri streaming mode tambah ke kerangka kesalahan
    • [SPARK-49056][SQL] ErrorClassesJsonReader tidak dapat menangani null dengan benar
  • 14 Agustus 2024
    • [SPARK-48050][SS] Catat rencana logis saat kueri dimulai
    • [SPARK-48597][SQL] Memperkenalkan penanda untuk properti isStreaming dalam representasi teks dari rencana logis
    • [SPARK-49065][SQL] Pemutakhiran basis dalam pemformat/pengurai warisan harus mendukung zona waktu default non JVM
    • [SPARK-48706][PYTHON] Python UDF dalam fungsi tingkat tinggi tidak boleh menghasilkan kesalahan internal
  • 1 Agustus 2024
    • Rilis ini mencakup perbaikan bug untuk kelas ColumnVector dan ColumnarArray di antarmuka Java Spark. Sebelum perbaikan ini, sebuah ArrayIndexOutOfBoundsException mungkin terlempar atau data yang salah dikembalikan saat sebuah instance dari salah satu kelas ini mengandung nilai null.
    • Keluaran dari pernyataan SHOW CREATE TABLE sekarang menyertakan filter baris atau masker kolom yang ditentukan pada tampilan terwujud atau tabel streaming. Lihat SHOW CREATE TABLE. Untuk mempelajari tentang filter baris dan masker kolom, lihat Filter baris dan masker kolom.
    • [SPARK-47202][PYTHON] Memperbaiki kesalahan ketik yang mengganggu tanggal dan waktu dengan tzinfo
    • [SPARK-48705][PYTHON] Gunakan worker_main secara eksplisit ketika memulai dengan pyspark
    • Penambal keamanan sistem operasi.
  • 11 Juli 2024
    • (Perubahan Perilaku) DataFrames yang di-cache terhadap sumber tabel Delta sekarang tidak valid jika tabel sumber ditimpa. Perubahan ini berarti bahwa semua perubahan status pada tabel Delta sekarang membatalkan hasil yang disimpan dalam cache. Gunakan .checkpoint() untuk mempertahankan status tabel sepanjang masa pakai DataFrame.
    • Driver Snowflake JDBC diperbarui ke versi 3.16.1
    • Rilis ini mencakup perbaikan untuk masalah yang mencegah tab Lingkungan Spark UI ditampilkan dengan benar saat berjalan di Layanan Kontainer Databricks.
    • [SPARK-48292][CORE] Mengembalikan [SPARK-39195][SQL] Spark OutputCommitCoordinator harus membatalkan tahapan ketika file yang dikomitmen tidak sesuai dengan status tugas
    • [SPARK-48273][SQL] Memperbaiki penulisan ulang planWithUnresolvedIdentifier yang terlambat
    • [SPARK-48503][SQL] Memperbaiki subkueri skalar tidak valid dengan group-by pada kolom yang tidak setara yang diizinkan secara keliru
    • [SPARK-48481][SQL][SS] Jangan terapkan OptimizeOneRowPlan terhadap Himpunan Data streaming
    • [SPARK-48475][PYTHON] Optimalkan _get_jvm_function di PySpark.
    • [SPARK-48100][SQL] Memperbaiki masalah dalam melompati bidang struktur berlapis yang tidak dipilih dalam skema
    • [SPARK-48445][SQL] Jangan menggabungkan UDF dengan komponen-komponen yang memakan banyak sumber daya
    • [SPARK-48383][SS] Menampilkan kesalahan yang lebih jelas untuk partisi yang tidak sesuai dalam opsi startOffset di Kafka
    • Penambal keamanan sistem operasi.
  • 17 Juni 2024
    • Memperbaiki bug di mana pengoptimalan jendela peringkat menggunakan Photon TopK salah menangani partisi dengan struktur.
    • [SPARK-48276][Python][CONNECT] Tambahkan metode yang hilang __repr__ untuk SQLExpression
    • [SPARK-48277] Meningkatkan pesan kesalahan untuk ErrorClassesJsonReader.getErrorMessage
    • Penambal keamanan sistem operasi.
  • Mei 21, 2024
  • Mei 9, 2024
    • [SPARK-48044][PYTHON][KONEKSI] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Pemeriksaan kewarasan untuk referensi LCA yang belum terselesaikan
    • [SPARK-47371] [SQL] XML: Mengabaikan tag baris yang ditemukan di CDATA
    • [SPARK-47812][KONEKSI] Mendukung Serialisasi SparkSession untuk pekerja ForEachBatch
    • [SPARK-47895][SQL] grup menurut semua harus idempoten
    • [SPARK-47973][CORE] Mencatat lokasi panggilan di SparkContext.stop() dan kemudian di SparkContext.assertNotStopped()
    • Penambal keamanan sistem operasi.
  • 25 April 2024
    • [SPARK-47704][SQL] Penguraian JSON gagal dengan "java.lang.ClassCastException" saat spark.sql.json.enablePartialResults diaktifkan
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite gagal dengan perencanaan yang tidak valid
    • Penambal keamanan sistem operasi.
  • 11 April 2024
    • [SPARK-47309][SQL][XML] Penambahan pengujian unit inferensi skema
    • [SPARK-46990][SQL] Memperbaiki pemuatan file Avro kosong yang dihasilkan oleh Event Hubs
    • [SPARK-47638][PS][CONNECT] Lewati validasi nama kolom di PS
    • [SPARK-47509][SQL] Memblokir ekspresi subkueri dalam fungsi lambda dan urutan yang lebih tinggi
    • [SPARK-38708][SQL] Tingkatkan Apache Hive Metastore Client ke 3.1.3 untuk Apache Hive 3.1
    • Penambal keamanan sistem operasi.
  • 1 April tahun 2024
    • [SPARK-47322][PYTHON][CONNECT] Membuat nama kolom withColumnsRenamed penanganan duplikasi yang konsisten dengan withColumnRenamed
    • [SPARK-47385] Perbaiki encoder tuple dengan input opsional.
    • [SPARK-47070] Memperbaiki agregasi yang tidak valid setelah penulisan ulang subkueri
    • [SPARK-47218] [SQL] XML: Mengubah SchemaOfXml agar gagal ketika menggunakan mode DROPMALFORMED
    • [SPARK-47305][SQL] Perbaiki PruneFilters untuk menandai flag isStreaming dari LocalRelation dengan benar ketika rencana tersebut memiliki batch dan streaming
    • [SPARK-47218][SQL] XML: Abaikan tag baris yang dikomentari di tokenizer XML
    • Batalkan "[SPARK-46861][CORE] Hindari Deadlock di DAGScheduler"
    • [SPARK-47300][SQL] quoteIfNeeded harus mengutip pengidentifikasi yang dimulai dengan angka
    • [SPARK-47368][SQL] Hapus pengecekan konfigurasi inferTimestampNTZ di ParquetRowConverter
    • Penambal keamanan sistem operasi.
  • 14 Maret 2024
    • [SPARK-47035][SS][CONNECT] Protokol untuk Pendengar di Sisi Klien
    • [SPARK-47121][CORE] Hindari RejectedExecutionExceptions selama penutupan StandaloneSchedulerBackend
    • [SPARK-47145][SQL] Lampirkan pengenal tabel ke eksekusi pemindaian sumber data baris untuk strategi V2.
    • [SPARK-47176][SQL] Memiliki fungsi pembantu ResolveAllExpressionsUpWithPruning
    • [SPARK-47167][SQL] Menambahkan kelas konkret untuk hubungan anonim JDBC
    • [SPARK-47129][SAMBUNGKAN][SQL] Buat ResolveRelations rencana caching koneksi dengan benar
    • [SPARK-47044][SQL] Tambahkan kueri yang dijalankan untuk sumber data eksternal JDBC untuk menjelaskan output
    • Penambal keamanan sistem operasi.
  • 29 Februari 2024
    • Memperbaiki masalah saat menggunakan koleksi lokal sebagai sumber dalam perintah MERGE dapat mengakibatkan metrik operasi numSourceRows melaporkan jumlah baris yang benar dua kali lipat.
    • Membuat skema dengan lokasi yang ditentukan sekarang mengharuskan pengguna untuk memiliki hak istimewa SELECT dan hak istimewa untuk MEMODIFIKASI pada file apa pun.
    • Anda sekarang dapat menyerap file XML menggunakan Auto Loader, read_files, , COPY INTOLakeflow Spark Declarative Pipelines, dan Databricks SQL. Dukungan file XML dapat secara otomatis menyimpulkan dan mengembangkan skema, menyelamatkan data dengan ketidakcocokan jenis, memvalidasi XML menggunakan XSD, mendukung ekspresi SQL seperti from_xml, schema_of_xml, dan to_xml. Lihat Dukungan file XML untuk detail selengkapnya. Jika sebelumnya Anda telah menggunakan paket spark-xml eksternal, silakan lihat di sini untuk panduan migrasi.
    • [SPARK-46954][SQL] XML: Membungkus InputStreamReader dengan BufferedReader
    • [SPARK-46630][SQL] XML: Memvalidasi nama elemen XML saat menulis
    • [SPARK-46248][SQL] XML: Dukungan untuk opsi ignoreCorruptFiles dan ignoreMissingFiles
    • [SPARK-46954][SQL] XML: Mengoptimalkan pencarian indeks skema
    • [SPARK-47059][SQL] Lampirkan konteks kesalahan untuk perintah ALTER COLUMN v1
    • [SPARK-46993][SQL] Memperbaiki folding konstanta untuk variabel sesi
  • 8 Februari 2024
    • Kueri umpan data perubahan (CDF) pada tampilan materialisasi Katalog Unity tidak didukung, dan mencoba menjalankan kueri CDF dengan tampilan materialisasi Katalog Unity mengembalikan kesalahan. Tabel streaming dalam Unity Catalog mendukung kueri CDF pada tabel CDC yang bukan OTOMATIS di Databricks Runtime 14.1 dan versi yang lebih baru. Kueri CDF tidak didukung dengan tabel streaming Unity Catalog di Databricks Runtime 14.0 dan yang lebih lama.
    • [SPARK-46930] Tambahkan dukungan untuk awalan kustom untuk bidang jenis Union di Avro.
    • [SPARK-46822] Pertimbangkan spark.sql.legacy.charVarcharAsString saat mengalihkan tipe jdbc ke tipe katalis di jdbc.
    • [SPARK-46952] XML: Batasi ukuran rekaman yang rusak.
    • [SPARK-46644] Ubah tambahkan dan gabungkan di SQLMetric untuk menggunakan isZero.
    • [SPARK-46861] Hindari Kebuntuan di Modul DAGScheduler.
    • [SPARK-46794] Menghapus subkueri dari batasan LogicalRDD.
    • [SPARK-46941] Tidak dapat menyisipkan simpul batas grup jendela untuk komputasi k atas jika berisi SizeBasedWindowFunction.
    • [SPARK-46933] Tambahkan metrik waktu eksekusi kueri ke konektor yang menggunakan JDBCRDD.
    • Penambal keamanan sistem operasi.
  • 31 Januari 2024
    • [SPARK-46382] XML: Perbarui dokumen untuk ignoreSurroundingSpaces.
    • [SPARK-46382] XML: Menangkap nilai yang terletak di antara elemen.
    • [SPARK-46763] Memperbaiki kegagalan pernyataan di ReplaceDeduplicateWithAggregate untuk atribut duplikat.
    • Kembalikan [SPARK-46769] Memperbaiki inferensi skema terkait tanda waktu.
    • [SPARK-46677] Perbaiki dataframe["*"] resolusi.
    • [SPARK-46382] XML: Defaultnya abaikanSpasiSekitar menjadi true.
    • [SPARK-46633] Perbaiki pembaca berkas Avro untuk menangani blok dengan panjang nol.
    • [SPARK-45964] Hapus aksesori SQL pribadi dalam paket XML dan JSON di bawah paket katalis.
    • [SPARK-46581] Update komentar tentang isZero di AccumulatorV2.
    • [SPARK-45912] Peningkatan XSDToSchema API: Ubah ke HDFS API untuk aksesibilitas penyimpanan cloud.
    • [SPARK-45182] Abaikan penyelesaian tugas dari tahap lama setelah mencoba kembali tahap induk yang tidak terdefinisi seperti yang ditentukan oleh checksum.
    • [SPARK-46660] ReattachExecute meminta pembaruan status keberlangsungan SessionHolder.
    • [SPARK-46610] Buat tabel harus menghasilkan pengecualian jika tidak ada nilai untuk kunci dalam parameter.
    • [SPARK-46383] Kurangi Penggunaan Timbunan Driver dengan Mengurangi Masa Pakai TaskInfo.accumulables().
    • [SPARK-46769] Memperbaiki inferensi skema terkait tanda waktu.
    • [SPARK-46684] Perbaiki CoGroup.applyInPandas/Arrow untuk meneruskan argumen dengan benar.
    • [SPARK-46676] dropDuplicatesWithinWatermark tidak boleh gagal dalam proses kanonisasi rencana.
    • [SPARK-45962] Hapus treatEmptyValuesAsNulls dan gunakan opsi nullValue sebagai gantinya di XML.
    • [SPARK-46541] Perbaiki referensi kolom ambigu dalam self join.
    • [SPARK-46599] XML: Gunakan TypeCoercion.findTightestCommonType untuk pemeriksaan kompatibilitas.
    • Penambal keamanan sistem operasi.
  • 17 Januari 2024
    • Simpul shuffle dari rencana penjelasan yang dikembalikan oleh kueri Photon diperbarui untuk menambahkan bendera causedBroadcastJoinBuildOOM=true saat kesalahan di luar memori terjadi selama proses shuffle yang merupakan bagian dari join siaran.
    • Untuk menghindari peningkatan latensi saat berkomunikasi melalui TLSv1.3, rilis pemeliharaan ini mencakup patch ke penginstalan JDK 8 untuk memperbaiki bug JDK JDK JDK-8293562.
    • [SPARK-46261]DataFrame.withColumnsRenamed harus menjaga urutan dict/map.
    • [SPARK-46538] Memperbaiki masalah referensi kolom ambigu di ALSModel.transform.
    • [SPARK-46145] spark.catalog.listTables tidak melemparkan pengecualian saat tabel atau tampilan tidak ditemukan.
    • [SPARK-46484] Buat resolveOperators fungsi bantu menyimpan id rencana.
    • [SPARK-46394] Memperbaiki masalah spark.catalog.listDatabases() pada skema dengan karakter khusus saat spark.sql.legacy.keepCommandOutputSchema diatur ke true.
    • [SPARK-46609] Hindari terjadinya ledakan eksponensial di PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] Menonaktifkan subkueri dengan OFFSET berkorelasi untuk memperbaiki bug ketepatan.
    • [SPARK-46152] XML: Tambahkan dukungan DecimalType dalam inferensi skema XML.
    • [SPARK-46602] Menerapkan allowExisting saat membuat tampilan ketika tampilan atau tabel tersebut belum tersedia.
    • [SPARK-45814] Buat ArrowConverters.createEmptyArrowBatch call close() untuk menghindari kebocoran memori.
    • [SPARK-46058] Tambahkan bendera terpisah untuk privateKeyPassword.
    • [SPARK-46132] Mendukung sandi kunci JKS untuk RPC SSL.
    • [SPARK-46600] Pindahkan kode bersama antara SqlConf dan SqlApiConf ke SqlApiConfHelper.
    • [SPARK-46478] Kembalikan SPARK-43049 untuk menggunakan oracle varchar(255) untuk string.
    • [SPARK-46417] Jangan gagal saat memanggil hive.getTable jika throwException bernilai false.
    • [SPARK-46153] XML: Tambahkan dukungan TimestampNTZType.
    • [SPARK-46056][BACKPORT] Perbaiki NPE pada pembacaan tervektorisasi Parquet dengan nilai default byteArrayDecimalType.
    • [SPARK-46466] Pembaca parquet vektor tidak boleh melakukan rebase untuk tanda waktu NTZ.
    • [SPARK-46260]DataFrame.withColumnsRenamed harus menghormati urutan dict.
    • [SPARK-46036] Menghapus kelas kesalahan dari fungsi raise_error.
    • [SPARK-46294] Bersihkan semantik nilai init vs nol.
    • [SPARK-46173] Melewati panggilan trimAll selama penguraian tanggal.
    • [SPARK-46250] Mengurangi ketidakandalan test_parity_listener.
    • [SPARK-46587] XML: Perbaiki konversi bilangan bulat besar XSD.
    • [SPARK-46396] Inferensi tanda waktu tidak boleh melemparkan pengecualian.
    • [SPARK-46241] Perbaiki rutinitas penanganan kesalahan sehingga tidak akan jatuh ke dalam rekursi tak terbatas.
    • [SPARK-46355] XML: tutup InputStreamReader setelah selesai membaca.
    • [SPARK-46370] Perbaiki bug saat mengkueri dari tabel setelah mengubah default kolom.
    • [SPARK-46265] Pernyataan di AddArtifact RPC membuat klien connect tidak kompatibel dengan kluster yang lebih lama.
    • [SPARK-46308] Melarang penanganan kesalahan rekursif.
    • [SPARK-46337] Membuat CTESubstitution mempertahankan PLAN_ID_TAG.
  • 14 Desember 2023
    • [SPARK-46141] Ubah default untuk spark.sql.legacy.ctePrecedencePolicy menjadi CORRECTED.
    • [SPARK-45730] Membuat ReloadingX509TrustManagerSuite kurang tidak stabil.
    • [SPARK-45852] Menangani kesalahan rekursi dengan baik selama proses pencatatan.
    • [SPARK-45808] Penanganan kesalahan yang lebih baik untuk Pengecualian SQL.
    • [SPARK-45920] kelompok menurut ordinal harus idempotensi.
    • Kembalikan "[SPARK-45649] Menyatukan kerangka kerja persiapan untuk OffsetWindowFunctionFrame".
    • [SPARK-45733] Mendukung beberapa kebijakan coba lagi.
    • [SPARK-45509] Perbaiki perilaku referensi kolom df untuk Spark Connect.
    • [SPARK-45655] Izinkan ekspresi non-deterministik di dalam AggregateFunctions di CollectMetrics.
    • [SPARK-45905] Jenis paling tidak umum antara jenis desimal harus mempertahankan digit integral terlebih dahulu.
    • [SPARK-45136] Tingkatkan ClosureCleaner dengan dukungan Amonite.
    • [SPARK-46255] Mendukung konversi dari tipe kompleks ke string.
    • [SPARK-45859] Membuat objek UDF dalam ml.functions malas.
    • [SPARK-46028] Buat Column.__getitem__ menerima kolom input.
    • [SPARK-45798] Pastikan ID sesi pada sisi server.
    • [SPARK-45892] Menyusun ulang validasi rencana pengoptimal untuk memisahkan validateSchemaOutput dan validateExprIdUniqueness.
    • [SPARK-45844] Menerapkan ketidakpekaan huruf besar/kecil untuk XML.
    • [SPARK-45770] Perkenalkan rencana DataFrameDropColumns untuk Dataframe.drop.
    • [SPARK-44790] XML: implementasi to_xml dan binding untuk python, connect, dan SQL.
    • [SPARK-45851] Mendukung beberapa kebijakan di klien Scala.
    • Penambal keamanan sistem operasi.
  • 29 November 2023
    • Memasang paket baru, pyarrow-hotfix untuk memulihkan kerentanan RCE PyArrow.
    • Memperbaiki masalah di mana underscore yang telah di-escape dalam operasi getColumns yang berasal dari klien JDBC atau ODBC salah ditafsirkan sebagai wildcard.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • [SPARK-45852] Klien Python untuk Spark Connect sekarang menangkap kesalahan rekursi selama konversi teks.
    • [SPARK-45808] Peningkatan penanganan kesalahan untuk pengecualian SQL.
    • [SPARK-45920]GROUP BY ordinal tidak menggantikan ordinal yang lain.
    • Kembalikan [SPARK-45649].
    • [SPARK-45733] Menambahkan dukungan untuk beberapa kebijakan percobaan ulang.
    • [SPARK-45509] Memperbaiki perilaku referensi kolom df untuk Spark Connect.
    • [SPARK-45655] Izinkan ekspresi non-deterministik di dalam AggregateFunctions .CollectMetrics
    • [SPARK-45905] Jenis paling tidak umum antara jenis desimal sekarang mempertahankan digit integral terlebih dahulu.
    • [SPARK-45136] Tingkatkan ClosureCleaner dengan dukungan Amonite.
    • [SPARK-45859] Membuat objek UDF menjadi tangguh ml.functions.
    • [SPARK-46028]Column.__getitem__ menerima kolom input.
    • [SPARK-45798] Pastikan ID sesi pada sisi server.
    • [SPARK-45892] Menyusun ulang validasi rencana pengoptimal untuk memisahkan validateSchemaOutput dan validateExprIdUniqueness.
    • [SPARK-45844] Menerapkan ketidakpekaan huruf besar/kecil untuk XML.
    • [SPARK-45770] Memperbaiki resolusi kolom dengan DataFrameDropColumns untuk Dataframe.drop.
    • [SPARK-44790] Menambahkan implementasi dan pengikatan to_xml untuk Python, Spark Connect, dan SQL.
    • [SPARK-45851] Menambahkan dukungan untuk beberapa kebijakan di klien Scala.
    • Penambal keamanan sistem operasi.

Databricks Runtime 14.1

Lihat Databricks Runtime 14.1 (EoS).

  • 10 Desember 2024
    • Penambal keamanan sistem operasi.
  • 26 November 2024
    • Penambal keamanan sistem operasi.
  • 5 November 2024
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-49905] Gunakan ShuffleOrigin khusus untuk operator stateful untuk mencegah shuffle dimodifikasi selama AQE
  • 22 Oktober 2024
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-49905] Gunakan ShuffleOrigin khusus untuk operator stateful untuk mencegah shuffle dimodifikasi selama AQE
  • 10 Oktober 2024
    • [BACKPORT] [SPARK-49474][SS] Mengklasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields
    • Penambal keamanan sistem operasi.
  • 25 September 2024
    • [SPARK-49628][SQL] ConstantFolding harus menyalin ekspresi stateful sebelum mengevaluasi
    • [SPARK-43242][CORE] Memperbaiki 'Tipe BlockId yang tidak terduga' saat mendiagnosis kerusakan shuffle
    • [SPARK-48719][SQL] Perbaiki bug perhitungan `RegrS...
    • [SPARK-49000][SQL] Perbaiki "select count(distinct 1) from t" di mana t merupakan tabel kosong dengan memperluas RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Memperbaiki kesalahan log dalam handleStatusMessage
    • Penambal keamanan sistem operasi.
  • 17 September 2024
    • [SPARK-49526][CONNECT] Mendukung jalur gaya Windows di ArtifactManager
    • Penambal keamanan sistem operasi.
  • 29 Agustus 2024
    • [SPARK-49263][SAMBUNGKAN] Klien python Spark Connect: Menangani opsi pembaca Dataframe boolean secara konsisten
    • [SPARK-49056][SQL] ErrorClassesJsonReader tidak dapat menangani null dengan benar
  • 14 Agustus 2024
    • [SPARK-48706][PYTHON] Python UDF dalam fungsi tingkat tinggi tidak boleh menghasilkan kesalahan internal
    • [SPARK-48597][SQL] Memperkenalkan penanda untuk properti isStreaming dalam representasi teks dari rencana logis
    • [SPARK-49065][SQL] Pemutakhiran basis dalam pemformat/pengurai warisan harus mendukung zona waktu default non JVM
    • [SPARK-48050][SS] Catat rencana logis saat kueri dimulai
  • 1 Agustus 2024
    • Rilis ini mencakup perbaikan bug untuk kelas ColumnVector dan ColumnarArray di antarmuka Java Spark. Sebelum perbaikan ini, sebuah ArrayIndexOutOfBoundsException mungkin terlempar atau data yang salah dikembalikan saat sebuah instance dari salah satu kelas ini mengandung nilai null.
    • Keluaran dari pernyataan SHOW CREATE TABLE sekarang menyertakan filter baris atau masker kolom yang ditentukan pada tampilan terwujud atau tabel streaming. Lihat SHOW CREATE TABLE. Untuk mempelajari tentang filter baris dan masker kolom, lihat Filter baris dan masker kolom.
    • [SPARK-48705][PYTHON] Gunakan worker_main secara eksplisit ketika memulai dengan pyspark
    • [SPARK-47202][PYTHON] Memperbaiki kesalahan ketik yang mengganggu tanggal dan waktu dengan tzinfo
    • Penambal keamanan sistem operasi.
  • 11 Juli 2024
    • (Perubahan Perilaku) DataFrames yang di-cache terhadap sumber tabel Delta sekarang tidak valid jika tabel sumber ditimpa. Perubahan ini berarti bahwa semua perubahan status pada tabel Delta sekarang membatalkan hasil yang disimpan dalam cache. Gunakan .checkpoint() untuk mempertahankan status tabel sepanjang masa pakai DataFrame.
    • Rilis ini mencakup perbaikan untuk masalah yang mencegah tab Lingkungan Spark UI ditampilkan dengan benar saat berjalan di Layanan Kontainer Databricks.
    • [SPARK-48475][PYTHON] Optimalkan _get_jvm_function di PySpark.
    • [SPARK-48445][SQL] Jangan menggabungkan UDF dengan komponen-komponen yang memakan banyak sumber daya
    • [SPARK-48481][SQL][SS] Jangan terapkan OptimizeOneRowPlan terhadap Himpunan Data streaming
    • [SPARK-48292][CORE] Mengembalikan [SPARK-39195][SQL] Spark OutputCommitCoordinator harus membatalkan tahapan ketika file yang dikomitmen tidak sesuai dengan status tugas
    • [SPARK-48503][SQL] Memperbaiki subkueri skalar tidak valid dengan group-by pada kolom yang tidak setara yang diizinkan secara keliru
    • [SPARK-48273][SQL] Memperbaiki penulisan ulang planWithUnresolvedIdentifier yang terlambat
    • [SPARK-48100][SQL] Memperbaiki masalah dalam melompati bidang struktur berlapis yang tidak dipilih dalam skema
    • [SPARK-48383][SS] Menampilkan kesalahan yang lebih jelas untuk partisi yang tidak sesuai dalam opsi startOffset di Kafka
    • Penambal keamanan sistem operasi.
  • 17 Juni 2024
    • Memperbaiki bug di mana pengoptimalan jendela peringkat menggunakan Photon TopK salah menangani partisi dengan struktur.
    • [SPARK-48276][Python][CONNECT] Tambahkan metode yang hilang __repr__ untuk SQLExpression
    • [SPARK-48277] Meningkatkan pesan kesalahan untuk ErrorClassesJsonReader.getErrorMessage
    • Penambal keamanan sistem operasi.
  • Mei 21, 2024
  • Mei 9, 2024
    • [SPARK-47371] [SQL] XML: Mengabaikan tag baris yang ditemukan di CDATA
    • [SPARK-47895][SQL] grup menurut semua harus idempoten
    • [SPARK-47956][SQL] Pemeriksaan kewarasan untuk referensi LCA yang belum terselesaikan
    • [SPARK-48044][PYTHON][KONEKSI] Cache DataFrame.isStreaming
    • [SPARK-47973][CORE] Mencatat lokasi panggilan di SparkContext.stop() dan kemudian di SparkContext.assertNotStopped()
    • Penambal keamanan sistem operasi.
  • 25 April 2024
    • [SPARK-47704][SQL] Penguraian JSON gagal dengan "java.lang.ClassCastException" saat spark.sql.json.enablePartialResults diaktifkan
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite gagal dengan perencanaan yang tidak valid
    • Penambal keamanan sistem operasi.
  • 11 April 2024
    • [SPARK-47638][PS][CONNECT] Lewati validasi nama kolom di PS
    • [SPARK-38708][SQL] Tingkatkan Apache Hive Metastore Client ke 3.1.3 untuk Apache Hive 3.1
    • [SPARK-47309][SQL][XML] Penambahan pengujian unit inferensi skema
    • [SPARK-47509][SQL] Memblokir ekspresi subkueri dalam fungsi lambda dan urutan yang lebih tinggi
    • [SPARK-46990][SQL] Memperbaiki pemuatan file Avro kosong yang dihasilkan oleh Event Hubs
    • Penambal keamanan sistem operasi.
  • 1 April tahun 2024
    • [SPARK-47305][SQL] Perbaiki PruneFilters untuk menandai flag isStreaming dari LocalRelation dengan benar ketika rencana tersebut memiliki batch dan streaming
    • [SPARK-47218][SQL] XML: Abaikan tag baris yang dikomentari di tokenizer XML
    • [SPARK-47300][SQL] quoteIfNeeded harus mengutip pengidentifikasi yang dimulai dengan angka
    • [SPARK-47368][SQL] Hapus pengecekan konfigurasi inferTimestampNTZ di ParquetRowConverter
    • [SPARK-47070] Memperbaiki agregasi yang tidak valid setelah penulisan ulang subkueri
    • [SPARK-47322][PYTHON][CONNECT] Membuat nama kolom withColumnsRenamed penanganan duplikasi yang konsisten dengan withColumnRenamed
    • [SPARK-47300] Perbaikan untuk DecomposerSuite
    • [SPARK-47218] [SQL] XML: Mengubah SchemaOfXml agar gagal ketika menggunakan mode DROPMALFORMED
    • [SPARK-47385] Perbaiki encoder tuple dengan input opsional.
    • Penambal keamanan sistem operasi.
  • 14 Maret 2024
    • [SPARK-47176][SQL] Memiliki fungsi pembantu ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Lampirkan pengenal tabel ke eksekusi pemindaian sumber data baris untuk strategi V2.
    • [SPARK-47167][SQL] Menambahkan kelas konkret untuk hubungan anonim JDBC
    • [SPARK-47129][SAMBUNGKAN][SQL] Buat ResolveRelations rencana caching koneksi dengan benar
    • Batalkan "[SPARK-46861][CORE] Hindari Deadlock di DAGScheduler"
    • [SPARK-47044][SQL] Tambahkan kueri yang dijalankan untuk sumber data eksternal JDBC untuk menjelaskan output
    • Penambal keamanan sistem operasi.
  • 29 Februari 2024
    • Memperbaiki masalah saat menggunakan koleksi lokal sebagai sumber dalam perintah MERGE dapat mengakibatkan metrik operasi numSourceRows melaporkan jumlah baris yang benar dua kali lipat.
    • Membuat skema dengan lokasi yang ditentukan sekarang mengharuskan pengguna untuk memiliki hak istimewa SELECT dan hak istimewa untuk MEMODIFIKASI pada file apa pun.
    • Anda sekarang dapat menyerap file XML menggunakan Auto Loader, read_files, , COPY INTOLakeflow Spark Declarative Pipelines, dan Databricks SQL. Dukungan file XML dapat secara otomatis menyimpulkan dan mengembangkan skema, menyelamatkan data dengan ketidakcocokan jenis, memvalidasi XML menggunakan XSD, mendukung ekspresi SQL seperti from_xml, schema_of_xml, dan to_xml. Lihat Dukungan file XML untuk detail selengkapnya. Jika sebelumnya Anda telah menggunakan paket spark-xml eksternal, silakan lihat di sini untuk panduan migrasi.
    • [SPARK-46248][SQL] XML: Dukungan untuk opsi ignoreCorruptFiles dan ignoreMissingFiles
    • [SPARK-47059][SQL] Lampirkan konteks kesalahan untuk perintah ALTER COLUMN v1
    • [SPARK-46954][SQL] XML: Membungkus InputStreamReader dengan BufferedReader
    • [SPARK-46954][SQL] XML: Mengoptimalkan pencarian indeks skema
    • [SPARK-46630][SQL] XML: Memvalidasi nama elemen XML saat menulis
    • Penambal keamanan sistem operasi.
  • 8 Februari 2024
    • Kueri umpan data perubahan (CDF) pada tampilan materialisasi Katalog Unity tidak didukung, dan mencoba menjalankan kueri CDF dengan tampilan materialisasi Katalog Unity mengembalikan kesalahan. Tabel streaming dalam Unity Catalog mendukung kueri CDF pada tabel CDC yang bukan OTOMATIS di Databricks Runtime 14.1 dan versi yang lebih baru. Kueri CDF tidak didukung dengan tabel streaming Unity Catalog di Databricks Runtime 14.0 dan yang lebih lama.
    • [SPARK-46952] XML: Batasi ukuran rekaman yang rusak.
    • [SPARK-45182] Abaikan penyelesaian tugas dari tahap lama setelah mencoba kembali tahap induk yang tidak terdefinisi seperti yang ditentukan oleh checksum.
    • [SPARK-46794] Menghapus subkueri dari batasan LogicalRDD.
    • [SPARK-46933] Tambahkan metrik waktu eksekusi kueri ke konektor yang menggunakan JDBCRDD.
    • [SPARK-46861] Hindari Kebuntuan di Modul DAGScheduler.
    • [SPARK-45582] Pastikan instans penyimpanan tidak digunakan setelah memanggil commit dalam agregasi streaming mode keluaran.
    • [SPARK-46930] Tambahkan dukungan untuk awalan kustom untuk bidang jenis Union di Avro.
    • [SPARK-46941] Tidak dapat menyisipkan simpul batas grup jendela untuk komputasi k atas jika berisi SizeBasedWindowFunction.
    • [SPARK-46396] Inferensi tanda waktu tidak boleh melemparkan pengecualian.
    • [SPARK-46822] Pertimbangkan spark.sql.legacy.charVarcharAsString saat mengalihkan tipe jdbc ke tipe katalis di jdbc.
    • [SPARK-45957] Hindari menghasilkan rencana eksekusi untuk perintah yang tidak dapat dieksekusi.
    • Penambal keamanan sistem operasi.
  • 31 Januari 2024
    • [SPARK-46684] Perbaiki CoGroup.applyInPandas/Arrow untuk meneruskan argumen dengan benar.
    • [SPARK-46763] Memperbaiki kegagalan pernyataan di ReplaceDeduplicateWithAggregate untuk atribut duplikat.
    • [SPARK-45498] Tindak lanjut: Abaikan penyelesaian tugas dari upaya tahap lama.
    • [SPARK-46382] XML: Perbarui dokumen untuk ignoreSurroundingSpaces.
    • [SPARK-46383] Kurangi Penggunaan Timbunan Driver dengan Mengurangi Masa Pakai TaskInfo.accumulables().
    • [SPARK-46382] XML: Defaultnya abaikanSpasiSekitar menjadi true.
    • [SPARK-46677] Perbaiki dataframe["*"] resolusi.
    • [SPARK-46676] dropDuplicatesWithinWatermark tidak boleh gagal dalam proses kanonisasi rencana.
    • [SPARK-46633] Perbaiki pembaca berkas Avro untuk menangani blok dengan panjang nol.
    • [SPARK-45912] Peningkatan XSDToSchema API: Ubah ke HDFS API untuk aksesibilitas penyimpanan cloud.
    • [SPARK-46599] XML: Gunakan TypeCoercion.findTightestCommonType untuk pemeriksaan kompatibilitas.
    • [SPARK-46382] XML: Menangkap nilai yang terletak di antara elemen.
    • [SPARK-46769] Memperbaiki inferensi skema terkait tanda waktu.
    • [SPARK-46610] Buat tabel harus menghasilkan pengecualian jika tidak ada nilai untuk kunci dalam parameter.
    • [SPARK-45964] Hapus aksesori SQL pribadi dalam paket XML dan JSON di bawah paket katalis.
    • Kembalikan [SPARK-46769] Memperbaiki inferensi skema terkait tanda waktu.
    • [SPARK-45962] Hapus treatEmptyValuesAsNulls dan gunakan opsi nullValue sebagai gantinya di XML.
    • [SPARK-46541] Perbaiki referensi kolom ambigu dalam self join.
    • Penambal keamanan sistem operasi.
  • 17 Januari 2024
    • Simpul shuffle dari rencana penjelasan yang dikembalikan oleh kueri Photon diperbarui untuk menambahkan bendera causedBroadcastJoinBuildOOM=true saat kesalahan di luar memori terjadi selama proses shuffle yang merupakan bagian dari join siaran.
    • Untuk menghindari peningkatan latensi saat berkomunikasi melalui TLSv1.3, rilis pemeliharaan ini mencakup patch ke penginstalan JDK 8 untuk memperbaiki bug JDK JDK JDK-8293562.
    • [SPARK-46538] Memperbaiki masalah referensi kolom ambigu di ALSModel.transform.
    • [SPARK-46417] Jangan gagal saat memanggil hive.getTable jika throwException bernilai false.
    • [SPARK-46484] Buat resolveOperators fungsi bantu menyimpan id rencana.
    • [SPARK-46153] XML: Tambahkan dukungan TimestampNTZType.
    • [SPARK-46152] XML: Tambahkan dukungan DecimalType dalam inferensi skema XML.
    • [SPARK-46145] spark.catalog.listTables tidak melemparkan pengecualian saat tabel atau tampilan tidak ditemukan.
    • [SPARK-46478] Kembalikan SPARK-43049 untuk menggunakan oracle varchar(255) untuk string.
    • [SPARK-46394] Memperbaiki masalah spark.catalog.listDatabases() pada skema dengan karakter khusus saat spark.sql.legacy.keepCommandOutputSchema diatur ke true.
    • [SPARK-46337] Membuat CTESubstitution mempertahankan PLAN_ID_TAG.
    • [SPARK-46466] Pembaca parquet vektor tidak boleh melakukan rebase untuk tanda waktu NTZ.
    • [SPARK-46587] XML: Perbaiki konversi bilangan bulat besar XSD.
    • [SPARK-45814] Buat ArrowConverters.createEmptyArrowBatch call close() untuk menghindari kebocoran memori.
    • [SPARK-46132] Mendukung sandi kunci JKS untuk RPC SSL.
    • [SPARK-46602] Menerapkan allowExisting saat membuat tampilan ketika tampilan atau tabel tersebut belum tersedia.
    • [SPARK-46173] Melewati panggilan trimAll selama penguraian tanggal.
    • [SPARK-46355] XML: tutup InputStreamReader setelah selesai membaca.
    • [SPARK-46600] Pindahkan kode bersama antara SqlConf dan SqlApiConf ke SqlApiConfHelper.
    • [SPARK-46261]DataFrame.withColumnsRenamed harus menjaga urutan dict/map.
    • [SPARK-46056] Perbaiki Null Pointer Exception (NPE) pada pembacaan vektor Parquet dengan nilai default byteArrayDecimalType.
    • [SPARK-46260]DataFrame.withColumnsRenamed harus menghormati urutan dict.
    • [SPARK-46250] Mengurangi ketidakandalan test_parity_listener.
    • [SPARK-46370] Perbaiki bug saat mengkueri dari tabel setelah mengubah default kolom.
    • [SPARK-46609] Hindari terjadinya ledakan eksponensial di PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Tambahkan bendera terpisah untuk privateKeyPassword.
  • 14 Desember 2023
    • Memperbaiki masalah di mana garis bawah yang di-escape dalam operasi getColumns yang berasal dari klien JDBC atau ODBC ditangani secara tidak benar dan ditafsirkan sebagai wildcard.
    • [SPARK-45509] Perbaiki perilaku referensi kolom df untuk Spark Connect.
    • [SPARK-45844] Menerapkan ketidakpekaan huruf besar/kecil untuk XML.
    • [SPARK-46141] Ubah default untuk spark.sql.legacy.ctePrecedencePolicy menjadi CORRECTED.
    • [SPARK-46028] Buat Column.__getitem__ menerima kolom input.
    • [SPARK-46255] Mendukung konversi dari tipe kompleks ke string.
    • [SPARK-45655] Izinkan ekspresi non-deterministik di dalam AggregateFunctions di CollectMetrics.
    • [SPARK-45433] Memperbaiki inferensi skema CSV/JSON saat tanda waktu tidak cocok dengan format tanda waktu yang ditentukan.
    • [SPARK-45316] Menambahkan parameter baru ignoreCorruptFiles/ignoreMissingFiles ke HadoopRDD dan NewHadoopRDD.
    • [SPARK-45852] Menangani kesalahan rekursi dengan baik selama proses pencatatan.
    • [SPARK-45920] kelompok menurut ordinal harus idempotensi.
    • Penambal keamanan sistem operasi.
  • 29 November 2023
    • Memasang paket baru, pyarrow-hotfix untuk memulihkan kerentanan RCE PyArrow.
    • Memperbaiki masalah di mana underscore yang telah di-escape dalam operasi getColumns yang berasal dari klien JDBC atau ODBC salah ditafsirkan sebagai wildcard.
    • Saat menyerap data CSV menggunakan Auto Loader atau tabel streaming, file CSV besar sekarang dapat dibagi dan dapat diproses secara paralel selama inferensi skema dan pemrosesan data.
    • [SPARK-45892] Menyusun ulang validasi rencana pengoptimal untuk memisahkan validateSchemaOutput dan validateExprIdUniqueness.
    • [SPARK-45620] API yang terkait dengan Python UDF sekarang menggunakan camelCase.
    • [SPARK-44790] Menambahkan implementasi dan pengikatan to_xml untuk Python, Spark Connect, dan SQL.
    • [SPARK-45770] Memperbaiki resolusi kolom dengan DataFrameDropColumns untuk Dataframe.drop.
    • [SPARK-45859] Membuat objek UDF menjadi tangguh ml.functions.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Membuat pengujian SBT menjadi tertutup.
    • Penambal keamanan sistem operasi.
  • 10 November 2023
    • [SPARK-45545]SparkTransportConf mewarisi SSLOptions ketika diciptakan.
    • [SPARK-45250] Menambahkan dukungan untuk profil sumber daya tugas tahap untuk kluster yarn saat alokasi dinamis dimatikan.
    • [SPARK-44753] Menambahkan pembaca dan penulis XML DataFrame untuk PySpark SQL.
    • [SPARK-45396] Menambahkan entri dokumen untuk PySpark.ml.connect modul.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45541] Menambahkan SSLFactory.
    • [SPARK-45577]UserDefinedPythonTableFunctionAnalyzeRunner Memperbaiki agar dapat meneruskan nilai yang dilipat dari argumen bernama.
    • [SPARK-45562] Membuat 'rowTag' sebagai opsi yang diperlukan.
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • [SPARK-43380] Memperbaiki masalah lambat saat membaca Avro.
    • [SPARK-45430]FramelessOffsetWindowFunction tidak lagi gagal ketika IGNORE NULLS dan offset > rowCount.
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • [SPARK-45386] Memperbaiki masalah di mana StorageLevel.NONE salah mengembalikan 0.
    • [SPARK-44219] Menambahkan pemeriksaan validasi per aturan untuk penulisan ulang pengoptimalan.
    • [SPARK-45543] Memperbaiki masalah di mana InferWindowGroupLimit menyebabkan masalah jika fungsi jendela lain tidak memiliki bingkai jendela yang sama dengan fungsi seperti peringkat.
    • Penambal keamanan sistem operasi.
  • 27 September 2023
    • [SPARK-44823] Diperbarui black ke 23.9.1 dan memperbaiki kesalahan pemeriksaan.
    • [SPARK-45339] PySpark sekarang mencatat kesalahan yang diulanginya.
    • Kembalikan [SPARK-42946] Data sensitif yang diredaksi yang ditumpuk di bawah substitusi variabel.
    • [SPARK-44551] Komentar yang diedit untuk disinkronkan dengan OSS.
    • [SPARK-45360] Penyusun sesi Spark mendukung inisialisasi dari SPARK_REMOTE.
    • [SPARK-45279] Dilampirkan plan_id ke semua rencana logis.
    • [SPARK-45425] Dipetakan TINYINT ke ShortType untuk MsSqlServerDialect.
    • [SPARK-45419] Menghapus entri peta versi berkas dari versi yang lebih besar untuk menghindari penggunaan kembali ID berkas SST.
    • [SPARK-45488] Menambahkan dukungan untuk nilai dalam rowTag elemen.
    • [SPARK-42205] Menghapus pencatatan Accumulables dalam peristiwa mulai Task/Stage di log peristiwa JsonProtocol.
    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • [SPARK-45256]DurationWriter gagal saat menulis lebih banyak nilai daripada kapasitas awal.
    • [SPARK-43380]Avro Memperbaiki masalah konversi jenis data tanpa menyebabkan regresi performa.
    • [SPARK-45182] Menambahkan dukungan untuk mengembalikan tahap peta acak sehingga semua tugas pada tahap tersebut dapat diulang ketika output tahap tidak ditentukan.
    • [SPARK-45399] Menambahkan Opsi XML menggunakan newOption.
    • Penambal keamanan sistem operasi.

Databricks Runtime 14.0

Lihat Databricks Runtime 14.0 (EoS).

  • 8 Februari 2024
    • [SPARK-46396] Inferensi tanda waktu tidak boleh melemparkan pengecualian.
    • [SPARK-46794] Menghapus subkueri dari batasan LogicalRDD.
    • [SPARK-45182] Abaikan penyelesaian tugas dari tahap lama setelah mencoba kembali tahap induk yang tidak terdefinisi seperti yang ditentukan oleh checksum.
    • [SPARK-46933] Tambahkan metrik waktu eksekusi kueri ke konektor yang menggunakan JDBCRDD.
    • [SPARK-45957] Hindari menghasilkan rencana eksekusi untuk perintah yang tidak dapat dieksekusi.
    • [SPARK-46861] Hindari Kebuntuan di Modul DAGScheduler.
    • [SPARK-46930] Tambahkan dukungan untuk awalan kustom untuk bidang jenis Union di Avro.
    • [SPARK-46941] Tidak dapat menyisipkan simpul batas grup jendela untuk komputasi k atas jika berisi SizeBasedWindowFunction.
    • [SPARK-45582] Pastikan instans penyimpanan tidak digunakan setelah memanggil commit dalam agregasi streaming mode keluaran.
    • Penambal keamanan sistem operasi.
  • 31 Januari 2024
    • [SPARK-46541] Perbaiki referensi kolom ambigu dalam self join.
    • [SPARK-46676] dropDuplicatesWithinWatermark tidak boleh gagal dalam proses kanonisasi rencana.
    • [SPARK-46769] Memperbaiki inferensi skema terkait tanda waktu.
    • [SPARK-45498] Tindak lanjut: Abaikan penyelesaian tugas dari upaya tahap lama.
    • Kembalikan [SPARK-46769] Memperbaiki inferensi skema terkait tanda waktu.
    • [SPARK-46383] Kurangi Penggunaan Timbunan Driver dengan Mengurangi Masa Pakai TaskInfo.accumulables().
    • [SPARK-46633] Perbaiki pembaca berkas Avro untuk menangani blok dengan panjang nol.
    • [SPARK-46677] Perbaiki dataframe["*"] resolusi.
    • [SPARK-46684] Perbaiki CoGroup.applyInPandas/Arrow untuk meneruskan argumen dengan benar.
    • [SPARK-46763] Memperbaiki kegagalan pernyataan di ReplaceDeduplicateWithAggregate untuk atribut duplikat.
    • [SPARK-46610] Buat tabel harus menghasilkan pengecualian jika tidak ada nilai untuk kunci dalam parameter.
    • Penambal keamanan sistem operasi.
  • 17 Januari 2024
    • Simpul shuffle dari rencana penjelasan yang dikembalikan oleh kueri Photon diperbarui untuk menambahkan bendera causedBroadcastJoinBuildOOM=true saat kesalahan di luar memori terjadi selama proses shuffle yang merupakan bagian dari join siaran.
    • Untuk menghindari peningkatan latensi saat berkomunikasi melalui TLSv1.3, rilis pemeliharaan ini mencakup patch ke penginstalan JDK 8 untuk memperbaiki bug JDK JDK JDK-8293562.
    • [SPARK-46394] Memperbaiki masalah spark.catalog.listDatabases() pada skema dengan karakter khusus saat spark.sql.legacy.keepCommandOutputSchema diatur ke true.
    • [SPARK-46250] Mengurangi ketidakandalan test_parity_listener.
    • [SPARK-45814] Buat ArrowConverters.createEmptyArrowBatch call close() untuk menghindari kebocoran memori.
    • [SPARK-46173] Melewati panggilan trimAll selama penguraian tanggal.
    • [SPARK-46484] Buat resolveOperators fungsi bantu menyimpan id rencana.
    • [SPARK-46466] Pembaca parquet vektor tidak boleh melakukan rebase untuk tanda waktu NTZ.
    • [SPARK-46056] Perbaiki Null Pointer Exception (NPE) pada pembacaan vektor Parquet dengan nilai default byteArrayDecimalType.
    • [SPARK-46058] Tambahkan bendera terpisah untuk privateKeyPassword.
    • [SPARK-46478] Kembalikan SPARK-43049 untuk menggunakan oracle varchar(255) untuk string.
    • [SPARK-46132] Mendukung sandi kunci JKS untuk RPC SSL.
    • [SPARK-46417] Jangan gagal saat memanggil hive.getTable jika throwException bernilai false.
    • [SPARK-46261]DataFrame.withColumnsRenamed harus menjaga urutan dict/map.
    • [SPARK-46370] Perbaiki bug saat mengkueri dari tabel setelah mengubah default kolom.
    • [SPARK-46609] Hindari terjadinya ledakan eksponensial di PartitioningPreservingUnaryExecNode.
    • [SPARK-46600] Pindahkan kode bersama antara SqlConf dan SqlApiConf ke SqlApiConfHelper.
    • [SPARK-46538] Memperbaiki masalah referensi kolom ambigu di ALSModel.transform.
    • [SPARK-46337] Membuat CTESubstitution mempertahankan PLAN_ID_TAG.
    • [SPARK-46602] Menerapkan allowExisting saat membuat tampilan ketika tampilan atau tabel tersebut belum tersedia.
    • [SPARK-46260]DataFrame.withColumnsRenamed harus menghormati urutan dict.
    • [SPARK-46145] spark.catalog.listTables tidak melemparkan pengecualian saat tabel atau tampilan tidak ditemukan.
  • 14 Desember 2023
    • Memperbaiki masalah di mana garis bawah yang di-escape dalam operasi getColumns yang berasal dari klien JDBC atau ODBC ditangani secara tidak benar dan ditafsirkan sebagai wildcard.
    • [SPARK-46255] Mendukung konversi dari tipe kompleks ke string.
    • [SPARK-46028] Buat Column.__getitem__ menerima kolom input.
    • [SPARK-45920] kelompok menurut ordinal harus idempotensi.
    • [SPARK-45433] Memperbaiki inferensi skema CSV/JSON saat tanda waktu tidak cocok dengan format tanda waktu yang ditentukan.
    • [SPARK-45509] Perbaiki perilaku referensi kolom df untuk Spark Connect.
    • Penambal keamanan sistem operasi.
  • 29 November 2023
    • Memasang paket baru, pyarrow-hotfix untuk memulihkan kerentanan RCE PyArrow.
    • Memperbaiki masalah di mana underscore yang telah di-escape dalam operasi getColumns yang berasal dari klien JDBC atau ODBC salah ditafsirkan sebagai wildcard.
    • Saat menyerap data CSV menggunakan Auto Loader atau tabel streaming, file CSV besar sekarang dapat dibagi dan dapat diproses secara paralel selama inferensi skema dan pemrosesan data.
    • Konektor Spark-snowflake ditingkatkan ke 2.12.0.
    • [SPARK-45859] Membuat objek UDF menjadi tangguh ml.functions.
    • Kembalikan [SPARK-45592].
    • [SPARK-45892] Menyusun ulang validasi rencana pengoptimal untuk memisahkan validateSchemaOutput dan validateExprIdUniqueness.
    • [SPARK-45592] Memperbaiki isu ketepatan di AQE dengan InMemoryTableScanExec.
    • [SPARK-45620] API yang terkait dengan Python UDF sekarang menggunakan camelCase.
    • [SPARK-44784] Membuat pengujian SBT menjadi tertutup.
    • [SPARK-45770] Memperbaiki resolusi kolom dengan DataFrameDropColumns untuk Dataframe.drop.
    • [SPARK-45544] Dukungan SSL terintegrasi ke dalam TransportContext.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • Penambal keamanan sistem operasi.
  • 10 November 2023
    • Perubahan pada kueri umpan data di tabel streaming Unity Catalog dan tampilan materialisasi untuk menampilkan pesan kesalahan.
    • [SPARK-45545]SparkTransportConf mewarisi SSLOptions ketika diciptakan.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • [SPARK-45541] Ditambahkan SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction tidak lagi gagal ketika IGNORE NULLS dan offset > rowCount.
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • [SPARK-44219] Menambahkan validasi per aturan tambahan untuk penulisan ulang pengoptimalan.
    • [SPARK-45543] Memperbaiki masalah saat InferWindowGroupLimit menghasilkan kesalahan jika fungsi jendela lain tidak memiliki bingkai jendela yang sama dengan fungsi seperti peringkat.
    • Penambal keamanan sistem operasi.
  • 23 Oktober 2023
    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • [SPARK-45396] Menambahkan entri dokumen untuk PySpark.ml.connect modul, dan ditambahkan Evaluator ke __all__ di ml.connect.
    • [SPARK-45256] Memperbaiki masalah di mana DurationWriter gagal saat menulis lebih banyak nilai daripada kapasitas awal.
    • [SPARK-45279] Dilampirkan plan_id ke semua rencana logis.
    • [SPARK-45250] Menambahkan dukungan untuk profil sumber daya tugas tahap untuk kluster yarn saat alokasi dinamis dimatikan.
    • [SPARK-45182] Menambahkan dukungan untuk mengembalikan tahap peta acak sehingga semua tugas pada tahap tersebut dapat diulang ketika output tahap tidak ditentukan.
    • [SPARK-45419] Hindari menggunakan kembali rocksdb sst file pada instansi yang berbeda rocksdb dengan menghapus entri peta versi file dari versi yang lebih besar.
    • [SPARK-45386] Memperbaiki masalah di mana StorageLevel.NONE salah mengembalikan 0.
    • Penambal keamanan sistem operasi.
  • 13 Oktober 2023
    • Dependensi Snowflake-jdbc ditingkatkan dari 3.13.29 menjadi 3.13.33.
    • Fungsi array_insert ini berbasis 1 untuk indeks positif dan negatif, sementara sebelumnya, itu berbasis 0 untuk indeks negatif. Untuk indeks -1, elemen baru sekarang disisipkan di akhir array input. Untuk mengembalikan perilaku sebelumnya, atur spark.sql.legacy.negativeIndexInArrayInsert ke true.
    • Azure Databricks tidak lagi mengabaikan file yang rusak ketika inferensi skema CSV dengan Auto Loader telah diaktifkan ignoreCorruptFiles.
    • [SPARK-45227] Memperbaiki masalah keamanan utas halus dengan CoarseGrainedExecutorBackend.
    • [SPARK-44658]ShuffleStatus.getMapStatus sebaiknya mengembalikan None alih-alih Some(null).
    • [SPARK-44910]Encoders.bean tidak mendukung superclasses dengan argumen jenis generik.
    • [SPARK-45346] inferensi skema Parquet menghormati parameter sensitif huruf besar/kecil saat menggabungkan skema.
    • Kembalikan [SPARK-42946].
    • [SPARK-42205] Memperbarui protokol JSON untuk menghapus pencatatan Accumulables pada peristiwa memulai tugas atau tahap.
    • [SPARK-45360] Penyusun sesi Spark mendukung inisialisasi dari SPARK_REMOTE.
    • [SPARK-45316] Menambahkan parameter baru ignoreCorruptFiles/ignoreMissingFiles ke HadoopRDD dan NewHadoopRDD.
    • [SPARK-44909] Lewati menjalankan server streaming log distributor obor saat tidak tersedia.
    • [SPARK-45084]StateOperatorProgress sekarang menggunakan jumlah partisi shuffle yang akurat.
    • [SPARK-45371] Memperbaiki masalah bayangan di Klien Spark Connect Scala.
    • [SPARK-45178] Menggunakan metode alternatif untuk menjalankan satu proses batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan metode pembungkus.
    • [SPARK-44840] Buat array_insert() berbasis 1 untuk indeks negatif.
    • [SPARK-44551] Komentar yang diedit untuk disinkronkan dengan OSS.
    • [SPARK-45078] Fungsi ArrayInsert kini melakukan casting eksplisit bila jenis elemen tidak sama dengan jenis komponen turunan.
    • [SPARK-45339] PySpark sekarang mencatat kesalahan gagal ulang.
    • [SPARK-45057] Hindari memperoleh kunci baca ketika keepReadLock bernilai salah.
    • [SPARK-44908] Memperbaiki fungsionalitas parameter cross-validator foldCol.
    • Penambal keamanan sistem operasi.

Databricks Runtime 13.1

Lihat Databricks Runtime 13.1 (EoS).

  • 29 November 2023
    • Memperbaiki masalah di mana underscore yang telah di-escape dalam operasi getColumns yang berasal dari klien JDBC atau ODBC salah ditafsirkan sebagai wildcard.
    • [SPARK-44846] Menghapus ekspresi pengelompokan kompleks setelah RemoveRedundantAggregates.
    • [SPARK-43802] Memperbaiki masalah di mana codegen untuk ekspresi unhex dan unbase64 akan gagal.
    • [SPARK-43718] Memperbaiki nullability untuk kunci dalam USING penggabungan.
    • Penambal keamanan sistem operasi.
  • 14 November 2023
    • Filter partisi pada kueri streaming Delta Lake ditekan ke bawah sebelum pembatasan laju untuk mencapai pemanfaatan optimal.
    • Perubahan pada kueri umpan data di tabel streaming Unity Catalog dan tampilan materialisasi untuk menampilkan pesan kesalahan.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction tidak lagi gagal ketika IGNORE NULLS dan offset > rowCount.
    • [SPARK-45543] Memperbaiki masalah di mana InferWindowGroupLimit menyebabkan masalah jika fungsi jendela lain tidak memiliki bingkai jendela yang sama dengan fungsi seperti peringkat.
    • Penambal keamanan sistem operasi.
  • 24 Oktober 2023
    • [SPARK-43799] Menambahkan opsi biner deskriptor ke PySpark Protobuf API.
    • Kembalikan [SPARK-42946].
    • [SPARK-45346] inferensi skema Parquet sekarang menghormati penanda sensitif huruf besar/kecil saat menggabungkan skema.
    • Penambal keamanan sistem operasi.
  • 13 Oktober 2023
    • Dependensi Snowflake-jdbc ditingkatkan dari 3.13.29 menjadi 3.13.33.
    • Tidak lagi mengabaikan file yang rusak ketika ignoreCorruptFiles diaktifkan selama inferensi skema CSV dengan Auto Loader.
    • [SPARK-44658]ShuffleStatus.getMapStatus mengembalikan None bukannya Some(null).
    • [SPARK-45178] Menggunakan metode alternatif untuk menjalankan satu proses batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan metode pembungkus.
    • [SPARK-42205] Memperbarui protokol JSON untuk menghapus pencatatan Accumulables pada peristiwa memulai tugas atau tahap.
    • Penambal keamanan sistem operasi.
  • 12 September 2023
    • [SPARK-44718] Cocokkan ColumnVector konfigurasi mode memori secara default dengan OffHeapMemoryMode nilai konfigurasi.
    • SPARK-44878 Mematikan pembatasan ketat untuk RocksDB manajer penulisan guna menghindari kesalahan penyisipan pada cache selesai.
    • Perbaikan lain-lain.
  • 30 Agustus 2023
    • [SPARK-44871] Memperbaiki perilaku `percentile_disc`.
    • [SPARK-44714] Mengurangi pembatasan resolusi LCA mengenai kueri.
    • [SPARK-44245]PySpark.sql.dataframe sample() pengujian dokumentasi sekarang bersifat ilustratif.
    • [SPARK-44818] Memperbaiki masalah kondisi balapan pada tugas tertunda yang telah dikeluarkan sebelum taskThread diinisialisasi.
    • Penambal keamanan sistem operasi.
  • 15 Agustus 2023
    • [SPARK-44485] Dioptimalkan TreeNode.generateTreeString.
    • [SPARK-44643] Memperbaiki Row.__repr__ ketika baris kosong.
    • [SPARK-44504] Tugas pemeliharaan sekarang membersihkan penyedia yang dimuat saat terjadi kesalahan penghentian.
    • [SPARK-44479]protobuf Memperbaiki konversi dari jenis struct kosong.
    • [SPARK-44464] Memperbaiki applyInPandasWithStatePythonRunner untuk menghasilkan baris yang memiliki Null sebagai nilai kolom pertama.
    • Perbaikan lain-lain.
  • 27 Juli 2023
    • Memperbaiki masalah saat dbutils.fs.ls() mengembalikan INVALID_PARAMETER_VALUE.LOCATION_OVERLAP saat dipanggil untuk jalur lokasi penyimpanan yang berbenturan dengan lokasi penyimpanan eksternal atau terkelola lainnya.
    • [SPARK-44199]CacheManager tidak lagi memperbarui fileIndex secara tidak perlu.
    • [SPARK-44448] Memperbaiki bug hasil yang salah dari DenseRankLimitIterator dan InferWindowGroupLimit.
    • Penambal keamanan sistem operasi.
  • 24 Juli 2023
    • Kembalikan [SPARK-42323].
    • [SPARK-41848] Memperbaiki masalah jadwal berlebih tugas dengan TaskResourceProfile.
    • [SPARK-44136] Memperbaiki masalah di mana StateManager dimaterialisasi pada eksekutor, bukan pada pengendali, di FlatMapGroupsWithStateExec.
    • [SPARK-44337] Memperbaiki masalah di mana bidang apa pun yang disetel ke Any.getDefaultInstance mengakibatkan kesalahan penguraian.
    • Penambal keamanan sistem operasi.
  • 27 Juni 2023
    • Penambal keamanan sistem operasi.
  • 15 Juni 2023
    • Difotonkan approx_count_distinct.
    • Pengurai JSON dalam failOnUnknownFields mode sekarang menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • Bidang PubSubRecord atribut disimpan sebagai JSON alih-alih string dari peta Scala untuk serialisasi dan deserialisasi yang lebih mudah.
    • Perintah EXPLAIN EXTENDED sekarang mengembalikan kelayakan cache hasil kueri.
    • Meningkatkan performa pembaruan bertahap dengan SHALLOW CLONE Apache Iceberg dan Parquet.
    • [SPARK-43032] Perbaikan bug SQM di Python.
    • [SPARK-43404]Hindari penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk mencegah kesalahan ketidakcocokan ID.
    • [SPARK-43340] Menangani kolom stack-trace yang hilang dalam log kejadian.
    • [SPARK-43527] Diperbaiki catalog.listCatalogs di PySpark.
    • [SPARK-43541] Sebarkan semua tag Project dalam menyelesaikan ekspresi dan kolom yang hilang.
    • [SPARK-43300]NonFateSharingCache pembungkus untuk Guava Cache.
    • [SPARK-43378] Menutup objek stream dengan tepat di deserializeFromChunkedBuffer.
    • [SPARK-42852] Kembalikan NamedLambdaVariable perubahan terkait dari EquivalentExpressions.
    • [SPARK-43779]ParseToDate sekarang memuat EvalMode di utas utama.
    • [SPARK-43413] Perbaiki nullability IN pada subkueri ListQuery.
    • [SPARK-43889] Tambahkan pemeriksaan nama kolom untuk __dir__() untuk memfilter nama kolom yang rawan kesalahan.
    • [SPARK-43043] Meningkatkan kinerja fungsi MapOutputTracker.updateMapOutput
    • [SPARK-43522] Telah memperbaiki pembuatan nama kolom struct berdasarkan indeks array.
    • [SPARK-43457] agen pengguna Augument dengan versi OS, Python, dan Spark.
    • [SPARK-43286] Mode CBC diperbarui aes_encrypt untuk menghasilkan IV acak.
    • [SPARK-42851] Jaga EquivalentExpressions.addExpr() dengan supportedExpression().
    • Kembalikan [SPARK-43183].
    • Penambal keamanan sistem operasi.

Databricks Runtime 12.2 LTS

Lihat Databricks Runtime 12.2 LTS (EoS).

  • 26 Februari 2026

    • Penambal keamanan sistem operasi.

  • Februari 19, 2026

    • Penambal keamanan sistem operasi.
  • 27 Januari 2026
    • Penambal keamanan sistem operasi.
  • 9 Januari 2026
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • Pustaka R yang diperbarui:
      • panah dari 10.0.0 hingga 21.0.0
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Diperbarui Python dari 2.7.18 ke 2.7.18.1
    • Penambal keamanan sistem operasi.
  • 7 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 24 September 2025
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Penambal keamanan sistem operasi.
  • 26 Agustus 2025
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • Penambal keamanan sistem operasi.
  • 15 Juli 2025
    • Penambal keamanan sistem operasi.
  • 1 Juli 2025
    • Penambal keamanan sistem operasi.
  • 17 Juni 2025
    • Penambal keamanan sistem operasi.
  • 3 Juni 2025
    • Pustaka Python yang diperbarui:
      • certifi dari 2019.11.28, 2021.10.8 hingga 2021.10.8
      • chardet dari 3.0.4, 4.0.0 hingga 4.0.0
      • idna berubah dari 2.8, 3.3 ke 3.3
      • permintaan dari 2.22.0, 2.27.1 hingga 2.27.1
      • enam dari 1.14.0, 1.16.0 hingga 1.16.0
      • urllib3 dari 1.25.8, 1.26.9 hingga 1.26.9
      • Menambahkan pip 21.2.4
      • Menambahkan setuptools versi 61.2.0
      • Menambahkan tomli 1.2.2
      • Ditambahkan wcwidth 0.2.5
      • Menambahkan roda 0.37.0
      • Dihapus distro 1.4.0
      • Dihapus distro-info 0.23+ubuntu1.1
      • Menghapus python-apt 2.0.1+ubuntu0.20.4.1
    • Pustaka Java yang diperbarui:
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider dari 1.6.1-linux-x86_64 hingga 1.6.1
    • Penambal keamanan sistem operasi.
  • Mei 20, 2025
    • [SPARK-42655][SQL] Kesalahan referensi kolom ambigu yang tidak tepat
    • Penambal keamanan sistem operasi.
  • 22 April 2025
    • [Perubahan Perilaku] Operasi vakum sekarang melakukan pemeriksaan protokol Writer dengan cara yang mirip dengan operasi lain, mencegah pembersihan tak terduga pada tabel dengan fitur yang lebih baru ketika dijalankan dari versi Databricks Runtime yang lebih lama dan tidak kompatibel.
    • Penambal keamanan sistem operasi.
  • 9 April 2025
    • Penambal keamanan sistem operasi.

  • 11 Maret 2025

    • Penambal keamanan sistem operasi.

  • 10 Desember 2024

    • Penambal keamanan sistem operasi.

  • 26 November 2024

    • Beberapa macam perbaikan bug.

  • 10 Oktober 2024

    • [SPARK-49743][SQL] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields

  • 25 September 2024

    • [SPARK-49000][SQL] Perbaiki "select count(distinct 1) from t" di mana t adalah tabel kosong dengan memperluas RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Memperbaiki kesalahan log dalam handleStatusMessage
    • Beberapa macam perbaikan bug.

  • 17 September 2024

    • Penambal keamanan sistem operasi.

  • 29 Agustus 2024

    • Beberapa macam perbaikan bug.

  • 14 Agustus 2024

    • [SPARK-48941][SPARK-48970] Perbaikan untuk penulisan/pembacaan ML dengan backport
    • [SPARK-49065][SQL] Pemutakhiran basis dalam pemformat/pengurai warisan harus mendukung zona waktu default non JVM
    • [SPARK-49056][SQL] ErrorClassesJsonReader tidak dapat menangani null dengan benar
    • [SPARK-48597][SQL] Memperkenalkan penanda untuk properti isStreaming dalam representasi teks dari rencana logis
    • [SPARK-48463][ML] Membuat StringIndexer mendukung kolom input berlapis
    • Penambal keamanan sistem operasi.

  • 1 Agustus 2024

  • 1 Agustus 2024

    • Untuk menerapkan patch keamanan yang diperlukan, versi Python di Databricks Runtime 12.2 LTS ditingkatkan dari 3.9.5 ke 3.9.19.

  • 11 Juli 2024

    • (Perubahan Perilaku) DataFrames yang di-cache terhadap sumber tabel Delta sekarang tidak valid jika tabel sumber ditimpa. Perubahan ini berarti bahwa semua perubahan status pada tabel Delta sekarang membatalkan hasil yang disimpan dalam cache. Gunakan .checkpoint() untuk mempertahankan status tabel sepanjang masa pakai DataFrame.
    • [SPARK-48481][SQL][SS] Jangan terapkan OptimizeOneRowPlan terhadap Himpunan Data streaming
    • [SPARK-47070] Memperbaiki agregasi yang tidak valid setelah penulisan ulang subkueri
    • [SPARK-42741][SQL] Jangan membuka bungkus cast dalam perbandingan biner ketika literal adalah null
    • [SPARK-48445][SQL] Jangan menggabungkan UDF dengan komponen-komponen yang memakan banyak sumber daya
    • [SPARK-48503][SQL] Memperbaiki subkueri skalar tidak valid dengan group-by pada kolom yang tidak setara yang diizinkan secara keliru
    • [SPARK-48383][SS] Menampilkan kesalahan yang lebih jelas untuk partisi yang tidak sesuai dalam opsi startOffset di Kafka
    • Penambal keamanan sistem operasi.

  • 17 Juni 2024

    • [SPARK-48277] Meningkatkan pesan kesalahan untuk ErrorClassesJsonReader.getErrorMessage
    • Beberapa macam perbaikan bug.

  • 21 Mei 2024

    • [SPARK-48105][SS] Memperbaiki kondisi pacu antara pelepasan penyimpanan status dan pemotretan
    • Penambal keamanan sistem operasi.

  • Mei 9, 2024

    • [SPARK-44251][SQL] Atur agar dapat bernilai null dengan benar pada kunci penggabungan yang digabungkan di full outer USING join
    • [SPARK-47973][CORE] Mencatat lokasi panggilan di SparkContext.stop() dan kemudian di SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Pemeriksaan kewarasan untuk referensi LCA yang belum terselesaikan
    • [SPARK-48018][SS] Memperbaiki ID grup null yang menyebabkan kesalahan parameter yang hilang saat menghasilkan KafkaException.couldNotReadOffsetRange
    • Penambal keamanan sistem operasi.

  • 25 April 2024

    • Penambal keamanan sistem operasi.

  • 11 April 2024

    • Penambal keamanan sistem operasi.

  • 1 April 2024

    • [SPARK-47305][SQL] Perbaiki PruneFilters untuk menandai flag isStreaming dari LocalRelation dengan benar ketika rencana tersebut memiliki batch dan streaming
    • [SPARK-44252][SS] Tentukan kelas kesalahan baru dan terapkan untuk kasus di mana status pemuatan dari DFS gagal
    • [SPARK-47135][SS] Menerapkan kelas kesalahan untuk pengecualian kehilangan data Kafka
    • [SPARK-47200][SS] Kategori kesalahan untuk kesalahan fungsi pengguna pada sink batch Foreach
    • Penambal keamanan sistem operasi.

  • 14 Maret 2024

    • [SPARK-47176][SQL] Memiliki fungsi pembantu ResolveAllExpressionsUpWithPruning
    • Kembalikan "[SPARK-46861][CORE] Hindari Kebuntuan di DAGScheduler"
    • [SPARK-47125][SQL] Mengembalikan null jika Univocity tidak pernah memicu penguraian
    • [SPARK-47167][SQL] Menambahkan kelas konkret untuk hubungan anonim JDBC
    • Penambal keamanan sistem operasi.

  • 29 Februari 2024

    • Memperbaiki masalah saat menggunakan koleksi lokal sebagai sumber dalam perintah MERGE dapat mengakibatkan metrik operasi numSourceRows melaporkan jumlah baris yang benar dua kali lipat.
    • Membuat skema dengan lokasi yang ditentukan sekarang mengharuskan pengguna untuk memiliki hak istimewa SELECT dan hak istimewa untuk MEMODIFIKASI pada file apa pun.
    • [SPARK-45582][SS] Pastikan instans penyimpanan tidak digunakan setelah memanggil 'commit' pada mode output agregasi streaming
    • Penambal keamanan sistem operasi.

  • 13 Februari 2024

    • [SPARK-46861] Hindari Kebuntuan di Modul DAGScheduler.
    • [SPARK-46794] Menghapus subkueri dari batasan LogicalRDD.
    • Penambal keamanan sistem operasi.

  • 31 Januari 2024

    • [SPARK-46763] Memperbaiki kegagalan pernyataan di ReplaceDeduplicateWithAggregate untuk atribut duplikat.
    • Penambal keamanan sistem operasi.

  • 25 Desember 2023

    • Untuk menghindari peningkatan latensi saat berkomunikasi melalui TLSv1.3, rilis pemeliharaan ini mencakup patch ke penginstalan JDK 8 untuk memperbaiki bug JDK JDK JDK-8293562.
    • [SPARK-39440] Tambahkan konfigurasi untuk menonaktifkan garis waktu peristiwa.
    • [SPARK-46132] Mendukung sandi kunci JKS untuk RPC SSL.
    • [SPARK-46394] Memperbaiki masalah spark.catalog.listDatabases() pada skema dengan karakter khusus saat spark.sql.legacy.keepCommandOutputSchema diatur ke true.
    • [SPARK-46417] Jangan gagal saat memanggil hive.getTable jika throwException bernilai false.
    • [SPARK-43067] Koreksi lokasi file sumber daya kelas kesalahan di konektor Kafka.
    • [SPARK-46249] Membutuhkan kunci instans untuk memperoleh metrik RocksDB guna mencegah terjadinya konflik dengan operasi latar belakang.
    • [SPARK-46602] Menerapkan allowExisting saat membuat tampilan ketika tampilan atau tabel tersebut belum tersedia.
    • [SPARK-46058] Tambahkan bendera terpisah untuk privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables tidak melemparkan pengecualian saat tabel atau tampilan tidak ditemukan.
    • [SPARK-46538] Memperbaiki masalah referensi kolom ambigu di ALSModel.transform.
    • [SPARK-42852] Kembalikan perubahan terkait NamedLambdaVariable dalam EquivalentExpressions.

  • 14 Desember 2023

    • Memperbaiki masalah di mana garis bawah yang di-escape dalam operasi getColumns yang berasal dari klien JDBC atau ODBC ditangani secara tidak benar dan ditafsirkan sebagai wildcard.
    • [SPARK-44582] Lewati iterator pada SMJ jika telah dihapus.
    • [SPARK-45920] kelompok menurut ordinal harus idempotensi.
    • [SPARK-45655] Izinkan ekspresi non-deterministik di dalam AggregateFunctions di CollectMetrics.
    • Penambal keamanan sistem operasi.

  • 29 November 2023

    • Memasang paket baru, pyarrow-hotfix untuk memulihkan kerentanan RCE PyArrow.
    • Memperbaiki masalah di mana underscore yang telah di-escape dalam operasi getColumns yang berasal dari klien JDBC atau ODBC salah ditafsirkan sebagai wildcard.
    • [SPARK-42205] Menghapus akumulasi pencatatan pada awal peristiwa Stage dan Task.
    • [SPARK-44846] Menghapus ekspresi pengelompokan kompleks setelah RemoveRedundantAggregates.
    • [SPARK-43718] Memperbaiki nullability untuk kunci dalam USING penggabungan.
    • [SPARK-45544] Dukungan SSL terintegrasi ke dalam TransportContext.
    • [SPARK-43973] Antarmuka Streaming Terstruktur sekarang menampilkan query yang gagal dengan benar.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Membuat objek UDF menjadi tangguh ml.functions.
    • Penambal keamanan sistem operasi.

  • 14 November 2023

    • Filter partisi pada kueri streaming Delta Lake ditekan ke bawah sebelum pembatasan laju untuk mencapai pemanfaatan optimal.
    • [SPARK-45545]SparkTransportConf mewarisi SSLOptions ketika diciptakan.
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45541] Ditambahkan SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction tidak lagi gagal ketika IGNORE NULLS dan offset > rowCount.
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • Penambal keamanan sistem operasi.

  • 24 Oktober 2023

    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • Perbaikan lain-lain.

  • 13 Oktober 2023

    • Dependensi Snowflake-jdbc ditingkatkan dari 3.13.29 menjadi 3.13.33.
    • [SPARK-42553] Pastikan ada setidaknya satu unit waktu setelah selang waktu.
    • [SPARK-45346] inferensi skema Parquet menghormati indikator peka huruf besar/kecil ketika menggabungkan skema.
    • [SPARK-45178] Menggunakan metode alternatif untuk menjalankan satu proses batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan metode pembungkus.
    • [SPARK-45084]StateOperatorProgress untuk menggunakan nomor partisi shuffle yang akurat dan memadai.

  • 12 September 2023

    • [SPARK-44873] Menambahkan dukungan untuk alter view dengan kolom berlapis di klien Apache Hive.
    • [SPARK-44718] Cocokkan ColumnVector konfigurasi mode memori secara default dengan OffHeapMemoryMode nilai konfigurasi.
    • [SPARK-43799] Menambahkan opsi biner deskriptor ke PySpark Protobuf API.
    • Perbaikan lain-lain.

  • 30 Agustus 2023

    • [SPARK-44485] Dioptimalkan TreeNode.generateTreeString.
    • [SPARK-44818] Memperbaiki masalah kondisi balapan pada tugas tertunda yang telah dikeluarkan sebelum taskThread diinisialisasi.
    • [SPARK-44871][11.3-13.0] Perilaku tetap percentile_disc .
    • [SPARK-44714] Meringankan pembatasan resolusi LCA mengenai permintaan.
    • Penambal keamanan sistem operasi.

  • 15 Agustus 2023

    • [SPARK-44504] Tugas pemeliharaan membersihkan penyedia yang dimuat saat terjadi kesalahan penghentian.
    • [SPARK-44464] Memperbaiki applyInPandasWithStatePythonRunner untuk menghasilkan baris yang memiliki Null sebagai nilai kolom pertama.
    • Penambal keamanan sistem operasi.

  • 29 Juli 2023

    • Memperbaiki masalah saat dbutils.fs.ls() mengembalikan INVALID_PARAMETER_VALUE.LOCATION_OVERLAP saat dipanggil untuk jalur lokasi penyimpanan yang berbenturan dengan lokasi penyimpanan eksternal atau terkelola lainnya.
    • [SPARK-44199]CacheManager tidak lagi memperbarui fileIndex secara tidak perlu.
    • Penambal keamanan sistem operasi.

  • 24 Juli 2023

    • [SPARK-44337] Memperbaiki masalah di mana bidang apa pun yang disetel ke Any.getDefaultInstance mengakibatkan kesalahan penguraian.
    • [SPARK-44136] Memperbaiki masalah di mana StateManager dimaterialisasi pada eksekutor, bukan pada pengendali, di FlatMapGroupsWithStateExec.
    • Penambal keamanan sistem operasi.

  • 23 Juni 2023

    • Penambal keamanan sistem operasi.

  • 15 Juni 2023

    • Difotonkan approx_count_distinct.
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • [SPARK-43779]ParseToDate sekarang memuat EvalMode di utas utama.
    • [SPARK-43156][SPARK-43098] Uji kesalahan jumlah subkueri skalar yang diperluas dengan decorrelateInnerQuery dinonaktifkan.
    • Penambal keamanan sistem operasi.

  • 2 Juni 2023

    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Meningkatkan performa pembaruan bertahap dengan SHALLOW CLONE Iceberg dan Parquet.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-43404] Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan ID.
    • [SPARK-43413][11.3-13.0] Subkueri INListQuery nullability diperbaiki.
    • [SPARK-43522] Telah memperbaiki pembuatan nama kolom struct berdasarkan indeks array.
    • [SPARK-43541] Sebarkan semua tag Project dalam menyelesaikan ekspresi dan kolom yang hilang.
    • [SPARK-43527] Diperbaiki catalog.listCatalogs di PySpark.
    • [SPARK-43123] Metadata kolom internal tidak lagi bocor ke katalog.
    • [SPARK-43340] Memperbaiki bidang pelacakan tumpukan yang hilang di eventlogs.
    • [SPARK-42444]DataFrame.drop sekarang menangani kolom duplikat dengan benar.
    • [SPARK-42937]PlanSubqueries telah diatur InSubqueryExec#shouldBroadcast menjadi true.
    • [SPARK-43286] Mode CBC diperbarui aes_encrypt untuk menghasilkan IV acak.
    • [SPARK-43378] Menutup objek stream dengan tepat di deserializeFromChunkedBuffer.

  • Mei 17, 2023

    • Pemindaian parquet kini lebih tangguh saat menghadapi OOM ketika memindai file yang berstruktur sangat kompleks dengan menyesuaikan ukuran batch secara dinamis. Metadata file dianalisis untuk menurunkan ukuran batch secara preemptif dan dikurangi lagi pada percobaan ulang tugas sebagai langkah pengaman terakhir.
    • Jika file Avro dibaca hanya dengan opsi failOnUnknownFields atau dengan Auto Loader dalam mode evolusi skema failOnNewColumns, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi rescuedDataColumn.
    • Auto Loader sekarang melakukan hal berikut.
      • Membaca dengan benar dan tidak lagi mengambil Integer, Short dan Byte jenis tersebut jika salah satu jenis data ini disediakan, tetapi file Avro menyarankan salah satu dari dua jenis lainnya.
      • Mencegah pembacaan tipe interval sebagai tipe stempel tanggal atau waktu untuk menghindari tanggal yang rusak.
      • Mencegah pembacaan jenis Decimal dengan presisi yang lebih rendah.
    • [SPARK-43172] Mengekspos host dan token dari klien Spark connect.
    • [SPARK-43293]__qualified_access_only diabaikan dalam kolom normal.
    • [SPARK-43098] Memperbaiki bug terkait keakuratan COUNT ketika subkueri skalar dikelompokkan dalam klausa.
    • [SPARK-43085] Dukungan untuk penetapan kolom untuk nama tabel yang terdiri dari beberapa bagian.
    • [SPARK-43190]ListQuery.childOutput sekarang sudah konsisten dengan keluaran sekunder.
    • [SPARK-43192] Menghapus validasi charset dari agen pengguna.
    • Penambal keamanan sistem operasi.

  • 25 April 2023

    • Jika file Parquet dibaca hanya dengan opsi failOnUnknownFields atau dengan Auto Loader dalam mode evolusi skema failOnNewColumns, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi rescuedDataColumn.
    • Auto Loader sekarang membaca dengan benar dan tidak lagi menangani jenis data Integer, Short, dan Byte jika salah satu jenis data ini disediakan. File Parquet menunjukkan salah satu dari dua jenis lainnya. Ketika kolom data yang diselamatkan sebelumnya diaktifkan, ketidakcocokan jenis data akan menyebabkan kolom disimpan meskipun dapat dibaca.
    • [SPARK-43009] Diparameterkan sql() dengan Any konstanta
    • [SPARK-42406] Hentikan bidang rekursif Protobuf dengan menjatuhkan bidang
    • [SPARK-43038] Mendukung mode CBC dengan aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Ubah untuk mencetak workdir jika appDirs null saat pekerja menangani WorkDirCleanup event
    • [SPARK-43018] Memperbaiki bug untuk perintah INSERT dengan tanda waktu literal
    • Penambal keamanan sistem operasi.

  • 11 April 2023

    • Mendukung format sumber data lama dalam perintah SYNC.
    • Memperbaiki masalah dalam perilaku %autoreload di notebook yang berada di luar repositori.
    • Memperbaiki masalah di mana evolusi skema Auto Loader dapat masuk ke perulangan kegagalan tak terbatas ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42928] Membuat resolvePersistentFunction disinkronkan.
    • [SPARK-42936] Memperbaiki masalah LCan ketika klausul dapat diselesaikan langsung oleh agregat turunannya.
    • [SPARK-42967] Memperbaiki SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.
    • Penambal keamanan sistem operasi.

  • 29 Maret 2023

    • Databricks SQL sekarang mendukung penentuan nilai default untuk kolom tabel Delta Lake, baik pada waktu pembuatan tabel atau sesudahnya. Perintah INSERT, UPDATE, DELETE, dan MERGE berikutnya dapat merujuk ke nilai default dari kolom apa pun dengan menggunakan kata kunci eksplisit DEFAULT. Selain itu, jika ada penetapan INSERT yang memiliki daftar eksplisit kolom yang lebih sedikit daripada tabel target, nilai default kolom terkait digantikan untuk kolom yang tersisa (atau NULL jika tidak ada default yang ditentukan).

      Contohnya:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Auto Loader sekarang akan memulai pembersihan log RocksDB yang sinkron setidaknya sekali untuk aliran Trigger.AvailableNow guna memeriksa apakah titik pemeriksaan dapat dibersihkan secara teratur untuk aliran Auto Loader yang beroperasi cepat. Ini dapat menyebabkan beberapa proses streaming mengambil waktu lebih lama sebelum dimatikan, tetapi akan menghemat biaya penyimpanan Anda dan meningkatkan pengalaman Auto Loader dalam proses di masa mendatang.

    • Sekarang Anda dapat mengubah tabel Delta untuk menambahkan dukungan ke fitur tabel menggunakan DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Tingkatkan lockAcquireTimeoutMs menjadi 2 menit untuk memperoleh penyimpanan status RocksDB di Structured Streaming

    • [SPARK-42521] Menambahkan nilai NULL dalam operasi INSERT ketika daftar kolom yang ditentukan pengguna lebih sedikit daripada tabel sasaran

    • [SPARK-42702][SPARK-42623] Mendukung kueri berparameter dalam subkueri dan CTE

    • [SPARK-42668] Menangkap pengecualian saat mencoba menutup aliran terkompresi ketika menghentikan HDFSStateStoreProvider

    • [SPARK-42403] JsonProtocol harus menangani string JSON null

  • 8 Maret 2023

    • Pesan kesalahan "Kegagalan menginisialisasi konfigurasi" telah ditingkatkan untuk memberikan lebih banyak konteks bagi pelanggan.
    • Ada perubahan terminologi untuk menambahkan fitur ke tabel Delta menggunakan properti tabel. Sintaks yang disukai sekarang 'delta.feature.featureName'='supported' bukan 'delta.feature.featureName'='enabled'. Untuk kompatibilitas mundur, menggunakan 'delta.feature.featureName'='enabled' masih berfungsi dan akan terus berfungsi.
    • Mulai dari rilis ini, dimungkinkan untuk membuat/mengganti tabel dengan properti tabel tambahan delta.ignoreProtocolDefaults untuk mengabaikan konfigurasi Spark terkait protokol, yang mencakup versi pembaca dan penulis default dan fitur tabel yang didukung secara default.
    • [SPARK-42070] Ubah nilai default argumen fungsi Mask dari -1 ke NULL
    • [SPARK-41793] Hasil yang salah untuk kerangka jendela yang ditentukan oleh klausul rentang pada desimal yang signifikan
    • [SPARK-42484] Pesan kesalahan UnsafeRowUtils lebih baik
    • [SPARK-42516] Selalu menangkap konfigurasi zona waktu sesi saat membuat view
    • [SPARK-42635] Perbaiki ekspresi TimestampAdd.
    • [SPARK-42622] Menonaktifkan substitusi dalam nilai
    • [SPARK-42534] Memperbaiki klausa Batas DB2Dialect
    • [SPARK-42121] Menambahkan fungsi bawaan bernilai tabel posexplode, posexplode_outer, json_tuple, dan stack
    • [SPARK-42045] Mode SQL ANSI: Round/Bround harus mengembalikan kesalahan pada pembludakan bilangan bulat yang sangat kecil/kecil/signifikan
    • Penambal keamanan sistem operasi.

Databricks Runtime 11.3 LTS

Lihat Databricks Runtime 11.3 LTS (EoS).

  • 4 November 2025
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Diperbarui Python dari 2.7.18 ke 2.7.18.1
    • Penambal keamanan sistem operasi.
  • 7 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 24 September 2025
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Penambal keamanan sistem operasi.
  • 26 Agustus 2025
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • Penambal keamanan sistem operasi.
  • 15 Juli 2025
    • Penambal keamanan sistem operasi.
  • 1 Juli 2025
    • Penambal keamanan sistem operasi.
  • 17 Juni 2025
    • Penambal keamanan sistem operasi.
  • 3 Juni 2025
    • Pustaka Python yang diperbarui:
      • certifi dari 2019.11.28, 2021.10.8 hingga 2021.10.8
      • chardet dari 3.0.4, 4.0.0 hingga 4.0.0
      • idna dari 2.8, 3.2 hingga 3.2
      • permintaan dari 2.22.0, 2.26.0 hingga 2.26.0
      • enam dari 1.14.0, 1.16.0 hingga 1.16.0
      • urllib3 dari 1.25.8, 1.26.7 hingga 1.26.7
      • Menambahkan pip 21.2.4
      • Menambahkan setuptools 58.0.4
      • Menambahkan tomli 2.0.1
      • Ditambahkan wcwidth 0.2.5
      • Menambahkan roda 0.37.0
      • Dihapus distro 1.4.0
      • Dihapus distro-info 0.23+ubuntu1.1
      • Menghapus python-apt 2.0.1+ubuntu0.20.4.1
    • Penambal keamanan sistem operasi.
  • Mei 20, 2025
    • [SPARK-42655][SQL] Kesalahan referensi kolom ambigu yang tidak tepat
    • Penambal keamanan sistem operasi.
  • 22 April 2025
    • [Perubahan Perilaku] Operasi vakum sekarang melakukan pemeriksaan protokol Writer dengan cara yang mirip dengan operasi lain, mencegah pembersihan tak terduga pada tabel dengan fitur yang lebih baru ketika dijalankan dari versi Databricks Runtime yang lebih lama dan tidak kompatibel.
    • Penambal keamanan sistem operasi.
  • 9 April 2025
    • Penambal keamanan sistem operasi.
  • 5 Maret 2025
    • Penambal keamanan sistem operasi.
  • 11 Februari 2025
    • Rilis ini mencakup perbaikan untuk kasus khusus di mana proses inkremental CLONE mungkin mengopi ulang file yang sudah disalin dari tabel sumber ke tabel target. Lihat Kloning tabel di Azure Databricks.
  • 10 Desember 2024
    • Penambal keamanan sistem operasi.
  • 26 November 2024
    • Beberapa macam perbaikan bug.
  • 10 Oktober 2024
    • Beberapa macam perbaikan bug.
  • 25 September 2024
    • [SPARK-46601] [CORE] Memperbaiki kesalahan log dalam handleStatusMessage
    • [SPARK-49000][SQL] Perbaiki "select count(distinct 1) from t" di mana t adalah tabel kosong dengan memperluas RewriteDistinctAggregates
    • Beberapa macam perbaikan bug.
  • 17 September 2024
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2024
    • [SPARK-48941][SPARK-48970] Perbaikan untuk penulisan/pembacaan ML dengan backport
    • [SPARK-49065][SQL] Pemutakhiran basis dalam pemformat/pengurai warisan harus mendukung zona waktu default non JVM
    • [SPARK-48597][SQL] Memperkenalkan penanda untuk properti isStreaming dalam representasi teks dari rencana logis
    • [SPARK-48463][ML] Membuat StringIndexer mendukung kolom input berlapis
    • Penambal keamanan sistem operasi.
  • 1 Agustus 2024
  • 1 Agustus 2024
    • Untuk menerapkan patch keamanan yang diperlukan, versi Python di Databricks Runtime 11.3 LTS ditingkatkan dari 3.9.5 ke 3.9.19.
  • 11 Juli 2024
    • [SPARK-48383][SS] Menampilkan kesalahan yang lebih jelas untuk partisi yang tidak sesuai dalam opsi startOffset di Kafka
    • [SPARK-47070] Memperbaiki agregasi yang tidak valid setelah penulisan ulang subkueri
    • Penambal keamanan sistem operasi.
  • 17 Juni 2024
    • Penambal keamanan sistem operasi.
  • Mei 21, 2024
    • [SPARK-48105][SS] Memperbaiki kondisi pacu antara pelepasan penyimpanan status dan pemotretan
    • Penambal keamanan sistem operasi.
  • Mei 9, 2024
    • [SPARK-48018][SS] Memperbaiki ID grup null yang menyebabkan kesalahan parameter yang hilang saat menghasilkan KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Mencatat lokasi panggilan di SparkContext.stop() dan kemudian di SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Atur agar dapat bernilai null dengan benar pada kunci penggabungan yang digabungkan di full outer USING join
    • Penambal keamanan sistem operasi.
  • 25 April 2024
    • Penambal keamanan sistem operasi.
  • 11 April 2024
    • Penambal keamanan sistem operasi.
  • 1 April tahun 2024
    • [SPARK-44252][SS] Tentukan kelas kesalahan baru dan terapkan untuk kasus di mana status pemuatan dari DFS gagal
    • [SPARK-47135][SS] Menerapkan kelas kesalahan untuk pengecualian kehilangan data Kafka
    • Kembalikan "[SPARK-46861][CORE] Hindari Kebuntuan di DAGScheduler"
    • [SPARK-47200][SS] Kategori kesalahan untuk kesalahan fungsi pengguna pada sink batch Foreach
    • Penambal keamanan sistem operasi.
  • 14 Maret 2024
    • [SPARK-47167][SQL] Menambahkan kelas konkret untuk hubungan anonim JDBC
    • [SPARK-47125][SQL] Mengembalikan null jika Univocity tidak pernah memicu penguraian
    • Penambal keamanan sistem operasi.
  • 29 Februari 2024
    • Memperbaiki masalah saat menggunakan koleksi lokal sebagai sumber dalam perintah MERGE dapat mengakibatkan metrik operasi numSourceRows melaporkan jumlah baris yang benar dua kali lipat.
    • [SPARK-45582][SS] Pastikan instans penyimpanan tidak digunakan setelah memanggil 'commit' pada mode output agregasi streaming
  • 13 Februari 2024
    • [SPARK-46794] Menghapus subkueri dari batasan LogicalRDD.
    • [SPARK-46861] Hindari Kebuntuan di Modul DAGScheduler.
    • Penambal keamanan sistem operasi.
  • 31 Januari 2024
    • Penambal keamanan sistem operasi.
  • 25 Desember 2023
    • Untuk menghindari peningkatan latensi saat berkomunikasi melalui TLSv1.3, rilis pemeliharaan ini mencakup patch ke penginstalan JDK 8 untuk memperbaiki bug JDK JDK JDK-8293562.
    • [SPARK-46058] Tambahkan bendera terpisah untuk privateKeyPassword.
    • [SPARK-46602] Menerapkan allowExisting saat membuat tampilan ketika tampilan atau tabel tersebut belum tersedia.
    • [SPARK-46394] Memperbaiki masalah spark.catalog.listDatabases() pada skema dengan karakter khusus saat spark.sql.legacy.keepCommandOutputSchema diatur ke true.
    • [SPARK-46538] Memperbaiki masalah referensi kolom ambigu di ALSModel.transform.
    • [SPARK-39440] Tambahkan konfigurasi untuk menonaktifkan garis waktu peristiwa.
    • [SPARK-46249] Membutuhkan kunci instans untuk memperoleh metrik RocksDB guna mencegah terjadinya konflik dengan operasi latar belakang.
    • [SPARK-46132] Mendukung sandi kunci JKS untuk RPC SSL.
  • 14 Desember 2023
    • Memperbaiki masalah di mana garis bawah yang di-escape dalam operasi getColumns yang berasal dari klien JDBC atau ODBC ditangani secara tidak benar dan ditafsirkan sebagai wildcard.
    • Penambal keamanan sistem operasi.
  • 29 November 2023
    • Memperbaiki masalah di mana underscore yang telah di-escape dalam operasi getColumns yang berasal dari klien JDBC atau ODBC salah ditafsirkan sebagai wildcard.
    • [SPARK-43973] Antarmuka Streaming Terstruktur sekarang menampilkan query yang gagal dengan benar.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Dukungan SSL terintegrasi ke dalam TransportContext.
    • [SPARK-45859] Membuat objek UDF menjadi tangguh ml.functions.
    • [SPARK-43718] Memperbaiki nullability untuk kunci dalam USING penggabungan.
    • [SPARK-44846] Menghapus ekspresi pengelompokan kompleks setelah RemoveRedundantAggregates.
    • Penambal keamanan sistem operasi.
  • 14 November 2023
    • Filter partisi pada kueri streaming Delta Lake ditekan ke bawah sebelum pembatasan laju untuk mencapai pemanfaatan optimal.
    • [SPARK-42205] Menghapuskan akumulasi pencatatan dalam awal peristiwa Tahap dan Tugas.
    • [SPARK-45545]SparkTransportConf mewarisi SSLOptions ketika diciptakan.
    • Kembalikan [SPARK-33861].
    • [SPARK-45541] Ditambahkan SSLFactory.
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction tidak lagi gagal ketika IGNORE NULLS dan offset > rowCount.
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • Penambal keamanan sistem operasi.
  • 24 Oktober 2023
    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • Perbaikan lain-lain.
  • 13 Oktober 2023
    • Dependensi Snowflake-jdbc ditingkatkan dari 3.13.29 menjadi 3.13.33.
    • [SPARK-45178] Menggunakan metode alternatif untuk menjalankan satu proses batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan metode pembungkus.
    • [SPARK-45084]StateOperatorProgress untuk menggunakan nomor partisi shuffle yang akurat dan memadai.
    • [SPARK-45346] inferensi skema Parquet sekarang menghormati penanda sensitif huruf besar/kecil saat menggabungkan skema.
    • Penambal keamanan sistem operasi.
  • 10 September 2023
    • Perbaikan lain-lain.
  • 30 Agustus 2023
    • [SPARK-44818] Memperbaiki masalah kondisi balapan pada tugas tertunda yang telah dikeluarkan sebelum taskThread diinisialisasi.
    • [SPARK-44871][11.3-13.0] Perilaku tetap percentile_disc .
    • Penambal keamanan sistem operasi.
  • 15 Agustus 2023
    • [SPARK-44485] Dioptimalkan TreeNode.generateTreeString.
    • [SPARK-44504] Tugas pemeliharaan membersihkan penyedia yang dimuat saat terjadi kesalahan penghentian.
    • [SPARK-44464] Memperbaiki applyInPandasWithStatePythonRunner untuk menghasilkan baris yang memiliki Null sebagai nilai kolom pertama.
    • Penambal keamanan sistem operasi.
  • 27 Juli 2023
    • Memperbaiki masalah saat dbutils.fs.ls() mengembalikan INVALID_PARAMETER_VALUE.LOCATION_OVERLAP saat dipanggil untuk jalur lokasi penyimpanan yang berbenturan dengan lokasi penyimpanan eksternal atau terkelola lainnya.
    • [SPARK-44199]CacheManager tidak lagi memperbarui fileIndex secara tidak perlu.
    • Penambal keamanan sistem operasi.
  • 24 Juli 2023
    • [SPARK-44136] Memperbaiki masalah bahwa StateManager dapat diwujudkan dalam eksekutor alih-alih driver di FlatMapGroupsWithStateExec.
    • Penambal keamanan sistem operasi.
  • 23 Juni 2023
    • Penambal keamanan sistem operasi.
  • 15 Juni 2023
    • Difotonkan approx_count_distinct.
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • [SPARK-43779]ParseToDate sekarang memuat EvalMode di utas utama.
    • [SPARK-40862] Mendukung subkueri non-agregat dalam RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Pengujian bug pada jumlah subkueri skalar yang diperluas ketika decorrelateInnerQuery dinonaktifkan.
    • [SPARK-43098] Memperbaiki bug ketepatan COUNT saat subkueri skalar memiliki klausul GROUP BY
    • Penambal keamanan sistem operasi.
  • 2 Juni 2023
    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Meningkatkan performa pembaruan bertahap dengan SHALLOW CLONE Iceberg dan Parquet.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-43404]Hindari penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk mencegah kesalahan ketidakcocokan ID.
    • [SPARK-43527] Diperbaiki catalog.listCatalogs di PySpark.
    • [SPARK-43413][11.3-13.0] Subkueri INListQuery nullability diperbaiki.
    • [SPARK-43340] Memperbaiki bidang pelacakan tumpukan yang hilang di eventlogs.

Databricks Runtime 10.4 LTS

Lihat Databricks Runtime 10.4 LTS (EoS).

  • 12 Agustus 2025
    • Penambal keamanan sistem operasi.
  • 15 Juli 2025
    • Penambal keamanan sistem operasi.

  • 1 Juli 2025

    • Penambal keamanan sistem operasi.

  • 17 Juni 2025

    • Penambal keamanan sistem operasi.
  • 3 Juni 2025
    • Pustaka Python yang diperbarui:
      • certifi dari 2019.11.28, 2020.12.5 hingga 2020.12.5
      • chardet dari 3.0.4, 4.0.0 hingga 4.0.0
      • idna dari 2.10, 2.8 hingga 2.10
      • permintaan dari versi 2.22.0 dan 2.25.1 hingga 2.25.1
      • enam dari 1.14.0, 1.15.0 hingga 1.15.0
      • urllib3 dari 1.25.11, 1.25.8 hingga 1.25.11
      • Menambahkan pip 21.0.1
      • Menambahkan setuptools versi 52.0.0
      • Ditambahkan wcwidth 0.2.5
      • Menambahkan roda 0.36.2
      • Dihapus distro 1.4.0
      • Dihapus distro-info 0.23+ubuntu1.1
      • Menghapus python-apt 2.0.1+ubuntu0.20.4.1
    • Penambal keamanan sistem operasi.
  • Mei 20, 2025
    • Penambal keamanan sistem operasi.
  • 22 April 2025
    • Penambal keamanan sistem operasi.
  • 9 April 2025
    • Penambal keamanan sistem operasi.
  • 11 Maret 2025
    • Penambal keamanan sistem operasi.
  • 11 Februari 2025
    • Rilis ini mencakup perbaikan untuk kasus khusus di mana proses inkremental CLONE mungkin mengopi ulang file yang sudah disalin dari tabel sumber ke tabel target. Lihat Kloning tabel di Azure Databricks.
    • Penambal keamanan sistem operasi.

  • 10 Desember 2024

    • Penambal keamanan sistem operasi.

  • 26 November 2024

    • Penambal keamanan sistem operasi.

  • 5 November 2024

    • Penambal keamanan sistem operasi.

  • 22 Oktober 2024

    • Penambal keamanan sistem operasi.

  • 10 Oktober 2024

    • Penambal keamanan sistem operasi.

  • 25 September 2024

    • [SPARK-46601] [CORE] Memperbaiki kesalahan log dalam handleStatusMessage
    • [SPARK-49000][SQL] Perbaiki "select count(distinct 1) from t" di mana t merupakan tabel kosong dengan memperluas RewriteDistinctAggregates
    • Penambal keamanan sistem operasi.

  • 17 September 2024

    • Penambal keamanan sistem operasi.

  • 29 Agustus 2024

    • [SPARK-49065][SQL] Pemutakhiran basis dalam pemformat/pengurai warisan harus mendukung zona waktu default non JVM

  • 14 Agustus 2024

    • [SPARK-48597][SQL] Memperkenalkan penanda untuk properti isStreaming dalam representasi teks dari rencana logis
    • [SPARK-48941][SPARK-48970] Perbaikan untuk penulisan/pembacaan ML dengan backport
    • [SPARK-48463][ML] Membuat StringIndexer mendukung kolom input berlapis

  • 1 Agustus 2024

  • 11 Juli 2024

    • [SPARK-48383][SS] Menampilkan kesalahan yang lebih jelas untuk partisi yang tidak sesuai dalam opsi startOffset di Kafka
    • Penambal keamanan sistem operasi.

  • 17 Juni 2024

    • Penambal keamanan sistem operasi.

  • 21 Mei 2024

    • [SPARK-48105][SS] Memperbaiki kondisi pacu antara pelepasan penyimpanan status dan pemotretan
    • Penambal keamanan sistem operasi.

  • Mei 9, 2024

    • [SPARK-48018][SS] Memperbaiki ID grup null yang menyebabkan kesalahan parameter yang hilang saat menghasilkan KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Mencatat lokasi panggilan di SparkContext.stop() dan kemudian di SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Atur agar dapat bernilai null dengan benar pada kunci penggabungan yang digabungkan di full outer USING join
    • Penambal keamanan sistem operasi.

  • 25 April 2024

    • Penambal keamanan sistem operasi.

  • 11 April 2024

    • Penambal keamanan sistem operasi.

  • 1 April 2024

    • [SPARK-47135][SS] Menerapkan kelas kesalahan untuk pengecualian kehilangan data Kafka
    • [SPARK-44252][SS] Tentukan kelas kesalahan baru dan terapkan untuk kasus di mana status pemuatan dari DFS gagal
    • [SPARK-47200][SS] Kategori kesalahan untuk kesalahan fungsi pengguna pada sink batch Foreach
    • Batalkan "[SPARK-46861][CORE] Hindari Deadlock di DAGScheduler"
    • Penambal keamanan sistem operasi.

  • 14 Maret 2024

    • [SPARK-47125][SQL] Mengembalikan null jika Univocity tidak pernah memicu penguraian
    • Penambal keamanan sistem operasi.

  • 29 Februari 2024

    • Memperbaiki masalah saat menggunakan koleksi lokal sebagai sumber dalam perintah MERGE dapat mengakibatkan metrik operasi numSourceRows melaporkan jumlah baris yang benar dua kali lipat.
    • [SPARK-45582][SS] Pastikan instans penyimpanan tidak digunakan setelah memanggil 'commit' pada mode output agregasi streaming
    • Penambal keamanan sistem operasi.

  • 13 Februari 2024

    • [SPARK-46861] Hindari Kebuntuan di Modul DAGScheduler.
    • Penambal keamanan sistem operasi.

  • 31 Januari 2024

    • Penambal keamanan sistem operasi.

  • 25 Desember 2023

    • Untuk menghindari peningkatan latensi saat berkomunikasi melalui TLSv1.3, rilis pemeliharaan ini mencakup patch ke penginstalan JDK 8 untuk memperbaiki bug JDK JDK JDK-8293562.
    • [SPARK-46058] Tambahkan bendera terpisah untuk privateKeyPassword.
    • [SPARK-46538] Memperbaiki masalah referensi kolom ambigu di ALSModel.transform.
    • [SPARK-39440] Tambahkan konfigurasi untuk menonaktifkan garis waktu peristiwa.
    • [SPARK-46132] Mendukung sandi kunci JKS untuk RPC SSL.

  • 14 Desember 2023

    • Penambal keamanan sistem operasi.

  • 29 November 2023

    • [SPARK-45544] Dukungan SSL terintegrasi ke dalam TransportContext.
    • [SPARK-45859] Membuat objek UDF menjadi tangguh ml.functions.
    • [SPARK-43718] Memperbaiki nullability untuk kunci dalam USING penggabungan.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Menghapuskan akumulasi pencatatan dalam awal peristiwa Tahap dan Tugas.
    • [SPARK-44846] Menghapus ekspresi pengelompokan kompleks setelah RemoveRedundantAggregates.
    • Penambal keamanan sistem operasi.

  • 14 November 2023

    • [SPARK-45541] Ditambahkan SSLFactory.
    • [SPARK-45545]SparkTransportConf mewarisi SSLOptions ketika diciptakan.
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • Kembalikan [SPARK-33861].
    • Penambal keamanan sistem operasi.

  • 24 Oktober 2023

    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • Penambal keamanan sistem operasi.

  • 13 Oktober 2023

    • [SPARK-45084]StateOperatorProgress untuk menggunakan nomor partisi shuffle yang akurat dan memadai.
    • [SPARK-45178] Menggunakan metode alternatif untuk menjalankan satu proses batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan metode pembungkus.
    • Penambal keamanan sistem operasi.

  • 10 September 2023

    • Perbaikan lain-lain.

  • 30 Agustus 2023

    • [SPARK-44818] Memperbaiki masalah kondisi balapan pada tugas tertunda yang telah dikeluarkan sebelum taskThread diinisialisasi.
    • Penambal keamanan sistem operasi.

  • 15 Agustus 2023

    • [SPARK-44504] Tugas pemeliharaan membersihkan penyedia yang dimuat saat terjadi kesalahan penghentian.
    • [SPARK-43973] UI Structured Streaming kini menampilkan kueri yang gagal dengan benar.
    • Penambal keamanan sistem operasi.

  • 23 Juni 2023

    • Penambal keamanan sistem operasi.

  • 15 Juni 2023

    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • [SPARK-43098] Memperbaiki bug ketepatan COUNT saat subkueri skalar memiliki klausul GROUP BY
    • [SPARK-40862] Mendukung subkueri non-agregat dalam RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Uji jumlah subkueri skalar yang diperluas dengan decorrelateInnerQuery dinonaktifkan.
    • Penambal keamanan sistem operasi.

  • 2 Juni 2023

    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Memperbaiki masalah dalam penguraian data JSON yang terselamatkan untuk mencegah UnknownFieldException.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-43404] Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan ID.
    • [SPARK-43413] Memperbaiki keterhubungan null subkueri IN .
    • Penambal keamanan sistem operasi.

  • Mei 17, 2023

    • Pemindaian parquet kini lebih tangguh saat menghadapi OOM ketika memindai file yang berstruktur sangat kompleks dengan menyesuaikan ukuran batch secara dinamis. Metadata file dianalisis untuk menurunkan ukuran batch secara preemptif dan dikurangi lagi pada percobaan ulang tugas sebagai langkah pengaman terakhir.
    • [SPARK-41520] Pisahkan AND_OR pola pohon untuk memisahkan AND dan OR.
    • [SPARK-43190]ListQuery.childOutput sekarang sudah konsisten dengan keluaran sekunder.
    • Penambal keamanan sistem operasi.

  • 25 April 2023

    • [SPARK-42928] Buat resolvePersistentFunction disinkronkan.
    • Penambal keamanan sistem operasi.

  • 11 April 2023

    • Memperbaiki masalah di mana evolusi skema Auto Loader dapat masuk ke perulangan kegagalan tak terbatas ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42937]PlanSubqueries telah diatur InSubqueryExec#shouldBroadcast menjadi true.
    • [SPARK-42967] Perbaiki SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.

  • 29 Maret 2023

    • [SPARK-42668] Menangkap pengecualian saat mencoba menutup aliran terkompresi ketika menghentikan HDFSStateStoreProvider
    • [SPARK-42635] Perbaiki ...
    • Penambal keamanan sistem operasi.

  • 14 Maret 2023

    • [SPARK-41162] Perbaiki anti-dan semi-join untuk gabungan mandiri dengan agregasi
    • [SPARK-33206] Memperbaiki perhitungan berat singgahan indeks acak untuk file indeks kecil
    • [SPARK-42484]UnsafeRowUtils Meningkatkan pesan kesalahan
    • Perbaikan lain-lain.

  • 28 Februari 2023

    • Dukung kolom yang dihasilkan untuk date_format yyyy-MM-dd. Perubahan ini mendukung pemangkasan partisi untuk yyyy-MM-dd sebagai format tanggal dalam kolom yang dibuat.
    • Pengguna sekarang dapat membaca dan menulis tabel Delta tertentu yang memerlukan Pembaca versi 3 dan Writer versi 7, menggunakan Databricks Runtime 9.1 LTS atau yang lebih baru. Agar berhasil, fitur tabel yang tercantum dalam protokol tabel harus didukung oleh versi Databricks Runtime saat ini.
    • Dukung kolom yang dihasilkan untuk date_format yyyy-MM-dd. Perubahan ini mendukung pemangkasan partisi untuk yyyy-MM-dd sebagai format tanggal dalam kolom yang dibuat.
    • Penambal keamanan sistem operasi.

  • 16 Februari 2023

    • [SPARK-30220] Aktifkan menggunakan subkueri Exists/In di luar simpul Filter
    • Penambal keamanan sistem operasi.

  • 31 Januari 2023

    • Jenis tabel JDBC kini menjadi EKSTERNAL secara otomatis.

  • 18 Januari 2023

    • Azure Synapse konektor mengembalikan pesan kesalahan yang lebih deskriptif ketika nama kolom berisi karakter yang tidak valid seperti spasi kosong atau titik koma. Dalam kasus seperti itu, pesan berikut akan dikembalikan: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Hapus batch tulis setelah penerapan penyimpanan status RocksDB
    • [SPARK-41199] Memperbaiki masalah metrik saat sumber streaming DSv1 dan sumber streaming DSv2 digunakan bersama
    • [SPARK-41198] Memperbaiki metrik dalam kueri streaming yang memiliki sumber streaming CTE dan DSv1
    • [SPARK-41339] Tutup dan buat ulang grup penulisan RocksDB alih-alih hanya membersihkan
    • [SPARK-41732] Menerapkan pemangkasan berbasis pola pohon untuk aturan SessionWindowing
    • Penambal keamanan sistem operasi.

  • 29 November 2022

    • Pengguna dapat mengonfigurasi perilaku spasi putih terkemuka dan berikutnya saat menulis data menggunakan konektor Redshift. Opsi berikut telah ditambahkan untuk mengontrol penanganan spasi kosong:
      • csvignoreleadingwhitespace, saat diatur ke true, menghapus spasi kosong di depan dari nilai selama penulisan saat tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan ketika konfigurasi diatur ke false. Secara default, nilainya adalah true.
      • csvignoretrailingwhitespace, ketika diatur ke true, menghapus spasi kosong di akhir dari nilai saat penulisan ketika tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan ketika konfigurasi diatur ke false. Secara default, nilainya adalah true.
    • Memperbaiki masalah penguraian JSON di Auto Loader ketika semua kolom dibiarkan sebagai string (cloudFiles.inferColumnTypes tidak diatur atau diatur ke false) dan JSON berisi objek berlapis.
    • Penambal keamanan sistem operasi.

  • 15 November 2022

    • Meningkatkan teks umum Apache ke 1.10.0.
    • [SPARK-40646] penguraian JSON untuk struktur, peta, dan array telah diperbaiki sehingga ketika bagian dari rekaman tidak cocok dengan skema, sisa catatan masih dapat diurai dengan benar alih-alih mengembalikan null. Untuk ikut serta dalam perilaku yang ditingkatkan, atur spark.sql.json.enablePartialResults ke true. Bendera dinonaktifkan secara default untuk mempertahankan perilaku asli.
    • [SPARK-40292] Memperbaiki nama kolom dalam fungsi arrays_zip saat array direferensikan dari struktur bertingkat
    • Penambal keamanan sistem operasi.

  • 1 November 2022

    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Mengubah umpan data dinonaktifkan pada tabel tersebut, data di kolom tersebut akan salah diisi dengan nilai NULL saat menjalankan MERGE.
    • Memperbaiki masalah Auto Loader di mana file dapat diduplikasi dalam batch mikro yang sama saat allowOverwrites diaktifkan
    • [SPARK-40697] Menambahkan padding karakter sisi baca untuk mencakup file data eksternal
    • [SPARK-40596] Lengkapi ExecutorDecommission dengan pesan dari ExecutorDecommissionInfo
    • Penambal keamanan sistem operasi.

  • 18 Oktober 2022

    • Penambal keamanan sistem operasi.

  • Rabu, 05 Oktober 2022

    • [SPARK-40468] Memperbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih.
    • Penambal keamanan sistem operasi.

  • Tanggal 22 September 2022

    • Pengguna dapat mengatur spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) untuk mengaktifkan kembali daftar bawaan untuk Auto Loader di ADLS. Daftar bawaan sebelumnya dinonaktifkan karena masalah performa, namun hal ini dapat menyebabkan peningkatan biaya penyimpanan bagi pelanggan.
    • [SPARK-40315] Tambahkan hashCode() untuk Literal dari ArrayBasedMapData
    • [SPARK-40213] Mendukung konversi nilai ASCII untuk karakter Latin-1
    • [SPARK-40380] Perbaiki pelipatan konstanta InvokeLike untuk menghindari literal yang tidak dapat diserialisasikan yang disematkan dalam rencana
    • [SPARK-38404] Meningkatkan resolusi CTE ketika CTE bertumpuk mengacu pada CTE luar
    • [SPARK-40089] Memperbaiki pengurutan untuk beberapa jenis Desimal
    • [SPARK-39887] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik

  • 6 September 2022

    • [SPARK-40235] Gunakan kunci yang dapat diinterupsi alih-alih disinkronkan di Executor.updateDependencies()
    • [SPARK-40218] GROUPING SETS harus mempertahankan kolom pengelompokan
    • [SPARK-39976] ArrayIntersect perlu menangani null pada ekspresi kiri dengan benar
    • [SPARK-40053] Tambahkan assume ke kasus pembatalan dinamis yang memerlukan lingkungan runtime Python
    • [SPARK-35542] Perbaikan: Bucketizer dibuat untuk beberapa kolom dengan parameter splitsArray, inputCols, dan outputCols tidak dapat dimuat setelah disimpan.
    • [SPARK-40079] Tambahkan validasi Imputer inputCols untuk kasus input kosong

  • 24 Agustus 2022

    • [SPARK-39983] Jangan menyimpan relasi siaran yang tidak diserialisasi pada driver
    • [SPARK-39775] Menonaktifkan validasi nilai default saat mengurai skema Avro
    • [SPARK-39962] Terapkan proyeksi saat atribut grup kosong
    • [SPARK-37643] ketika charVarcharAsString benar, untuk kueri predikat tipe data karakter harus melewati aturan rpadding
    • Penambal keamanan sistem operasi.

  • 9 Agustus 2022

    • [SPARK-39847] Perbaiki kondisi balapan di RocksDBLoader.loadLibrary() jika proses pemanggil terganggu
    • [SPARK-39731] Memperbaiki masalah dalam sumber data CSV dan JSON saat mengurai tanggal dalam format "yyyyMMdd" dengan kebijakan pengurai waktu YANG DIKOREKSI
    • Penambal keamanan sistem operasi.

  • 27 Juli 2022

    • [SPARK-39625] Tambahkan Dataset.as(StructType)
    • [SPARK-39689]Mendukung 2 karakter lineSep di sumber data CSV
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded harus aman untuk utas
    • [SPARK-39570] Tabel sebaris harus mengizinkan ekspresi dengan alias
    • [SPARK-39702] Mengurangi overhead memori dari TransportCipher$EncryptedMessage dengan menggunakan byteRawChannel yang dibagikan
    • [SPARK-39575] tambahkan ByteBuffer#rewind setelah ByteBuffer#get di AvroDeserializer
    • [SPARK-39476] Nonaktifkan pengoptimalan pindahan Unwrap saat pemaksaan tipe dari Long ke Float/Double atau dari Integer ke Float
    • [SPARK-38868] Jangan menyebarluaskan pengecualian dari predikat filter saat mengoptimalkan gabungan luar
    • Penambal keamanan sistem operasi.

  • 20 Juli 2022

    • Jadikan hasil operasi MERGE Delta konsisten saat sumbernya tidak deterministik.
    • [SPARK-39355] Kolom tunggal menggunakan tanda kutip untuk membentuk UnresolvedAttribute
    • [SPARK-39548] Perintah CreateView dengan kueri klausa jendela menekan definisi jendela yang salah tidak menemukan masalah
    • [SPARK-39419] Memperbaiki ArraySort untuk melempar pengecualian saat komparator mengembalikan null
    • Mematikan penggunaan API cloud bawaan Auto Loader untuk daftar direktori di Azure.
    • Penambal keamanan sistem operasi.

  • 5 Juli 2022

    • [SPARK-39376] Sembunyikan kolom duplikat dalam perluasan bintang alias subkueri dari NATURAL/USING JOIN
    • Penambal keamanan sistem operasi.

  • 15 Juni 2022

    • [SPARK-39283] Memperbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285] Spark tidak boleh memeriksa nama bidang saat membaca file
    • [SPARK-34096] Meningkatkan performa untuk nth_value mengabaikan nilai null melalui jendela offset
    • [SPARK-36718]isExtractOnly Perbaiki pemeriksaan dalam CollapseProject

  • 2 Juni 2022

    • [SPARK-39093] Hindari kesalahan kompilasi codegen saat membagi interval bulan tahunan atau interval waktu sehari dengan integral
    • [SPARK-38990] Hindari NullPointerException saat mengevaluasi format date_trunc/trunc sebagai referensi tergantung
    • Penambal keamanan sistem operasi.

  • Mei 18, 2022

    • Memperbaiki potensi kebocoran memori bawaan di Auto Loader.
    • [SPARK-38918] pemangkasan kolom berlapis harus memfilter atribut yang bukan milik relasi saat ini
    • [SPARK-37593] Kurangi ukuran halaman default dengan LONG_ARRAY_OFFSET jika G1GC dan ON_HEAP digunakan
    • [SPARK-39084] Perbaiki df.rdd.isEmpty() dengan menggunakan TaskContext untuk menghentikan iterator pada penyelesaian tugas
    • [SPARK-32268] Menambahkan ColumnPruning pada injectBloomFilter
    • [SPARK-38974] Filter fungsi terdaftar dengan nama database tertentu dalam daftar fungsi
    • [SPARK-38931] Membuat direktori root dfs untuk RocksDBFileManager dengan jumlah kunci yang tidak diketahui pada titik pemeriksaan ke-1
    • Penambal keamanan sistem operasi.

  • 19 April 2022

    • Meningkatkan Java AWS SDK dari versi 1.11.655 menjadi 1.12.1899.
    • Memperbaiki masalah dengan pustaka khusus buku catatan yang tidak berfungsi dalam proses streaming secara batch.
    • [SPARK-38616] Melacak teks kueri SQL dalam TreeNode Catalyst
    • Penambal keamanan sistem operasi.

  • 6 April 2022

    • Fungsi Spark SQL berikut sekarang tersedia dengan rilis ini:
      • timestampadd() dan dateadd(): Tambahkan durasi waktu dalam unit tertentu ke ekspresi stempel waktu.
      • timestampdiff() dan datediff(): Hitung perbedaan waktu antara dua ekspresi penanda waktu dalam satuan tertentu.
    • Parquet-MR telah ditingkatkan ke 1.12.2
    • Peningkatan dukungan untuk skema komprehensif dalam file parquet
    • [SPARK-38631] Menggunakan implementasi berbasis Java untuk un-tarring di Utils.unpack
    • [SPARK-38509][SPARK-38481] Pilih secara selektif tiga timestmapadd/diff perubahan.
    • [SPARK-38523] Memperbaiki referensi pada kolom rekaman yang rusak dari CSV
    • [SPARK-38237] Izinkan ClusteredDistribution untuk memerlukan kunci pengklusteran penuh
    • [SPARK-38437] Serialisasi bersifat longgar untuk tanggal dan waktu dari sumber data
    • [SPARK-38180] Memungkinkan ekspresi up-cast yang aman dalam predikat kesetaraan yang berkorelasi
    • [SPARK-38155] Melarang agregat unik dalam subkueri lateral dengan predikat yang tidak didukung
    • Penambal keamanan sistem operasi.

Databricks Runtime 13.0

Lihat Databricks Runtime 13.0 (EoS).

  • 13 Oktober 2023
    • Dependensi Snowflake-jdbc ditingkatkan dari 3.13.29 menjadi 3.13.33.
    • [SPARK-42553][SQL] Pastikan setidaknya satu unit waktu setelah interval.
    • [SPARK-45178] Fallback untuk menjalankan satu batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan pembungkus.
    • [SPARK-44658][CORE] ShuffleStatus.getMapStatus mengembalikan None daripada Some(null).
    • [SPARK-42205][CORE] Hapus pencatatan Akumulables dalam peristiwa dimulainya tugas/tahap di JsonProtocol.
    • Penambal keamanan sistem operasi.
  • 12 September 2023
    • [SPARK-44485][SQL] Optimalkan TreeNode.generateTreeString.
    • [SPARK-44718][SQL] Cocokkan ColumnVector konfigurasi mode memori secara default dengan OffHeapMemoryMode nilai konfigurasi.
    • Beberapa macam perbaikan bug.
  • 30 Agustus 2023
    • [SPARK-44818][Backport] Memperbaiki kondisi race untuk tugas yang tertunda yang dikeluarkan sebelum taskThread diinisialisasi.
    • [SPARK-44714] Mengurangi pembatasan resolusi LCA mengenai kueri.
    • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() doctests kini hanya bersifat ilustratif.
    • [SPARK-44871][11.3-13.0][SQL] Perilaku tetap percentile_disc .
    • Penambal keamanan sistem operasi.
  • 15 Agustus 2023
    • [SPARK-44643][SQL][PyTHON] Perbaiki Row.__repr__ saat baris kosong.
    • [SPARK-44504][Backport] Tugas pemeliharaan membersihkan penyedia yang dimuat ketika terjadinya kesalahan saat berhenti.
    • [SPARK-44479][SAMBUNGKAN][PyTHON] protobuf Memperbaiki konversi dari jenis struct kosong.
    • [SPARK-44464][SS] Memperbaiki applyInPandasWithStatePythonRunner untuk menghasilkan baris yang memiliki Null sebagai nilai kolom pertama.
    • Beberapa macam perbaikan bug.
  • 29 Juli 2023
    • Memperbaiki bug di mana dbutils.fs.ls() mengembalikan INVALID_PARAMETER_VALUE.LOCATION_OVERLAP saat dipanggil untuk jalur lokasi penyimpanan yang berbenturan dengan lokasi penyimpanan eksternal atau terkelola lainnya.
    • [SPARK-44199]CacheManager tidak lagi memperbarui fileIndex secara tidak perlu.
    • Penambal keamanan sistem operasi.
  • 24 Juli 2023
    • [SPARK-44337][PROTOBUF] Memperbaiki masalah di mana bidang apa pun yang diatur ke Any.getDefaultInstance mengakibatkan kesalahan penguraian.
    • [SPARK-44136] [SS] Memperbaiki masalah di mana StateManager akan termaterialisasi dalam eksekutor alih-alih driver di FlatMapGroupsWithStateExec.
    • Kembalikan [SPARK-42323][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2332.
    • Penambal keamanan sistem operasi.
  • 23 Juni 2023
    • Penambal keamanan sistem operasi.
  • 15 Juni 2023
    • Difotonkan approx_count_distinct.
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • [SPARK-43156][SPARK-43098][SQL] Perluas pengujian bug terkait jumlah pada subkueri skalar dengan dinonaktifkannya decorrelateInnerQuery
    • [SPARK-43779][SQL] ParseToDate sekarang dimuat dalam utas EvalMode utama.
    • [SPARK-42937][SQL] PlanSubqueries harus mengatur InSubqueryExec#shouldBroadcast ke true
    • Penambal keamanan sistem operasi.
  • 2 Juni 2023
    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Meningkatkan performa pembaruan bertahap dengan SHALLOW CLONE Iceberg dan Parquet.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-43404][Backport] Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan ID.
    • [SPARK-43340][CORE] Memperbaiki bidang jejak tumpukan yang hilang dalam log kejadian.
    • [SPARK-43300][CORE] NonFateSharingCache pembungkus untuk Guava Cache.
    • [SPARK-43378][CORE] Tutup objek streaming dengan benar di deserializeFromChunkedBuffer.
    • [SPARK-16484][SQL] Gunakan register 8-bit untuk mewakili DataSketches.
    • [SPARK-43522][SQL] Memperbaiki pembuatan nama kolom struct dengan indeks array.
    • [SPARK-43413][11.3-13.0][SQL] Memperbaiki nullability pada subkueri IN.
    • [SPARK-43043][CORE] Peningkatan MapOutputTracker.updateMapOutput kinerja.
    • [SPARK-16484][SQL] Menambahkan dukungan untuk DataSketches HllSketch.
    • [SPARK-43123][SQL] Metadata bidang internal tidak lagi bocor ke katalog.
    • [SPARK-42851][SQL] Jaga EquivalentExpressions.addExpr() dengan supportedExpression().
    • [SPARK-43336][SQL] Casting antara Timestamp dan TimestampNTZ memerlukan zona waktu.
    • [SPARK-43286][SQL] Mode CBC diperbarui untuk menghasilkan IV acak.
    • [SPARK-42852][SQL] NamedLambdaVariable Mengembalikan perubahan terkait dari EquivalentExpressions.
    • [SPARK-43541][SQL] Menyebarkan semua tag Project dalam menyelesaikan ekspresi dan kolom yang hilang..
    • [SPARK-43527][PyTHON] Diperbaiki catalog.listCatalogs di PySpark.
    • Penambal keamanan sistem operasi.
  • 31 Mei 2023
    • Dukungan tulis default yang dioptimalkan untuk tabel Delta yang terdaftar di Unity Catalog telah diperluas untuk menyertakan pernyataan CTAS dan operasi INSERT untuk tabel yang dipartisi. Perilaku ini selaras dengan default pada gudang SQL. Lihat Penulisan Teroptimasi.
  • Mei 17, 2023
    • Memperbaiki regresi di mana _metadata.file_path dan _metadata.file_name akan mengembalikan string yang salah diformat. Misalnya, sekarang jalur dengan spasi direpresentasikan sebagai s3://test-bucket/some%20directory/some%20data.csv alih-alih s3://test-bucket/some directory/some data.csv.
    • Pemindaian parquet kini lebih tangguh saat menghadapi OOM ketika memindai file yang berstruktur sangat kompleks dengan menyesuaikan ukuran batch secara dinamis. Metadata file dianalisis untuk menurunkan ukuran batch secara preemptif dan dikurangi lagi pada percobaan ulang tugas sebagai langkah pengaman terakhir.
      • Jika file Avro dibaca hanya dengan opsi failOnUnknownFields atau dengan Auto Loader dalam mode evolusi skema failOnNewColumns, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi rescuedDataColumn.
    • Auto Loader sekarang melakukan hal berikut.
      • Membaca dengan tepat dan tidak lagi menggunakan jenis Integer, Short, Byte jika salah satu jenis data ini disediakan, tetapi file Avro menyarankan salah satu dari dua tipe lainnya.
      • Mencegah membaca jenis interval sebagai jenis tanggal atau tanda waktu untuk menghindari tanggal yang rusak.
      • Mencegah pembacaan jenis Decimal dengan presisi yang lebih rendah.
    • [SPARK-43172] [SAMBUNGKAN] Mengekspos host dan token dari klien Spark connect.
    • [SPARK-43293][SQL] __qualified_access_only diabaikan di kolom normal.
    • [SPARK-43098][SQL] Memperbaiki bug kebenaran COUNT ketika subkueri skalar dikelompokkan menurut klausul.
    • [SPARK-43085][SQL] Dukungan untuk penugasan kolom DEFAULT pada nama tabel dengan bagian-bagian ganda.
    • [SPARK-43190][SQL] ListQuery.childOutput sekarang konsisten dengan output sekunder.
    • [SPARK-43192] [SAMBUNGKAN] Menghapus validasi charset agen pengguna.
  • 25 April 2023
    • Anda dapat mengubah tabel Delta untuk menambahkan dukungan untuk fitur tabel Delta menggunakan DeltaTable.addFeatureSupport(feature_name).
    • Perintah SYNC sekarang mendukung format sumber data warisan.
    • Memperbaiki bug di mana menggunakan formatter Python sebelum menjalankan perintah lain dalam buku catatan Python dapat menyebabkan jalur buku catatan hilang dari sys.path.
    • Azure Databricks sekarang mendukung penentuan nilai default untuk kolom tabel Delta. INSERT, UPDATE, DELETE, dan MERGE perintah dapat merujuk ke nilai default kolom menggunakan kata kunci eksplisit DEFAULT . Untuk perintah INSERT dengan daftar eksplisit kolom yang lebih sedikit dari tabel target, nilai default kolom terkait digantikan untuk kolom yang tersisa (atau NULL jika tidak ada default yang ditentukan).
  • Memperbaiki bug di mana terminal web tidak dapat digunakan untuk mengakses file di /Workspace untuk beberapa pengguna.
    • Jika file Parquet dibaca hanya dengan opsi failOnUnknownFields atau dengan Auto Loader dalam mode evolusi skema failOnNewColumns, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi rescuedDataColumn.
    • Auto Loader sekarang membaca dengan benar dan tidak lagi memproses jenis Integer, Short, Byte jika salah satu jenis data ini disediakan. File Parquet menunjukkan salah satu dari dua jenis lainnya. Ketika kolom data yang dipulihkan sebelumnya diaktifkan, ketidakcocokan jenis data akan menyebabkan kolom dipulihkan meskipun data sebenarnya dapat dibaca.
    • Memperbaiki bug di mana evolusi skema Auto Loader dapat masuk ke perulangan gagal tak terbatas, ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42794][SS] Tingkatkan lockAcquireTimeoutMs menjadi 2 menit untuk memperoleh penyimpanan status RocksDB di Struktur Streaming.
    • [SPARK-39221][SQL] Buat informasi sensitif diredaksi dengan benar untuk tab pekerjaan/tahapan server thrift.
    • [SPARK-42971][CORE] Ubah untuk mencetak workdir jika appDirs null ketika pekerja menangani acara WorkDirCleanup.
    • [SPARK-42936][SQL] Perbaiki bug LCA ketika klausul HAVING dapat langsung diselesaikan oleh agregat anaknya.
    • [SPARK-43018][SQL] Perbaiki bug untuk perintah dengan literal cap waktu.
    • Kembalikan [SPARK-42754][SQL][UI] Perbaiki masalah kompatibilitas mundur dalam eksekusi SQL berlapis.
    • Kembalikan [SPARK-41498] Sebarkan metadata melalui Union.
    • [SPARK-43038][SQL] Dukung mode CBC dengan aes_encrypt()/aes_decrypt().
    • [SPARK-42928][SQL] Buat resolvePersistentFunction disinkronkan.
    • [SPARK-42521][SQL] Tambahkan nilai NULL untuk INSERT dengan daftar kolom yang lebih sedikit yang ditentukan oleh pengguna dibandingkan tabel target.
    • [SPARK-41391][SQL] Nama kolom output groupBy.agg(count_distinct) salah.
    • [SPARK-42548][SQL] Tambahkan ReferenceAllColumns untuk melewati atribut penulisan ulang.
    • [SPARK-42423][SQL] Tambahkan awal dan panjang blok file kolom metadata.
    • [SPARK-42796][SQL] Dukungan mengakses kolom TimestampNTZ di CachedBatch.
    • [SPARK-42266][PYTHON] Hapus direktori induk di shell.py dijalankan saat IPython digunakan.
    • [SPARK-43011][SQL] array_insert harus gagal dengan indeks 0.
    • [SPARK-41874][SAMBUNGKAN][PyTHON] Dukungan SameSemantics di Spark Connect.
    • [SPARK-42702][SPARK-42623][SQL] Mendukung kueri berparameter dalam subkueri dan CTE.
    • [SPARK-42967][CORE] Perbaiki SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.
    • Penambal keamanan sistem operasi.

Databricks Runtime 12.1

Lihat Databricks Runtime 12.1 (EoS).

  • 23 Juni 2023

    • Penambal keamanan sistem operasi.

  • 15 Juni 2023

    • Difotonkan approx_count_distinct.
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • [SPARK-43779][SQL] ParseToDate sekarang dimuat dalam utas EvalMode utama.
    • [SPARK-43156][SPARK-43098][SQL] Perluas pengujian bug terkait jumlah pada subkueri skalar dengan dinonaktifkannya decorrelateInnerQuery
    • Penambal keamanan sistem operasi.

  • 2 Juni 2023

    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Meningkatkan performa pembaruan bertahap dengan SHALLOW CLONE Iceberg dan Parquet.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-43404][Backport] Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan ID.
    • [SPARK-43413][11.3-13.0][SQL] Memperbaiki nullability pada subkueri IN.
    • [SPARK-43522][SQL] Memperbaiki pembuatan nama kolom struct dengan indeks array.
    • [SPARK-42444][PYTHON] DataFrame.drop sekarang menangani kolom duplikat dengan benar.
    • [SPARK-43541][SQL] Menyebarkan semua tag Project dalam menyelesaikan ekspresi dan kolom yang hilang..
    • [SPARK-43340][CORE] Memperbaiki bidang jejak tumpukan yang hilang dalam log kejadian.
    • [SPARK-42937][SQL] PlanSubqueries sekarang mengatur InSubqueryExec#shouldBroadcast ke true.
    • [SPARK-43527][PyTHON] Diperbaiki catalog.listCatalogs di PySpark.
    • [SPARK-43378][CORE] Tutup objek streaming dengan benar di deserializeFromChunkedBuffer.

  • Mei 17, 2023

    • Pemindaian parquet kini lebih tangguh saat menghadapi OOM ketika memindai file yang berstruktur sangat kompleks dengan menyesuaikan ukuran batch secara dinamis. Metadata file dianalisis untuk menurunkan ukuran batch secara preemptif dan dikurangi lagi pada percobaan ulang tugas sebagai langkah pengaman terakhir.
    • Jika file Avro dibaca hanya dengan opsi failOnUnknownFields atau dengan Auto Loader dalam mode evolusi skema failOnNewColumns, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi rescuedDataColumn.
    • Auto Loader sekarang melakukan hal berikut.
      • Membaca dengan tepat dan tidak lagi menggunakan jenis Integer, Short, Byte jika salah satu jenis data ini disediakan, tetapi file Avro menyarankan salah satu dari dua tipe lainnya.
      • Mencegah membaca jenis interval sebagai jenis tanggal atau tanda waktu untuk menghindari tanggal yang rusak.
      • Mencegah pembacaan jenis Decimal dengan presisi yang lebih rendah.
    • [SPARK-43098][SQL] Memperbaiki bug kebenaran COUNT ketika subkueri skalar dikelompokkan menurut klausul.
    • [SPARK-43190][SQL] ListQuery.childOutput sekarang konsisten dengan output sekunder.
    • Penambal keamanan sistem operasi.

  • 25 April 2023

    • Jika file Parquet dibaca hanya dengan opsi failOnUnknownFields atau dengan Auto Loader dalam mode evolusi skema failOnNewColumns, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi rescuedDataColumn.
    • Auto Loader sekarang membaca dengan benar dan tidak lagi memproses jenis Integer, Short, Byte jika salah satu jenis data ini disediakan. File Parquet menunjukkan salah satu dari dua jenis lainnya. Ketika kolom data yang dipulihkan sebelumnya diaktifkan, ketidakcocokan jenis data akan menyebabkan kolom dipulihkan meskipun data sebenarnya dapat dibaca.
    • [SPARK-43009][SQL] Diparameterkan sql() dengan Any konstanta.
    • [SPARK-42971][CORE] Ubah untuk mencetak workdir jika appDirs null ketika pekerja menangani acara WorkDirCleanup.
    • Penambal keamanan sistem operasi.

  • 11 April 2023

    • Perintah SYNC mendukung format sumber data warisan.
    • Memperbaiki bug dalam perilaku %autoreload di notebook yang berada di luar repositori.
    • Memperbaiki bug di mana evolusi skema Auto Loader dapat masuk ke perulangan gagal tak terbatas, ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42928][SQL] Membuat resolvePersistentFunction disinkronkan.
    • [SPARK-42967][CORE] Memperbaiki SparkListenerTaskStart.stageAttemptId pada saat tugas dimulai setelah tahap dibatalkan.
    • Penambal keamanan sistem operasi.

  • 29 Maret 2023

    • Auto Loader sekarang memicu setidaknya satu pembersihan log RocksDB sinkron untuk aliran Trigger.AvailableNow untuk memastikan bahwa titik pemeriksaan dapat dibersihkan secara teratur untuk aliran Auto Loader yang berjalan cepat. Ini dapat menyebabkan beberapa aliran memakan waktu lebih lama sebelum dimatikan, tetapi akan menghemat biaya penyimpanan Anda dan meningkatkan pengalaman Auto Loader di masa mendatang.
    • Sekarang Anda dapat mengubah tabel Delta untuk menambahkan dukungan ke fitur tabel menggunakan DeltaTable.addFeatureSupport(feature_name).
    • [SPARK-42702][SPARK-42623][SQL] Mendukung kueri berparameter dalam subkueri dan CTE
    • [SPARK-41162][SQL] Perbaiki anti-dan semi-join untuk bergabung sendiri dengan agregasi
    • [SPARK-42403][CORE] JsonProtocol harus menangani string JSON null
    • [SPARK-42668][SS] Menangkap pengecualian saat mencoba menutup aliran terkompresi di HDFSStateStoreProvider batal
    • [SPARK-42794][SS] Tingkatkan lockAcquireTimeoutMs menjadi 2 menit untuk memperoleh penyimpanan status RocksDB dalam Streaming Struktur

  • 14 Maret 2023

    • Ada perubahan terminologi untuk menambahkan fitur ke tabel Delta menggunakan properti tabel. Sintaks yang disukai sekarang 'delta.feature.featureName'='supported' bukan 'delta.feature.featureName'='enabled'. Untuk kompatibilitas mundur, menggunakan 'delta.feature.featureName'='enabled' masih berfungsi dan akan terus berfungsi.
    • [SPARK-42622][CORE] Nonaktifkan substitusi dalam nilai
    • [SPARK-42534][SQL] Memperbaiki Klausa Pembatas DB2Dialect
    • [SPARK-42635][SQL] Perbaiki ekspresi TimestampAdd.
    • [SPARK-42516][SQL] Selalu ambil konfigurasi zona waktu sesi saat membuat tampilan
    • [SPARK-42484] [SQL] Pesan kesalahan UnsafeRowUtils lebih baik
    • [SPARK-41793][SQL] Hasil yang salah untuk bingkai jendela yang ditentukan oleh klausul rentang pada desimal besar
    • Penambal keamanan sistem operasi.

  • 24 Februari 2023

    • Sekarang Anda dapat menggunakan sekumpulan opsi terpadu (host, port, database, user, password) untuk menyambungkan ke sumber data yang didukung di Federasi Kueri (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Perhatikan bahwa port bersifat opsional dan menggunakan nomor port default untuk setiap sumber data jika tidak disediakan.

    Contoh konfigurasi koneksi PostgreSQL

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Contoh konfigurasi koneksi Snowflake

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PyTHON] Hindari melanggar konfigurasi pengelogan dari pyspark.pandas
    • [SPARK-42346][SQL] Menulis ulang agregat unik setelah penggabungan subkueri
    • [SPARK-41990][SQL] Gunakan FieldReference.column alih-alih apply dalam konversi filter V1 ke V2
    • Kembalikan [SPARK-41848][CORE] Memperbaiki tugas yang terlalu terjadwal dengan TaskResourceProfile
    • [SPARK-42162] Memperkenalkan ekspresi MultiCommutativeOp sebagai pengoptimalan memori untuk kanonisisasi pohon besar ekspresi komutatif
    • Penambal keamanan sistem operasi.

  • 16 Februari 2023

    • perintah SYNC mendukung sinkronisasi tabel Apache Hive Metastore yang dibuat ulang. Jika tabel HMS sebelumnya telah disinkronkan ke Unity Catalog tetapi kemudian dihapus dan dibuat ulang, sinkronisasi ulang berikutnya akan berhasil daripada menghasilkan kode status TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide menggunakan desimal(1, 0) untuk mewakili 0
    • [SPARK-36173][CORE] Dukungan untuk mendapatkan nomor CPU di TaskContext
    • [SPARK-41848][CORE] Memperbaiki tugas yang terlalu terjadwal dengan TaskResourceProfile
    • [SPARK-42286][SQL] Fallback ke jalur kode codegen sebelumnya untuk expr kompleks dengan CAST

  • 31 Januari 2023

    • Membuat skema dengan lokasi yang ditentukan sekarang mengharuskan pengguna untuk memiliki hak istimewa SELECT dan hak istimewa untuk MEMODIFIKASI pada file apa pun.
    • [SPARK-41581][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1230
    • [SPARK-41996][SQL][SS] Perbaiki pengujian kafka untuk memverifikasi partisi yang hilang untuk memperhitungkan operasi Kafka yang lambat
    • [SPARK-41580][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2137
    • [SPARK-41666][PYTHON] Mendukung SQL berparameter dengan sql()
    • [SPARK-41579][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1249
    • [SPARK-41573][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2136
    • [SPARK-41574][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2009
    • [SPARK-41049][Followup] Memperbaiki regresi sinkronisasi kode untuk ConvertToLocalRelation
    • [SPARK-41576][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2051
    • [SPARK-41572][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2149
    • [SPARK-41575][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2054
    • Penambal keamanan sistem operasi.

Databricks Runtime 12.0

Lihat Databricks Runtime 12.0 (EoS).

  • 15 Juni 2023

    • Difotonkan approx_count_distinct.
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • [SPARK-43156][SPARK-43098][SQL] Perluas pengujian bug terkait jumlah pada subkueri skalar dengan dinonaktifkannya decorrelateInnerQuery
    • [SPARK-43779][SQL] ParseToDate sekarang dimuat dalam utas EvalMode utama.
    • Penambal keamanan sistem operasi.

  • 2 Juni 2023

    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Meningkatkan performa pembaruan bertahap dengan SHALLOW CLONE Iceberg dan Parquet.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-42444][PYTHON] DataFrame.drop sekarang menangani kolom duplikat dengan benar.
    • [SPARK-43404][Backport] Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan ID.
    • [SPARK-43413][11.3-13.0][SQL] Memperbaiki nullability pada subkueri IN.
    • [SPARK-43527][PyTHON] Diperbaiki catalog.listCatalogs di PySpark.
    • [SPARK-43522][SQL] Memperbaiki pembuatan nama kolom struct dengan indeks array.
    • [SPARK-43541][SQL] Menyebarkan semua tag Project dalam menyelesaikan ekspresi dan kolom yang hilang..
    • [SPARK-43340][CORE] Memperbaiki bidang jejak tumpukan yang hilang dalam log kejadian.
    • [SPARK-42937][SQL] PlanSubqueries mengatur InSubqueryExec#shouldBroadcast ke true.

  • Mei 17, 2023

    • Pemindaian parquet kini lebih tangguh saat menghadapi OOM ketika memindai file yang berstruktur sangat kompleks dengan menyesuaikan ukuran batch secara dinamis. Metadata file dianalisis untuk menurunkan ukuran batch secara preemptif dan dikurangi lagi pada percobaan ulang tugas sebagai langkah pengaman terakhir.
    • Jika file Avro dibaca hanya dengan opsi failOnUnknownFields atau dengan Auto Loader dalam mode evolusi skema failOnNewColumns, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi rescuedDataColumn.
    • Auto Loader sekarang melakukan hal berikut.
      • Membaca dengan tepat dan tidak lagi menggunakan jenis Integer, Short, Byte jika salah satu jenis data ini disediakan, tetapi file Avro menyarankan salah satu dari dua tipe lainnya.
      • Mencegah membaca jenis interval sebagai jenis tanggal atau tanda waktu untuk menghindari tanggal yang rusak.
      • Mencegah pembacaan jenis Decimal dengan presisi yang lebih rendah.
    • [SPARK-43172] [SAMBUNGKAN] Mengekspos host dan token dari klien Spark connect.
    • [SPARK-41520][SQL] Pisahkan AND_OR pola pohon untuk memisahkan AND dan OR.
    • [SPARK-43098][SQL] Memperbaiki bug kebenaran COUNT ketika subkueri skalar dikelompokkan menurut klausul.
    • [SPARK-43190][SQL] ListQuery.childOutput sekarang konsisten dengan output sekunder.
    • Penambal keamanan sistem operasi.

  • 25 April 2023

    • Jika file Parquet dibaca hanya dengan opsi failOnUnknownFields atau dengan Auto Loader dalam mode evolusi skema failOnNewColumns, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi rescuedDataColumn.
    • Auto Loader sekarang membaca dengan benar dan tidak lagi memproses jenis Integer, Short, Byte jika salah satu jenis data ini disediakan. File Parquet menunjukkan salah satu dari dua jenis lainnya. Ketika kolom data yang dipulihkan sebelumnya diaktifkan, ketidakcocokan jenis data akan menyebabkan kolom dipulihkan meskipun data sebenarnya dapat dibaca.
    • [SPARK-42971][CORE] Ubah untuk mencetak workdir jika appDirs bernilai null saat pekerja menangani WorkDirCleanup kejadian
    • Penambal keamanan sistem operasi.

  • 11 April 2023

    • Perintah SYNC mendukung format sumber data warisan.
    • Memperbaiki bug dalam perilaku %autoreload di buku catatan yang berada di luar repositori.
    • Memperbaiki bug di mana evolusi skema Auto Loader dapat masuk ke perulangan gagal tak terbatas, ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42928][SQL] Membuat resolvePersistentFunction disinkronkan.
    • [SPARK-42967][CORE] Memperbaiki SparkListenerTaskStart.stageAttemptId pada saat tugas dimulai setelah tahap dibatalkan.
    • Penambal keamanan sistem operasi.

  • 29 Maret 2023

    • [SPARK-42794][SS] Tingkatkan lockAcquireTimeoutMs menjadi 2 menit untuk memperoleh penyimpanan status RocksDB dalam Streaming Struktur
    • [SPARK-41162][SQL] Perbaiki anti-dan semi-join untuk bergabung sendiri dengan agregasi
    • [SPARK-42403][CORE] JsonProtocol harus menangani string JSON null
    • [SPARK-42668][SS] Menangkap pengecualian saat mencoba menutup aliran terkompresi di HDFSStateStoreProvider batal
    • Beberapa macam perbaikan bug.

  • 14 Maret 2023

    • [SPARK-42534][SQL] Memperbaiki Klausa Pembatas DB2Dialect
    • [SPARK-42622][CORE] Nonaktifkan substitusi dalam nilai
    • [SPARK-41793][SQL] Hasil yang salah untuk bingkai jendela yang ditentukan oleh klausul rentang pada desimal besar
    • [SPARK-42484] [SQL] Pesan kesalahan UnsafeRowUtils lebih baik
    • [SPARK-42635][SQL] Perbaiki ekspresi TimestampAdd.
    • [SPARK-42516][SQL] Selalu ambil konfigurasi zona waktu sesi saat membuat tampilan
    • Penambal keamanan sistem operasi.

  • 24 Februari 2023

    • Opsi Koneksi Standar untuk Penggabungan Kueri

      Sekarang Anda dapat menggunakan sekumpulan opsi terpadu (host, port, database, user, password) untuk menyambungkan ke sumber data yang didukung di Federasi Kueri (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Perhatikan bahwa port bersifat opsional dan akan menggunakan nomor port default untuk setiap sumber data jika tidak disediakan.

      Contoh konfigurasi koneksi PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Contoh konfigurasi koneksi Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Kembalikan [SPARK-41848][CORE] Memperbaiki tugas yang terlalu terjadwal dengan TaskResourceProfile

    • [SPARK-42162] Memperkenalkan ekspresi MultiCommutativeOp sebagai pengoptimalan memori untuk kanonisisasi pohon besar ekspresi komutatif

    • [SPARK-41990][SQL] Gunakan FieldReference.column alih-alih apply dalam konversi filter V1 ke V2

    • [SPARK-42346][SQL] Menulis ulang agregat unik setelah penggabungan subkueri

    • Penambal keamanan sistem operasi.

  • 16 Februari 2023

    • Pengguna sekarang dapat membaca dan menulis tabel Delta tertentu yang memerlukan Pembaca versi 3 dan Writer versi 7, dengan menggunakan Databricks Runtime 9.1 atau yang lebih baru. Agar berhasil, fitur tabel yang tercantum dalam protokol tabel harus didukung oleh versi Databricks Runtime saat ini.
    • perintah SYNC mendukung sinkronisasi tabel Apache Hive Metastore yang dibuat ulang. Jika tabel HMS sebelumnya telah disinkronkan ke Unity Catalog tetapi kemudian dihapus dan dibuat ulang, sinkronisasi ulang berikutnya akan berhasil daripada menghasilkan kode status TABLE_ALREADY_EXISTS.
    • [SPARK-36173][CORE] Dukungan untuk mendapatkan nomor CPU di TaskContext
    • [SPARK-42286][SQL] Fallback ke jalur kode codegen sebelumnya untuk expr kompleks dengan CAST
    • [SPARK-41848][CORE] Memperbaiki tugas yang terlalu terjadwal dengan TaskResourceProfile
    • [SPARK-41219][SQL] IntegralDivide menggunakan desimal(1, 0) untuk mewakili 0

  • 25 Januari 2023

    • [SPARK-41660][SQL] Hanya sebarkan kolom metadata jika digunakan
    • [SPARK-41379][SS][PYTHON] Menyediakan sesi Spark yang telah diklon pada DataFrame dalam fungsi pengguna untuk sinkronisasi foreachBatch di PySpark
    • [SPARK-41669][SQL] Pemangkasan awal di canCollapseExpressions
    • Penambal keamanan sistem operasi.

  • 18 Januari 2023

    • REFRESH FUNCTION perintah SQL sekarang mendukung fungsi SQL dan fungsi Tabel SQL. Misalnya, perintah dapat digunakan untuk me-refresh fungsi SQL persisten yang diperbarui di sesi SQL lain.
    • sumber data Java Database Connectivity (JDBC) v1 sekarang mendukung pushdown klausa LIMIT untuk meningkatkan kinerja kueri. Fitur ini diaktifkan secara default dan dapat dinonaktifkan dengan spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled diatur ke false.
    • Di kluster ACL Tabel Warisan, membuat fungsi yang mereferensikan kelas JVM sekarang memerlukan hak istimewa MODIFY_CLASSPATH.
    • sumber data Java Database Connectivity (JDBC) v1 sekarang mendukung pushdown klausa LIMIT untuk meningkatkan kinerja kueri. Fitur ini diaktifkan secara default dan dapat dinonaktifkan dengan spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled diatur ke false.
    • Azure Synapse konektor sekarang mengembalikan pesan kesalahan yang lebih deskriptif ketika nama kolom berisi karakter yang tidak valid seperti spasi kosong atau titik koma. Dalam kasus seperti itu, pesan berikut akan dikembalikan: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • Streaming terstruktur Spark sekarang berfungsi dengan format("deltasharing") pada tabel berbagi delta sebagai sumber data.
    • [SPARK-38277][SS] Hapus batch tulis setelah komit penyimpanan status RocksDB
    • [SPARK-41733][SQL][SS] Menerapkan pemangkasan berbasis pola pohon untuk aturan ResolveWindowTime
    • [SPARK-39591][SS] Pelacakan Kemajuan Asinkron
    • [SPARK-41339][SQL] Tutup dan buat ulang batch tulis RocksDB alih-alih hanya menghapus
    • [SPARK-41198][SS] Perbaiki metrik dalam kueri streaming yang memiliki sumber streaming CTE dan DSv1
    • [SPARK-41539][SQL] Remap ulang statistik dan kendala terhadap output dalam rencana logis untuk LogicalRDD
    • [SPARK-41732][SQL][SS] Menerapkan pemangkasan berbasis pola pohon untuk aturan SessionWindowing
    • [SPARK-41862][SQL] Memperbaiki bug keakuratan yang terkait dengan nilai DEFAULT di pembaca Orc
    • [SPARK-41199][SS] Memperbaiki masalah metrik saat sumber streaming DSv1 dan sumber streaming DSv2 digunakan bersama
    • [SPARK-41261][PYTHON][SS] Perbaiki masalah untuk applyInPandasWithState ketika kolom kunci pengelompokan tidak ditempatkan secara berurutan sejak awal
    • Penambal keamanan sistem operasi.

  • Mei 17, 2023

    • Pemindaian parquet kini lebih tangguh saat menghadapi OOM ketika memindai file yang berstruktur sangat kompleks dengan menyesuaikan ukuran batch secara dinamis. Metadata file dianalisis untuk menurunkan ukuran batch secara preemptif dan dikurangi lagi pada percobaan ulang tugas sebagai langkah pengaman terakhir.
    • Memperbaiki regresi yang menyebabkan pekerjaan Azure Databricks bertahan setelah gagal terhubung ke metastore selama inisialisasi kluster.
    • [SPARK-41520][SQL] Pisahkan AND_OR pola pohon untuk memisahkan AND dan OR.
    • [SPARK-43190][SQL] ListQuery.childOutput sekarang konsisten dengan output sekunder.
    • Penambal keamanan sistem operasi.

  • 25 April 2023

    • Jika file Parquet dibaca hanya dengan opsi failOnUnknownFields atau dengan Auto Loader dalam mode evolusi skema failOnNewColumns, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi rescuedDataColumn.
    • Auto Loader sekarang membaca dengan benar dan tidak lagi memproses jenis Integer, Short, Byte jika salah satu jenis data ini disediakan. File Parquet menunjukkan salah satu dari dua jenis lainnya. Ketika kolom data yang dipulihkan sebelumnya diaktifkan, ketidakcocokan jenis data akan menyebabkan kolom dipulihkan meskipun data sebenarnya dapat dibaca.
    • [SPARK-42937][SQL] PlanSubqueries sekarang mengatur InSubqueryExec#shouldBroadcast ke true.
    • Penambal keamanan sistem operasi.

  • 11 April 2023

    • Perintah SYNC mendukung format sumber data warisan.
    • Memperbaiki bug dalam perilaku %autoreload di buku catatan yang berada di luar repositori.
    • Memperbaiki bug di mana evolusi skema Auto Loader dapat masuk ke perulangan gagal tak terbatas, ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42928][SQL] Buat resolvePersistentFunction disinkronkan.
    • [SPARK-42967][CORE] Perbaiki SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.

  • 29 Maret 2023

    • [SPARK-42794][SS] Tingkatkan lockAcquireTimeoutMs menjadi 2 menit untuk memperoleh penyimpanan status RocksDB dalam Streaming Struktur
    • [SPARK-42403][CORE] JsonProtocol harus menangani string JSON null
    • [SPARK-42668][SS] Menangkap pengecualian saat mencoba menutup aliran terkompresi di HDFSStateStoreProvider batal
    • Penambal keamanan sistem operasi.

  • 14 Maret 2023

    • [SPARK-42635][SQL] Perbaiki ekspresi TimestampAdd.
    • [SPARK-41793][SQL] Hasil yang salah untuk bingkai jendela yang ditentukan oleh klausul rentang pada desimal besar
    • [SPARK-42484] [SQL] Pesan kesalahan UnsafeRowUtils lebih baik
    • [SPARK-42534][SQL] Memperbaiki Klausa Pembatas DB2Dialect
    • [SPARK-41162][SQL] Perbaiki anti-dan semi-join untuk bergabung sendiri dengan agregasi
    • [SPARK-42516][SQL] Selalu ambil konfigurasi zona waktu sesi saat membuat tampilan
    • Beberapa macam perbaikan bug.

  • 28 Februari 2023

    • Opsi Koneksi Standar untuk Penggabungan Kueri

      Sekarang Anda dapat menggunakan sekumpulan opsi terpadu (host, port, database, user, password) untuk menyambungkan ke sumber data yang didukung di Federasi Kueri (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Perhatikan bahwa port bersifat opsional dan menggunakan nomor port default untuk setiap sumber data jika tidak disediakan.

      Contoh konfigurasi koneksi PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Contoh konfigurasi koneksi Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL] Fallback ke jalur kode codegen sebelumnya untuk expr kompleks dengan CAST

    • [SPARK-41989][PyTHON] Hindari melanggar konfigurasi pengelogan dari pyspark.pandas

    • [SPARK-42346][SQL] Menulis ulang agregat unik setelah penggabungan subkueri

    • [SPARK-41360][CORE] Hindari pendaftaran ulang BlockManager jika pelaksana telah hilang

    • [SPARK-42162] Memperkenalkan ekspresi MultiCommutativeOp sebagai pengoptimalan memori untuk kanonisisasi pohon besar ekspresi komutatif

    • [SPARK-41990][SQL] Gunakan FieldReference.column alih-alih apply dalam konversi filter V1 ke V2

    • Penambal keamanan sistem operasi.

  • 16 Februari 2023

    • Pengguna sekarang dapat membaca dan menulis tabel Delta tertentu yang memerlukan Pembaca versi 3 dan Writer versi 7, dengan menggunakan Databricks Runtime 9.1 atau yang lebih baru. Agar berhasil, fitur tabel yang tercantum dalam protokol tabel harus didukung oleh versi Databricks Runtime saat ini.
    • perintah SYNC mendukung sinkronisasi tabel Apache Hive Metastore yang dibuat ulang. Jika tabel HMS sebelumnya telah disinkronkan ke Unity Catalog tetapi kemudian dihapus dan dibuat ulang, sinkronisasi ulang berikutnya akan berhasil daripada menghasilkan kode status TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide menggunakan desimal(1, 0) untuk mewakili 0
    • [SPARK-40382][SQL] Mengelompokkan ekspresi agregat yang berbeda oleh anak-anak yang setara secara semantik di RewriteDistinctAggregates
    • Penambal keamanan sistem operasi.

  • 25 Januari 2023

    • [SPARK-41379][SS][PYTHON] Menyediakan sesi Spark yang telah diklon pada DataFrame dalam fungsi pengguna untuk sinkronisasi foreachBatch di PySpark
    • [SPARK-41660][SQL] Hanya sebarkan kolom metadata jika digunakan
    • [SPARK-41669][SQL] Pemangkasan awal di canCollapseExpressions
    • Beberapa macam perbaikan bug.

  • 18 Januari 2023

    • REFRESH FUNCTION perintah SQL sekarang mendukung fungsi SQL dan fungsi Tabel SQL. Misalnya, perintah dapat digunakan untuk me-refresh fungsi SQL persisten yang diperbarui di sesi SQL lain.
    • sumber data Java Database Connectivity (JDBC) v1 sekarang mendukung pushdown klausa LIMIT untuk meningkatkan kinerja kueri. Fitur ini diaktifkan secara default dan dapat dinonaktifkan dengan spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled diatur ke false.
    • sumber data Java Database Connectivity (JDBC) v1 sekarang mendukung pushdown klausa LIMIT untuk meningkatkan kinerja kueri. Fitur ini diaktifkan secara default dan dapat dinonaktifkan dengan spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled diatur ke false.
    • Azure Synapse konektor sekarang mengembalikan pesan kesalahan yang lebih deskriptif ketika nama kolom berisi karakter yang tidak valid seperti spasi kosong atau titik koma. Dalam kasus seperti itu, pesan berikut akan dikembalikan: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Perbaiki metrik dalam kueri streaming yang memiliki sumber streaming CTE dan DSv1
    • [SPARK-41862][SQL] Memperbaiki bug keakuratan yang terkait dengan nilai DEFAULT di pembaca Orc
    • [SPARK-41539][SQL] Remap ulang statistik dan kendala terhadap output dalam rencana logis untuk LogicalRDD
    • [SPARK-39591][SS] Pelacakan Kemajuan Asinkron
    • [SPARK-41199][SS] Memperbaiki masalah metrik saat sumber streaming DSv1 dan sumber streaming DSv2 digunakan bersama
    • [SPARK-41261][PYTHON][SS] Perbaiki masalah untuk applyInPandasWithState ketika kolom kunci pengelompokan tidak ditempatkan secara berurutan sejak awal
    • [SPARK-41339][SQL] Tutup dan buat ulang batch tulis RocksDB alih-alih hanya menghapus
    • [SPARK-41732][SQL][SS] Menerapkan pemangkasan berbasis pola pohon untuk aturan SessionWindowing
    • [SPARK-38277][SS] Hapus batch tulis setelah komit penyimpanan status RocksDB
    • Penambal keamanan sistem operasi.

  • 29 November 2022

    • Pengguna dapat mengonfigurasi perilaku spasi putih terkemuka dan berikutnya saat menulis data menggunakan konektor Redshift. Opsi berikut telah ditambahkan untuk mengontrol penanganan spasi kosong:
      • csvignoreleadingwhitespace, saat diatur ke true, menghapus spasi kosong di depan dari nilai selama penulisan saat tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan ketika konfigurasi diatur ke false. Secara default, nilainya adalah true.
      • csvignoretrailingwhitespace, saat diatur ke true, menghapus spasi kosong di akhir dari nilai selama penulisan saat tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan ketika konfigurasi diatur ke false. Secara default, nilainya adalah true.
    • Memperbaiki bug dengan penguraian JSON di Auto Loader ketika semua kolom dibiarkan sebagai string (cloudFiles.inferColumnTypes tidak diatur atau diatur ke false) dan JSON berisi objek berlapis.
    • Tingkatkan snowflake-jdbc dependensi ke versi 3.13.22.
    • Jenis tabel JDBC kini menjadi EKSTERNAL secara otomatis.
    • [SPARK-40906][SQL] Mode harus menyalin kunci sebelum menyisipkan ke dalam Peta
    • Penambal keamanan sistem operasi.

  • 15 November 2022

    • ACL Tabel dan kluster Bersama UC sekarang mengizinkan metode Dataset.toJSON dari Python.
    • [SPARK-40646] penguraian JSON untuk struktur, peta, dan array telah diperbaiki sehingga ketika bagian dari rekaman tidak cocok dengan skema, sisa catatan masih dapat diurai dengan benar alih-alih mengembalikan null. Untuk ikut serta dalam set perilaku spark.sql.json.enablePartialResults yang ditingkatkan ke true. Bendera dinonaktifkan secara default untuk mempertahankan perilaku asli
    • [SPARK-40903][SQL] Hindari menyusun ulang penambahan desimal untuk kanonisisasi jika jenis data diubah
    • [SPARK-40618][SQL] Memperbaiki bug dalam aturan MergeScalarSubqueries dengan subkueri berlapis menggunakan pelacakan referensi
    • [SPARK-40697][SQL] Menambahkan padding karakter sisi baca untuk mencakup file data eksternal
    • Penambal keamanan sistem operasi.

  • 1 November 2022

    • Streaming Terstruktur di Unity Catalog sekarang mendukung refresh token akses sementara. Beban kerja streaming yang berjalan dengan Katalog Unity semua tujuan atau kluster pekerjaan tidak lagi gagal setelah token awal kedaluwarsa.
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Mengubah umpan data dinonaktifkan pada tabel tersebut, data di kolom tersebut salah akan diisi dengan nilai NULL saat menjalankan MERGE.
    • Memperbaiki masalah saat menjalankan MERGE dan menggunakan tepat 99 kolom dari sumber dalam suatu kondisi dapat menyebabkan java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Memperbaiki masalah Auto Loader di mana file dapat diduplikasi dalam batch mikro yang sama saat allowOverwrites diaktifkan.
    • Meningkatkan teks umum Apache ke 1.10.0.
    • [SPARK-38881][DSTREAMS][KINESIS][PySPARK] Menambahkan Dukungan untuk CloudWatch MetricsLevel Config
    • [SPARK-40596][CORE] Lengkapi ExecutorDecommission dengan pesan di ExecutorDecommissionInfo
    • [SPARK-40670][SS][PYTHON] Perbaiki NPE di applyInPandasWithState saat skema input memiliki kolom "tidak dapat diubah ke null"
    • Penambal keamanan sistem operasi.

Runtime Databricks 11.2

Lihat Databricks Runtime 11.2 (EoS).

  • 28 Februari 2023
    • [SPARK-42286][SQL] Fallback ke jalur kode codegen sebelumnya untuk expr kompleks dengan CAST
    • [SPARK-42346][SQL] Menulis ulang agregat unik setelah penggabungan subkueri
    • Penambal keamanan sistem operasi.
  • 16 Februari 2023
    • Pengguna sekarang dapat membaca dan menulis tabel Delta tertentu yang memerlukan Pembaca versi 3 dan Writer versi 7, dengan menggunakan Databricks Runtime 9.1 atau yang lebih baru. Agar berhasil, fitur tabel yang tercantum dalam protokol tabel harus didukung oleh versi Databricks Runtime saat ini.
    • perintah SYNC mendukung sinkronisasi tabel Apache Hive Metastore yang dibuat ulang. Jika tabel HMS sebelumnya telah disinkronkan ke Unity Catalog tetapi kemudian dihapus dan dibuat ulang, sinkronisasi ulang berikutnya akan berhasil daripada menghasilkan kode status TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide menggunakan desimal(1, 0) untuk mewakili 0
    • Penambal keamanan sistem operasi.
  • 31 Januari 2023
    • Jenis tabel JDBC kini menjadi EKSTERNAL secara otomatis.
    • [SPARK-41379][SS][PYTHON] Menyediakan sesi Spark yang telah diklon pada DataFrame dalam fungsi pengguna untuk sinkronisasi foreachBatch di PySpark
  • 18 Januari 2023
    • Azure Synapse konektor sekarang mengembalikan pesan kesalahan yang lebih deskriptif ketika nama kolom berisi karakter yang tidak valid seperti spasi kosong atau titik koma. Dalam kasus seperti itu, pesan berikut akan dikembalikan: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Perbaiki metrik dalam kueri streaming yang memiliki sumber streaming CTE dan DSv1
    • [SPARK-41862][SQL] Memperbaiki bug keakuratan yang terkait dengan nilai DEFAULT di pembaca Orc
    • [SPARK-41539][SQL] Remap ulang statistik dan kendala terhadap output dalam rencana logis untuk LogicalRDD
    • [SPARK-41199][SS] Memperbaiki masalah metrik saat sumber streaming DSv1 dan sumber streaming DSv2 digunakan bersama
    • [SPARK-41339][SQL] Tutup dan buat ulang batch tulis RocksDB alih-alih hanya menghapus
    • [SPARK-41732][SQL][SS] Menerapkan pemangkasan berbasis pola pohon untuk aturan SessionWindowing
    • [SPARK-38277][SS] Hapus batch tulis setelah komit penyimpanan status RocksDB
    • Penambal keamanan sistem operasi.
  • 29 November 2022
    • Pengguna dapat mengonfigurasi perilaku spasi putih terkemuka dan berikutnya saat menulis data menggunakan konektor Redshift. Opsi berikut telah ditambahkan untuk mengontrol penanganan spasi kosong:
      • csvignoreleadingwhitespace, saat diatur ke true, menghapus spasi kosong di depan dari nilai selama penulisan saat tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan ketika konfigurasi diatur ke false. Secara default, nilainya adalah true.
      • csvignoretrailingwhitespace, saat diatur ke true, menghapus spasi kosong di akhir dari nilai selama penulisan saat tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan ketika konfigurasi diatur ke false. Secara default, nilainya adalah true.
    • Memperbaiki bug dengan penguraian JSON di Auto Loader ketika semua kolom dibiarkan sebagai string (cloudFiles.inferColumnTypes tidak diatur atau diatur ke false) dan JSON berisi objek berlapis.
    • [SPARK-40906][SQL] Mode harus menyalin kunci sebelum menyisipkan ke dalam Peta
    • Penambal keamanan sistem operasi.
  • 15 November 2022
    • [SPARK-40646] penguraian JSON untuk struktur, peta, dan array telah diperbaiki sehingga ketika bagian dari rekaman tidak cocok dengan skema, sisa catatan masih dapat diurai dengan benar alih-alih mengembalikan null. Untuk ikut serta dalam perilaku yang ditingkatkan, atur spark.sql.json.enablePartialResults ke true. Bendera dinonaktifkan secara default untuk mempertahankan perilaku asli
    • [SPARK-40618][SQL] Memperbaiki bug dalam aturan MergeScalarSubqueries dengan subkueri berlapis menggunakan pelacakan referensi
    • [SPARK-40697][SQL] Menambahkan padding karakter sisi baca untuk mencakup file data eksternal
    • Penambal keamanan sistem operasi.
  • 1 November 2022
    • Meningkatkan teks umum Apache ke 1.10.0.
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Mengubah umpan data dinonaktifkan pada tabel tersebut, data di kolom tersebut salah akan diisi dengan nilai NULL saat menjalankan MERGE.
    • Memperbaiki masalah saat menjalankan MERGE dan menggunakan tepat 99 kolom dari sumber dalam suatu kondisi dapat menyebabkan java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Memperbaiki masalah Auto Loader di mana file dapat diduplikasi dalam batch mikro yang sama saat allowOverwrites diaktifkan
    • [SPARK-40596][CORE] Lengkapi ExecutorDecommission dengan pesan di ExecutorDecommissionInfo
    • Penambal keamanan sistem operasi.
  • 19 Oktober 2022
    • Kami telah memperbaiki masalah penggunaan COPY INTO dengan kredensial sementara pada kluster/gudang yang mengaktifkan Unity Catalog.
    • [SPARK-40213][SQL] Mendukung konversi nilai ASCII untuk karakter Latin-1
    • Penambal keamanan sistem operasi.
  • 5 Oktober 2022
    • Pengguna dapat mengatur spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") untuk mengaktifkan kembali daftar asli untuk Auto Loader di ADLS. Daftar asli sebelumnya dinonaktifkan karena masalah performa, tetapi mungkin menyebabkan peningkatan biaya penyimpanan untuk pelanggan. Perubahan ini diluncurkan ke Databricks Runtime 10.4 dan 9.1 dalam pembaruan pemeliharaan sebelumnya.
    • [SPARK-40315][SQL]Mendukung pengodean/dekode url sebagai fungsi bawaan dan merapikan fungsi terkait url
    • [SPARK-40156][SQL]url_decode() jika mengembalikan kelas kesalahan
    • [SPARK-40169] Jangan dorong ke bawah filter Parquet tanpa mengacu pada skema data
    • [SPARK-40460][SS] Memperbaiki metrik streaming saat memilih _metadata
    • [SPARK-40468][SQL] Memperbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih
    • [SPARK-40055][SQL] listCatalogs juga harus mengembalikan spark_catalog bahkan ketika implementasi spark_catalog adalah defaultSessionCatalog
    • Penambal keamanan sistem operasi.
  • 22 September 2022
    • [SPARK-40315][SQL] Menambahkan hashCode() untuk Literal dari ArrayBasedMapData
    • [SPARK-40389][SQL] Desimal tidak dapat diubah sebagai tipe integral jika pengubahan tipe dapat menyebabkan overflow
    • [SPARK-40380][SQL] Perbaiki penggulungan konstanta InvokeLike untuk menghindari literal yang tidak dapat diserialisasikan yang disematkan dalam perencanaan
    • [SPARK-40066][SQL][TINDAK LANJUT] Periksa apakah ElementAt diselesaikan sebelum mendapatkan dataType-nya
    • [SPARK-40109][SQL] Fungsi SQL baru: get()
    • [SPARK-40066][SQL] mode ANSI: selalu mengembalikan null pada akses yang tidak valid ke kolom peta
    • [SPARK-40089][SQL] Memperbaiki pengurutan untuk beberapa jenis Desimal
    • [SPARK-39887][SQL] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
    • [SPARK-40152][SQL] Memperbaiki masalah kompilasi codegen split_part
    • [SPARK-40235][CORE] Menggunakan kunci yang dapat diinterupsi alih-alih disinkronkan dalam Executor.updateDependencies()
    • [SPARK-40212][SQL] SparkSQL castPartValue tidak menangani byte, short, atau float dengan benar
    • [SPARK-40218][SQL] GROUPING SETS sebaiknya mempertahankan kolom pengelompokan.
    • [SPARK-35542][ML] Memperbaiki: Bucketizer dibuat untuk beberapa kolom dengan memperhatikan parameter
    • [SPARK-40079] Tambahkan validasi Imputer inputCols untuk kasus input kosong
    • [SPARK-39912]SPARK-39828[SQL] Menyempurnakan KatalogImpl

Databricks Runtime 11.1

Lihat Databricks Runtime 11.1 (EoS).

  • 31 Januari 2023

    • [SPARK-41379][SS][PYTHON] Menyediakan sesi Spark yang telah diklon pada DataFrame dalam fungsi pengguna untuk sinkronisasi foreachBatch di PySpark
    • Beberapa macam perbaikan bug.

  • 18 Januari 2023

    • Azure Synapse konektor sekarang mengembalikan pesan kesalahan yang lebih deskriptif ketika nama kolom berisi karakter yang tidak valid seperti spasi kosong atau titik koma. Dalam kasus seperti itu, pesan berikut akan dikembalikan: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Perbaiki metrik dalam kueri streaming yang memiliki sumber streaming CTE dan DSv1
    • [SPARK-41862][SQL] Memperbaiki bug keakuratan yang terkait dengan nilai DEFAULT di pembaca Orc
    • [SPARK-41199][SS] Memperbaiki masalah metrik saat sumber streaming DSv1 dan sumber streaming DSv2 digunakan bersama
    • [SPARK-41339][SQL] Tutup dan buat ulang batch tulis RocksDB alih-alih hanya menghapus
    • [SPARK-41732][SQL][SS] Menerapkan pemangkasan berbasis pola pohon untuk aturan SessionWindowing
    • [SPARK-38277][SS] Hapus batch tulis setelah komit penyimpanan status RocksDB
    • Penambal keamanan sistem operasi.

  • 29 November 2022

    • Pengguna dapat mengonfigurasi perilaku spasi putih terkemuka dan berikutnya saat menulis data menggunakan konektor Redshift. Opsi berikut telah ditambahkan untuk mengontrol penanganan spasi kosong:
      • csvignoreleadingwhitespace, saat diatur ke true, menghapus spasi kosong di depan dari nilai selama penulisan saat tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan ketika konfigurasi diatur ke false. Secara default, nilainya adalah true.
      • csvignoretrailingwhitespace, saat diatur ke true, menghapus spasi kosong di akhir dari nilai selama penulisan saat tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan ketika konfigurasi diatur ke false. Secara default, nilainya adalah true.
    • Memperbaiki bug dengan penguraian JSON di Auto Loader ketika semua kolom dibiarkan sebagai string (cloudFiles.inferColumnTypes tidak diatur atau diatur ke false) dan JSON berisi objek berlapis.
    • [SPARK-39650][SS] Memperbaiki skema nilai yang salah dalam deduplikasi streaming dengan kompatibilitas ke belakang
    • Penambal keamanan sistem operasi.

  • 15 November 2022

    • [SPARK-40646] penguraian JSON untuk struktur, peta, dan array telah diperbaiki sehingga ketika bagian dari rekaman tidak cocok dengan skema, sisa rekaman masih dapat diurai dengan benar alih-alih mengembalikan null. Untuk ikut serta dalam perilaku yang ditingkatkan, atur spark.sql.json.enablePartialResults ke true. Bendera dinonaktifkan secara default untuk mempertahankan perilaku asli
    • Penambal keamanan sistem operasi.

  • 1 November 2022

    • Meningkatkan teks umum Apache ke 1.10.0.
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Mengubah umpan data dinonaktifkan pada tabel tersebut, data di kolom tersebut salah akan diisi dengan nilai NULL saat menjalankan MERGE.
    • Memperbaiki masalah saat menjalankan MERGE dan menggunakan tepat 99 kolom dari sumber dalam suatu kondisi dapat menyebabkan java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Memperbaiki masalah Auto Loader di mana file dapat diduplikasi dalam batch mikro yang sama saat allowOverwrites diaktifkan
    • [SPARK-40697][SQL] Menambahkan padding karakter sisi baca untuk mencakup file data eksternal
    • [SPARK-40596][CORE] Lengkapi ExecutorDecommission dengan pesan di ExecutorDecommissionInfo
    • Penambal keamanan sistem operasi.

  • 18 Oktober 2022

    • Kami telah memperbaiki masalah penggunaan COPY INTO dengan kredensial sementara pada kluster/gudang yang mengaktifkan Unity Catalog.
    • [SPARK-40213][SQL] Mendukung konversi nilai ASCII untuk karakter Latin-1
    • Penambal keamanan sistem operasi.

  • Rabu, 05 Oktober 2022

    • Pengguna dapat mengatur spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") untuk mengaktifkan kembali daftar asli untuk Auto Loader di ADLS. Daftar asli sebelumnya dinonaktifkan karena masalah performa, tetapi mungkin menyebabkan peningkatan biaya penyimpanan untuk pelanggan. Perubahan ini diluncurkan ke Databricks Runtime 10.4 dan 9.1 dalam pembaruan pemeliharaan sebelumnya.
    • [SPARK-40169] Jangan dorong ke bawah filter Parquet tanpa mengacu pada skema data
    • [SPARK-40460][SS] Memperbaiki metrik streaming saat memilih _metadata
    • [SPARK-40468][SQL] Memperbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih
    • [SPARK-40055][SQL] listCatalogs juga harus mengembalikan spark_catalog bahkan ketika implementasi spark_catalog adalah defaultSessionCatalog
    • Penambal keamanan sistem operasi.

  • Tanggal 22 September 2022

    • [SPARK-40315][SQL] Menambahkan hashCode() untuk Literal dari ArrayBasedMapData
    • [SPARK-40380][SQL] Perbaiki penggulungan konstanta InvokeLike untuk menghindari literal yang tidak dapat diserialisasikan yang disematkan dalam perencanaan
    • [SPARK-40089][SQL] Memperbaiki pengurutan untuk beberapa jenis Desimal
    • [SPARK-39887][SQL] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
    • [SPARK-40152][SQL] Memperbaiki masalah kompilasi codegen split_part

  • 6 September 2022

    • Kami telah memperbarui model izin dalam Kontrol Akses Tabel (ACL Tabel) sehingga hanya izin MODIFIKASI yang diperlukan untuk mengubah skema tabel atau properti tabel dengan ALTER TABLE. Sebelumnya, operasi ini mengharuskan pengguna untuk memiliki tabel. Kepemilikan masih diperlukan untuk memberikan izin pada tabel, mengubah pemiliknya, mengubah lokasinya, atau mengganti namanya. Perubahan ini membuat model izin untuk ACL Tabel lebih konsisten dengan Katalog Unity.
    • [SPARK-40235][CORE] Menggunakan kunci yang dapat diinterupsi alih-alih disinkronkan dalam Executor.updateDependencies()
    • [SPARK-40212][SQL] SparkSQL castPartValue tidak menangani byte, short, atau float dengan benar
    • [SPARK-40218][SQL] GROUPING SETS sebaiknya mempertahankan kolom pengelompokan.
    • [SPARK-39976][SQL] ArrayIntersect harus mengolah null dalam ekspresi kiri secara benar
    • [SPARK-40053][CORE][SQL][TESTS] Tambahkan assume ke kasus pembatalan dinamis yang memerlukan lingkungan runtime Python
    • [SPARK-35542][CORE][ML] Perbaikan: Bucketizer dibuat untuk beberapa kolom dengan parameter splitsArray, inputCols, dan outputCols tidak bisa dimuat setelah disimpan.
    • [SPARK-40079][CORE] Menambahkan validasi inputCols pada Imputer untuk kasus input kosong

  • 24 Agustus 2022

    • Berbagi, penyedia, dan penerima sekarang mendukung perintah SQL untuk mengubah pemilik, komentar, mengganti nama
    • [SPARK-39983][CORE][SQL] Jangan menyimpan cache relasi siaran yang tidak diserialisasi di driver
    • [SPARK-39912][SPARK-39828][SQL] Menyempurnakan CatalogImpl
    • [SPARK-39775][CORE][AVRO] Nonaktifkan validasi nilai default saat mengurai skema Avro
    • [SPARK-39806] Telah diperbaiki masalah pada kueri yang menyebabkan crash saat mengakses struktur METADATA pada tabel yang dipartisi
    • [SPARK-39867][SQL] Batas global tidak boleh mewarisi OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Menerapkan proyeksi saat atribut grup kosong
    • [SPARK-39839][SQL] Menangani kasus khusus Desimal panjang variabel null dengan offset non-nolAndSize dalam pemeriksaan integritas struktural UnsafeRow
    • [SPARK-39713][SQL] Mode ANSI: menambahkan saran menggunakan try_element_at untuk kesalahan INVALID_ARRAY_INDEX
    • [SPARK-39847][SS] Menyelesaikan kondisi balapan di RocksDBLoader.loadLibrary() jika utas pemanggil terganggu
    • [SPARK-39731][SQL] Memperbaiki masalah di sumber data CSV dan JSON saat mengurai tanggal dalam format "yyyyMMdd" dengan kebijakan pengurai waktu CORRECTED
    • Penambal keamanan sistem operasi.

  • 10 Agustus 2022

    • Untuk tabel Delta dengan kontrol akses tabel, evolusi skema otomatis melalui pernyataan DML seperti INSERT dan MERGE sekarang tersedia untuk semua pengguna yang memiliki izin MODIFY pada tabel tersebut. Selain itu, izin yang diperlukan untuk melakukan evolusi skema dengan COPY INTO sekarang diturunkan dari OWNER ke MODIFY untuk konsistensi dengan perintah lain. Perubahan ini membuat model keamanan ACL tabel lebih konsisten dengan model keamanan Unity Catalog serta dengan operasi lain seperti mengganti tabel.
    • [SPARK-39889] Meningkatkan pesan kesalahan pembagian dengan 0
    • [SPARK-39795] [SQL] Fungsi SQL baru: try_to_timestamp
    • [SPARK-39749] Selalu menggunakan representasi string biasa saat mentransmisikan desimal sebagai string berdasarkan mode ANSI
    • [SPARK-39625] Mengganti nama df.as menjadi df.to
    • [SPARK-39787] [SQL] Menggunakan kelas kesalahan dalam kesalahan penguraian fungsi to_timestamp
    • [SPARK-39625][SQL] Menambahkan Dataset.as(StructType)
    • [SPARK-39689] Mendukung lineSep 2 karakter dalam sumber data CSV
    • [SPARK-39579] [SQL][python][R] Buat ListFunctions/getFunction/functionExists kompatibel dengan namespace 3 lapisan
    • [SPARK-39702][CORE] Mengurangi overhead memori TransportCipher$EncryptedMessage dengan menggunakan byteRawChannel bersama
    • [SPARK-39575] [AVRO] tambahkan ByteBuffer#rewind setelah ByteBuffer#get dalam AvroDeserializer
    • [SPARK-39265] [SQL] Memperbaiki kegagalan pengujian saat SPARK_ANSI_SQL_MODE diaktifkan
    • [SPARK-39441][SQL] Mempercepat DeduplicateRelations
    • [SPARK-39497][SQL] Meningkatkan pengecualian analisis kolom kunci peta yang hilang
    • [SPARK-39476] [SQL] Nonaktifkan optimasi pembongkaran cast saat konversi dari Long ke Float/Double atau dari Integer ke Float
    • [SPARK-39434][SQL] Menyediakan konteks kueri kesalahan runtime saat indeks array berada di luar batas

Databricks Runtime 11.0

Lihat Databricks Runtime 11.0 (EoS).

  • 29 November 2022
    • Pengguna dapat mengonfigurasi perilaku spasi putih terkemuka dan berikutnya saat menulis data menggunakan konektor Redshift. Opsi berikut telah ditambahkan untuk mengontrol penanganan spasi kosong:
      • csvignoreleadingwhitespace, saat diatur ke true, menghapus spasi kosong di depan dari nilai selama penulisan saat tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan ketika konfigurasi diatur ke false. Secara default, nilainya adalah true.
      • csvignoretrailingwhitespace, saat diatur ke true, menghapus spasi kosong di akhir dari nilai selama penulisan saat tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan ketika konfigurasi diatur ke false. Secara default, nilainya adalah true.
    • Memperbaiki bug dengan penguraian JSON di Auto Loader ketika semua kolom dibiarkan sebagai string (cloudFiles.inferColumnTypes tidak diatur atau diatur ke false) dan JSON berisi objek berlapis.
    • [SPARK-39650][SS] Memperbaiki skema nilai yang salah dalam deduplikasi streaming dengan kompatibilitas ke belakang
    • Penambal keamanan sistem operasi.
  • 15 November 2022
    • [SPARK-40646] penguraian JSON untuk struktur, peta, dan array telah diperbaiki sehingga ketika bagian dari rekaman tidak cocok dengan skema, sisa catatan masih dapat diurai dengan benar alih-alih mengembalikan null. Untuk ikut serta dalam perilaku yang ditingkatkan, atur spark.sql.json.enablePartialResults ke true. Bendera dinonaktifkan secara default untuk mempertahankan perilaku asli.
  • 1 November 2022
    • Meningkatkan teks umum Apache ke 1.10.0.
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Mengubah umpan data dinonaktifkan pada tabel tersebut, data di kolom tersebut salah akan diisi dengan nilai NULL saat menjalankan MERGE.
    • Memperbaiki masalah Auto Loader di mana file dapat diduplikasi dalam batch mikro yang sama saat allowOverwrites diaktifkan
    • [SPARK-40697][SQL] Menambahkan padding karakter sisi baca untuk mencakup file data eksternal
    • [SPARK-40596][CORE] Lengkapi ExecutorDecommission dengan pesan di ExecutorDecommissionInfo
    • Penambal keamanan sistem operasi.
  • 18 Oktober 2022
    • [SPARK-40213][SQL] Mendukung konversi nilai ASCII untuk karakter Latin-1
    • Penambal keamanan sistem operasi.
  • 5 Oktober 2022
    • Pengguna dapat mengatur spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") untuk mengaktifkan kembali daftar asli untuk Auto Loader di ADLS. Daftar asli sebelumnya dinonaktifkan karena masalah performa, tetapi mungkin menyebabkan peningkatan biaya penyimpanan untuk pelanggan. Perubahan ini diluncurkan ke Databricks Runtime 10.4 dan 9.1 dalam pembaruan pemeliharaan sebelumnya.
    • [SPARK-40169] Jangan dorong ke bawah filter Parquet tanpa mengacu pada skema data
    • [SPARK-40460][SS] Memperbaiki metrik streaming saat memilih _metadata
    • [SPARK-40468][SQL] Memperbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih
    • Penambal keamanan sistem operasi.
  • 22 September 2022
    • [SPARK-40315][SQL] Menambahkan hashCode() untuk Literal dari ArrayBasedMapData
    • [SPARK-40380][SQL] Perbaiki penggulungan konstanta InvokeLike untuk menghindari literal yang tidak dapat diserialisasikan yang disematkan dalam perencanaan
    • [SPARK-40089][SQL] Memperbaiki pengurutan untuk beberapa jenis Desimal
    • [SPARK-39887][SQL] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
    • [SPARK-40152][SQL] Memperbaiki masalah kompilasi codegen split_part
  • 6 September 2022
    • [SPARK-40235][CORE] Menggunakan kunci yang dapat diinterupsi alih-alih disinkronkan dalam Executor.updateDependencies()
    • [SPARK-40212][SQL] SparkSQL castPartValue tidak menangani byte, short, atau float dengan benar
    • [SPARK-40218][SQL] GROUPING SETS sebaiknya mempertahankan kolom pengelompokan.
    • [SPARK-39976][SQL] ArrayIntersect harus mengolah null dalam ekspresi kiri secara benar
    • [SPARK-40053][CORE][SQL][TESTS] Tambahkan assume ke kasus pembatalan dinamis yang memerlukan lingkungan runtime Python
    • [SPARK-35542][CORE][ML] Perbaikan: Bucketizer dibuat untuk beberapa kolom dengan parameter splitsArray, inputCols, dan outputCols tidak bisa dimuat setelah disimpan.
    • [SPARK-40079][CORE] Menambahkan validasi inputCols pada Imputer untuk kasus input kosong
  • 24 Agustus 2022
    • [SPARK-39983][CORE][SQL] Jangan menyimpan cache relasi siaran yang tidak diserialisasi di driver
    • [SPARK-39775][CORE][AVRO] Nonaktifkan validasi nilai default saat mengurai skema Avro
    • [SPARK-39806] Telah diperbaiki masalah pada kueri yang menyebabkan crash saat mengakses struktur METADATA pada tabel yang dipartisi
    • [SPARK-39867][SQL] Batas global tidak boleh mewarisi OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Menerapkan proyeksi saat atribut grup kosong
    • Penambal keamanan sistem operasi.
  • 9 Agustus 2022
    • [SPARK-39713][SQL] Mode ANSI: menambahkan saran menggunakan try_element_at untuk kesalahan INVALID_ARRAY_INDEX
    • [SPARK-39847] Memperbaiki kondisi race di RocksDBLoader.loadLibrary() jika utas pemanggil terganggu
    • [SPARK-39731][SQL] Memperbaiki masalah di sumber data CSV dan JSON saat mengurai tanggal dalam format "yyyyMMdd" dengan kebijakan pengurai waktu CORRECTED
    • [SPARK-39889] Meningkatkan pesan kesalahan pembagian dengan 0
    • [SPARK-39795][SQL] Fungsi SQL baru: try_to_timestamp
    • [SPARK-39749] Selalu menggunakan representasi string biasa saat mentransmisikan desimal sebagai string berdasarkan mode ANSI
    • [SPARK-39625][SQL] Menambahkan Dataset.to(StructType)
    • [SPARK-39787][SQL] Menggunakan kelas kesalahan dalam kesalahan penguraian fungsi to_timestamp
    • Penambal keamanan sistem operasi.
  • 27 Juli 2022
    • [SPARK-39689] Mendukung 2 karakter lineSep dalam sumber data CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded harus aman untuk thread
    • [SPARK-39702][CORE] Mengurangi overhead memori dari TransportCipher$EncryptedMessage dengan menggunakan byteRawChannel yang dipakai bersama.
    • [SPARK-39575][AVRO] tambahkan ByteBuffer#rewind setelah ByteBuffer#get dalam AvroDeserializer
    • [SPARK-39497][SQL] Meningkatkan pengecualian analisis untuk kolom kunci peta yang hilang
    • [SPARK-39441][SQL] Mempercepat DeduplicateRelations
    • [SPARK-39476][SQL] Nonaktifkan unwrap cast optimalkan saat transmisi dari Long ke Float/Double atau dari Integer ke Float
    • [SPARK-39434][SQL] Menyediakan konteks kueri kesalahan runtime saat indeks array berada di luar batas
    • [SPARK-39570][SQL] Tabel sebaris harus mengizinkan ekspresi dengan alias
    • Penambal keamanan sistem operasi.
  • 13 Juli 2022
    • Membuat hasil operasi Delta MERGE konsisten ketika sumber tidak deterministik.
    • Memperbaiki masalah pada TVF cloud_files_state saat berjalan di jalur non-DBFS.
    • Menonaktifkan penggunaan API cloud asli oleh Auto Loader untuk mendapatkan daftar direktori di Azure.
    • [SPARK-38796][SQL] Memperbarui fungsi to_number dan try_to_number untuk memungkinkan PR dengan angka positif
    • [SPARK-39272][SQL] Meningkatkan posisi awal konteks kueri sebesar 1
    • [SPARK-39419][SQL] Memperbaiki ArraySort untuk memberikan pengecualian saat pembanding mengembalikan null
    • Penambal keamanan sistem operasi.
  • 5 Juli 2022
    • Penyempurnaan terhadap pesan kesalahan untuk berbagai kelas kesalahan.
    • [SPARK-39451][SQL] Mendukung transmisi interval ke integral dalam mode ANSI
    • [SPARK-39361] Jangan gunakan pola konversi throwable yang diperluas dari Log4J2 dalam konfigurasi logging default
    • [SPARK-39354][SQL] Memastikan untuk menampilkan Table or view not found meskipun ada dataTypeMismatchError yang terkait dengan Filter pada saat yang sama
    • [SPARK-38675][CORE] Memperbaiki persaingan selama membuka kunci di BlockInfoManager
    • [SPARK-39392][SQL] Memperbaiki pesan kesalahan ANSI untuk petunjuk fungsi try_*
    • [SPARK-39214][SQL][3.3] Memperbaiki kesalahan yang terkait dengan CAST
    • [SPARK-37939][SQL] Menggunakan kelas kesalahan dalam kesalahan penguraian properti
    • [SPARK-39085][SQL] Memindahkan pesan kesalahan INCONSISTENT_BEHAVIOR_CROSS_VERSION ke error-classes.json
    • [SPARK-39376][SQL] Sembunyikan kolom duplikat dalam alias subkueri perluasan bintang dari NATURAL/USING JOIN
    • [SPARK-39283][CORE] Perbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark tidak boleh memeriksa nama bidang saat membaca file
    • Penambal keamanan sistem operasi.

Databricks Runtime 10.5

Lihat Databricks Runtime 10.5 (EoS).

  • 1 November 2022
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Mengubah umpan data dinonaktifkan pada tabel tersebut, data di kolom tersebut salah akan diisi dengan nilai NULL saat menjalankan MERGE.
    • [SPARK-40697][SQL] Menambahkan padding karakter sisi baca untuk mencakup file data eksternal
    • [SPARK-40596][CORE] Lengkapi ExecutorDecommission dengan pesan di ExecutorDecommissionInfo
    • Penambal keamanan sistem operasi.
  • 18 Oktober 2022
    • Penambal keamanan sistem operasi.
  • 5 Oktober 2022
    • Pengguna dapat mengatur spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") untuk mengaktifkan kembali daftar asli untuk Auto Loader di ADLS. Daftar asli sebelumnya dinonaktifkan karena masalah performa, tetapi mungkin menyebabkan peningkatan biaya penyimpanan untuk pelanggan. Perubahan ini diluncurkan ke Databricks Runtime 10.4 dan 9.1 dalam pembaruan pemeliharaan sebelumnya.
    • reload4j telah ditingkatkan ke 1.2.19 untuk memperbaiki kerentanan.
    • [SPARK-40460][SS] Memperbaiki metrik streaming saat memilih _metadata
    • [SPARK-40468][SQL] Memperbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih
    • Penambal keamanan sistem operasi.
  • 22 September 2022
    • [SPARK-40315][SQL] Menambahkan hashCode() untuk Literal dari ArrayBasedMapData
    • [SPARK-40213][SQL] Mendukung konversi nilai ASCII untuk karakter Latin-1
    • [SPARK-40380][SQL] Perbaiki penggulungan konstanta InvokeLike untuk menghindari literal yang tidak dapat diserialisasikan yang disematkan dalam perencanaan
    • [SPARK-38404][SQL] Meningkatkan resolusi CTE saat CTE berlapis mereferensikan CTE luar
    • [SPARK-40089][SQL] Memperbaiki pengurutan untuk beberapa jenis Desimal
    • [SPARK-39887][SQL] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
    • Penambal keamanan sistem operasi.
  • 6 September 2022
    • [SPARK-40235][CORE] Menggunakan kunci yang dapat diinterupsi alih-alih disinkronkan dalam Executor.updateDependencies()
    • [SPARK-39976][SQL] ArrayIntersect harus mengolah null dalam ekspresi kiri secara benar
    • [SPARK-40053][CORE][SQL][TESTS] Tambahkan assume ke kasus pembatalan dinamis yang memerlukan lingkungan runtime Python
    • [SPARK-35542][CORE][ML] Perbaikan: Bucketizer dibuat untuk beberapa kolom dengan parameter splitsArray, inputCols, dan outputCols tidak bisa dimuat setelah disimpan.
    • [SPARK-40079][CORE] Menambahkan validasi inputCols pada Imputer untuk kasus input kosong
  • 24 Agustus 2022
    • [SPARK-39983][CORE][SQL] Jangan menyimpan cache relasi siaran yang tidak diserialisasi di driver
    • [SPARK-39775][CORE][AVRO] Nonaktifkan validasi nilai default saat mengurai skema Avro
    • [SPARK-39806] Telah diperbaiki masalah pada kueri yang menyebabkan crash saat mengakses struktur METADATA pada tabel yang dipartisi
    • [SPARK-39962][PYTHON][SQL] Menerapkan proyeksi saat atribut grup kosong
    • [SPARK-37643][SQL] ketika charVarcharAsString bernilai true, pada kueri predikat dengan tipe data karakter, aturan rpadding harus dilewati.
    • Penambal keamanan sistem operasi.
  • 9 Agustus 2022
    • [SPARK-39847] Memperbaiki kondisi race di RocksDBLoader.loadLibrary() jika utas pemanggil terganggu
    • [SPARK-39731][SQL] Memperbaiki masalah di sumber data CSV dan JSON saat mengurai tanggal dalam format "yyyyMMdd" dengan kebijakan pengurai waktu CORRECTED
    • Penambal keamanan sistem operasi.
  • 27 Juli 2022
    • [SPARK-39625][SQL] Menambahkan Dataset.as(StructType)
    • [SPARK-39689] Mendukung 2 karakter lineSep dalam sumber data CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded harus aman untuk thread
    • [SPARK-39570][SQL] Tabel sebaris harus mengizinkan ekspresi dengan alias
    • [SPARK-39702][CORE] Mengurangi overhead memori dari TransportCipher$EncryptedMessage dengan menggunakan byteRawChannel yang dipakai bersama.
    • [SPARK-39575][AVRO] tambahkan ByteBuffer#rewind setelah ByteBuffer#get dalam AvroDeserializer
    • [SPARK-39476][SQL] Nonaktifkan unwrap cast optimalkan saat transmisi dari Long ke Float/Double atau dari Integer ke Float
    • Penambal keamanan sistem operasi.
  • 13 Juli 2022
    • Membuat hasil operasi Delta MERGE konsisten ketika sumber tidak deterministik.
    • [SPARK-39355][SQL] Kolom tunggal menggunakan tanda kutip untuk menyusun UnresolvedAttribute
    • [SPARK-39548][SQL] Perintah CreateView dengan kueri klausul jendela menghadapi masalah definisi jendela yang benar tidak ditemukan
    • [SPARK-39419][SQL] Memperbaiki ArraySort untuk memberikan pengecualian saat pembanding mengembalikan null
    • Menonaktifkan penggunaan API cloud asli oleh Auto Loader untuk mendapatkan daftar direktori di Azure.
    • Penambal keamanan sistem operasi.
  • 5 Juli 2022
    • [SPARK-39376][SQL] Sembunyikan kolom duplikat dalam alias subkueri perluasan bintang dari NATURAL/USING JOIN
    • Penambal keamanan sistem operasi.
  • 15 Juni 2022
    • [SPARK-39283][CORE] Perbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark tidak boleh memeriksa nama bidang saat membaca file
    • [SPARK-34096][SQL] Meningkatkan performa untuk fungsi nth_value dengan opsi mengabaikan nulls pada jendela offset
    • [SPARK-36718][SQL][FOLLOWUP] Perbaiki isExtractOnly pemeriksaan di CollapseProject
  • 2 Juni 2022
    • [SPARK-39166][SQL] Berikan konteks kueri kesalahan runtime untuk aritmatika biner saat WSCG nonaktif
    • [SPARK-39093][SQL] Hindari kesalahan kompilasi codegen saat membagi interval bulan-tahun atau interval hari-waktu dengan integral
    • [SPARK-38990][SQL] Hindari NullPointerException saat mengevaluasi format date_trunc/trunc sebagai referensi terikat
    • Penambal keamanan sistem operasi.
  • Mei 18, 2022
    • Memperbaiki potensi kebocoran memori asli di Auto Loader.
    • [SPARK-38868][SQL]Hindari penyebaran kesalahan dari predikat filter ketika mengoptimalkan join luar
    • [SPARK-38796][SQL] Menerapkan fungsi SQL to_number dan try_to_number sesuai dengan spesifikasi baru
    • [SPARK-38918][SQL] Pemangkasan kolom berlapis harus memfilter atribut yang bukan milik relasi saat ini
    • [SPARK-38929][SQL] Tingkatkan pesan kesalahan untuk kegagalan transmisikan di ANSI
    • [SPARK-38926][SQL] Jenis output dalam pesan kesalahan bergaya SQL
    • [SPARK-39084][PYSPARK] Perbaiki df.rdd.isEmpty() dengan menggunakan TaskContext untuk menghentikan iterator pada penyelesaian tugas
    • [SPARK-32268][SQL] Tambahkan ColumnPruning di injectBloomFilter
    • [SPARK-38908][SQL] Memberikan konteks kueri dalam kesalahan runtime saat Konversi dari String ke Number/Date/Timestamp/Boolean
    • [SPARK-39046][SQL] Mengembalikan string konteks kosong jika TreeNode.origin salah diatur
    • [SPARK-38974][SQL] Filter fungsi yang terdaftar dengan nama database tertentu dalam daftar fungsi
    • [SPARK-38762][SQL] Sediakan konteks kueri dalam kesalahan kelebihan Desimal
    • [SPARK-38931][SS] Buat direktori akar dfs untuk RocksDBFileManager dengan jumlah kunci yang tidak diketahui pada titik pemeriksaan pertama
    • [SPARK-38992][CORE] Hindari penggunaan bash -c di ShellBasedGroupsMappingProvider
    • [SPARK-38716][SQL] Berikan konteks kueri dalam kunci peta kesalahan tidak ada
    • [SPARK-38889][SQL] Mengompilasi filter kolom boolean untuk menggunakan jenis bit untuk sumber data MSSQL
    • [SPARK-38698][SQL] Menyediakan konteks kueri dalam kesalahan run-time untuk Divide/Div/Reminder/Pmod
    • [SPARK-38823][SQL] Jadikan NewInstance tidak dapat dilipat untuk memperbaiki masalah kerusakan buffer agregasi
    • [SPARK-38809][SS] Terapkan opsi untuk melewati nilai null dalam implementasi hash simetris pada gabungan stream-stream.
    • [SPARK-38676][SQL] Menyediakan konteks kueri SQL dalam pesan kesalahan runtime Add/Subtract/Multiply
    • [SPARK-38677][PYSPARK] Python MonitorThread harus mendeteksi kebuntuan karena memblokir I/O
    • Penambal keamanan sistem operasi.
  • Last updated on