Bagikan melalui

Pembaruan pemeliharaan Databricks Runtime

Artikel ini mencantumkan pembaruan pemeliharaan untuk versi Runtime Databricks yang didukung. Untuk menambahkan pembaruan pemeliharaan ke kluster yang ada, mulai ulang kluster. Untuk pembaruan pemeliharaan pada versi Runtime Databricks yang tidak didukung, lihat Pembaruan pemeliharaan untuk Databricks Runtime (diarsipkan).

Note

Rilis dilakukan bertahap. Akun Azure Databricks Anda mungkin tidak diperbarui selama beberapa hari setelah tanggal rilis awal.

Rilis Databricks Runtime

Pembaruan pemeliharaan berdasarkan rilis:

Databricks Runtime 17.3 LTS

Lihat Databricks Runtime 17.3 LTS.

  • 9 Januari 2026
    • Pustaka Python yang diperbarui:
      • pmdarima dari 2.0.4 ke 2.1.1
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.3.6 hingga 1.3.8
    • Sekarang Anda dapat menggunakan fungsi jendela SQL sebagai fungsi skalar dalam dimensi tampilan metrik dan mengukur ekspresi.
    • [SDP][17.3 backport][SPARK-54562] Mencegah analisis/eksekusi segera dalam fungsi aliran dari sisi server
    • [SPARK-54679][SQL] Ganti nama spark.sql. (xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser)
    • [SPARK-54711][PYTHON] Tambahkan batas waktu untuk koneksi pekerja yang dibuat daemon
    • [SPARK-53127][SQL] Perbaiki LIMIT SEMUA untuk rekursi yang tidak dibatasi dengan normalisasi CTE
    • [SPARK-54708] Optimalkan pembersihan ML cache dengan pembuatan direktori secara tunda
    • [SPARK-54581][SQL] Membuat opsi fetchsize tidak peka huruf besar/kecil untuk penghubung Postgres
    • [SPARK-41916] [ML] Torch distributor: mendukung beberapa proses torchrun per tugas jika jumlah task.gpu kurang dari > 1
    • [SPARK-54564] [SQL] Buat QueryPlanningTracker sebagai bidang HybridAnalyzer
    • [SPARK-54620][SQL] Tambahkan pemeriksaan keamanan di ObservationManager untuk menghindari pemblokiran Observasi
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.3.5 hingga 1.3.6
    • [SPARK-50906][SQL] Perbaiki cek kejadian null pada Avro untuk bidang struct yang disusun ulang
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • [SPARK-54427][SQL] Izinkan ColumnarRow untuk memanggil copy dengan jenis varian
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • [SPARK-52762][SDP] Tambahkan pesan PipelineAnalysisContext untuk mendukung analisis alur selama eksekusi kueri Spark Connect
    • [SPARK-54156][PROTOBUF] Mengklasifikasikan kesalahan untuk kegagalan casting ProtobufOptions
    • [SPARK-54078][SS] Uji baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan hapus infra dari pengujian lama
    • [SPARK-54015][PYTHON] Melonggarkan persyaratan Py4J untuk py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] pengurai varian XML harus beralih kembali ke string pada kesalahan penguraian desimal
    • [17.3 Backport][spark-54191]](https://issues.apache.org/jira/browse/SPARK-54191)[SDP] Tambahkan sekali ke Defineflow Proto
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • [SPARK-53729][PYTHON][CONNECT] Perbaiki serialisasi pyspark.sql.connect.window.WindowSpec
    • [SPARK-46679][SQL] Perbaikan untuk SparkUnsupportedOperationException tidak menemukan encoder dari jenis T, saat menggunakan kelas Parameterized
    • [SPARK-53973][Avro] Mengklasifikasikan kesalahan untuk kegagalan konversi boolean AvroOptions
    • [SPARK-53794][SS] Tambahkan opsi untuk membatasi penghapusan per operasi pemeliharaan yang terkait dengan penyedia status rocksdb
    • [SPARK-53908][CONNECT] Perbaiki pengamatan pada Spark Connect dengan cache rencana
    • [SPARK-53972][SS] Perbaiki kemunduran progress terkini pada kueri streaming di PySpark klasik
    • Penambal keamanan sistem operasi.

Databricks Runtime 17.2

Lihat Databricks Runtime 17.2.

  • 9 Januari 2026
    • [SPARK-54711][PYTHON] Tambahkan batas waktu untuk koneksi pekerja yang dibuat daemon
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • Tabel Delta yang dipartisi akan memiliki kolom partisi yang diimplementasikan dalam file data parquet ke depannya. Ini memungkinkan sinergi yang lebih baik dengan bagaimana tabel Iceberg dan UniForm ditangani, dan meningkatkan kompatibilitas dengan pembaca non-Delta eksternal.
    • [SPARK-54427][SQL] Izinkan ColumnarRow untuk memanggil copy dengan jenis varian
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • [SPARK-50906][SQL] Perbaiki cek kejadian null pada Avro untuk bidang struct yang disusun ulang
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54078][SS] Uji baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan hapus infra dari pengujian lama
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • [SPARK-54099][SQL] pengurai varian XML harus beralih kembali ke string pada kesalahan penguraian desimal
    • [SPARK-54015][PYTHON] Melonggarkan persyaratan Py4J untuk py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Approx_top_k menggunakan Apache DataSketches
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • [SPARK-53973][Avro] Mengklasifikasikan kesalahan untuk kegagalan konversi boolean AvroOptions
    • [SPARK-53972][SS] Perbaiki kemunduran progress terkini pada kueri streaming di PySpark klasik
    • [SPARK-53908][CONNECT] Perbaiki pengamatan pada Spark Connect dengan cache rencana
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 8 Oktober 2025
    • [SPARK-53555] Perbaikan: SparkML-connect tidak dapat memuat model tersimpan SparkML (mode warisan)
    • [SPARK-53598][SQL] Periksa keberadaan numParts sebelum membaca properti tabel besar
    • [SPARK-53625][SS] Sebarkan kolom metadata melalui proyeksi untuk mengatasi ketidakcocokan ApplyCharTypePadding
    • [SPARK-53568][CONNECT][PYTHON] Perbaiki beberapa bug kecil dalam logika penanganan kesalahan klien Spark Connect Python
    • [SPARK-53574] Memperbaiki AnalysisContext yang dihapus/hilang selama resolusi rencana bertingkat
    • [SPARK-53623][SQL] meningkatkan pembacaan properti pada tabel besar...
    • [SPARK-53729][PYTHON][CONNECT] Perbaiki serialisasi pyspark.sql.connect.window.WindowSpec
    • [SPARK-53549][SS] Selalu tutup alokator panah saat proses permintaan status daftar selesai
    • Penambal keamanan sistem operasi.
  • 10 September 2025
    • Memperbaiki masalah yang dapat menyebabkan Auto Loader menggantung tanpa batas waktu.
    • [SPARK-53362] [ML] [CONNECT] Memperbaiki bug pemuat lokal IDFModel
    • [SPARK-53382][SQL] Perbaiki bug rCTE dengan rekursi cacat
    • Perbaikan pengujian backport flaky untuk [SPARK-53345]
    • [SPARK-49872][CORE] Hapus batasan panjang string JSON jackson
    • [SPARK-53423] [SQL] Pindahkan semua tag terkait resolver pass tunggal ke ResolverTag
    • [SPARK-53431][PYTHON] Perbaiki UDTF Python dengan argumen tabel bernama di DataFrame API
    • [SPARK-53336] [ML] [CONNECT] Reset MLCache.totalMLCacheSizeBytes saat MLCache.clear() dipanggil
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible harus menghindari gangguan duplikat
    • [SPARK-53470][SQL] Ekspresi ExtractValue harus selalu melakukan pemeriksaan jenis
    • Pilihan Ceri dari [SPARK-53389] Peningkatan untuk Pandas API di Spark di bawah ANSI
    • Penambal keamanan sistem operasi.

Databricks Runtime 17.1

Lihat Databricks Runtime 17.1.

  • 9 Januari 2026
    • [SPARK-54711][PYTHON] Tambahkan batas waktu untuk koneksi pekerja yang dibuat daemon
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • Tabel Delta yang dipartisi akan memiliki kolom partisi yang diimplementasikan dalam file data parquet ke depannya. Ini memungkinkan sinergi yang lebih baik dengan bagaimana tabel Iceberg dan UniForm ditangani, dan meningkatkan kompatibilitas dengan pembaca non-Delta eksternal.
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • [SPARK-50906][SQL] Perbaiki cek kejadian null pada Avro untuk bidang struct yang disusun ulang
    • [SPARK-54427][SQL] Izinkan ColumnarRow untuk memanggil copy dengan jenis varian
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54015][PYTHON] Melonggarkan persyaratan Py4J untuk py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Approx_top_k menggunakan Apache DataSketches
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • [SPARK-54078][SS] Uji baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan hapus infra dari pengujian lama
    • [SPARK-54099][SQL] pengurai varian XML harus beralih kembali ke string pada kesalahan penguraian desimal
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • [SPARK-53972][SS] Perbaiki kemunduran progress terkini pada kueri streaming di PySpark klasik
    • [SPARK-53908][CONNECT] Perbaiki pengamatan pada Spark Connect dengan cache rencana
    • [SPARK-53973][Avro] Mengklasifikasikan kesalahan untuk kegagalan konversi boolean AvroOptions
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 7 Oktober 2025
    • [SPARK-53574] Memperbaiki AnalysisContext yang dihapus/hilang selama resolusi rencana bertingkat
    • [SPARK-53549][SS] Selalu tutup alokator panah saat proses permintaan status daftar selesai
    • [SPARK-53568][CONNECT][PYTHON] Perbaiki beberapa bug kecil dalam logika penanganan kesalahan klien Spark Connect Python
    • [SPARK-53625][SS] Sebarkan kolom metadata melalui proyeksi untuk mengatasi ketidakcocokan ApplyCharTypePadding
    • [SPARK-53598][SQL] Periksa keberadaan numParts sebelum membaca properti tabel besar
    • [SPARK-53623][SQL] meningkatkan pembacaan properti pada tabel besar...
    • [SPARK-53555] Perbaikan: SparkML-connect tidak dapat memuat model tersimpan SparkML (mode warisan)
    • [SPARK-53729][PYTHON][CONNECT] Perbaiki serialisasi pyspark.sql.connect.window.WindowSpec
    • Penambal keamanan sistem operasi.
  • 16 September 2025
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Memperbaiki masalah yang dapat menyebabkan Auto Loader menggantung tanpa batas waktu.
    • [SPARK-53362] [ML] [CONNECT] Memperbaiki bug pemuat lokal IDFModel
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible harus menghindari gangguan duplikat
    • [SPARK-53382][SQL] Perbaiki bug rCTE dengan rekursi cacat
    • [SPARK-53431][PYTHON] Perbaiki UDTF Python dengan argumen tabel bernama di DataFrame API
    • [SPARK-53336] [ML] [CONNECT] Reset MLCache.totalMLCacheSizeBytes saat MLCache.clear() dipanggil
    • [SPARK-49872][CORE] Hapus batasan panjang string JSON jackson
    • Penambal keamanan sistem operasi.
  • 25 Agustus 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.3.3 hingga 1.3.5
    • [SPARK-52482][SQL][CORE] Meningkatkan penanganan pengecualian untuk membaca file zstd tertentu yang rusak
    • [SPARK-53192][CONNECT] Selalu cache DataSource di Spark Connect Plan Cache
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • [SPARK-52833][SQL] Perbaikan VariantBuilder.appendFloat
    • [SPARK-52961][PYTHON] Perbaiki Python UDTF yang dioptimalkan Panah dengan evaluasi 0-arg pada gabungan lateral
    • [SPARK-51505][SQL] Selalu tampilkan metrik nomor partisi kosong di AQEShuffleReadExec
    • [SPARK-52753][SQL] Buat biner parseDataType kompatibel dengan versi sebelumnya
    • [SPARK-52842][SQL] Fungsionalitas baru dan perbaikan bug untuk penganalisis akses menyeluruh
    • [SPARK-52960][SQL] Tampilkan string subtree di LogicalQueryStage toString
    • [SPARK-53054][CONNECT] Perbaiki koneksi. Perilaku format default DataFrameReader
    • Penambal keamanan sistem operasi.

Waktu Operasi Databricks 16.4 LTS

Lihat Databricks Runtime 16.4 LTS.

  • 9 Januari 2026
    • Pustaka Java yang diperbarui:
      • (Hanya Scala 2.12) io.delta.delta-sharing-client_2.12 dari 1.2.8 ke 1.2.9
      • (Hanya Scala 2.13) io.delta.delta-sharing-client_2.13 dari 1.2.8 hingga 1.2.9
    • [SPARK-54620][SQL] Tambahkan pemeriksaan keamanan di ObservationManager untuk menghindari pemblokiran Observasi
    • [SPARK-54711][PYTHON] Tambahkan batas waktu untuk koneksi pekerja yang dibuat daemon
    • [SPARK-41916] [ML] Torch distributor: mendukung beberapa proses torchrun per tugas jika jumlah task.gpu kurang dari > 1
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • Tabel Delta yang dipartisi akan memiliki kolom partisi yang diimplementasikan dalam file data parquet ke depannya. Ini memungkinkan sinergi yang lebih baik dengan bagaimana tabel Iceberg dan UniForm ditangani, dan meningkatkan kompatibilitas dengan pembaca non-Delta eksternal.
    • Untuk konektor Snowflake dan Snowflake Lakehouse Federation, TIMESTAMP_NTZ (tanda waktu tanpa zona waktu) literal tidak lagi diteruskan ke Snowflake. Perubahan ini mencegah kegagalan kueri yang disebabkan oleh penanganan tanda waktu yang tidak kompatibel dan meningkatkan keandalan untuk kueri yang terpengaruh.
    • [SPARK-54427][SQL] Izinkan ColumnarRow untuk memanggil copy dengan jenis varian
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54099][SQL] pengurai varian XML harus beralih kembali ke string pada kesalahan penguraian desimal
    • [SPARK-54015][PYTHON] Melonggarkan persyaratan Py4J untuk py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Uji baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan hapus infra dari pengujian lama
    • [SPARK-54156][PROTOBUF] Mengklasifikasikan kesalahan untuk kegagalan casting ProtobufOptions
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • Pustaka R yang diperbarui:
      • panah dari 16.1.0 hingga 21.0.0
    • [SPARK-53973][Avro] Mengklasifikasikan kesalahan untuk kegagalan konversi boolean AvroOptions
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 7 Oktober 2025
    • [SPARK-53568][CONNECT][PYTHON] Perbaiki beberapa bug kecil dalam logika penanganan kesalahan klien Spark Connect Python
    • [SPARK-53574] Memperbaiki AnalysisContext yang dihapus/hilang selama resolusi rencana bertingkat
    • [SPARK-53623][SQL] meningkatkan pembacaan properti pada tabel besar...
    • [SPARK-53598][SQL] Periksa keberadaan numParts sebelum membaca properti tabel besar
    • [SPARK-53549][SS] Selalu tutup alokator panah saat proses permintaan status daftar selesai
    • Penambal keamanan sistem operasi.
  • 16 September 2025
    • Konektor Snowflake sekarang menggunakan INFORMATION_SCHEMA tabel untuk mencantumkan skema alih-alih perintah SHOW SCHEMAS. Perubahan ini menghapus batas 10.000 skema dari pendekatan sebelumnya dan meningkatkan dukungan untuk database dengan sejumlah besar skema.
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Memperbaiki masalah yang dapat menyebabkan Auto Loader menggantung tanpa batas waktu.
    • Memperbaiki kesalahan sementara di Auto Loader yang dapat menyebabkan pekerjaan gagal
    • [SPARK-49872][CORE] Hapus batasan panjang string JSON jackson
    • [SPARK-51821][CORE] Panggil interupsi() tanpa menahan uninterruptibleLock untuk menghindari kemungkinan kebuntuan
    • Penambal keamanan sistem operasi.
  • 26 Agustus 2025
    • Pustaka Java yang diperbarui:
      • (Hanya Scala 2.12) io.delta.delta-sharing-client_2.12 dari 1.2.7 hingga 1.2.8
      • (Hanya Scala 2.13) io.delta.delta-sharing-client_2.13 dari 1.2.7 hingga 1.2.8
    • [SPARK-52482][SQL][CORE] Meningkatkan penanganan pengecualian untuk membaca file zstd tertentu yang rusak
    • [SPARK-53192][CONNECT] Selalu cache DataSource di Spark Connect Plan Cache
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • [SPARK-51011][CORE] Tambahkan pengelogan untuk apakah tugas akan terganggu saat dibunuh
    • [SPARK-52833][SQL] Perbaikan VariantBuilder.appendFloat
    • [SPARK-51505][SQL] Selalu tampilkan metrik nomor partisi kosong di AQEShuffleReadExec
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • [SPARK-52753][SQL] Buat biner parseDataType kompatibel dengan versi sebelumnya
    • Penambal keamanan sistem operasi.
  • 15 Juli 2025
    • Memperbaiki masalah kehilangan data non-deterministik saat menggunakan Spark Structured Streaming untuk mengalirkan data dari Pulsar.
    • [SPARK-52579][PYTHON] Atur cadangan jejak berkala untuk pekerja Python
    • [SPARK-52553][SS] Perbaiki NumberFormatException saat membaca changelog v1
    • [SPARK-52450] Meningkatkan performa salinan mendalam skema
    • [SPARK-52503][SQL][CONNECT] Perbaiki drop saat kolom input tidak ada
    • [SPARK-52599][PYTHON] Mendukung dump penelusuran balik berkala di sisi Driver pekerja
    • Penambal keamanan sistem operasi.
  • 1 Juli 2025
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement tidak boleh mengakses SQLConf secara dinamis
    • [SPARK-52482][SQL][CORE] Dukungan ZStandard untuk pembaca sumber data file
    • [SPARK-52312][SQL] Abaikan V2WriteCommand saat caching DataFrame
    • Penambal keamanan sistem operasi.
  • 17 Juni 2025
    • Mengatasi batasan bahwa fungsi bernilai tabel (TVF) cloud_files_state tidak dapat digunakan untuk membaca status tingkat file dari tabel streaming di berbagai pipeline.
    • Memperbaiki masalah otorisasi Katalog Unity untuk kueri pada tampilan sementara.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference harus mempertahankan ID rencana
    • Penambal keamanan sistem operasi.
  • 3 Juni 2025
    • [SPARK-52195][PYTHON][SS] Perbaiki masalah penurunan kolom status awal untuk Python TWS
    • [SPARK-52159][SQL] Tangani pemeriksaan keberadaan tabel dengan benar untuk dialek jdbc
    • Beberapa macam perbaikan bug.
  • 7 Mei 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.2.3 hingga 1.2.7
      • org.apache.avro.avro dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-ipc dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-mapred dari 1.11.3 ke 1.11.4
    • Sesi kloning streaming akan digunakan di dalam fungsi pengguna foreachBatch di Kluster Bersama/Tanpa Server. Ini selaras dengan perilaku dalam klasik (Kluster yang Ditetapkan).
    • Sesi kloning streaming akan digunakan di dalam fungsi pengguna foreachBatch di Kluster Bersama/Tanpa Server. Ini selaras dengan perilaku dalam klasik (Kluster yang Ditetapkan).
    • Sebelum perubahan ini, spasi awal dan tab dalam jalur pada ekspresi variant_get diabaikan ketika Photon dinonaktifkan. Misalnya, select variant_get(parse_json('{"key": "value"}'), '$['key']') tidak akan efektif dalam mengekstrak nilai "key". Namun, pengguna akan dapat mengekstrak kunci tersebut sekarang.
    • [SPARK-51935][SQL] Perbaiki perilaku iterator yang malas dalam df.collect() yang ditafsirkan
    • [SPARK-51921][SS][PYTHON] Gunakan jenis panjang untuk durasi TTL dalam milidetik dalam transformWithState
    • [SPARK-51940][SS] Tambahkan antarmuka untuk mengelola metadata titik pemeriksaan streaming
    • [SPARK-52049] Memperbaiki bug yang tidak dapat diurai atribut XML sebagai Varian
    • [SPARK-51904][SS] Menghapus pembersihan metadata asinkron untuk StateSchemaV3 dan mengabaikan file non-batch saat mencantumkan file OperatorMetadata
    • [SPARK-51869][SS] Buat klasifikasi untuk kesalahan pengguna dalam UDF untuk Scala TransformWithState
    • [SPARK-51889][PYTHON][SS] Perbaiki bug untuk MapState clear() di Python TWS
    • [SPARK-51922] [SS] Perbaiki UTFDataFormatException yang dihasilkan dari StateStoreChangelogReaderFactory untuk v1
    • [SPARK-51848][SQL] Memperbaiki penguraian catatan XML dengan skema yang ditentukan dari array/struktur/peta Varian
    • Penambal keamanan sistem operasi.

Databricks Runtime 16.2

Lihat Databricks Runtime 16.2 (EoS).

  • 14 Agustus 2025
    • [SPARK-51011][CORE] Tambahkan pengelogan untuk apakah tugas akan terganggu saat dibunuh
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • Penambal keamanan sistem operasi.
  • 15 Juli 2025
    • Memperbaiki masalah kehilangan data non-deterministik saat menggunakan Spark Structured Streaming untuk mengalirkan data dari Pulsar.
    • [SPARK-52553][SS] Perbaiki NumberFormatException saat membaca changelog v1
    • Penambal keamanan sistem operasi.
  • 1 Juli 2025
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement tidak boleh mengakses SQLConf secara dinamis
    • [SPARK-52312][SQL] Abaikan V2WriteCommand saat caching DataFrame
    • [SPARK-52482][SQL][CORE] Dukungan ZStandard untuk pembaca sumber data file
    • Penambal keamanan sistem operasi.
  • 17 Juni 2025
    • Mengatasi batasan bahwa fungsi bernilai tabel (TVF) cloud_files_state tidak dapat digunakan untuk membaca status tingkat file dari tabel streaming di berbagai pipeline.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference harus mempertahankan ID rencana
    • Penambal keamanan sistem operasi.
  • 3 Juni 2025
    • Pustaka Python yang diperbarui:
      • kriptografi dari 41.0.7, 41.0.7, 42.0.5 hingga 42.0.5
      • kemasan dari 24.0, 24.1 hingga 24.1
      • platformdirs dari versi 3.10.0, 4.2.2 ke 3.10.0
      • pyparsing dari 3.0.9, 3.1.1 ke 3.0.9
      • Menambahkan autocommand 2.2.2
      • Menambahkan backports.tarfile 1.2.0
      • Menambahkan importlib_resources 6.4.0
      • Menambahkan inflect 7.3.1
      • Menambahkan jaraco.context versi 5.3.0
      • Telah menambahkan jaraco.functools 4.0.1
      • Menambahkan jaraco.text 3.12.1
      • Menambahkan more-itertools 10.3.0
      • Menambahkan pip 24.2
      • Menambahkan setuptools 74.0.0
      • Menambahkan tomli 2.0.1
      • Menambahkan typeguard 4.3.0
      • Ditambahkan wcwidth 0.2.5
      • Menambahkan roda 0.43.0
      • Dihapus distro 1.9.0
      • Dihapus distro-info 1.7+build1
      • Telah dihapus python-apt 2.7.7+ubuntu4
    • [SPARK-52159][SQL] Tangani pemeriksaan keberadaan tabel dengan benar untuk dialek jdbc
    • [SPARK-52195][PYTHON][SS] Perbaiki masalah penurunan kolom status awal untuk Python TWS
    • Penambal keamanan sistem operasi.
  • Mei 20, 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.2.6 hingga 1.2.7
      • org.apache.avro.avro dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-ipc dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-mapred dari 1.11.3 ke 1.11.4
    • Sesi kloning streaming akan digunakan di dalam fungsi pengguna foreachBatch di Kluster Bersama/Tanpa Server. Ini selaras dengan perilaku dalam klasik (Kluster yang Ditetapkan).
    • Sesi kloning streaming akan digunakan di dalam fungsi pengguna foreachBatch di Kluster Bersama/Tanpa Server. Ini selaras dengan perilaku dalam klasik (Kluster yang Ditetapkan).
    • Sebelum perubahan ini, spasi awal dan tab dalam jalur pada ekspresi variant_get diabaikan ketika Photon dinonaktifkan. Misalnya, select variant_get(parse_json('{"key": "value"}'), '$[' key']') tidak akan efektif dalam mengekstrak nilai "key". Namun, pengguna akan dapat mengekstrak kunci tersebut sekarang.
    • [SPARK-51935][SQL] Perbaiki perilaku iterator yang malas dalam df.collect() yang ditafsirkan
    • [SPARK-51921][SS][PYTHON] Gunakan jenis panjang untuk durasi TTL dalam milidetik dalam transformWithState
    • Penambal keamanan sistem operasi.
  • 22 April 2025
    • [SPARK-51717][SS][RocksDB] Perbaiki kerusakan karena ketidakcocokan SST yang dapat terjadi untuk snapshot kedua yang dibuat untuk kueri baru
    • Kembalikan "[SPARK-47895][SQL] pengelompokan berdasarkan alias harus idempoten" di 15.4, 16.0, 16.1, 16.2 dan 16.3
    • Penambal keamanan sistem operasi.

  • 09 April 2025

    • Pustaka Java yang diperbarui:
      • Dihapus io.starburst.openjson.openjson 1.8-e.12
      • Dihapus io.starburst.openx.data.json-serde 1.3.9-e.12
      • Dihapus io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] group by alias harus bersifat idempoten
    • [SPARK-51505][SQL] Log metrik jumlah partisi kosong di AQE coalesce
    • [SPARK-51624][SQL] Sampaikan metadata GetStructField ke dalam CreateNamedStruct.dataType
    • [SPARK-51589][SQL] Perbaiki bug kecil yang gagal memeriksa fungsi agregat di |>SELECT
    • Penambal keamanan sistem operasi.

  • 11 Maret 2025

    • Databricks Runtime 14.3 LTS ke atas mencakup perbaikan untuk masalah yang menyebabkan ketidakcocokan biner dengan kode yang menginstansikan kelas dan dikompilasi terhadap Apache Spark. Ketidaksesuaian ini dihasilkan dari penggabungan SPARK-46399 ke dalam Apache Spark. Penggabungan ini menyertakan perubahan yang menambahkan argumen default ke konstruktor SparkListenerApplicationEnd. Untuk memulihkan kompatibilitas biner, perbaikan ini menambahkan satu konstruktor argumen ke kelas SparkListenerApplicationEnd.
    • Batalkan "[SPARK-48273][SQL] Perbaiki penulisan ulang yang terlambat pada PlanWithUnresolvedIdentifier"
    • [SPARK-50985][SS] Klasifikasikan kesalahan ketidakcocokan Offset Tanda Waktu Kafka, bukan menegaskan dan melempar kesalahan saat server hilang di KafkaTokenProvider.
    • [SPARK-51065][SQL] Melarang skema yang tidak dapat diubah ke null saat pengodean Avro digunakan untuk TransformWithState
    • [SPARK-51237][SS] Tambahkan detail API untuk API pembantu transformWithState baru sesuai kebutuhan
    • [SPARK-51222][SQL] Mengoptimalkan ReplaceCurrentLike
    • [SPARK-51351][SS] Jangan memproses output dalam pengolah Python untuk TWS
    • [SPARK-51084][SQL] Menetapkan kelas kesalahan yang sesuai untuk negativeScaleNotAllowedError
    • [SPARK-51249][SS] Memperbaiki pengodean NoPrefixKeyStateEncoder dan Avro untuk menggunakan jumlah byte versi yang benar
    • Penambal keamanan sistem operasi.

  • 5 Februari 2025

    • Rilis ini mencakup perbaikan untuk masalah yang memengaruhi konversi jenis data tertentu saat membuat serial kolom data XML yang diselamatkan. Jenis data yang terpengaruh adalah tanggal, tanda waktu non-NTZ, dan desimal saat prefersDecimal diaktifkan. Untuk mempelajari selengkapnya tentang kolom data yang diselamatkan, lihat Apa kolom data yang diselamatkan?.
    • [SPARK-50770][SS] Menghapus cakupan paket untuk API operator transformWithState
    • Penambal keamanan sistem operasi.

Databricks Runtime 15.4 LTS

Lihat Databricks Runtime 15.4 LTS.

  • 9 Januari 2026
    • Tabel Delta yang dipartisi akan memiliki kolom partisi yang diimplementasikan dalam file data parquet ke depannya. Ini memungkinkan sinergi yang lebih baik dengan bagaimana tabel Iceberg dan UniForm ditangani, dan meningkatkan kompatibilitas dengan pembaca non-Delta eksternal.
    • [SPARK-54620][SQL] Tambahkan pemeriksaan keamanan di ObservationManager untuk menghindari pemblokiran Observasi
    • [SPARK-54711][PYTHON] Tambahkan batas waktu untuk koneksi pekerja yang dibuat daemon
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.1.7 hingga 1.1.9
    • [SPARK-54427][SQL] Izinkan ColumnarRow untuk memanggil copy dengan jenis varian
    • [SPARK-52579][PYTHON] Atur cadangan jejak berkala untuk pekerja Python
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54078][SS] Uji baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan hapus infra dari pengujian lama
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • Pustaka R yang diperbarui:
      • arah panah dari 14.0.0.2 hingga 21.0.0
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Kriteria fotonisasi pemindaian diperbarui untuk memungkinkan fotonisasi pemindaian saat verifikasi checksum diperlukan.
      Menentukan apakah verifikasi checksum diperlukan sekarang berasal dari conf hadoop alih-alih SQLConf.
    • Penambal keamanan sistem operasi.
  • 7 Oktober 2025
    • [SPARK-53568][CONNECT][PYTHON] Perbaiki beberapa bug kecil dalam logika penanganan kesalahan klien Spark Connect Python
    • [SPARK-53574] Memperbaiki AnalysisContext yang dihapus/hilang selama resolusi rencana bertingkat
    • Beberapa macam perbaikan bug.
  • 16 September 2025
    • Konektor Snowflake sekarang menggunakan INFORMATION_SCHEMA tabel untuk mencantumkan skema alih-alih perintah SHOW SCHEMAS. Perubahan ini menghapus batas 10.000 skema dari pendekatan sebelumnya dan meningkatkan dukungan untuk database dengan sejumlah besar skema.
    • [SPARK-50870][SQL] Tambahkan zona waktu saat mentransmisikan ke tanda waktu di V2ScanRelationPushDown
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Memperbaiki masalah yang dapat menyebabkan Auto Loader menggantung tanpa batas waktu.
    • Memperbaiki kesalahan sementara di Auto Loader yang dapat menyebabkan pekerjaan gagal
    • [SPARK-51821][CORE] Panggil interupsi() tanpa menahan uninterruptibleLock untuk menghindari kemungkinan kebuntuan
    • [SPARK-49872][CORE] Hapus batasan panjang string JSON jackson
    • Penambal keamanan sistem operasi.
  • 26 Agustus 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.1.6 hingga 1.1.7
    • [SPARK-52482][SQL][CORE] Meningkatkan penanganan pengecualian untuk membaca file zstd tertentu yang rusak
    • [SPARK-53192][CONNECT] Selalu cache DataSource di Spark Connect Plan Cache
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • [SPARK-51011][CORE] Tambahkan pengelogan untuk apakah tugas akan terganggu saat dibunuh
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • Penambal keamanan sistem operasi.

  • 21 Juli 2025

    • Untuk komputasi yang diaktifkan untuk Photon atau menggunakan CPU berbasis Arm64, mlflow-skinny ditingkatkan ke 2.19.0, ray ditingkatkan ke 2.37.0, dan databricks-feature-engineering ditingkatkan ke 0.8.0.

  • 15 Juli 2025

    • Memperbaiki masalah kehilangan data non-deterministik saat menggunakan Spark Structured Streaming untuk mengalirkan data dari Pulsar.
    • [SPARK-52503][SQL][CONNECT] Perbaiki drop saat kolom input tidak ada
  • 1 Juli 2025
    • Pustaka Java yang diperbarui:
      • org.mlflow.mlflow-spark_2.12 dari 2.9.1 ke 2.11.3
      • Dihapus com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
      • Dihapus org.slf4j.slf4j-simple 1.7.25
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement tidak boleh mengakses SQLConf secara dinamis
    • [SPARK-52482][SQL][CORE] Dukungan ZStandard untuk pembaca sumber data file
    • [SPARK-52312][SQL] Abaikan V2WriteCommand saat caching DataFrame
    • Penambal keamanan sistem operasi.
  • 17 Juni 2025
    • Mengatasi batasan bahwa fungsi bernilai tabel (TVF) cloud_files_state tidak dapat digunakan untuk membaca status tingkat file dari tabel streaming di berbagai pipeline.
    • [SPARK-49646][SQL] perbaiki dekorelasi subkueri untuk operasi union/set ketika parentOuterReferences memiliki referensi yang tidak tercakup dalam collectedChildOuterReferences
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference harus mempertahankan ID rencana
  • 3 Juni 2025
    • Pustaka Python yang diperbarui:
      • kriptografi dari 3.4.8, 41.0.3 hingga 41.0.3
      • filelock berubah dari 3.13.4, 3.15.4 ke 3.13.4
      • importlib-metadata dari 4.6.4, 6.0.0 hingga 6.0.0
      • platformdirs dari 3.10.0, 3.11.0 hingga 3.10.0
      • pyparsing dari 2.4.7, 3.0.9 ke 3.0.9
      • zipp dari 1.0.0, 3.11.0 hingga 3.11.0
      • Menambahkan pip 23.2.1
      • Menambahkan setuptools 68.0.0
      • Ditambahkan wcwidth 0.2.5
      • Menambahkan roda 0.38.4
      • Dihapus distribusi perangkat lunak 1.7.0
      • Telah dihapus distro-info 1.1+ubuntu0.2
      • Menghapus python-apt 2.4.0+ubuntu4
    • Pustaka Java yang diperbarui:
      • com.github.fommil.netlib.native_ref-java dari 1.1, 1.1-natives ke 1.1, 1.1
      • com.github.fommil.netlib.native_system-java dari 1.1, 1.1-natives ke 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 dari 1.1-natives ke 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 dari 1.1-natives ke 1.1
      • io.netty.netty-tcnative-boringssl-static dari versi 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 ke 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll dari 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 ke 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue dari 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 ke 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core dari 1.9.2-shaded-protobuf menjadi 1.9.2
      • org.apache.orc.orc-mapreduce dari 1.9.2-shaded-protobuf ke 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider dari 1.6.2-linux-x86_64 ke 1.6.2
    • [SPARK-52159][SQL] Tangani pemeriksaan keberadaan tabel dengan benar untuk dialek jdbc
    • Penambal keamanan sistem operasi.
  • Mei 20, 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.1.5 hingga 1.1.6
    • Sesi kloning streaming akan digunakan di dalam fungsi pengguna foreachBatch di Kluster Bersama/Tanpa Server. Ini selaras dengan perilaku dalam klasik (Kluster yang Ditetapkan).
    • Sebelum perubahan ini, spasi awal dan tab dalam jalur pada ekspresi variant_get diabaikan ketika Photon dinonaktifkan. Misalnya, select variant_get(parse_json('{"key": "value"}'), '$['key']') tidak akan efektif dalam mengekstrak nilai "key". Namun, pengguna akan dapat mengekstrak kunci tersebut sekarang.
    • [SPARK-51935][SQL] Perbaiki perilaku iterator yang malas dalam df.collect() yang ditafsirkan
    • Penambal keamanan sistem operasi.
  • 22 April 2025
    • Pustaka Java yang diperbarui:
      • org.apache.avro.avro dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-ipc dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-mapred dari 1.11.3 ke 1.11.4
    • Kembalikan "[SPARK-47895][SQL] pengelompokan berdasarkan alias harus idempoten" di 15.4, 16.0, 16.1, 16.2 dan 16.3
    • [SPARK-50682][SQL] Alias Internal harus dikononisasi
    • Penambal keamanan sistem operasi.
  • 9 April 2025
    • (Perubahan perilaku) Untuk menerapkan patch keamanan penting, versi Python default diperbarui ke Python 3.11.11 dari Python 3.11.0rc1. Pembaruan ini mungkin berdampak pada beberapa beban kerja yang berjalan pada Databricks Runtime 15.4 LTS, seperti beban kerja yang menggunakan serialisasi Python untuk menyimpan dan memulihkan status antara eksekusi atau beban kerja yang disematkan ke versi 3.11.0 Python.
    • Pustaka Java yang diperbarui:
      • Dihapus io.starburst.openjson.openjson 1.8-e.12
      • Dihapus io.starburst.openx.data.json-serde 1.3.9-e.12
      • Dihapus io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] group by alias harus bersifat idempoten
    • [SPARK-51624][SQL] Sampaikan metadata GetStructField ke dalam CreateNamedStruct.dataType
    • Penambal keamanan sistem operasi.
  • 31 Maret 2025
    • Untuk komputasi yang tidak diaktifkan untuk Photon, databricks-feature-engineering ditingkatkan ke 0.8.0. Untuk komputasi yang diaktifkan Photon, databricks-feature-engineering tetap pada 0.6.0.

  • 11 Maret 2025

    • Databricks Runtime 14.3 LTS ke atas mencakup perbaikan untuk masalah yang menyebabkan ketidakcocokan biner dengan kode yang menginstansikan kelas dan dikompilasi terhadap Apache Spark. Ketidaksesuaian ini dihasilkan dari penggabungan SPARK-46399 ke dalam Apache Spark. Penggabungan ini menyertakan perubahan yang menambahkan argumen default ke konstruktor SparkListenerApplicationEnd. Untuk memulihkan kompatibilitas biner, perbaikan ini menambahkan satu konstruktor argumen ke kelas SparkListenerApplicationEnd.
    • [SPARK-50985][SS] Klasifikasikan kesalahan ketidakcocokan Offset Tanda Waktu Kafka, bukan menegaskan dan melempar kesalahan saat server hilang di KafkaTokenProvider.
    • [SPARK-50791][SQL] Perbaiki NPE dalam penanganan kesalahan penyimpanan status
    • [SPARK-50310][PYTHON] Tingkatkan performa Kolom saat DQC dinonaktifkan
    • [SPARK-51222][SQL] Mengoptimalkan ReplaceCurrentLike
    • [SPARK-49525][SS][CONNECT] Peningkatan log kecil pada ListenerBus Listener Kueri Streaming Sisi Server
    • [SPARK-51084][SQL] Menetapkan kelas kesalahan yang sesuai untuk negativeScaleNotAllowedError
    • Penambal keamanan sistem operasi.

  • 11 Februari 2025

    • Rilis ini mencakup perbaikan untuk masalah yang memengaruhi konversi jenis data tertentu saat membuat serial kolom data XML yang diselamatkan. Jenis data yang terpengaruh adalah tanggal, tanda waktu non-NTZ, dan desimal saat prefersDecimal diaktifkan. Untuk mempelajari selengkapnya tentang kolom data yang diselamatkan, lihat Apa kolom data yang diselamatkan?.
    • [SPARK-50492][SS] Perbaiki java.util.NoSuchElementException ketika kolom waktu kejadian hilang setelah dropDuplicatesWithinWatermark
    • Penambal keamanan sistem operasi.
    • Untuk komputasi yang tidak diaktifkan untuk Photon, mlflow-skinny ditingkatkan ke 2.19.0. Untuk komputasi yang diaktifkan Photon, mlflow-skinny tetap pada 2.13.1.
  • 10 Desember 2024
    • Pernyataan USE CATALOG sekarang mendukung klausul IDENTIFIER. Dengan dukungan ini, Anda dapat membuat parameter katalog saat ini berdasarkan variabel string atau penanda parameter.
    • Rilis ini mencakup perbaikan untuk masalah yang dapat menyebabkan kunci utama pada tabel Delta dihilangkan dalam kasus-kasus tepi tertentu yang terkait dengan pemadatan otomatis yang dilakukan di latar belakang.
    • Dengan rilis ini, ukuran cache yang digunakan oleh SSD pada node komputasi Databricks secara dinamis berkembang hingga ukuran awal SSD dan menyusut ketika diperlukan, hingga batas spark.databricks.io.cache.maxDiskUsage. Lihat Mengoptimalkan performa dengan caching di Azure Databricks.
    • Paket pyodbc diperbarui dari versi 4.0.38 ke versi 4.0.39. Perubahan ini diperlukan karena bug ditemukan di versi 4.0.38 dan versi tersebut telah dihapus dari PyPI.
    • [SPARK-50329][SQL] memperbaiki InSet$toString
    • [SPARK-47435][SQL] Memperbaiki masalah overflow MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Mendukung ekspresi IDENTIFIER dalam pernyataan SETCATALOG
    • [SPARK-50426][PYTHON] Hindari pencarian sumber data Python statis saat menggunakan sumber data bawaan atau Java
    • [SPARK-48863][SQL] Fix ClassCastException saat mengurai JSON dengan "spark.sql.json.enablePartialResults" diaktifkan
    • [SPARK-50310][PYTHON] Tambahkan bendera untuk menonaktifkan DataFrameQueryContext untuk PySpark
    • [15.3-15.4] [SPARK-50034][CORE] Perbaiki Pelaporan Kesalahan Fatal sebagai Pengecualian Tidak Tertangkap dalam SparkUncaughtExceptionHandler
    • Penambal keamanan sistem operasi.
  • 26 November 2024
    • Dengan rilis ini, Anda sekarang dapat mengkueri fungsi vector_search menggunakan query_text untuk input teks atau query_vector untuk menyematkan input.
    • Anda sekarang dapat mengatur batas waktu untuk kueri Spark Connect menggunakan properti konfigurasi Spark spark.databricks.execution.timeout. Untuk notebook yang berjalan pada komputasi serverless, nilai defaultnya adalah 9000 (detik). Pekerjaan yang berjalan pada komputasi tanpa server dan komputasi dengan mode akses standar tidak memiliki batas waktu kecuali properti konfigurasi ini diatur. Eksekusi yang berlangsung lebih lama dari batas waktu yang ditentukan menghasilkan kesalahan QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-50322][SQL] Memperbaiki pengidentifikasi berparameter dalam sub-kueri
    • [SPARK-49615] [ML] Membuat semua validasi skema himpunan data transformator fitur ML sesuai dengan konfigurasi "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET harus mempertahankan urutan data
    • Penambal keamanan sistem operasi.
  • 5 November 2024
    • (Perubahan menerobos) Dalam Databricks Runtime 15.4 LTS ke atas, penanganan ekspresi reguler di Photon diperbarui untuk mencocokkan perilaku penanganan ekspresi reguler Apache Spark. Sebelumnya, fungsi ekspresi reguler yang dijalankan oleh Photon, seperti split() dan regexp_extract(), menerima beberapa ekspresi reguler yang ditolak oleh pengurai Spark. Untuk mempertahankan konsistensi dengan Apache Spark, kueri Photon sekarang akan gagal untuk ekspresi reguler yang dianggap Spark tidak valid. Karena perubahan ini, Anda mungkin melihat kesalahan jika kode Spark Anda menyertakan ekspresi reguler yang tidak valid. Misalnya, ekspresi split(str_col, '{'), yang berisi kurung kurawal yang tidak sepadan dan dulunya diterima oleh Photon, kini menjadi tidak valid. Untuk memperbaiki ekspresi ini, Anda dapat menghindari karakter kurung kurawal: split(str_col, '\\{'). Perilaku Photon dan Spark juga berbeda untuk beberapa pencocokan ekspresi reguler untuk karakter non-ASCII. Ini juga diperbarui sehingga Photon cocok dengan perilaku Apache Spark.
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-49867][SQL] Meningkatkan pesan kesalahan saat indeks berada di luar batas saat memanggil GetColumnByOrdinal
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • [SPARK-49905] Gunakan ShuffleOrigin khusus pada operator stateful untuk mencegah modifikasi pengacakan dari AQE (Adaptive Query Execution)
    • [SPARK-46632][SQL] Memperbaiki eliminasi subekspresi ketika ekspresi terner yang setara memiliki elemen berbeda
    • [SPARK-49443][SQL][PYTHON] Menerapkan ekspresi to_variant_object dan membuat ekspresi schema_of_variant mencetak OBJECT untuk objek varian
    • [SPARK-49615] Bugfix: Buat validasi skema kolom ML sesuai dengan konfigurasi spark spark.sql.caseSensitive.
  • 22 Oktober 2024
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-49867][SQL] Meningkatkan pesan kesalahan saat indeks berada di luar batas saat memanggil GetColumnByOrdinal
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • [SPARK-49905] Gunakan ShuffleOrigin khusus pada operator stateful untuk mencegah modifikasi pengacakan dari AQE (Adaptive Query Execution)
    • [SPARK-46632][SQL] Memperbaiki eliminasi subekspresi ketika ekspresi terner yang setara memiliki elemen berbeda
    • [SPARK-49443][SQL][PYTHON] Menerapkan ekspresi to_variant_object dan membuat ekspresi schema_of_variant mencetak OBJECT untuk objek varian
    • [SPARK-49615] Bugfix: Buat validasi skema kolom ML sesuai dengan konfigurasi spark spark.sql.caseSensitive.
  • 10 Oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields
    • [SPARK-49688][SAMBUNGKAN] Memperbaiki balapan data antara interupsi dan rencana eksekusi
    • [BACKPORT] [SPARK-49474][SS] Mengklasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna FlatMapGroupsWithState
    • [SPARK-49460][SQL] Tindak lanjut: memperbaiki potensi risiko NPE
  • 25 September 2024
    • [SPARK-49628][SQL] ConstantFolding harus menyalin ekspresi stateful sebelum mengevaluasi
    • [SPARK-49000][SQL] Perbaiki `SELECT COUNT(DISTINCT 1)` dari t di mana t adalah tabel kosong dengan meningkatkan fungsi RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Upaya memasang kembali pada ExecutionHolder yang tidak aktif
    • [SPARK-49458][CONNECT][PYTHON] Menyediakan session id sisi server melalui ReattachExecute
    • [SPARK-49017][SQL] Pernyataan insert gagal ketika beberapa parameter sedang digunakan
    • [SPARK-49451] Izinkan kunci duplikat dalam parse_json.
    • Beberapa macam perbaikan bug.
  • 17 September 2024
    • [SPARK-48463][ML] Membuat Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor untuk mendukung kolom input berlapis
    • [SPARK-49409][SAMBUNGKAN] Menyesuaikan default nilai dari CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][SAMBUNGKAN][HOTFIX-15.4.2] Dukungan jalur gaya Windows di ArtifactManager
    • Batalkan "[SPARK-48482][PYTHON] dropDuplicates dan dropDuplicatesWithinWatermark harus menerima argumen panjang variabel"
    • [SPARK-43242][CORE] Memperbaiki 'Tipe BlockId yang tidak terduga' saat mendiagnosis kerusakan shuffle
    • [SPARK-49366][CONNECT] Perlakukan simpul Union sebagai daun dalam resolusi kolom dataframe
    • [SPARK-49018][SQL] Perbaiki approx_count_distinct tidak berfungsi dengan benar dengan kolasi
    • [SPARK-49460][SQL] Hapus cleanupResource() dari EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader tidak dapat menangani null dengan benar
    • [SPARK-49336][CONNECT] Batasi tingkat penumpukan saat memotong pesan protobuf
  • 29 Agustus 2024
    • Output dari pernyataan SHOW CREATE TABLE kini menyertakan filter baris atau masker kolom yang ditentukan pada tampilan materialisasi atau tabel streaming. Lihat SHOW CREATE TABLE. Untuk mempelajari tentang filter baris dan masker kolom, lihat Filter baris dan masker kolom.
    • Pada komputasi yang dikonfigurasi dengan mode akses bersama, pemrosesan batch Kafka untuk membaca dan menulis sekarang memiliki batasan yang sama seperti yang diberlakukan dalam dokumentasi untuk Structured Streaming. Lihat Batasan streaming.
    • [SPARK-48941][SPARK-48970] Perbaikan untuk penulisan/pembacaan ML dengan backport
    • [SPARK-49074][SQL] Perbaiki varian dengan df.cache()
    • [SPARK-49263][SAMBUNGKAN] Klien python Spark Connect: Menangani opsi pembaca Dataframe boolean secara konsisten
    • [SPARK-48955][SQL] Sertakan perubahan ArrayCompact dalam 15.4
    • [SPARK-48937][SQL] Menambahkan dukungan kolatasi untuk ekspresi string StringToMap
    • [SPARK-48929] Memperbaiki kesalahan internal view dan membersihkan konteks pengecualian parser.
    • [SPARK-49125][SQL] Izinkan nama kolom duplikat dalam penulisan CSV
    • [SPARK-48934][SS] Jenis tanggal dan waktu Python dikonversi secara tidak benar ketika menetapkan batas waktu di applyInPandasWithState
    • [SPARK-48843] Mencegah perulangan tak terbatas dengan BindParameters
    • [SPARK-48981] Memperbaiki metode simpleString dari StringType di pyspark untuk kolase
    • [SPARK-49065][SQL] Rebasing dalam pemformat/pemroses lama harus mendukung zona waktu default selain JVM
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backport perbaikan penulisan Spark ML
    • [SPARK-48725][SQL] Mengintegrasikan CollationAwareUTF8String.lowerCaseCodePoints ke dalam ekspresi string
    • [SPARK-48978][SQL] Menerapkan jalur cepat ASCII dalam dukungan kolase untuk UTF8_LCASE
    • [SPARK-49047][PYTHON][KONEKSI] Memotong pesan untuk pencatatan log
    • [SPARK-49146][SS] Memindahkan kesalahan asersi terkait watermark yang hilang dalam kueri streaming mode tambah ke kerangka kesalahan
    • [SPARK-48977][SQL] Optimalkan pencarian string di bawah kolase UTF8_LCASE
    • [SPARK-48889][SS] testStream untuk membongkar penyimpanan status sebelum selesai
    • [SPARK-48463] Membuat StringIndexer yang mendukung kolom input berlapis
    • [SPARK-48954] try_mod() menggantikan try_remainder()
    • Penambal keamanan sistem operasi.

Databricks Runtime 14.3 LTS

Lihat Databricks Runtime 14.3 LTS.

  • 9 Januari 2026
    • Tabel Delta yang dipartisi akan memiliki kolom partisi yang diimplementasikan dalam file data parquet ke depannya. Ini memungkinkan sinergi yang lebih baik dengan bagaimana tabel Iceberg dan UniForm ditangani, dan meningkatkan kompatibilitas dengan pembaca non-Delta eksternal.
    • [SPARK-54711][PYTHON] Tambahkan batas waktu untuk koneksi pekerja yang dibuat daemon
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • [SPARK-52579][PYTHON] Atur cadangan jejak berkala untuk pekerja Python
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54078][SS] Uji baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan hapus infra dari pengujian lama
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • Pustaka R yang diperbarui:
      • panah dari 12.0.1 hingga 21.0.0
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 7 Oktober 2025
    • [SPARK-53568][CONNECT][PYTHON] Perbaiki beberapa bug kecil dalam logika penanganan kesalahan klien Spark Connect Python
    • [SPARK-53574] Memperbaiki AnalysisContext yang dihapus/hilang selama resolusi rencana bertingkat
    • Beberapa macam perbaikan bug.
  • 16 September 2025
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Memperbaiki masalah yang dapat menyebabkan Auto Loader menggantung tanpa batas waktu.
    • [SPARK-49872][CORE] Hapus batasan panjang string JSON jackson
    • Penambal keamanan sistem operasi.
  • 26 Agustus 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.1.6 hingga 1.1.7
    • [SPARK-52482][SQL][CORE] Meningkatkan penanganan pengecualian untuk membaca file zstd tertentu yang rusak
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • Penambal keamanan sistem operasi.
  • 15 Juli 2025
    • [SPARK-52503][SQL][CONNECT] Perbaiki drop saat kolom input tidak ada
    • Beberapa macam perbaikan bug.
  • 1 Juli 2025
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • [SPARK-52521][SQL] Right#replacement tidak boleh mengakses SQLConf secara dinamis
    • [SPARK-52482][SQL][CORE] Dukungan ZStandard untuk pembaca sumber data file
    • Penambal keamanan sistem operasi.
  • 17 Juni 2025
    • Mengatasi batasan bahwa fungsi bernilai tabel (TVF) cloud_files_state tidak dapat digunakan untuk membaca status tingkat file dari tabel streaming di berbagai pipeline.
    • [SPARK-49646][SQL] perbaiki dekorelasi subkueri untuk operasi union/set ketika parentOuterReferences memiliki referensi yang tidak tercakup dalam collectedChildOuterReferences
  • 3 Juni 2025
    • Pustaka Python yang diperbarui:
      • kriptografi dari 3.4.8, 39.0.1 hingga 39.0.1
      • platformdirs dari 2.5.2, 2.6.2 ke 2.5.2
      • pyparsing dari 2.4.7, 3.0.9 ke 3.0.9
      • Telah menambahkan pip 22.3.1
      • Menambahkan setuptools 65.6.3
      • Menambahkan tomli 2.0.1
      • Ditambahkan wcwidth 0.2.5
      • Menambahkan roda 0.38.4
      • Dihapus distribusi perangkat lunak 1.7.0
      • Telah dihapus distro-info 1.1+ubuntu0.2
      • Menghapus python-apt 2.4.0+ubuntu4
    • Pustaka Java yang diperbarui:
      • com.github.fommil.netlib.native_ref-java dari 1.1, 1.1-natives ke 1.1, 1.1
      • com.github.fommil.netlib.native_system-java dari 1.1, 1.1-natives ke 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 dari 1.1-natives ke 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 dari 1.1-natives ke 1.1
      • io.netty.netty-tcnative-boringssl-static dari versi 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 ke 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll dari 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 ke 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue dari 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 ke 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core dari 1.9.2-shaded-protobuf menjadi 1.9.2
      • org.apache.orc.orc-mapreduce dari 1.9.2-shaded-protobuf ke 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider dari 1.6.1-linux-x86_64 hingga 1.6.1
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference harus mempertahankan ID rencana
    • [SPARK-52159][SQL] Tangani pemeriksaan keberadaan tabel dengan benar untuk dialek jdbc
    • Penambal keamanan sistem operasi.
  • Mei 20, 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.1.5 hingga 1.1.6
    • [SPARK-51935][SQL] Perbaiki perilaku iterator yang malas dalam df.collect() yang ditafsirkan
    • Penambal keamanan sistem operasi.
  • 22 April 2025
    • Penambal keamanan sistem operasi.

  • 09 April 2025

    • [Perubahan Perilaku] Operasi vakum sekarang melakukan pemeriksaan protokol Writer dengan cara yang mirip dengan operasi lain, mencegah pembersihan tak terduga pada tabel dengan fitur yang lebih baru ketika dijalankan dari versi Databricks Runtime yang lebih lama dan tidak kompatibel.
    • [SPARK-51624][SQL] Sampaikan metadata GetStructField ke dalam CreateNamedStruct.dataType
    • Penambal keamanan sistem operasi.

  • 11 Maret 2025

    • Databricks Runtime 14.3 LTS ke atas mencakup perbaikan untuk masalah yang menyebabkan ketidakcocokan biner dengan kode yang menginstansikan kelas dan dikompilasi terhadap Apache Spark. Ketidaksesuaian ini dihasilkan dari penggabungan SPARK-46399 ke dalam Apache Spark. Penggabungan ini menyertakan perubahan yang menambahkan argumen default ke konstruktor SparkListenerApplicationEnd. Untuk memulihkan kompatibilitas biner, perbaikan ini menambahkan satu konstruktor argumen ke kelas SparkListenerApplicationEnd.
    • [SPARK-50791][SQL] Perbaiki NPE dalam penanganan kesalahan penyimpanan status
    • [SPARK-50705][SQL] Buat QueryPlan bebas kunci
    • [SPARK-49525][SS][CONNECT] Peningkatan log kecil pada ListenerBus Listener Kueri Streaming Sisi Server
    • Penambal keamanan sistem operasi.

  • 11 Februari 2025

    • Rilis ini mencakup perbaikan untuk masalah yang memengaruhi konversi jenis data tertentu saat membuat serial kolom data XML yang diselamatkan. Jenis data yang terpengaruh adalah tanggal, tanda waktu non-NTZ, dan desimal saat prefersDecimal diaktifkan. Untuk mempelajari selengkapnya tentang kolom data yang diselamatkan, lihat Apa kolom data yang diselamatkan?.
    • [SPARK-50492][SS] Perbaiki java.util.NoSuchElementException ketika kolom waktu kejadian hilang setelah dropDuplicatesWithinWatermark
    • [SPARK-51084][SQL] Menetapkan kelas kesalahan yang sesuai untuk negativeScaleNotAllowedError
    • Penambal keamanan sistem operasi.
  • 10 Desember 2024
    • Rilis ini mencakup perbaikan untuk masalah yang dapat menyebabkan kunci utama pada tabel Delta dihilangkan dalam kasus-kasus tepi tertentu yang terkait dengan pemadatan otomatis yang dilakukan di latar belakang.
    • [SPARK-50329][SQL] memperbaiki InSet$toString
    • Penambal keamanan sistem operasi.
  • 26 November 2024
    • [SPARK-49615] [ML] Membuat semua validasi skema himpunan data transformator fitur ML sesuai dengan konfigurasi "spark.sql.caseSensitive".
    • Penambal keamanan sistem operasi.
  • 5 November 2024
    • [SPARK-48843] Mencegah perulangan tak terbatas dengan BindParameters
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [BACKPORT] [SPARK-49326][SS] Klasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna sink ForEach
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-46632][SQL] Memperbaiki eliminasi subekspresi ketika ekspresi terner yang setara memiliki elemen berbeda
    • [SPARK-49905] Gunakan ShuffleOrigin khusus pada operator stateful untuk mencegah modifikasi pengacakan dari AQE (Adaptive Query Execution)
    • Penambal keamanan sistem operasi.
  • 22 Oktober 2024
    • [SPARK-48843] Mencegah perulangan tak terbatas dengan BindParameters
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [SPARK-49905] Gunakan ShuffleOrigin khusus pada operator stateful untuk mencegah modifikasi pengacakan dari AQE (Adaptive Query Execution)
    • [SPARK-46632][SQL] Memperbaiki eliminasi subekspresi ketika ekspresi terner yang setara memiliki elemen berbeda
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [BACKPORT] [SPARK-49326][SS] Klasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna sink ForEach
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • Penambal keamanan sistem operasi.
  • 10 Oktober 2024
    • [BACKPORT] [SPARK-49474][SS] Mengklasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields
    • [SPARK-49688][SAMBUNGKAN] Memperbaiki balapan data antara interupsi dan rencana eksekusi
  • 25 September 2024
    • [SPARK-48810][CONNECT] Sesi stop() API harus bersifat idempoten dan tidak gagal jika sesi sudah ditutup oleh server.
    • [SPARK-48719][SQL] Perbaiki bug perhitungan `RegrS...
    • [SPARK-49000][SQL] Perbaiki `SELECT COUNT(DISTINCT 1)` dari t di mana t adalah tabel kosong dengan meningkatkan fungsi RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding harus menyalin ekspresi stateful sebelum mengevaluasi
    • [SPARK-49492][CONNECT] Upaya memasang kembali pada ExecutionHolder yang tidak aktif
    • Penambal keamanan sistem operasi.
  • 17 September 2024
    • [SPARK-49336][CONNECT] Batasi tingkat penumpukan saat memotong pesan protobuf
    • [SPARK-43242][CORE] Memperbaiki 'Tipe BlockId yang tidak terduga' saat mendiagnosis kerusakan shuffle
    • [SPARK-48463][ML] Membuat Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor untuk mendukung kolom input berlapis
    • [SPARK-49526][CONNECT] Mendukung jalur gaya Windows di ArtifactManager
    • [SPARK-49409][SAMBUNGKAN] Menyesuaikan default nilai dari CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Perlakukan simpul Union sebagai daun dalam resolusi kolom dataframe
  • 29 Agustus 2024
    • [SPARK-49146][SS] Memindahkan kesalahan asersi terkait watermark yang hilang dalam kueri streaming mode tambah ke kerangka kesalahan
    • [SPARK-48862][PYTHON][CONNECT] Hindari panggilan _proto_to_string saat tingkat INFO tidak diaktifkan
    • [SPARK-49263][SAMBUNGKAN] Klien python Spark Connect: Menangani opsi pembaca Dataframe boolean secara konsisten
  • 14 Agustus 2024
    • [SPARK-48941][SPARK-48970] Perbaikan untuk penulisan/pembacaan ML dengan backport
    • [SPARK-48706][PyTHON] Python UDF dalam fungsi urutan yang lebih tinggi tidak boleh melemparkan kesalahan internal
    • [SPARK-49056][SQL] ErrorClassesJsonReader tidak dapat menangani null dengan benar
    • [SPARK-48597][SQL] Memperkenalkan penanda untuk properti isStreaming dalam representasi teks dari rencana logis
    • [SPARK-49065][SQL] Rebasing dalam pemformat/pemroses lama harus mendukung zona waktu default selain JVM
    • [SPARK-48934][SS] Jenis tanggal dan waktu Python dikonversi secara tidak benar ketika menetapkan batas waktu di applyInPandasWithState
  • 1 Agustus 2024
    • Rilis ini mencakup perbaikan bug untuk ColumnVector kelas dan ColumnarArray di antarmuka Spark Java. Sebelumnya untuk perbaikan ini, ArrayIndexOutOfBoundsException mungkin dilemparkan atau data yang salah dikembalikan ketika instans salah satu kelas ini berisi nilai null.
    • Pada komputasi tanpa server untuk notebook dan pekerjaan, mode ANSI SQL diaktifkan secara default. Lihatlah parameter konfigurasi Spark yang didukung .
    • Pada komputasi yang dikonfigurasi dengan mode akses bersama, pemrosesan batch Kafka untuk membaca dan menulis sekarang memiliki batasan yang sama seperti yang diberlakukan dalam dokumentasi untuk Structured Streaming. Lihat Batasan streaming.
    • Output dari pernyataan SHOW CREATE TABLE kini menyertakan filter baris atau masker kolom yang ditentukan pada tampilan materialisasi atau tabel streaming. Lihat SHOW CREATE TABLE. Untuk mempelajari tentang filter baris dan masker kolom, lihat Filter baris dan masker kolom.
    • Pada komputasi yang dikonfigurasi dengan mode akses bersama, pemrosesan batch Kafka untuk membaca dan menulis sekarang memiliki batasan yang sama seperti yang diberlakukan dalam dokumentasi untuk Structured Streaming. Lihat Batasan streaming.
    • Output dari pernyataan SHOW CREATE TABLE kini menyertakan filter baris atau masker kolom yang ditentukan pada tampilan materialisasi atau tabel streaming. Lihat SHOW CREATE TABLE. Untuk mempelajari tentang filter baris dan masker kolom, lihat Filter baris dan masker kolom.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backport perbaikan penulisan Spark ML
    • [SPARK-48889][SS] testStream untuk membongkar penyimpanan status sebelum selesai
    • [SPARK-48705][PYTHON] Gunakan worker_main secara eksplisit ketika memulai dengan pyspark
    • [SPARK-48047][SQL] Mengurangi tekanan memori tag TreeNode kosong
    • [SPARK-48544][SQL] Mengurangi tekanan memori TreeNode BitSets kosong
    • [SPARK-46957][CORE] Penonaktifan file shuffle yang telah dimigrasikan harus dapat dibersihkan dari eksekutor
    • [SPARK-48463] Membuat StringIndexer yang mendukung kolom input berlapis
    • [SPARK-47202][PYTHON] Memperbaiki kesalahan ketik yang menyebabkan kegagalan tanggalwaktu dengan tzinfo
    • [SPARK-47713][SQL][CONNECT] Memperbaiki kegagalan self-join
    • Penambal keamanan sistem operasi.
  • 11 Juli 2024
    • (Perubahan Perilaku) DataFrames yang di-cache terhadap sumber tabel Delta sekarang tidak valid jika tabel sumber ditimpa. Perubahan ini berarti bahwa semua perubahan status pada tabel Delta sekarang membatalkan hasil cache. Gunakan .checkpoint() untuk mempertahankan status tabel sepanjang masa pakai DataFrame.
    • Snowflake JDBC Driver diperbarui ke versi 3.16.1.
    • Rilis ini mencakup perbaikan untuk masalah yang mencegah tab Lingkungan Spark UI ditampilkan dengan benar saat berjalan di Layanan Kontainer Databricks.
    • Pada komputasi tanpa server untuk notebook dan pekerjaan, mode ANSI SQL diaktifkan secara default. Lihatlah parameter konfigurasi Spark yang didukung .
    • Untuk mengabaikan partisi yang tidak valid saat membaca data, sumber data berbasis file, seperti Parquet, ORC, CSV, atau JSON, dapat mengatur opsi sumber data ignoreInvalidPartitionPaths ke true. Misalnya: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Anda juga dapat menggunakan konfigurasi SQL spark.sql.files.ignoreInvalidPartitionPaths. Namun, opsi sumber data lebih diutamakan daripada konfigurasi SQL. Pengaturan ini salah secara default.
    • [SPARK-48648][PYTHON][CONNECT] Buat SparkConnectClient.tags dengan benar threadlocal
    • [SPARK-48445][SQL] Jangan menggabungkan UDF dengan komponen-komponen yang memakan banyak sumber daya
    • [SPARK-48481][SQL][SS] Jangan terapkan OptimizeOneRowPlan terhadap Himpunan Data streaming
    • [SPARK-48383][SS] Menghasilkan kesalahan yang lebih baik untuk partisi yang tidak sejajar dalam opsi startOffset di Kafka
    • [SPARK-48503][SQL] Memperbaiki subkueri skalar tidak valid dengan group-by pada kolom yang tidak setara yang diizinkan secara keliru
    • [SPARK-48100][SQL] Memperbaiki masalah dalam melompati bidang struktur berlapis yang tidak dipilih dalam skema
    • [SPARK-48273][SQL] Memperbaiki penulisan ulang planWithUnresolvedIdentifier yang terlambat
    • [SPARK-48252][SQL] Perbarui CommonExpressionRef bila perlu
    • [SPARK-48475][PYTHON] Optimalkan _get_jvm_function di PySpark.
    • [SPARK-48292][CORE] Mengembalikan [SPARK-39195][SQL] Spark OutputCommitCoordinator harus membatalkan tahapan ketika file yang dikomitmen tidak sesuai dengan status tugas
    • Penambal keamanan sistem operasi.
  • 17 Juni 2024
    • applyInPandasWithState() tersedia pada komputasi dengan mode akses standar.
    • Memperbaiki bug di mana pengoptimalan jendela peringkat menggunakan Photon TopK salah menangani partisi dengan struktur.
    • [SPARK-48310][PYTHON][CONNECT] Properti yang disimpan dalam cache harus mengembalikan salinan
    • [SPARK-48276][Python][CONNECT] Tambahkan metode yang hilang __repr__ untuk SQLExpression
    • [SPARK-48294][SQL] Menangani huruf kecil dalam nestedTypeMissingElementTypeError
    • Penambal keamanan sistem operasi.
  • Mei 21, 2024
    • (Perubahan perilaku) dbutils.widgets.getAll() sekarang didukung agar mendapatkan semua nilai widget dalam notebook.
    • Memperbaiki bug dalam fungsi try_divide() di mana input yang berisi desimal menghasilkan pengecualian yang tidak terduga.
    • [SPARK-48056][SAMBUNGKAN][PYTHON] Jalankan kembali rencana pemrosesan jika terjadi kesalahan SESSION_NOT_FOUND dan respons parsial tidak diterima.
    • [SPARK-48146][SQL] Memperbaiki fungsi agregat dalam ekspresi With pada penegasan elemen anak
    • [SPARK-47986][SAMBUNGKAN][PyTHON] Tidak dapat membuat sesi baru ketika sesi default ditutup oleh server
    • [SPARK-48180][SQL] Meningkatkan kesalahan ketika panggilan UDTF dengan TABLE arg lupa tanda kurung di beberapa PARTITION/ORDER BY exprs
    • [SPARK-48016][SQL] Memperbaiki bug dalam fungsi try_divide saat dengan desimal
    • [SPARK-48197][SQL] Hindari kesalahan pernyataan untuk fungsi lambda yang tidak valid
    • [SPARK-47994][SQL] Perbaiki bug dengan penurunan filter kolom CASE WHEN di SQL Server
    • [SPARK-48173][SQL] CheckAnalysis akan melihat seluruh rencana kueri
    • [SPARK-48105][SS] Memperbaiki race condition antara pembongkaran penyimpanan status dan pembuatan cuplikan
    • Penambal keamanan sistem operasi.
  • Mei 9, 2024
    • (Perubahan perilaku) applyInPandas dan mapInPandas jenis UDF sekarang didukung pada komputasi mode akses bersama yang menjalankan Databricks Runtime 14.3 LTS ke atas.
    • [SPARK-47739][SQL] Mendaftarkan jenis avro logis
    • [SPARK-47941] [SS] [Connect] Menyampaikan kesalahan inisialisasi pekerja ForeachBatch kepada pengguna untuk PySpark
    • [SPARK-48010][SQL] Hindari panggilan berulang ke conf.resolver di resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Tembolok DataFrame.isStreaming
    • [SPARK-47956][SQL] Pemeriksaan kewarasan untuk referensi LCA yang belum terselesaikan
    • [SPARK-47543][CONNECT][PYTHON] Menyimpulkan dict sebagai MapType dari Pandas DataFrame untuk memungkinkan pembuatan DataFrame
    • [SPARK-47819][SAMBUNGKAN][Cherry-pick-14.3] Gunakan panggilan balik asinkron untuk pembersihan setelah eksekusi
    • [SPARK-47764][CORE][SQL] Membersihkan dependensi shuffle berdasarkan ShuffleCleanupMode
    • [SPARK-48018][SS] Memperbaiki groupId null yang menyebabkan kesalahan parameter hilang saat melempar KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Memperbaiki bug agregat di RewriteWithExpression
    • [SPARK-47371] [SQL] XML: Mengabaikan tag baris yang ditemukan di CDATA
    • [SPARK-47895][SQL] grup menurut semua harus idempoten
    • [SPARK-47973][CORE] Mencatat lokasi panggilan di SparkContext.stop() dan kemudian di SparkContext.assertNotStopped()
    • Penambal keamanan sistem operasi.
  • 25 April 2024
    • [SPARK-47543][CONNECT][PYTHON] Menyimpulkan dict sebagai MapType dari Pandas DataFrame untuk memungkinkan pembuatan DataFrame
    • [SPARK-47694][CONNECT] Membuat ukuran pesan maksimum dapat dikonfigurasi pada pihak klien
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Validasi nama kolom dengan skema cache
    • [SPARK-47862][PYTHON][CONNECT] Memperbaiki pembuatan file proto
    • Kembalikan "[SPARK-47543][CONNECT][PYTHON] Menyimpulkan dict sebagai MapType dari Pandas DataFrame agar memungkinkan pembuatan DataFrame"
    • [SPARK-47704][SQL] Penguraian JSON gagal dengan "java.lang.ClassCastException" saat spark.sql.json.enablePartialResults diaktifkan
    • [SPARK-47812][KONEKSI] Mendukung Serialisasi SparkSession untuk pekerja ForEachBatch
    • [SPARK-47818][SAMBUNGKAN][Cherry-pick-14.3] Memperkenalkan cache rencana di SparkConnectPlanner untuk meningkatkan performa permintaan analisis
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite gagal dengan rencana yang tidak valid
    • Penambal keamanan sistem operasi.
  • 11 April 2024
    • (Perubahan Perilaku) Untuk memastikan perilaku yang konsisten pada semua jenis komputasi, UDF PySpark pada komputasi dengan mode akses standar sekarang sesuai dengan perilaku UDF pada kluster tanpa isolasi dan yang ditetapkan. Pembaruan ini mencakup perubahan berikut yang mungkin merusak kode yang ada:
      • UDF dengan jenis pengembalian string tidak lagi secara implisit mengonversi nilai non-string menjadi nilai string. Sebelumnya, UDF dengan tipe pengembalian str akan membungkus nilai pengembalian dengan fungsi str() terlepas dari jenis data aktual dari nilai yang dikembalikan.
      • UDF dengan timestamp jenis pengembalian tidak lagi secara implisit menerapkan konversi ke timestamp dengan timezone.
      • Konfigurasi kluster Spark spark.databricks.sql.externalUDF.* tidak lagi berlaku untuk UDF PySpark pada komputasi dengan mode akses standar.
      • Konfigurasi spark.databricks.safespark.externalUDF.plan.limit kluster Spark tidak lagi memengaruhi UDF PySpark, menghapus batasan 5 UDF per kueri pada versi Pratinjau Publik untuk UDF PySpark.
      • Konfigurasi kluster Spark spark.databricks.safespark.sandbox.size.default.mib tidak lagi berlaku untuk UDF PySpark pada komputasi dengan mode akses standar. Sebagai gantinya, memori yang tersedia pada sistem digunakan. Untuk membatasi memori UDF PySpark, gunakan spark.databricks.pyspark.udf.isolation.memoryLimit dengan nilai minimum 100m.
    • Jenis data TimestampNTZ kini didukung sebagai kolom pengelompokan dengan penggunaan teknologi clustering cair. Lihat Menggunakan pengklusteran cair untuk tabel.
    • [SPARK-47511][SQL] Mengkanonisasi ekspresi dengan menetapkan ulang ID
    • [SPARK-47509][SQL] Memblokir ekspresi subkueri dalam fungsi lambda dan urutan yang lebih tinggi
    • [SPARK-46990][SQL] Memperbaiki pemuatan file Avro kosong yang dihasilkan oleh Event Hubs
    • [SPARK-47638][PS][CONNECT] Lewati validasi nama kolom di PS
    • Penambal keamanan sistem operasi.
  • 14 Maret 2024
    • [SPARK-47135][SS] Menerapkan kelas kesalahan untuk pengecualian kehilangan data Kafka
    • [SPARK-47176][SQL] Memiliki fungsi pembantu ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Lampirkan pengenal tabel ke eksekusi pemindaian sumber data baris untuk strategi V2.
    • [SPARK-47044][SQL] Tambahkan kueri yang dijalankan untuk sumber data eksternal JDBC untuk menjelaskan output
    • [SPARK-47167][SQL] Menambahkan kelas konkret untuk hubungan anonim JDBC
    • [SPARK-47070] Memperbaiki agregasi yang tidak valid setelah penulisan ulang subkueri
    • [SPARK-47121][CORE] Hindari RejectedExecutionExceptions selama penutupan StandaloneSchedulerBackend
    • Batalkan "[SPARK-46861][CORE] Hindari Deadlock di DAGScheduler"
    • [SPARK-47125][SQL] Mengembalikan null jika Univocity tidak pernah memicu penguraian
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier harus menyertakan ekspresi lain dalam pohon ekspresi
    • [SPARK-47129][SAMBUNGKAN][SQL] Lakukan ResolveRelations perencanaan cache koneksi dengan tepat
    • [SPARK-47241][SQL] Memperbaiki masalah urutan aturan untuk ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Protokol untuk Pendengar di Sisi Klien
    • Penambal keamanan sistem operasi.
  • 29 Februari 2024
    • Memperbaiki masalah saat menggunakan koleksi lokal sebagai sumber dalam perintah MERGE dapat mengakibatkan metrik operasi numSourceRows melaporkan jumlah baris yang benar dua kali lipat.
    • Membuat skema dengan lokasi yang ditentukan sekarang mengharuskan pengguna untuk memiliki hak istimewa SELECT dan hak istimewa untuk MEMODIFIKASI pada file apa pun.
    • [SPARK-47071][SQL] Menggabungkan ekspresi jika berisi ekspresi khusus
    • [SPARK-47059][SQL] Lampirkan konteks kesalahan untuk perintah ALTER COLUMN v1
    • [SPARK-46993][SQL] Memperbaiki folding konstanta untuk variabel sesi
    • Penambal keamanan sistem operasi.
  • 3 Januari 2024
    • [SPARK-46933] Tambahkan metrik waktu eksekusi kueri ke konektor yang menggunakan JDBCRDD.
    • [SPARK-46763] Memperbaiki kegagalan pernyataan di ReplaceDeduplicateWithAggregate untuk atribut duplikat.
    • [SPARK-46954] XML: Membungkus InputStreamReader dengan BufferedReader.
    • [SPARK-46655] Lewati menangkap konteks kueri dalam metode DataFrame.
    • [SPARK-44815] Simpan cache df.schema untuk menghindari terjadinya RPC tambahan.
    • [SPARK-46952] XML: Batasi ukuran rekaman yang rusak.
    • [SPARK-46794] Menghapus subkueri dari batasan LogicalRDD.
    • [SPARK-46736] pertahankan bidang pesan kosong di konektor protobuf.
    • [SPARK-45182] Abaikan penyelesaian tugas dari tahap lama setelah mencoba kembali tahap induk yang tidak terdefinisi seperti yang ditentukan oleh checksum.
    • [SPARK-46414] Gunakan prependBaseUri untuk merender impor javascript.
    • [SPARK-46383] Kurangi Penggunaan Timbunan Driver dengan Mengurangi Masa Pakai TaskInfo.accumulables().
    • [SPARK-46861] Hindari Kebuntuan di Modul DAGScheduler.
    • [SPARK-46954] XML: Optimalkan pencarian indeks skema.
    • [SPARK-46676] dropDuplicatesWithinWatermark tidak boleh gagal dalam proses kanonisasi rencana.
    • [SPARK-46644] Ubah tambahkan dan gabungkan di SQLMetric untuk menggunakan isZero.
    • [SPARK-46731] Mengelola instans penyedia penyimpanan status menurut sumber data status - pembaca.
    • [SPARK-46677] Perbaiki dataframe["*"] resolusi.
    • [SPARK-46610] Buat tabel seharusnya memunculkan pengecualian jika tidak ada nilai untuk setiap kunci di dalam opsi.
    • [SPARK-46941] Tidak dapat menyisipkan simpul batas grup jendela untuk komputasi k atas jika berisi SizeBasedWindowFunction.
    • [SPARK-45433] Memperbaiki inferensi skema CSV/JSON saat tanda waktu tidak cocok dengan format tanda waktu yang ditentukan.
    • [SPARK-46930] Tambahkan dukungan untuk awalan kustom untuk bidang jenis Union di Avro.
    • [SPARK-46227] Memindahkan kembali ke 14.3.
    • [SPARK-46822] Menghormati spark.sql.legacy.charVarcharAsString ketika melakukan casting tipe JDBC ke tipe katalis dalam JDBC.
    • Penambal keamanan sistem operasi.

Databricks Runtime 13.3 LTS

Lihat Databricks Runtime 13.3 LTS.

  • 9 Januari 2026
    • Tabel Delta yang dipartisi akan memiliki kolom partisi yang diimplementasikan dalam file data parquet ke depannya. Ini memungkinkan sinergi yang lebih baik dengan bagaimana tabel Iceberg dan UniForm ditangani, dan meningkatkan kompatibilitas dengan pembaca non-Delta eksternal.
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • [SPARK-52579][PYTHON] Atur cadangan jejak berkala untuk pekerja Python
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • Pustaka R yang diperbarui:
      • panah dari 10.0.1 hingga 21.0.0
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 7 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 24 September 2025
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Penambal keamanan sistem operasi.
  • 26 Agustus 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-spark_2.12 dari 0.7.12 hingga 0.7.13
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • Penambal keamanan sistem operasi.

  • 15 Juli 2025

    • Penambal keamanan sistem operasi.

  • 1 Juli 2025

    • Penambal keamanan sistem operasi.
  • 17 Juni 2025
    • Mengatasi batasan bahwa fungsi bernilai tabel (TVF) cloud_files_state tidak dapat digunakan untuk membaca status tingkat file dari tabel streaming di berbagai pipeline.
    • Penambal keamanan sistem operasi.
  • 3 Juni 2025
    • Pustaka Python yang diperbarui:
      • kriptografi dari 3.4.8, 37.0.1 hingga 37.0.1
      • platformdirs dari 2.5.2, 2.6.2 ke 2.5.2
      • pyparsing dari 2.4.7, 3.0.9 ke 3.0.9
      • Menambahkan pip 22.2.2
      • Menambahkan setuptools 63.4.1
      • Menambahkan tomli 2.0.1
      • Ditambahkan wcwidth 0.2.5
      • Menambahkan roda 0.37.1
      • Dihapus distribusi perangkat lunak 1.7.0
      • Telah dihapus distro-info 1.1+ubuntu0.2
      • Menghapus python-apt 2.4.0+ubuntu4
    • Pustaka Java yang diperbarui:
      • com.github.fommil.netlib.native_ref-java dari 1.1, 1.1-natives ke 1.1, 1.1
      • com.github.fommil.netlib.native_system-java dari 1.1, 1.1-natives ke 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 dari 1.1-natives ke 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 dari 1.1-natives ke 1.1
      • io.netty.netty-transport-native-epoll dari 4.1.87.Final, 4.1.87.Final-linux-aarch_64, 4.1.87.Final-linux-x86_64 ke 4.1.87.Final, 4.1.87.Final, 4.1.87.Final
      • io.netty.netty-transport-native-kqueue dari 4.1.87.Final-osx-aarch_64, 4.1.87.Final-osx-x86_64 ke 4.1.87.Final, 4.1.87.Final
      • org.apache.orc.orc-core dari 1.8.4-shaded-protobuf menjadi 1.8.4
      • org.apache.orc.orc-mapreduce dari 1.8.4-shaded-protobuf ke 1.8.4
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider dari 1.6.1-linux-x86_64 hingga 1.6.1
    • [SPARK-52159][SQL] Tangani pemeriksaan keberadaan tabel dengan benar untuk dialek jdbc
    • Penambal keamanan sistem operasi.
  • Mei 20, 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-spark_2.12 dari 0.7.11 hingga 0.7.12
    • Penambal keamanan sistem operasi.
  • 22 April 2025
    • [Perubahan Perilaku] Operasi vakum sekarang melakukan pemeriksaan protokol Writer dengan cara yang mirip dengan operasi lain, mencegah pembersihan tak terduga pada tabel dengan fitur yang lebih baru ketika dijalankan dari versi Databricks Runtime yang lebih lama dan tidak kompatibel.
    • Penambal keamanan sistem operasi.
  • 9 April 2025
    • [SPARK-51624][SQL] Sampaikan metadata GetStructField ke dalam CreateNamedStruct.dataType
    • Penambal keamanan sistem operasi.
  • 11 Maret 2025
    • Penambal keamanan sistem operasi.
  • 11 Februari 2025
    • [SPARK-50492][SS] Perbaiki java.util.NoSuchElementException ketika kolom waktu kejadian hilang setelah dropDuplicatesWithinWatermark
    • [SPARK-45915][SQL] Perlakukan desimal(x, 0) sama dengan IntegralType di PromoteStrings
    • Penambal keamanan sistem operasi.
  • 10 Desember 2024
    • Penambal keamanan sistem operasi.
  • 26 November 2024
    • [SPARK-49615] [ML] Membuat semua validasi skema himpunan data transformator fitur ML sesuai dengan konfigurasi "spark.sql.caseSensitive".
    • Penambal keamanan sistem operasi.
  • 5 November 2024
    • [SPARK-48843] Mencegah perulangan tak terbatas dengan BindParameters
    • [BACKPORT] [SPARK-49326][SS] Klasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna sink ForEach
    • [SPARK-49905] Gunakan ShuffleOrigin khusus pada operator stateful untuk mencegah modifikasi pengacakan dari AQE (Adaptive Query Execution)
    • Penambal keamanan sistem operasi.
  • 22 Oktober 2024
    • [SPARK-48843] Mencegah perulangan tak terbatas dengan BindParameters
    • [BACKPORT] [SPARK-49326][SS] Klasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna sink ForEach
    • [SPARK-49905] Gunakan ShuffleOrigin khusus pada operator stateful untuk mencegah modifikasi pengacakan dari AQE (Adaptive Query Execution)
    • Penambal keamanan sistem operasi.
  • 10 Oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields
  • 25 September 2024
    • [SPARK-46601] [CORE] Memperbaiki kesalahan log dalam handleStatusMessage
    • [SPARK-48719][SQL] Perbaiki bug perhitungan RegrSlope & RegrIntercept saat parameter pertama null
    • [SPARK-43242][CORE] Memperbaiki 'Tipe BlockId yang tidak terduga' saat mendiagnosis kerusakan shuffle
    • [SPARK-49000][SQL] Perbaiki `SELECT COUNT(DISTINCT 1)` dari t di mana t adalah tabel kosong dengan meningkatkan fungsi RewriteDistinctAggregates
    • Penambal keamanan sistem operasi.
  • 17 September 2024
    • [SPARK-49526][CONNECT] Mendukung jalur gaya Windows di ArtifactManager
    • [SPARK-48463][ML] Membuat Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor untuk mendukung kolom input berlapis
    • Penambal keamanan sistem operasi.
  • 29 Agustus 2024
  • 14 Agustus 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader tidak dapat menangani null dengan benar
    • [SPARK-49065][SQL] Rebasing dalam pemformat/pemroses lama harus mendukung zona waktu default selain JVM
    • [SPARK-48597][SQL] Memperkenalkan penanda untuk properti isStreaming dalam representasi teks dari rencana logis
  • 1 Agustus 2024
    • Rilis ini mencakup perbaikan bug untuk ColumnVector kelas dan ColumnarArray di antarmuka Spark Java. Sebelumnya untuk perbaikan ini, ArrayIndexOutOfBoundsException mungkin dilemparkan atau data yang salah dikembalikan ketika instans salah satu kelas ini berisi nilai null.
    • [SPARK-47202][PYTHON] Memperbaiki kesalahan ketik yang menyebabkan kegagalan tanggalwaktu dengan tzinfo
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backport perbaikan penulisan Spark ML
    • [SPARK-48463] Membuat StringIndexer yang mendukung kolom input berlapis
    • Penambal keamanan sistem operasi.
  • 11 Juli 2024
    • (Perubahan Perilaku) DataFrames yang di-cache terhadap sumber tabel Delta sekarang tidak valid jika tabel sumber ditimpa. Perubahan ini berarti bahwa semua perubahan status pada tabel Delta sekarang membatalkan hasil cache. Gunakan .checkpoint() untuk mempertahankan status tabel sepanjang masa pakai DataFrame.
    • Rilis ini mencakup perbaikan untuk masalah yang mencegah tab Lingkungan Spark UI ditampilkan dengan benar saat berjalan di Layanan Kontainer Databricks.
    • [SPARK-48383][SS] Menghasilkan kesalahan yang lebih baik untuk partisi yang tidak sejajar dalam opsi startOffset di Kafka
    • [SPARK-48292][CORE] Mengembalikan [SPARK-39195][SQL] Spark OutputCommitCoordinator harus membatalkan tahapan ketika file yang dikomitmen tidak sesuai dengan status tugas
    • [SPARK-48503][SQL] Memperbaiki subkueri skalar tidak valid dengan group-by pada kolom yang tidak setara yang diizinkan secara keliru
    • [SPARK-48481][SQL][SS] Jangan terapkan OptimizeOneRowPlan terhadap Himpunan Data streaming
    • [SPARK-48475][PYTHON] Optimalkan _get_jvm_function di PySpark.
    • [SPARK-48273][SQL] Memperbaiki penulisan ulang planWithUnresolvedIdentifier yang terlambat
    • [SPARK-48445][SQL] Jangan menggabungkan UDF dengan komponen-komponen yang memakan banyak sumber daya
    • Penambal keamanan sistem operasi.
  • 17 Juni 2024
    • [SPARK-48277] Meningkatkan pesan kesalahan untuk ErrorClassesJsonReader.getErrorMessage
    • Penambal keamanan sistem operasi.
  • Mei 21, 2024
  • Mei 9, 2024
    • [SPARK-47956][SQL] Pemeriksaan kewarasan untuk referensi LCA yang belum terselesaikan
    • [SPARK-46822][SQL] Hormati spark.sql.legacy.charVarcharAsString saat mengonversi jenis JDBC ke jenis Catalyst dalam JDBC
    • [SPARK-47895][SQL] grup menurut semua harus idempoten
    • [SPARK-48018][SS] Memperbaiki groupId null yang menyebabkan kesalahan parameter hilang saat melempar KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Mencatat lokasi panggilan di SparkContext.stop() dan kemudian di SparkContext.assertNotStopped()
    • Penambal keamanan sistem operasi.
  • 25 April 2024
    • [SPARK-44653][SQL] Union DataFrame non-sepele tidak boleh mengganggu caching
    • Beberapa macam perbaikan bug.
  • 11 April 2024
    • [SPARK-47509][SQL] Memblokir ekspresi subkueri dalam fungsi lambda dan urutan yang lebih tinggi
    • Penambal keamanan sistem operasi.
  • 1 April tahun 2024
    • [SPARK-47385] Perbaiki encoder tuple dengan input Option.
    • [SPARK-38708][SQL] Tingkatkan Apache Hive Metastore Client ke 3.1.3 untuk Apache Hive 3.1
    • [SPARK-47200][SS] Kategori kesalahan untuk kesalahan fungsi pengguna pada sink batch Foreach
    • [SPARK-47368][SQL] Hapus pengecekan konfigurasi inferTimestampNTZ di ParquetRowConverter
    • [SPARK-44252][SS] Tentukan kelas kesalahan baru dan terapkan untuk kasus di mana status pemuatan dari DFS gagal
    • [SPARK-47135][SS] Menerapkan kelas kesalahan untuk pengecualian kehilangan data Kafka
    • [SPARK-47300][SQL] quoteIfNeeded harus mengutip pengidentifikasi yang dimulai dengan angka
    • [SPARK-47305][SQL] Perbaiki PruneFilters untuk menandai bendera isStreaming dari LocalRelation dengan benar ketika rencana memiliki batch dan streaming.
    • [SPARK-47070] Memperbaiki agregasi yang tidak valid setelah penulisan ulang subkueri
    • Penambal keamanan sistem operasi.
  • 14 Maret 2024
    • [SPARK-47145][SQL] Lampirkan pengenal tabel ke eksekusi pemindaian sumber data baris untuk strategi V2.
    • [SPARK-47167][SQL] Menambahkan kelas konkret untuk hubungan anonim JDBC
    • [SPARK-47176][SQL] Memiliki fungsi pembantu ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Tambahkan kueri yang dijalankan untuk sumber data eksternal JDBC untuk menjelaskan output
    • [SPARK-47125][SQL] Mengembalikan null jika Univocity tidak pernah memicu penguraian
    • Penambal keamanan sistem operasi.
  • 29 Februari 2024
    • Memperbaiki masalah saat menggunakan koleksi lokal sebagai sumber dalam perintah MERGE dapat mengakibatkan metrik operasi numSourceRows melaporkan jumlah baris yang benar dua kali lipat.
    • Membuat skema dengan lokasi yang ditentukan sekarang mengharuskan pengguna untuk memiliki hak istimewa SELECT dan hak istimewa untuk MEMODIFIKASI pada file apa pun.
    • Penambal keamanan sistem operasi.
  • 8 Februari 2024
    • Kueri umpan data perubahan (CDF) pada tampilan materialisasi Katalog Unity tidak didukung, dan mencoba menjalankan kueri CDF dengan tampilan materialisasi Katalog Unity mengembalikan kesalahan. Tabel streaming dalam Unity Catalog mendukung kueri CDF pada tabel CDC yang bukan OTOMATIS di Databricks Runtime 14.1 dan versi yang lebih baru. Kueri CDF tidak didukung dengan tabel streaming Unity Catalog di Databricks Runtime 14.0 dan yang lebih lama.
    • [SPARK-46794] Menghapus subkueri dari batasan LogicalRDD.
    • [SPARK-46933] Tambahkan metrik waktu eksekusi kueri ke konektor yang menggunakan JDBCRDD.
    • [SPARK-45582] Pastikan instans penyimpanan tidak digunakan setelah memanggil commit dalam agregasi streaming mode keluaran.
    • [SPARK-46396] Inferensi tanda waktu tidak boleh melemparkan pengecualian.
    • [SPARK-46861] Hindari Kebuntuan di Modul DAGScheduler.
    • [SPARK-46941] Tidak dapat menyisipkan simpul batas grup jendela untuk komputasi k atas jika berisi SizeBasedWindowFunction.
    • Penambal keamanan sistem operasi.
  • 31 Januari 2024
    • [SPARK-46610] Buat tabel seharusnya memunculkan pengecualian jika tidak ada nilai untuk setiap kunci di dalam opsi.
    • [SPARK-46383] Kurangi Penggunaan Timbunan Driver dengan Mengurangi Masa Pakai TaskInfo.accumulables().
    • [SPARK-46600] Pindahkan kode bersama antara SqlConf dan SqlApiConf ke SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark tidak boleh gagal dalam proses kanonisasi rencana.
    • [SPARK-46763] Memperbaiki kegagalan pernyataan di ReplaceDeduplicateWithAggregate untuk atribut duplikat.
    • Penambal keamanan sistem operasi.
  • 17 Januari 2024
    • Simpul shuffle dari rencana penelusuran yang dikembalikan oleh kueri Photon diperbarui untuk menambahkan bendera causedBroadcastJoinBuildOOM=true saat terjadi kesalahan kehabisan memori selama proses pengacakan yang merupakan bagian dari proses gabungan siaran.
    • Untuk menghindari peningkatan latensi saat berkomunikasi melalui TLSv1.3, rilis pemeliharaan ini mencakup patch ke penginstalan JDK 8 untuk memperbaiki bug JDK JDK JDK-8293562.
    • [SPARK-46058] Tambahkan bendera terpisah untuk privateKeyPassword.
    • [SPARK-46173] Melewati panggilan trimAll selama penguraian tanggal.
    • [SPARK-46370] Perbaiki bug saat mengkueri dari tabel setelah mengubah default kolom.
    • [SPARK-46370] Perbaiki bug saat mengkueri dari tabel setelah mengubah default kolom.
    • [SPARK-46370] Perbaiki bug saat mengkueri dari tabel setelah mengubah default kolom.
    • [SPARK-46609] Hindari terjadinya ledakan eksponensial di PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Mendukung kata sandi untuk kunci JKS untuk RPC SSL.
    • [SPARK-46602] Menerapkan allowExisting saat membuat tampilan ketika tampilan atau tabel tersebut belum tersedia.
    • [SPARK-46249] Membutuhkan kunci instans untuk memperoleh metrik RocksDB guna mencegah terjadinya konflik dengan operasi latar belakang.
    • [SPARK-46417] Jangan mengalami kegagalan saat memanggil hive.getTable dan throwException bernilai salah.
    • [SPARK-46538] Memperbaiki masalah referensi kolom ambigu di ALSModel.transform.
    • [SPARK-46478] Kembalikan SPARK-43049 untuk menggunakan oracle varchar(255) untuk string.
    • [SPARK-46250] Mengurangi ketidakandalan test_parity_listener.
    • [SPARK-46394] Memperbaiki masalah spark.catalog.listDatabases() pada skema dengan karakter khusus saat spark.sql.legacy.keepCommandOutputSchema diatur ke true.
    • [SPARK-46056] Perbaiki pembacaan vektor Parquet yang mengalami NullPointerException dengan nilai default byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables tidak melemparkan pengecualian saat tabel atau tampilan tidak ditemukan.
    • [SPARK-46466] Pembaca parquet vektor tidak boleh melakukan rebase untuk tanda waktu NTZ.
  • 14 Desember 2023
    • Memperbaiki masalah di mana garis bawah yang di-escape dalam operasi getColumns yang berasal dari klien JDBC atau ODBC ditangani secara tidak benar dan ditafsirkan sebagai wildcard.
    • [SPARK-45920] kelompok menurut ordinal harus idempotensi.
    • [SPARK-44582] Lewati iterator pada SMJ jika telah dihapus.
    • [SPARK-45433] Memperbaiki inferensi skema CSV/JSON saat tanda waktu tidak cocok dengan format tanda waktu yang ditentukan.
    • [SPARK-45655] Izinkan ekspresi non-deterministik di dalam AggregateFunctions di CollectMetrics.
    • Penambal keamanan sistem operasi.
  • 29 November 2023
    • Memasang paket baru, pyarrow-hotfix untuk memulihkan kerentanan RCE PyArrow.
    • Konektor Spark-snowflake ditingkatkan ke 2.12.0.
    • [SPARK-44846] Menghapus ekspresi pengelompokan kompleks setelah RemoveRedundantAggregates.
    • [SPARK-45544] Dukungan SSL terintegrasi ke dalam TransportContext.
    • [SPARK-45892] Merombak validasi rencana proses optimisasi untuk memisahkan validateSchemaOutput dan validateExprIdUniqueness.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Membuat objek UDF menjadi tangguh ml.functions.
    • Penambal keamanan sistem operasi.
  • 10 November 2023
    • Filter partisi pada kueri streaming Delta Lake ditekan ke bawah sebelum pembatasan laju untuk mencapai pemanfaatan optimal.
    • Perubahan pada kueri umpan data di tabel streaming Unity Catalog dan tampilan materialisasi untuk menampilkan pesan kesalahan.
    • [SPARK-45545]SparkTransportConf mewarisi SSLOptions ketika diciptakan.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • [SPARK-45541] Ditambahkan SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction tidak lagi gagal ketika IGNORE NULLS dan offset > rowCount.
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • [SPARK-44219] Menambahkan validasi per aturan tambahan untuk penulisan ulang pengoptimalan.
    • [SPARK-45543] Memperbaiki masalah di mana InferWindowGroupLimit menyebabkan masalah jika fungsi jendela lain tidak memiliki bingkai jendela yang sama dengan fungsi seperti peringkat.
    • Penambal keamanan sistem operasi.
  • 23 Oktober 2023
    • [SPARK-45256] Memperbaiki masalah di mana DurationWriter gagal saat menulis lebih banyak nilai daripada kapasitas awal.
    • [SPARK-45419] Hindari menggunakan kembali rocksdb sst file pada instansi yang berbeda rocksdb dengan menghapus entri peta versi file dari versi yang lebih besar.
    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • Perbaikan lain-lain.
  • 13 Oktober 2023
    • Dependensi Snowflake-jdbc ditingkatkan dari 3.13.29 menjadi 3.13.33.
    • Fungsi array_insert ini berbasis 1 untuk indeks positif dan negatif, sementara sebelumnya, itu berbasis 0 untuk indeks negatif. Untuk indeks -1, elemen baru sekarang disisipkan di akhir array input. Untuk memulihkan perilaku sebelumnya, atur spark.sql.legacy.negativeIndexInArrayInsert ke true.
    • Memperbaiki masalah tentang tidak diabaikannya file-file yang rusak ketika ignoreCorruptFiles diaktifkan selama inferensi skema CSV menggunakan Auto Loader.
    • Kembalikan "[SPARK-42946]."
    • [SPARK-42205] Memperbarui protokol JSON untuk menghapus pencatatan Accumulables dalam peristiwa dimulainya tugas atau tahap.
    • [SPARK-45178] Menggunakan metode alternatif untuk menjalankan satu proses batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan metode pembungkus.
    • [SPARK-45316] Tambahkan parameter baru ignoreCorruptFiles dan ignoreMissingFiles ke HadoopRDD dan NewHadoopRDD.
    • [SPARK-44740] Nilai metadata tetap untuk Artefak.
    • [SPARK-45360] Konfigurasi penyusun sesi Spark yang diinisialisasi dari SPARK_REMOTE.
    • [SPARK-44551] Komentar yang diedit untuk disinkronkan dengan OSS.
    • [SPARK-45346] Penyimpulan skema Parquet sekarang menghormati pengaturan sensitif huruf saat menggabungkan skema.
    • [SPARK-44658]ShuffleStatus.getMapStatus sekarang mengembalikan None alih-alih Some(null).
    • [SPARK-44840] Diubah menjadi berbasis 1 untuk indeks negatif.
  • 14 September 2023
    • [SPARK-44873] Menambahkan dukungan untuk alter view dengan kolom berlapis di klien Apache Hive.
    • [SPARK-44878] Menonaktifkan batas ketat untuk manajer penulisan RocksDB guna menghindari pengecualian penyisipan pada saat penyelesaian cache.
  • 30 Agustus 2023
    • Perintah dbutils cp (dbutils.fs.cp) telah dioptimalkan untuk penyalinan yang lebih cepat. Dengan peningkatan ini, operasi salin dapat memakan waktu hingga 100 lebih sedikit, tergantung pada ukuran file. Fitur ini tersedia di semua cloud dan sistem file yang dapat diakses di Databricks, termasuk untuk volume Unity Catalog dan penyematan DBFS.
    • [SPARK-44455] Mengutip pengidentifikasi dengan backtick dalam SHOW CREATE TABLE hasil.
    • [SPARK-44763] Memperbaiki masalah yang menunjukkan string sebagai ganda dalam aritmatika biner dengan interval.
    • [SPARK-44871] Perilaku tetap percentile_disc .
    • [SPARK-44714] Mempermudah pembatasan resolusi LCA dalam hal kueri.
    • [SPARK-44818] Memperbaiki masalah kondisi balapan pada tugas tertunda yang telah dikeluarkan sebelum taskThread diinisialisasi.
    • [SPARK-44505] Menambahkan penggantian untuk dukungan kolom pada pemindaian di DSv2.
    • [SPARK-44479] Memperbaiki masalah konversi Protobuf dari jenis Struct yang kosong.
    • [SPARK-44718] Cocokkan ColumnVector konfigurasi mode memori secara default dengan OffHeapMemoryMode nilai konfigurasi.
    • [SPARK-42941] Menambahkan dukungan untuk StreamingQueryListener di Python.
    • [SPARK-44558] Ekspor Tingkat Log Spark Connect PySpark.
    • [SPARK-44464] Memperbaiki applyInPandasWithStatePythonRunner untuk menghasilkan baris yang memiliki Null sebagai nilai kolom pertama.
    • [SPARK-44643] Diperbaiki Row.__repr__ saat bidang adalah baris kosong.
    • Penambal keamanan sistem operasi.

Databricks Runtime 12.2 LTS

Lihat Databricks Runtime 12.2 LTS.

  • 9 Januari 2026
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • Pustaka R yang diperbarui:
      • panah dari 10.0.0 hingga 21.0.0
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Python yang diperbarui dari 2.7.18 ke 2.7.18.1
    • Penambal keamanan sistem operasi.
  • 7 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 24 September 2025
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Penambal keamanan sistem operasi.
  • 26 Agustus 2025
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • Penambal keamanan sistem operasi.
  • 15 Juli 2025
    • Penambal keamanan sistem operasi.
  • 1 Juli 2025
    • Penambal keamanan sistem operasi.
  • 17 Juni 2025
    • Penambal keamanan sistem operasi.
  • 3 Juni 2025
    • Pustaka Python yang diperbarui:
      • certifi dari 2019.11.28, 2021.10.8 hingga 2021.10.8
      • chardet dari 3.0.4, 4.0.0 hingga 4.0.0
      • idna berubah dari 2.8, 3.3 ke 3.3
      • permintaan dari 2.22.0, 2.27.1 hingga 2.27.1
      • enam dari 1.14.0, 1.16.0 hingga 1.16.0
      • urllib3 dari 1.25.8, 1.26.9 hingga 1.26.9
      • Menambahkan pip 21.2.4
      • Menambahkan setuptools versi 61.2.0
      • Menambahkan tomli 1.2.2
      • Ditambahkan wcwidth 0.2.5
      • Menambahkan roda 0.37.0
      • Dihapus distro 1.4.0
      • Dihapus distro-info 0.23+ubuntu1.1
      • Menghapus python-apt 2.0.1+ubuntu0.20.4.1
    • Pustaka Java yang diperbarui:
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider dari 1.6.1-linux-x86_64 hingga 1.6.1
    • Penambal keamanan sistem operasi.
  • Mei 20, 2025
    • [SPARK-42655][SQL] Kesalahan referensi kolom ambigu yang tidak tepat
    • Penambal keamanan sistem operasi.
  • 22 April 2025
    • [Perubahan Perilaku] Operasi vakum sekarang melakukan pemeriksaan protokol Writer dengan cara yang mirip dengan operasi lain, mencegah pembersihan tak terduga pada tabel dengan fitur yang lebih baru ketika dijalankan dari versi Databricks Runtime yang lebih lama dan tidak kompatibel.
    • Penambal keamanan sistem operasi.
  • 9 April 2025
    • Penambal keamanan sistem operasi.

  • 11 Maret 2025

    • Penambal keamanan sistem operasi.

  • 10 Desember 2024

    • Penambal keamanan sistem operasi.

  • 26 November 2024

    • Beberapa macam perbaikan bug.

  • 10 Oktober 2024

    • [SPARK-49743][SQL] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields

  • 25 September 2024

    • [SPARK-49000][SQL] Perbaiki `SELECT COUNT(DISTINCT 1)` dari t di mana t adalah tabel kosong dengan meningkatkan fungsi RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Memperbaiki kesalahan log dalam handleStatusMessage
    • Beberapa macam perbaikan bug.

  • 17 September 2024

    • Penambal keamanan sistem operasi.

  • 29 Agustus 2024

    • Beberapa macam perbaikan bug.

  • 14 Agustus 2024

    • [SPARK-48941][SPARK-48970] Perbaikan untuk penulisan/pembacaan ML dengan backport
    • [SPARK-49065][SQL] Rebasing dalam pemformat/pemroses lama harus mendukung zona waktu default selain JVM
    • [SPARK-49056][SQL] ErrorClassesJsonReader tidak dapat menangani null dengan benar
    • [SPARK-48597][SQL] Memperkenalkan penanda untuk properti isStreaming dalam representasi teks dari rencana logis
    • [SPARK-48463][ML] Membuat StringIndexer mendukung kolom input berlapis
    • Penambal keamanan sistem operasi.

  • 1 Agustus 2024

  • 1 Agustus 2024

    • Untuk menerapkan patch keamanan yang diperlukan, versi Python di Databricks Runtime 12.2 LTS ditingkatkan dari 3.9.5 ke 3.9.19.

  • 11 Juli 2024

    • (Perubahan Perilaku) DataFrames yang di-cache terhadap sumber tabel Delta sekarang tidak valid jika tabel sumber ditimpa. Perubahan ini berarti bahwa semua perubahan status pada tabel Delta sekarang membatalkan hasil cache. Gunakan .checkpoint() untuk mempertahankan status tabel sepanjang masa pakai DataFrame.
    • [SPARK-48481][SQL][SS] Jangan terapkan OptimizeOneRowPlan terhadap Himpunan Data streaming
    • [SPARK-47070] Memperbaiki agregasi yang tidak valid setelah penulisan ulang subkueri
    • [SPARK-42741][SQL] Jangan membuka bungkus cast dalam perbandingan biner ketika literal adalah null
    • [SPARK-48445][SQL] Jangan menggabungkan UDF dengan komponen-komponen yang memakan banyak sumber daya
    • [SPARK-48503][SQL] Memperbaiki subkueri skalar tidak valid dengan group-by pada kolom yang tidak setara yang diizinkan secara keliru
    • [SPARK-48383][SS] Menghasilkan kesalahan yang lebih baik untuk partisi yang tidak sejajar dalam opsi startOffset di Kafka
    • Penambal keamanan sistem operasi.

  • 17 Juni 2024

    • [SPARK-48277] Meningkatkan pesan kesalahan untuk ErrorClassesJsonReader.getErrorMessage
    • Beberapa macam perbaikan bug.

  • Mei 21, 2024

    • [SPARK-48105][SS] Memperbaiki race condition antara pembongkaran penyimpanan status dan pembuatan cuplikan
    • Penambal keamanan sistem operasi.

  • Mei 9, 2024

    • [SPARK-44251][SQL] Atur agar dapat bernilai null dengan benar pada kunci penggabungan yang digabungkan di full outer USING join
    • [SPARK-47973][CORE] Mencatat lokasi panggilan di SparkContext.stop() dan kemudian di SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Pemeriksaan kewarasan untuk referensi LCA yang belum terselesaikan
    • [SPARK-48018][SS] Memperbaiki groupId null yang menyebabkan kesalahan parameter hilang saat melempar KafkaException.couldNotReadOffsetRange
    • Penambal keamanan sistem operasi.

  • 25 April 2024

    • Penambal keamanan sistem operasi.

  • 11 April 2024

    • Penambal keamanan sistem operasi.

  • 1 April 2024

    • [SPARK-47305][SQL] Perbaiki PruneFilters untuk menandai bendera isStreaming dari LocalRelation dengan benar ketika rencana memiliki batch dan streaming.
    • [SPARK-44252][SS] Tentukan kelas kesalahan baru dan terapkan untuk kasus di mana status pemuatan dari DFS gagal
    • [SPARK-47135][SS] Menerapkan kelas kesalahan untuk pengecualian kehilangan data Kafka
    • [SPARK-47200][SS] Kategori kesalahan untuk kesalahan fungsi pengguna pada sink batch Foreach
    • Penambal keamanan sistem operasi.

  • 14 Maret 2024

    • [SPARK-47176][SQL] Memiliki fungsi pembantu ResolveAllExpressionsUpWithPruning
    • Batalkan "[SPARK-46861][CORE] Hindari Deadlock di DAGScheduler"
    • [SPARK-47125][SQL] Mengembalikan null jika Univocity tidak pernah memicu penguraian
    • [SPARK-47167][SQL] Menambahkan kelas konkret untuk hubungan anonim JDBC
    • Penambal keamanan sistem operasi.

  • 29 Februari 2024

    • Memperbaiki masalah saat menggunakan koleksi lokal sebagai sumber dalam perintah MERGE dapat mengakibatkan metrik operasi numSourceRows melaporkan jumlah baris yang benar dua kali lipat.
    • Membuat skema dengan lokasi yang ditentukan sekarang mengharuskan pengguna untuk memiliki hak istimewa SELECT dan hak istimewa untuk MEMODIFIKASI pada file apa pun.
    • [SPARK-45582][SS] Pastikan instans penyimpanan tidak digunakan setelah memanggil 'commit' pada mode output agregasi streaming
    • Penambal keamanan sistem operasi.

  • 13 Februari 2024

    • [SPARK-46861] Hindari Kebuntuan di Modul DAGScheduler.
    • [SPARK-46794] Menghapus subkueri dari batasan LogicalRDD.
    • Penambal keamanan sistem operasi.

  • 31 Januari 2024

    • [SPARK-46763] Memperbaiki kegagalan pernyataan di ReplaceDeduplicateWithAggregate untuk atribut duplikat.
    • Penambal keamanan sistem operasi.

  • 25 Desember 2023

    • Untuk menghindari peningkatan latensi saat berkomunikasi melalui TLSv1.3, rilis pemeliharaan ini mencakup patch ke penginstalan JDK 8 untuk memperbaiki bug JDK JDK JDK-8293562.
    • [SPARK-39440] Tambahkan konfigurasi untuk menonaktifkan garis waktu peristiwa.
    • [SPARK-46132] Mendukung kata sandi untuk kunci JKS untuk RPC SSL.
    • [SPARK-46394] Memperbaiki masalah spark.catalog.listDatabases() pada skema dengan karakter khusus saat spark.sql.legacy.keepCommandOutputSchema diatur ke true.
    • [SPARK-46417] Jangan mengalami kegagalan saat memanggil hive.getTable dan throwException bernilai salah.
    • [SPARK-43067] Koreksi lokasi file sumber daya kelas kesalahan di konektor Kafka.
    • [SPARK-46249] Membutuhkan kunci instans untuk memperoleh metrik RocksDB guna mencegah terjadinya konflik dengan operasi latar belakang.
    • [SPARK-46602] Menerapkan allowExisting saat membuat tampilan ketika tampilan atau tabel tersebut belum tersedia.
    • [SPARK-46058] Tambahkan bendera terpisah untuk privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables tidak melemparkan pengecualian saat tabel atau tampilan tidak ditemukan.
    • [SPARK-46538] Memperbaiki masalah referensi kolom ambigu di ALSModel.transform.
    • [SPARK-42852] Kembalikan perubahan terkait NamedLambdaVariable dalam EquivalentExpressions.

  • 14 Desember 2023

    • Memperbaiki masalah di mana garis bawah yang di-escape dalam operasi getColumns yang berasal dari klien JDBC atau ODBC ditangani secara tidak benar dan ditafsirkan sebagai wildcard.
    • [SPARK-44582] Lewati iterator pada SMJ jika telah dihapus.
    • [SPARK-45920] kelompok menurut ordinal harus idempotensi.
    • [SPARK-45655] Izinkan ekspresi non-deterministik di dalam AggregateFunctions di CollectMetrics.
    • Penambal keamanan sistem operasi.

  • 29 November 2023

    • Memasang paket baru, pyarrow-hotfix untuk memulihkan kerentanan RCE PyArrow.
    • Memperbaiki masalah di mana underscore yang telah di-escape dalam operasi getColumns yang berasal dari klien JDBC atau ODBC salah ditafsirkan sebagai wildcard.
    • [SPARK-42205] Menghapus akumulasi pencatatan pada awal peristiwa Stage dan Task.
    • [SPARK-44846] Menghapus ekspresi pengelompokan kompleks setelah RemoveRedundantAggregates.
    • [SPARK-43718] Memperbaiki nullability untuk kunci dalam USING penggabungan.
    • [SPARK-45544] Dukungan SSL terintegrasi ke dalam TransportContext.
    • [SPARK-43973] Antarmuka Streaming Terstruktur sekarang menampilkan query yang gagal dengan benar.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Membuat objek UDF menjadi tangguh ml.functions.
    • Penambal keamanan sistem operasi.

  • 14 November 2023

    • Filter partisi pada kueri streaming Delta Lake ditekan ke bawah sebelum pembatasan laju untuk mencapai pemanfaatan optimal.
    • [SPARK-45545]SparkTransportConf mewarisi SSLOptions ketika diciptakan.
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45541] Ditambahkan SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction tidak lagi gagal ketika IGNORE NULLS dan offset > rowCount.
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • Penambal keamanan sistem operasi.

  • 24 Oktober 2023

    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • Perbaikan lain-lain.

  • 13 Oktober 2023

    • Dependensi Snowflake-jdbc ditingkatkan dari 3.13.29 menjadi 3.13.33.
    • [SPARK-42553] Pastikan setidaknya satu satuan waktu setelah interval.
    • [SPARK-45346] inferensi skema Parquet menghormati indikator peka huruf besar/kecil ketika menggabungkan skema.
    • [SPARK-45178] Menggunakan metode alternatif untuk menjalankan satu proses batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan metode pembungkus.
    • [SPARK-45084]StateOperatorProgress untuk menggunakan nomor partisi shuffle yang akurat dan memadai.

  • 12 September 2023

    • [SPARK-44873] Menambahkan dukungan untuk alter view dengan kolom berlapis di klien Apache Hive.
    • [SPARK-44718] Cocokkan ColumnVector konfigurasi mode memori secara default dengan OffHeapMemoryMode nilai konfigurasi.
    • [SPARK-43799] Menambahkan opsi biner deskriptor ke PySpark Protobuf API.
    • Perbaikan lain-lain.

  • 30 Agustus 2023

    • [SPARK-44485] Dioptimalkan TreeNode.generateTreeString.
    • [SPARK-44818] Memperbaiki masalah kondisi balapan pada tugas tertunda yang telah dikeluarkan sebelum taskThread diinisialisasi.
    • [SPARK-44871][11.3-13.0] Perilaku tetap percentile_disc .
    • [SPARK-44714] Meringankan pembatasan resolusi LCA mengenai permintaan.
    • Penambal keamanan sistem operasi.

  • 15 Agustus 2023

    • [SPARK-44504] Tugas pemeliharaan membersihkan penyedia yang dimuat saat terjadi kesalahan penghentian.
    • [SPARK-44464] Memperbaiki applyInPandasWithStatePythonRunner untuk menghasilkan baris yang memiliki Null sebagai nilai kolom pertama.
    • Penambal keamanan sistem operasi.

  • 29 Juli 2023

    • Memperbaiki masalah saat dbutils.fs.ls() mengembalikan INVALID_PARAMETER_VALUE.LOCATION_OVERLAP saat dipanggil untuk jalur lokasi penyimpanan yang berbenturan dengan lokasi penyimpanan eksternal atau terkelola lainnya.
    • [SPARK-44199]CacheManager tidak lagi melakukan pembaruan yang fileIndex tidak perlu.
    • Penambal keamanan sistem operasi.

  • 24 Juli 2023

    • [SPARK-44337] Memperbaiki masalah di mana bidang apa pun yang disetel ke Any.getDefaultInstance mengakibatkan kesalahan penguraian.
    • [SPARK-44136] Memperbaiki masalah di mana StateManager dimaterialisasi pada eksekutor, bukan pada pengendali, di FlatMapGroupsWithStateExec.
    • Penambal keamanan sistem operasi.

  • 23 Juni 2023

    • Penambal keamanan sistem operasi.

  • 15 Juni 2023

    • Difotonkan approx_count_distinct.
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • [SPARK-43779]ParseToDate sekarang dimuat di utas utama EvalMode.
    • [SPARK-43156][SPARK-43098] Uji kesalahan jumlah subkueri skalar yang diperluas dengan decorrelateInnerQuery dinonaktifkan.
    • Penambal keamanan sistem operasi.

  • 2 Juni 2023

    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Meningkatkan performa pembaruan bertahap dengan SHALLOW CLONE Apache Iceberg dan Apache Parquet.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-43404] Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan ID.
    • [SPARK-43413][11.3-13.0] Subkueri INListQuery nullability diperbaiki.
    • [SPARK-43522] Telah memperbaiki pembuatan nama kolom struct berdasarkan indeks array.
    • [SPARK-43541] Mendistribusikan semua tag Project untuk menyelesaikan ekspresi dan melengkapi kolom yang hilang.
    • [SPARK-43527] Diperbaiki catalog.listCatalogs di PySpark.
    • [SPARK-43123] Metadata kolom internal tidak lagi bocor ke katalog.
    • [SPARK-43340] Memperbaiki bidang pelacakan tumpukan yang hilang di eventlogs.
    • [SPARK-42444]DataFrame.drop sekarang menangani kolom duplikat dengan benar.
    • [SPARK-42937]PlanSubqueries telah diatur InSubqueryExec#shouldBroadcast menjadi true.
    • [SPARK-43286] Mode CBC diperbarui aes_encrypt untuk menghasilkan IV acak.
    • [SPARK-43378] Menutup objek stream dengan tepat di deserializeFromChunkedBuffer.

  • Mei 17, 2023

    • Pemindaian parquet kini lebih tangguh saat menghadapi OOM ketika memindai file yang berstruktur sangat kompleks dengan menyesuaikan ukuran batch secara dinamis. Metadata file dianalisis untuk menurunkan ukuran batch secara preemptif dan dikurangi lagi pada percobaan ulang tugas sebagai langkah pengaman terakhir.
    • Jika file Avro dibaca hanya dengan opsi failOnUnknownFields atau dengan Auto Loader dalam mode evolusi skema failOnNewColumns, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi rescuedDataColumn.
    • Auto Loader sekarang melakukan hal berikut.
      • Membaca dengan benar dan tidak lagi mengambil Integer, Short dan Byte jenis tersebut jika salah satu jenis data ini disediakan, tetapi file Avro menyarankan salah satu dari dua jenis lainnya.
      • Mencegah pengenalan jenis interval sebagai tipe stempel tanggal atau waktu untuk menghindari terjadinya kerusakan pada tanggal.
      • Mencegah pembacaan jenis Decimal dengan presisi yang lebih rendah.
    • [SPARK-43172] Mengekspos host dan token dari klien Spark connect.
    • [SPARK-43293]__qualified_access_only diabaikan dalam kolom normal.
    • [SPARK-43098] Memperbaiki bug terkait kebenaran COUNT ketika subkueri skalar dikelompokkan pada klausul.
    • [SPARK-43085] Dukungan untuk penetapan kolom untuk nama tabel yang terdiri dari beberapa bagian.
    • [SPARK-43190]ListQuery.childOutput sekarang sudah konsisten dengan keluaran sekunder.
    • [SPARK-43192] Menghapus validasi charset dari agen pengguna.
    • Penambal keamanan sistem operasi.

  • 25 April 2023

    • Jika file Parquet dibaca hanya dengan opsi failOnUnknownFields atau dengan Auto Loader dalam mode evolusi skema failOnNewColumns, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi rescuedDataColumn.
    • Auto Loader sekarang membaca dengan benar dan tidak lagi menangani jenis data Integer, Short, dan Byte jika salah satu jenis data ini disediakan. File Parquet menunjukkan salah satu dari dua jenis lainnya. Ketika kolom data yang diselamatkan sebelumnya diaktifkan, ketidakcocokan jenis data akan menyebabkan kolom disimpan meskipun dapat dibaca.
    • [SPARK-43009] Diparameterkan sql() dengan Any konstanta
    • [SPARK-42406] Hentikan bidang rekursif Protobuf dengan menjatuhkan bidang
    • [SPARK-43038] Mendukung mode CBC dengan aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Ubah untuk mencetak workdir jika appDirs null saat pekerja menangani WorkDirCleanup event
    • [SPARK-43018] Memperbaiki bug untuk perintah INSERT dengan literal tanda waktu
    • Penambal keamanan sistem operasi.

  • 11 April 2023

    • Mendukung format sumber data lama dalam perintah SYNC.
    • Memperbaiki masalah dalam perilaku %autoreload pada notebook di luar repositori.
    • Memperbaiki masalah di mana evolusi skema Auto Loader dapat masuk ke perulangan kegagalan tak terbatas ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42928] Membuat resolvePersistentFunction disinkronkan.
    • [SPARK-42936] Memperbaiki masalah LCan ketika klausul dapat diselesaikan langsung oleh agregat turunannya.
    • [SPARK-42967] Memperbaiki SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.
    • Penambal keamanan sistem operasi.

  • 29 Maret 2023

    • Databricks SQL sekarang mendukung penentuan nilai default untuk kolom tabel Delta Lake, baik pada waktu pembuatan tabel atau sesudahnya. Perintah INSERT, UPDATE, DELETE, dan MERGE berikutnya dapat merujuk ke nilai default dari kolom apa pun dengan menggunakan kata kunci eksplisit DEFAULT. Selain itu, jika ada penetapan INSERT yang memiliki daftar eksplisit kolom yang lebih sedikit daripada tabel target, nilai default kolom terkait digantikan untuk kolom yang tersisa (atau NULL jika tidak ada default yang ditentukan).

      Contohnya:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Auto Loader sekarang akan memulai pembersihan log RocksDB yang sinkron setidaknya sekali untuk aliran Trigger.AvailableNow guna memeriksa apakah titik pemeriksaan dapat dibersihkan secara teratur untuk aliran Auto Loader yang beroperasi cepat. Ini dapat menyebabkan beberapa streaming memerlukan waktu lebih lama sebelum ditutup, tetapi ini akan menghemat biaya penyimpanan Anda dan meningkatkan pengalaman dengan Auto Loader pada proses berikutnya.

    • Sekarang Anda dapat mengubah tabel Delta untuk menambahkan dukungan ke fitur tabel menggunakan DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Meningkatkan lockAcquireTimeoutMs menjadi 2 menit untuk memperoleh penyimpanan status RocksDB dalam Structured Streaming.

    • [SPARK-42521] Menambahkan nilai NULL dalam operasi INSERT ketika daftar kolom yang ditentukan pengguna lebih sedikit daripada tabel sasaran

    • [SPARK-42702][SPARK-42623] Mendukung kueri berparameter dalam subkueri dan CTE

    • [SPARK-42668] Menangkap pengecualian saat mencoba menutup aliran terkompresi ketika menghentikan HDFSStateStoreProvider

    • [SPARK-42403] JsonProtocol harus menangani string JSON null

  • 8 Maret 2023

    • Pesan kesalahan "Kegagalan menginisialisasi konfigurasi" telah ditingkatkan untuk memberikan lebih banyak konteks bagi pelanggan.
    • Ada perubahan terminologi untuk menambahkan fitur ke tabel Delta menggunakan properti tabel. Sintaks yang disukai sekarang 'delta.feature.featureName'='supported' bukan 'delta.feature.featureName'='enabled'. Untuk kompatibilitas mundur, menggunakan 'delta.feature.featureName'='enabled' masih berfungsi dan akan terus berfungsi.
    • Mulai dari rilis ini, dimungkinkan untuk membuat/mengganti tabel dengan properti tabel tambahan delta.ignoreProtocolDefaults untuk mengabaikan konfigurasi Spark terkait protokol, yang mencakup versi pembaca dan penulis default dan fitur tabel yang didukung secara default.
    • [SPARK-42070] Ubah nilai default argumen fungsi Mask dari -1 ke NULL
    • [SPARK-41793] Hasil yang salah untuk kerangka jendela yang ditentukan oleh klausul rentang pada desimal yang signifikan
    • [SPARK-42484] Pesan kesalahan UnsafeRowUtils lebih baik
    • [SPARK-42516] Selalu menangkap konfigurasi zona waktu sesi saat membuat view
    • [SPARK-42635] Perbaiki ekspresi TimestampAdd.
    • [SPARK-42622] Menonaktifkan substitusi dalam nilai
    • [SPARK-42534] Memperbaiki klausa Batas DB2Dialect
    • [SPARK-42121] Menambahkan fungsi bawaan bernilai tabel posexplode, posexplode_outer, json_tuple, dan stack
    • [SPARK-42045] Mode SQL ANSI: Round/Bround harus mengembalikan kesalahan pada pembludakan bilangan bulat yang sangat kecil/kecil/signifikan
    • Penambal keamanan sistem operasi.

Databricks Runtime 9.1 LTS

Lihat Databricks Runtime 9.1 LTS.

  • 9 April 2025
    • Penambal keamanan sistem operasi.
  • 11 Maret 2025
    • Penambal keamanan sistem operasi.
  • 11 Februari 2025
    • Penambal keamanan sistem operasi.
  • 10 Desember 2024
    • Penambal keamanan sistem operasi.
  • 26 November 2024
    • Penambal keamanan sistem operasi.
  • 5 November 2024
    • Penambal keamanan sistem operasi.
  • 22 Oktober 2024
    • Penambal keamanan sistem operasi.
  • 10 Oktober 2024
    • Penambal keamanan sistem operasi.
  • 25 September 2024
    • [SPARK-49000][SQL] Perbaiki `SELECT COUNT(DISTINCT 1)` dari t di mana t adalah tabel kosong dengan meningkatkan fungsi RewriteDistinctAggregates
    • Penambal keamanan sistem operasi.
  • 6 September 2024
    • Penambal keamanan sistem operasi.
  • 29 Agustus 2024
    • [SPARK-49065][SQL] Rebasing dalam pemformat/pemroses lama harus mendukung zona waktu default selain JVM
  • 14 Agustus 2024
  • 1 Agustus 2024
    • Penambal keamanan sistem operasi.
  • 11 Juli 2024
    • Penambal keamanan sistem operasi.
  • 17 Juni 2024
    • Penambal keamanan sistem operasi.
  • Mei 21, 2024
    • [SPARK-48105][SS] Memperbaiki race condition antara pembongkaran penyimpanan status dan pembuatan cuplikan
    • Penambal keamanan sistem operasi.
  • Mei 9, 2024
    • [SPARK-47973][CORE] Mencatat lokasi panggilan di SparkContext.stop() dan kemudian di SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Atur agar dapat bernilai null dengan benar pada kunci penggabungan yang digabungkan di full outer USING join
    • Penambal keamanan sistem operasi.
  • 25 April 2024
    • Beberapa macam perbaikan bug.
  • 11 April 2024
    • Penambal keamanan sistem operasi.
  • 1 April tahun 2024
    • Batalkan "[SPARK-46861][CORE] Hindari Deadlock di DAGScheduler"
    • Penambal keamanan sistem operasi.
  • 14 Maret 2024
    • Penambal keamanan sistem operasi.
  • 29 Februari 2024
    • Memperbaiki masalah saat menggunakan koleksi lokal sebagai sumber dalam perintah MERGE dapat mengakibatkan metrik operasi numSourceRows melaporkan jumlah baris yang benar dua kali lipat.
    • Penambal keamanan sistem operasi.
  • 13 Februari 2024
    • [SPARK-46861] Hindari Kebuntuan di Modul DAGScheduler.
    • Penambal keamanan sistem operasi.
  • 31 Januari 2024
    • Penambal keamanan sistem operasi.
  • 25 Desember 2023
    • Untuk menghindari peningkatan latensi saat berkomunikasi melalui TLSv1.3, rilis pemeliharaan ini mencakup patch ke penginstalan JDK 8 untuk memperbaiki bug JDK JDK JDK-8293562.
    • [SPARK-46058] Tambahkan bendera terpisah untuk privateKeyPassword.
    • [SPARK-39440] Tambahkan konfigurasi untuk menonaktifkan garis waktu peristiwa.
    • [SPARK-46132] Mendukung kata sandi untuk kunci JKS untuk RPC SSL.
  • 14 Desember 2023
    • Penambal keamanan sistem operasi.
  • 29 November 2023
    • Memasang paket baru, pyarrow-hotfix untuk memulihkan kerentanan RCE PyArrow.
    • [SPARK-45859] Membuat objek UDF menjadi tangguh ml.functions.
    • [SPARK-45544] Dukungan SSL terintegrasi ke dalam TransportContext.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • Penambal keamanan sistem operasi.
  • 14 November 2023
    • [SPARK-45545]SparkTransportConf mewarisi SSLOptions ketika diciptakan.
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45541] Ditambahkan SSLFactory.
    • [SPARK-42205] Menghapuskan akumulasi pencatatan dalam awal peristiwa Tahap dan Tugas.
    • Penambal keamanan sistem operasi.
  • 24 Oktober 2023
    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • Penambal keamanan sistem operasi.
  • 13 Oktober 2023
    • Penambal keamanan sistem operasi.
  • 10 September 2023
    • Perbaikan lain-lain.
  • 30 Agustus 2023
    • Penambal keamanan sistem operasi.
  • 15 Agustus 2023
    • Penambal keamanan sistem operasi.
  • 23 Juni 2023
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • Penambal keamanan sistem operasi.
  • 15 Juni 2023
    • [SPARK-43098] Perbaiki bug ketepatan pada fungsi COUNT saat subkueri skalar memiliki klausul GROUP BY.
    • [SPARK-43156][SPARK-43098] Perluas pengujian penghitungan bug pada subkueri skalar dengan decorrelateInnerQuery dimatikan.
    • [SPARK-40862] Mendukung subkueri non-agregat dalam RewriteCorrelatedScalarSubquery.
    • Penambal keamanan sistem operasi.
  • 2 Juni 2023
    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Memperbaiki masalah dalam penguraian data JSON yang terselamatkan untuk mencegah UnknownFieldException.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-37520]startswith() Menambahkan fungsi string dan endswith()
    • [SPARK-43413] Memperbaiki keterhubungan null subkueri IN .
    • Penambal keamanan sistem operasi.
  • Mei 17, 2023
    • Penambal keamanan sistem operasi.
  • 25 April 2023
    • Penambal keamanan sistem operasi.
  • 11 April 2023
    • Memperbaiki masalah di mana evolusi skema Auto Loader dapat masuk ke perulangan kegagalan tak terbatas ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42967] Perbaiki SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.
  • 29 Maret 2023
    • Penambal keamanan sistem operasi.
  • 14 Maret 2023
    • [SPARK-42484] Pesan kesalahan yang disempurnakan untuk UnsafeRowUtils.
    • Perbaikan lain-lain.
  • 28 Februari 2023
    • Pengguna sekarang dapat membaca dan menulis tabel Delta tertentu yang memerlukan Pembaca versi 3 dan Writer versi 7, menggunakan Databricks Runtime 9.1 LTS atau yang lebih baru. Agar berhasil, fitur tabel yang tercantum dalam protokol tabel harus didukung oleh versi Databricks Runtime saat ini.
    • Penambal keamanan sistem operasi.
  • 16 Februari 2023
    • Penambal keamanan sistem operasi.
  • 31 Januari 2023
    • Jenis tabel JDBC sekarang adalah EKSTERNAL secara default.
  • 18 Januari 2023
    • Penambal keamanan sistem operasi.
  • 29 November 2022
    • Memperbaiki masalah penguraian JSON di Auto Loader ketika semua kolom dibiarkan sebagai string (cloudFiles.inferColumnTypes tidak diatur atau diatur ke false) dan JSON berisi objek berlapis.
    • Penambal keamanan sistem operasi.
  • 15 November 2022
    • Meningkatkan teks umum Apache ke 1.10.0.
    • Penambal keamanan sistem operasi.
    • Perbaikan lain-lain.
  • 1 November 2022
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Mengubah umpan data dinonaktifkan pada tabel tersebut, data di kolom tersebut akan salah diisi dengan nilai NULL saat menjalankan MERGE.
    • Memperbaiki masalah Auto Loader di mana file dapat diduplikasi dalam batch mikro yang sama saat allowOverwrites diaktifkan
    • [SPARK-40596] Lengkapi ExecutorDecommission dengan pesan dalam ExecutorDecommissionInfo
    • Penambal keamanan sistem operasi.
  • 18 Oktober 2022
    • Penambal keamanan sistem operasi.
  • 5 Oktober 2022
    • Perbaikan lain-lain.
    • Penambal keamanan sistem operasi.
  • 22 September 2022
    • Pengguna dapat mengatur spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") untuk mengaktifkan kembali daftar bawaan untuk Auto Loader di ADLS. Daftar bawaan sebelumnya dinonaktifkan karena masalah performa, namun hal ini dapat menyebabkan peningkatan biaya penyimpanan bagi pelanggan.
    • [SPARK-40315] Tambahkan hashCode() untuk Literal dari ArrayBasedMapData
    • [SPARK-40089] Memperbaiki pengurutan untuk beberapa jenis Desimal
    • [SPARK-39887] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
  • 6 September 2022
    • [SPARK-40235] Gunakan kunci yang dapat diinterupsi alih-alih disinkronkan di Executor.updateDependencies()
    • [SPARK-35542] Perbaikan: Bucketizer dibuat untuk beberapa kolom dengan parameter splitsArray, inputCols, dan outputCols tidak dapat dimuat setelah disimpan.
    • [SPARK-40079] Tambahkan validasi Imputer inputCols untuk kasus input kosong
  • 24 Agustus 2022
    • [SPARK-39666] Gunakan UnsafeProjection.create untuk menghormati spark.sql.codegen.factoryMode di ExpressionEncoder
    • [SPARK-39962] Terapkan proyeksi saat atribut grup kosong
    • Penambal keamanan sistem operasi.
  • 9 Agustus 2022
    • Penambal keamanan sistem operasi.
  • 27 Juli 2022
    • Buat agar hasil operasi PENGGABUNGAN Delta konsisten saat sumbernya bersifat non-deterministik.
    • [SPARK-39689] Dukungan untuk 2 karakter lineSep di sumber data CSV
    • [SPARK-39575] Ditambahkan ByteBuffer#rewind setelah ByteBuffer#get di AvroDeserializer.
    • [SPARK-37392] Memperbaiki kesalahan performa untuk pengoptimal katalis.
    • Penambal keamanan sistem operasi.
  • 13 Juli 2022
    • [SPARK-39419]ArraySort melempar pengecualian ketika komparator mengembalikan null.
    • Nonaktifkan penggunaan API cloud bawaan Auto Loader untuk daftar direktori di Azure.
    • Penambal keamanan sistem operasi.
  • 5 Juli 2022
    • Penambal keamanan sistem operasi.
    • Perbaikan lain-lain.
  • 15 Juni 2022
    • [SPARK-39283] Perbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter.SpillableIterator.
  • 2 Juni 2022
    • [SPARK-34554] Terapkan copy() metode di ColumnarMap.
    • Penambal keamanan sistem operasi.
  • Mei 18, 2022
    • Memperbaiki potensi kebocoran memori bawaan di Auto Loader.
    • Tingkatkan versi AWS SDK dari 1.11.655 ke 1.11.678.
    • [SPARK-38918] pemangkasan kolom berlapis harus memfilter atribut yang bukan milik relasi saat ini
    • [SPARK-39084] Perbaiki df.rdd.isEmpty() dengan menggunakan TaskContext untuk menghentikan iterator pada penyelesaian tugas
    • Penambal keamanan sistem operasi.
  • 19 April 2022
    • Penambal keamanan sistem operasi.
    • Perbaikan lain-lain.
  • 6 April 2022
    • [SPARK-38631] Menggunakan implementasi berbasis Java untuk un-tarring di Utils.unpack.
    • Penambal keamanan sistem operasi.
  • 22 Maret 2022
    • Mengubah direktori kerja notebook saat ini pada kluster Konkurensi Tinggi dengan kontrol akses tabel atau passthrough kredensial yang diaktifkan ke direktori beranda pengguna. Sebelumnya, direktori aktif adalah /databricks/driver.
    • [SPARK-38437] Serialisasi yang longgar tanggal waktu dari sumber data
    • [SPARK-38180] Memungkinkan ekspresi up-cast yang aman dalam predikat kesetaraan yang berkorelasi
    • [SPARK-38155] Melarang agregat unik dalam subkueri lateral dengan predikat yang tidak didukung
    • [SPARK-27442] Menghapus bidang pemeriksaan saat membaca atau menulis data dalam parquet.
  • 14 Maret 2022
    • [SPARK-38236] Jalur file Absolut yang ditentukan dalam tabel buat/ubah diperlakukan sebagai relatif
    • [SPARK-34069] Menginterupsi alur tugas jika properti lokal SPARK_JOB_INTERRUPT_ON_CANCEL diatur ke true.
  • 23 Februari 2022
    • [SPARK-37859] tabel SQL yang dibuat dengan JDBC dengan Spark 3.1 tidak dapat dibaca dengan Spark 3.2.
  • 8 Februari 2022
    • [SPARK-27442] Menghapus bidang pemeriksaan saat membaca atau menulis data dalam parquet.
    • Penambal keamanan sistem operasi.
  • 1 Februari 2022
    • Penambal keamanan sistem operasi.
  • 26 Januari 2022
    • Memperbaiki masalah saat transaksi bersamaan pada tabel Delta dapat dilakukan dalam urutan yang tidak dapat diserialisasikan dalam kondisi langka tertentu.
    • Memperbaiki masalah di mana perintah OPTIMIZE dapat gagal ketika dialek ANSI SQL diaktifkan.
  • 19 Januari 2022
    • Perbaikan kecil dan peningkatan keamanan.
    • Penambal keamanan sistem operasi.
  • 4 November 2021
    • Memperbaiki masalah yang dapat menyebabkan aliran streaming terstruktur gagal dengan ArrayIndexOutOfBoundsException.
    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: No FileSystem for scheme atau yang dapat menyebabkan modifikasi sparkContext.hadoopConfiguration tidak berlaku dalam kueri.
    • Konektor Apache Spark untuk Delta Sharing ditingkatkan menjadi 0.2.0.
  • 20 Oktober 2021
    • Konektor BigQuery yang ditingkatkan dari 0.18.1 ke 0.22.2. Ini menambahkan dukungan untuk tipe BigNumeric.
  • Last updated on