Pembaruan pemeliharaan Databricks Runtime

Halaman ini mencantumkan pembaruan pemeliharaan untuk versi Runtime Databricks yang didukung. Untuk menambahkan pembaruan pemeliharaan ke kluster yang ada, mulai ulang kluster. Untuk pembaruan pemeliharaan pada versi Runtime Databricks yang tidak didukung, lihat Pembaruan pemeliharaan untuk Databricks Runtime (diarsipkan).

Rilis dilakukan bertahap. Akun Azure Databricks Anda mungkin tidak diperbarui selama beberapa hari setelah tanggal rilis awal.

Note

Mulai dari Databricks Runtime 19, pembaruan pemeliharaan dipublikasikan langsung pada halaman catatan rilis terpadu untuk setiap versi. Halaman ini hanya berlaku untuk Databricks Runtime 18 dan versi sebelumnya. Lihat Siklus hidup dukungan Databricks Runtime.

Rilis Databricks Runtime

Pembaruan pemeliharaan berdasarkan rilis:

Databricks Runtime 18 LTS

Lihat Databricks Runtime 18 LTS.

  • 8 Oktober 2026

    • Untuk tampilan terkelola Unity Catalog, COPY * sekarang mendukung klausa NOCOPY * dan CREATE OR REPLACE VIEW. Klausul-klausul ini mengatur apakah penggantian mempertahankan metadata tampilan yang ada, seperti hak akses, komentar, dan tag. Lihat CREATE VIEW.

  • 29 September 2026

    • [SPARK-57540][SQL] Instansikan Woodstox WstxOutputFactory yang di-shade langsung ke dalam StaxXmlGenerator
    • Penambal keamanan sistem operasi.

  • 15 September 2026

    • Penambal keamanan sistem operasi.

  • 1 September 2026

    • (Perubahan perilaku) RESTORE dan CLONE perintah yang mengubah partisi tabel dapat diblokir jika tabel sumber dan target berbagi file yang sama.
    • [SPARK-58751][SPARK-58977] Backport pembersihan pekerja Python dan pemadaman server status
    • [SPARK-58386][SS] Pulihkan kompatibilitas ke belakang pada SupportsRealTimeRead.nextWithTimeout
    • [SPARK-51268][SQL] Buat TreeNode bebas kunci
    • [SPARK-58531][SQL][CONNECT] Jadikan spark.sql.artifact.copyFromLocalToFs.allowDestLocal sebagai konfigurasi statis
    • Penambal keamanan sistem operasi.

  • 18 Agustus 2026

    • [SPARK-58292][CORE] Buat ulang netty worker EventLoopGroup ketika thread event loop worker mati
    • Penambal keamanan sistem operasi.

  • 4 Agustus 2026

    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.4.0 hingga 1.4.1
    • Kembalikan "[SPARK-57778][HANYA TES] Tambahkan cakupan HiFi untuk objek Oracle JDBC yang tidak dapat dipilih"
    • [SPARK-58107] Backport checkpoint lokal dedup-and-seal + verifikasi checksum sumber termaterialisasi MERGE
    • [SPARK-57547][SQL] Terapkan InMemoryRelation ulang perbaikan materialisasi bersamaan
    • Penambal keamanan sistem operasi.

  • 24 Juli 2026

    • (Perubahan perilaku) Pengguna yang mengandalkan tipe kustom atau pihak ketiga di dalam closure DStream kini harus menetapkan spark.streaming.checkpoint.allowedClasses untuk tipe tersebut sebelum pemulihan dari checkpoint.
    • Memperbaiki bug ketepatan yang menyebabkan min/max berjendela pada kolom BinaryType dengan frame geser (frame RANGE apa pun, atau frame ROWS berukuran 10 atau lebih besar) mengembalikan min/max global berjalan, bukan nilai per-frame.
    • [SPARK-53454][SQL][backport] Tangani AlwaysTrue/AlwaysFalse di JDBCSQLBuilder
    • [SPARK-57778][SQL] Menangani objek Oracle JDBC yang tidak dapat dipilih sebagai tabel
    • Penambal keamanan sistem operasi.

  • Juli 10, 2026

    • [SPARK-57195][SQL] Tampilkan MALFORMED_CSV_RECORD alih-alih ArrayIndexOutOfBoundsException dalam inferensi skema CSV
    • [SPARK-57593][SQL][PYTHON] Membatasi ukuran byte serta instrumentasi pickle pada batch input UDF Python
    • [SPARK-57243][18.3.2][SQL] Bungkus IsNull dan IsNotNull dalam tanda kurung untuk pembangun SQL V2
    • Beberapa macam perbaikan bug.
  • 29 Juni 2026
    • (Perubahan perilaku) Tampilan metrik sekarang menolak ukuran jendela yang mereferensikan ukuran jendela lain. Sebelumnya, pola ini berhasil pada saat CREATE, tetapi gagal tanpa pemberitahuan atau menghasilkan hasil yang salah saat kueri dijalankan. Sekarang, Azure Databricks menampilkan pesan kesalahan yang jelas pada waktu CREATE atau ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Untuk menonaktifkan validasi ini, atur spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled ke false.
    • [SPARK-57088][SQL] Izinkan ekspresi peringkat non-deterministik untuk EXACT NEAREST BY
    • [SPARK-56652][SQL] Selalu tampilkan RELY/NORELY dalam output batasan DESCRIBE EXTENDED
    • [SPARK-57355][PYTHON] Perbaiki pengecekan modul di profiler UDF
    • [SPARK-56720][SS] Gagal menulis log asinkron berikutnya setelah kegagalan sebelumnya dalam pelacakan kemajuan asinkron
    • [SPARK-56977][SQL] RewriteNearestByJoin harus menghormati joinType dalam gabungan sintetis
    • [SPARK-57371][Connect] Perbaiki perlombaan data di ArrowDeserializeers
    • Penambal keamanan sistem operasi.

Databricks Runtime 18.2

Lihat Databricks Runtime 18.2.

  • 29 September 2026

    • Penambal keamanan sistem operasi.

  • 15 September 2026

    • Penambal keamanan sistem operasi.

  • 1 September 2026

    • (Perubahan perilaku) RESTORE dan CLONE perintah yang mengubah partisi tabel dapat diblokir jika tabel sumber dan target berbagi file yang sama.
    • [SPARK-58386][SS] Pulihkan kompatibilitas ke belakang pada SupportsRealTimeRead.nextWithTimeout
    • [SPARK-58531][SQL][CONNECT] Jadikan spark.sql.artifact.copyFromLocalToFs.allowDestLocal sebagai konfigurasi statis
    • [SPARK-58751][SPARK-58977] Backport pembersihan pekerja Python dan pemadaman server status
    • Penambal keamanan sistem operasi.

  • 18 Agustus 2026

    • Penambal keamanan sistem operasi.

  • 4 Agustus 2026

    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.4.0 hingga 1.4.1
    • Kembalikan "[SPARK-57778][HANYA TES] Tambahkan cakupan HiFi untuk objek Oracle JDBC yang tidak dapat dipilih"
    • [SPARK-58107] Backport checkpoint lokal dedup-and-seal + verifikasi checksum sumber termaterialisasi MERGE
    • [SPARK-57547][SQL] Perbaikan materialisasi konkuren backport InMemoryRelation ke 18.2 (dengan kill switch)
    • Penambal keamanan sistem operasi.

  • 24 Juli 2026

    • (Perubahan perilaku) Pengguna yang mengandalkan tipe kustom atau pihak ketiga di dalam closure DStream kini harus menetapkan spark.streaming.checkpoint.allowedClasses untuk tipe tersebut sebelum pemulihan dari checkpoint.
    • Memperbaiki bug ketepatan yang menyebabkan min/max berjendela pada kolom BinaryType dengan frame geser (frame RANGE apa pun, atau frame ROWS berukuran 10 atau lebih besar) mengembalikan min/max global berjalan, bukan nilai per-frame.
    • [SPARK-53454][SQL][backport] Tangani AlwaysTrue/AlwaysFalse di JDBCSQLBuilder
    • [SPARK-57778][SQL] Menangani objek Oracle JDBC yang tidak dapat dipilih sebagai tabel
    • [SPARK-57758][SQL] Pulihkan O(1) resolusi fungsi bawaan
    • Penambal keamanan sistem operasi.

  • Juli 10, 2026

    • [SPARK-57593][SQL][PYTHON] Membatasi ukuran byte serta instrumentasi pickle pada batch input UDF Python
    • [SPARK-57243][SQL] Bungkus IsNull dan IsNotNull dengan tanda kurung untuk builder SQL V2
    • Beberapa macam perbaikan bug.
  • 29 Juni 2026
    • (Perubahan perilaku) Tampilan metrik sekarang menolak ukuran jendela yang mereferensikan ukuran jendela lain. Sebelumnya, pola ini berhasil pada saat CREATE, tetapi gagal tanpa pemberitahuan atau menghasilkan hasil yang salah saat kueri dijalankan. Sekarang, Azure Databricks menampilkan pesan kesalahan yang jelas pada waktu CREATE atau ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Untuk menonaktifkan validasi ini, atur spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled ke false.
    • [SPARK-57355][PYTHON] Perbaiki pengecekan modul di profiler UDF
    • [SPARK-57371][Connect] Perbaiki perlombaan data di ArrowDeserializeers
    • Penambal keamanan sistem operasi.

  • 18 Juni 2026

    • (Perubahan perilaku) Bagian Properti SQL / Dataframe di antarmuka pengguna Spark telah dihapus untuk DBSQL Serverless.

  • 9 Juni 2026

    • [SPARK-56410][SQL][CORE] Tambahkan dukungan penggabungan k-way terikat di UnsafeExternalSorter untuk mengurangi risiko OOM
    • (Perubahan perilaku) Membuat katalog asing Microsoft Fabric (OneLake) sekarang memerlukan item_type opsi (LAKEHOUSE atau WAREHOUSE) saat menggunakan SQL CREATE FOREIGN CATALOG atau REST API. UI Databricks secara otomatis mengatur opsi ini. Katalog asing yang ada tidak terpengaruh.
    • (Perubahan perilaku) SET TAG sekarang bersifat idempoten. Mengulangi SET TAG operasi pada sumber daya yang sudah memiliki tag tidak lagi menimbulkan kesalahan.
    • Penambal keamanan sistem operasi.
  • Mei 26, 2026
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.3.11 hingga 1.4.0
    • Penambal keamanan sistem operasi.
  • Mei 13, 2026
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.3.10 hingga 1.3.11
    • [SPARK-56511][CORE] Perbaiki NPE di ShuffleInMemorySorter.getMemoryUsage setelah gagal mengatur ulang
    • [SPARK-56554][SQL] Hormati opsi inferSchema saat menyerap XML sebagai varian
    • [SPARK-56302][CORE] Membebaskan memori hasil tugas segera selama serialisasi pada eksekutor
    • Batalkan "[SPARK-55356][SQL] Dukungan alias untuk klausa PIVOT"
    • [SPARK-56502][CORE] Perbaiki luapan bilangan bulat dalam pemeriksaan kapasitas DirectByteBufferOutputStream
    • [SPARK-56043][SQL] Bungkus NullPointerException yang berasal dari Avro 1.12.x ParseContext.resolve() menjadi SchemaParseException
    • [SPARK-56652][SQL] Selalu tampilkan RELY/NORELY dalam output batasan DESCRIBE EXTENDED
    • [SPARK-56328][SQL] Perbaiki penanganan kolasi tabel inline untuk INSERTVALUES dan kolasi default
    • Beberapa macam perbaikan bug.

Databricks Runtime 17.3 LTS

Lihat Databricks Runtime 17.3 LTS.

  • 29 September 2026

    • Penambal keamanan sistem operasi.

  • 15 September 2026

    • Penambal keamanan sistem operasi.

  • 1 September 2026

    • (Perubahan perilaku) RESTORE dan CLONE perintah yang mengubah partisi tabel dapat diblokir jika tabel sumber dan target berbagi file yang sama.
    • Pustaka Java yang diperbarui:
      • io.netty.netty-all dari 4.1.118.Final hingga 4.1.137.Final
      • io.netty.netty-buffer dari 4.1.118.Final hingga 4.1.137.Final
      • io.netty.netty-codec dari 4.1.118.Final ke 4.1.137.Final
      • io.netty.netty-codec-http dari 4.1.118.Final hingga 4.1.137.Final
      • io.netty.netty-codec-http2 dari 4.1.118.Final hingga 4.1.137.Final
      • io.netty.netty-codec-socks dari 4.1.118.Final hingga 4.1.137.Final
      • io.netty.netty-common dari 4.1.118.Final hingga 4.1.137.Final
      • io.netty.netty handler dari 4.1.118.Final hingga 4.1.137.Final
      • io.netty.netty-handler-proxy dari 4.1.118.Final hingga 4.1.137.Final
      • io.netty.netty-resolver dari 4.1.118.Final hingga 4.1.137.Final
      • io.netty.netty-transport dari 4.1.118.Final hingga 4.1.137.Final
      • io.netty.netty-transport-classes-epoll dari 4.1.118.Final hingga 4.1.137.Final
      • io.netty.netty-transport-classes-kqueue dari 4.1.118.Final hingga 4.1.137.Final
      • io.netty.netty-transport-native-epoll dari 4.1.118.Final, 4.1.118.Final, 4.1.118.Final, 4.1.118.Final hingga 4.1.137.Final, 4.1.137.Final, 4.1.137.Final, 4.1.137.Final
      • io.netty.netty-transport-native-kqueue dari 4.1.118.Final, 4.1.118.Final hingga 4.1.137.Final, 4.1.137.Final
      • io.netty.netty-transport-native-unix-common dari 4.1.118.Final hingga 4.1.137.Final
      • org.eclipse.jetty.jetty-client dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-lanjutan dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server dari 9.4.53.v20231009 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet dari 9.4.53.v20231009 hingga 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] Jadikan spark.sql.artifact.copyFromLocalToFs.allowDestLocal sebagai konfigurasi statis
    • [SPARK-58751][SPARK-58977] Backport pembersihan pekerja Python dan pemadaman server status
    • [SPARK-58292][CORE] Buat ulang netty worker EventLoopGroup ketika thread event loop worker mati
    • Penambal keamanan sistem operasi.

  • 18 Agustus 2026

    • Penambal keamanan sistem operasi.

  • 4 Agustus 2026

    • [SPARK-57778][KHUSUS PENGUJIAN] Perbaiki uji HiFi Oracle yang tidak stabil dan tidak dapat dipilih (skema khusus)
    • [SPARK-58107] Backport checkpoint lokal dedup-and-seal + verifikasi checksum sumber termaterialisasi MERGE
    • Penambal keamanan sistem operasi.

  • 24 Juli 2026

    • Memperbaiki bug ketepatan yang menyebabkan min/max berjendela pada kolom BinaryType dengan frame geser (frame RANGE apa pun, atau frame ROWS berukuran 10 atau lebih besar) mengembalikan min/max global berjalan, bukan nilai per-frame.
    • [SPARK-57778][SQL] Menangani objek Oracle JDBC yang tidak dapat dipilih sebagai tabel
    • [SPARK-57371][Connect] Perbaiki perlombaan data di ArrowDeserializeers
    • Penambal keamanan sistem operasi.

  • Juli 10, 2026

    • [SPARK-57547][SQL] Perbaikan materialisasi konkuren backport InMemoryRelation ke 17.3 (dengan kill switch)
    • Beberapa macam perbaikan bug.
  • 29 Juni 2026
    • (Perubahan perilaku) Tampilan metrik sekarang menolak ukuran jendela yang mereferensikan ukuran jendela lain. Sebelumnya, pola ini berhasil pada saat CREATE, tetapi gagal tanpa pemberitahuan atau menghasilkan hasil yang salah saat kueri dijalankan. Sekarang, Azure Databricks menampilkan pesan kesalahan yang jelas pada waktu CREATE atau ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Untuk menonaktifkan validasi ini, atur spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled ke false.
    • Penambal keamanan sistem operasi.
  • 9 Juni 2026
    • (Perubahan perilaku) SET TAG sekarang bersifat idempoten. Mengulangi SET TAG operasi pada sumber daya yang sudah memiliki tag tidak lagi menimbulkan kesalahan.
    • Penambal keamanan sistem operasi.
  • Mei 26, 2026
    • [SPARK-34591][ML] Tambahkan pemangkasan pohon keputusan sebagai parameter
    • Penambal keamanan sistem operasi.
  • Mei 13, 2026
    • (Perubahan perilaku) Mencantumkan tabel menggunakan pola skema tidak lagi menyegarkan metadata Unity Catalog untuk tabel asing (misalnya, SQL Server, PostgreSQL, atau AWS Glue). Perubahan ini memengaruhi pemanggilan SHOW TABLES IN SCHEMA LIKE ... dan getMetaData.getTables di driver JDBC saat pola skema diberikan, serta API SparkGetTablesOperation Thrift. Jika beban kerja Anda bergantung pada refresh metadata dengan pola skema, hubungi Dukungan Databricks.
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.3.10 hingga 1.3.11
    • [SPARK-56361][SS] Berikan pesan kesalahan yang lebih baik dengan pencatatan log saat terjadi NPE pada join stream-stream
    • Beberapa macam perbaikan bug.

  • 20 April 2026

    • Memperbaiki otoritas CRS untuk GEOMETRY(102100) jenis tersebut. Otoritas sekarang dilaporkan sebagai ESRI:102100 alih-alih EPSG:102100.
    • Memperbaiki masalah kebenaran data dalam MERGE, UPDATE, dan kueri tulis streaming di mana struct NULL di sumber diperluas menjadi struct non-NULL dengan bidang NULL di target. Struktur NULL pada sumber kini dipertahankan sebagai NULL pada target. Perbaikan berlaku untuk operasi berikut:
      • MERGE dengan UPDATE SET t.structCol = s.structCol tindakan yang menggunakan operasi casting tipe struct.
      • MERGE dengan UPDATE SET * ketika evolusi skema diaktifkan dan struktur target tidak memiliki bidang tambahan atau awalnya NULL.
      • MERGE dengan UPDATE SET * EXCEPT ketika struct tidak memiliki bidang dalam EXCEPT daftar.
      • MERGE dengan INSERT (structCol) VALUES (s.structCol) tindakan yang menggunakan operasi casting tipe struct.
      • MERGE dengan INSERT * [EXCEPT] tindakan yang menggunakan operasi casting tipe struct.
      • UPDATE kueri dengan casting tipe struct.
      • Streaming menulis dengan jenis struct cast.

  • 2 April 2026

    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.3.9 hingga 1.3.10
    • [SPARK-55811] [SQL] Menangani NonFatal alih-alih UnresolvedException saat memanggil nodeWithOutputColumnsString
    • [SPARK-55892][SS] Perbaiki tidak dapat memuat penyimpanan status karena file SST yang digunakan kembali dihapus oleh pemeliharaan
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] Mendukung pengidentifikasi terstruktur untuk alur dalam proto analisis bersemangat SDP
    • Penambal keamanan sistem operasi.

  • 10 Maret 2026

    • [SPARK-55493] [SS] Jangan melakukan mkdirs di direktori status checkpoint streaming di StateDataSource
    • [SPARK-55111][SS] Memeriksa ulang deteksi partisi ulang yang belum selesai pada memulai ulang kueri
    • [SPARK-55701]ES-1694761[SS] Memperbaiki kondisi balapan di CompactibleFileStreamLog.allFiles
    • Penambal keamanan sistem operasi.

  • 26 Februari 2026

    • Pustaka Java yang diperbarui:
      • org.mlflow.mlflow-spark_2.13 dari 2.9.1 hingga 2.20.4
    • Penambal keamanan sistem operasi.

  • Februari 19, 2026

    • Saat menyimpulkan skema file Excel, sel string sekarang disimpulkan sebagai Spark StringType. Ini menghormati jenis sel yang diatur dalam Excel. Sebelumnya, string dengan nilai numerik ditransmisikan secara otomatis ke jenis yang lebih sempit seperti Long atau Decimal.
    • [SPARK-54887][CONNECT] Selalu atur status sql di klien spark connect
    • [SPARK-54887][CONNECT] Tambahkan sqlstate opsional ke sparkthrowables
    • [SPARK-55097][SQL] Perbaiki masalah penambahan ulang artefak yang di-cache menghapus blok tanpa pemberitahuan
    • [SPARK-55282][PYTHON][CONNECT] Hindari menggunakan worker_util di sisi Driver
    • [SPARK-49110][SQL] Sederhanakan SubqueryAlias.metadataOutput untuk selalu menyebarkan kolom metadata
    • [SPARK-55243][CONNECT] Izinkan pengaturan header biner melalui akhiran -bin di klien Scala Connect
    • Penambal keamanan sistem operasi.

  • Januari 27, 2026

    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.3.8 hingga 1.3.9
    • Lihat di atas
    • [SPARK-54768][SS]Python Sumber Data Stream harus mengklasifikasikan kesalahan jika data yang dikembalikan tidak cocok dengan skema yang dikonfigurasi
    • [SPARK-54803] Dukungan BY NAME dengan INSERT ... GANTIKAN WHERE
    • [SPARK-53564][CORE] Hindari keluarnya DAGScheduler karena waktu habis blockManager RPC di DAGSchedulerEventProcessLoop
    • [SPARK-55015][SS][SQL] Perbaiki perhitungan numFields dalam decodeRemainingKey di PrefixKeyScanStateEncoder
    • Penambal keamanan sistem operasi.
  • 9 Januari 2026
    • Pustaka Python yang diperbarui:
      • pmdarima dari 2.0.4 ke 2.1.1
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.3.6 hingga 1.3.8
    • Sekarang Anda dapat menggunakan fungsi jendela SQL sebagai fungsi skalar dalam dimensi tampilan metrik dan mengukur ekspresi.
    • [SPARK-54562][SDP][17.3 backport] Memblokir analisis / eksekusi di dalam fungsi alur dari sisi server
    • [SPARK-54679][SQL] Ganti nama spark.sql. (xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser)
    • [SPARK-54711][PYTHON] Tambahkan batas waktu untuk koneksi pekerja yang dibuat daemon
    • [SPARK-53127][SQL] Perbaiki LIMIT SEMUA untuk rekursi yang tidak dibatasi dengan normalisasi CTE
    • [SPARK-54708] Optimalkan pembersihan ML cache dengan pembuatan direktori secara tunda
    • [SPARK-54581][SQL] Membuat opsi fetchsize tidak peka huruf besar/kecil untuk penghubung Postgres
    • [SPARK-41916] [ML] Torch distributor: mendukung beberapa proses torchrun per tugas jika jumlah task.gpu kurang dari > 1
    • [SPARK-54564] [SQL] Buat QueryPlanningTracker sebagai bidang HybridAnalyzer
    • [SPARK-54620][SQL] Tambahkan pemeriksaan keamanan di ObservationManager untuk menghindari pemblokiran Observasi
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.3.5 hingga 1.3.6
    • [SPARK-50906][SQL] Perbaiki cek kejadian null pada Avro untuk bidang struct yang disusun ulang
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • [SPARK-54427][SQL] Izinkan ColumnarRow untuk memanggil copy dengan jenis varian
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • [SPARK-52762][SDP] Tambahkan pesan PipelineAnalysisContext untuk mendukung analisis alur selama eksekusi kueri Spark Connect
    • [SPARK-54156][PROTOBUF] Mengklasifikasikan kesalahan untuk kegagalan casting ProtobufOptions
    • [SPARK-54078][SS] Uji baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan hapus infra dari pengujian lama
    • [SPARK-54015][PYTHON] Melonggarkan persyaratan Py4J untuk py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] pengurai varian XML harus beralih kembali ke string pada kesalahan penguraian desimal
    • [SPARK-54191][17.3 Backport][SDP] Tambahkan sekali ke Defineflow Proto
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • [SPARK-53729][PYTHON][CONNECT] Perbaiki serialisasi pyspark.sql.connect.window.WindowSpec
    • [SPARK-46679][SQL] Perbaikan untuk SparkUnsupportedOperationException tidak menemukan encoder dari jenis T, saat menggunakan kelas Parameterized
    • [SPARK-53973][Avro] Mengklasifikasikan kesalahan untuk kegagalan konversi boolean AvroOptions
    • [SPARK-53794][SS] Tambahkan opsi untuk membatasi penghapusan per operasi pemeliharaan yang terkait dengan penyedia status rocksdb
    • [SPARK-53908][CONNECT] Perbaiki pengamatan pada Spark Connect dengan cache rencana
    • [SPARK-53972][SS] Perbaiki kemunduran progress terkini pada kueri streaming di PySpark klasik
    • Penambal keamanan sistem operasi.

Waktu Operasi Databricks 16.4 LTS

Lihat Databricks Runtime 16.4 LTS.

  • 29 September 2026

    • [SPARK-53069][SS] Perbaiki metrik state store yang salah dengan keluarga kolom virtual
    • Penambal keamanan sistem operasi.

  • 15 September 2026

    • Pustaka Java yang diperbarui:
      • org.apache.zookeeper.zookeeper dari 3.9.2 hingga 3.9.5
      • org.apache.zookeeper.zookeeper-jute dari 3.9.2 ke 3.9.5
    • Penambal keamanan sistem operasi.

  • 1 September 2026

    • (Perubahan perilaku) RESTORE dan CLONE perintah yang mengubah partisi tabel dapat diblokir jika tabel sumber dan target berbagi file yang sama.
    • Pustaka Java yang diperbarui:
      • org.eclipse.jetty.jetty-client dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-lanjutan dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet dari 9.4.52.v20230823 hingga 9.4.57.v20241219
    • [SPARK-58292][CORE] Buat ulang netty worker EventLoopGroup ketika thread event loop worker mati
    • [SPARK-58531][SQL][CONNECT] Jadikan spark.sql.artifact.copyFromLocalToFs.allowDestLocal sebagai konfigurasi statis
    • Penambal keamanan sistem operasi.

  • 18 Agustus 2026

    • Penambal keamanan sistem operasi.

  • 4 Agustus 2026

    • [SPARK-57547][SQL] Perbaikan materialisasi konkuren backport InMemoryRelation ke 16.4 (dengan kill switch)
    • [SPARK-58107] Backport checkpoint lokal dedup-and-seal + verifikasi checksum sumber termaterialisasi MERGE
    • Penambal keamanan sistem operasi.

  • 24 Juli 2026

    • Memperbaiki bug ketepatan yang menyebabkan min/max berjendela pada kolom BinaryType dengan frame geser (frame RANGE apa pun, atau frame ROWS berukuran 10 atau lebih besar) mengembalikan min/max global berjalan, bukan nilai per-frame.
    • Penambal keamanan sistem operasi.

  • Juli 10, 2026

    • Beberapa macam perbaikan bug.

  • 29 Juni 2026

    • (Perubahan perilaku) Tampilan metrik sekarang menolak ukuran jendela yang mereferensikan ukuran jendela lain. Sebelumnya, pola ini berhasil pada saat CREATE, tetapi gagal tanpa pemberitahuan atau menghasilkan hasil yang salah saat kueri dijalankan. Sekarang, Azure Databricks menampilkan pesan kesalahan yang jelas pada waktu CREATE atau ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Untuk menonaktifkan validasi ini, atur spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled ke false.

    • Memperbaiki masalah keakuratan data di mana nilai struct NULL pada sumber secara keliru diperluas menjadi struct non-NULL dengan field NULL pada target dalam MERGE, UPDATE, dan kueri penulisan streaming. Setelah perubahan, struktur NULL di sumber dipertahankan dengan benar sebagai NULL dalam target.

      Operasi yang terpengaruh:

      • MERGE kueri dengan UPDATE SET t.structCol = s.structCol tindakan dengan jenis struct casts
      • MERGE kueri dengan UPDATE SET * saat evolusi skema diaktifkan (Saat struktur sumber bernilai NULL, timpa target dengan NULL jika struktur target tidak memiliki bidang tambahan atau semula bernilai NULL)
      • MERGE kueri dengan UPDATE SET * EXCEPT (Saat struct sumber bernilai NULL, timpa target dengan NULL jika struct tersebut tidak memiliki field dalam daftar EXCEPT)
      • MERGE kueri dengan INSERT (structCol) VALUES (s.structCol) tindakan dengan jenis struct casts
      • MERGE kueri dengan INSERT * [EXCEPT] tindakan dengan jenis struct casts
      • UPDATE kueri dengan konversi tipe struct
      • Penulisan streaming dengan konversi jenis struct

    • Penambal keamanan sistem operasi.

  • 9 Juni 2026

    • (Perubahan perilaku) SET TAG sekarang bersifat idempoten. Mengulangi SET TAG operasi pada sumber daya yang sudah memiliki tag tidak lagi menimbulkan kesalahan.
    • Penambal keamanan sistem operasi.
  • Mei 26, 2026
    • [SPARK-34591][ML] Tambahkan pemangkasan pohon keputusan sebagai parameter
    • Penambal keamanan sistem operasi.
  • Mei 13, 2026
    • (Perubahan perilaku) Mencantumkan tabel menggunakan pola skema tidak lagi menyegarkan metadata Unity Catalog untuk tabel asing (misalnya, SQL Server, PostgreSQL, atau AWS Glue). Perubahan ini memengaruhi pemanggilan SHOW TABLES IN SCHEMA LIKE ... dan getMetaData.getTables di driver JDBC saat pola skema diberikan, serta API SparkGetTablesOperation Thrift. Jika beban kerja Anda bergantung pada refresh metadata dengan pola skema, hubungi Dukungan Databricks.
    • Pustaka Java yang diperbarui:
      • (Hanya Scala 2.12) io.delta.delta-sharing-client_2.12 dari 1.2.11 hingga 1.2.12
      • (Hanya Scala 2.13) io.delta.delta-sharing-client_2.13 dari 1.2.11 ke 1.2.12
    • [SPARK-56361][SS] Berikan pesan kesalahan yang lebih baik dengan pencatatan log saat terjadi NPE pada join stream-stream
    • Beberapa macam perbaikan bug.
  • 29 April 2026
    • Beberapa macam perbaikan bug.
  • 20 April 2026
    • Beberapa macam perbaikan bug.

  • 2 April 2026

    • Pustaka Java yang diperbarui:
      • (Hanya Scala 2.12) io.delta.delta-sharing-client_2.12 dari 1.2.10 ke 1.2.11
      • (Hanya Scala 2.13) io.delta.delta-sharing-client_2.13 dari 1.2.10 ke 1.2.11
    • [SPARK-55701]ES-1694761[SS] Memperbaiki kondisi balapan di CompactibleFileStreamLog.allFiles
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] Mendukung pengidentifikasi terstruktur untuk alur dalam proto analisis bersemangat SDP
    • Penambal keamanan sistem operasi.

  • 10 Maret 2026

    • [SPARK-55111][SS] Memeriksa ulang deteksi partisi ulang yang belum selesai pada memulai ulang kueri
    • [SPARK-55493] [SS] Jangan melakukan mkdirs di direktori status checkpoint streaming di StateDataSource
    • Penambal keamanan sistem operasi.

  • 26 Februari 2026

    • Penambal keamanan sistem operasi.

  • Februari 19, 2026

    • [SPARK-55282][PYTHON][CONNECT] Hindari menggunakan worker_util di sisi Driver
    • [SPARK-55243][CONNECT] Izinkan pengaturan header biner melalui akhiran -bin di klien Scala Connect
    • Penambal keamanan sistem operasi.
  • 27 Januari 2026
    • Pustaka Java yang diperbarui:
      • (Hanya Scala 2.12) io.delta.delta-sharing-client_2.12 dari 1.2.9 hingga 1.2.10
      • (Hanya Scala 2.12) org.mlflow.mlflow-spark_2.12 dari 2.9.1 hingga 2.19.0
      • (Hanya Scala 2.13) io.delta.delta-sharing-client_2.13 dari 1.2.9 ke 1.2.10
      • (Hanya Scala 2.13) org.mlflow.mlflow-spark_2.13 dari 2.9.1 hingga 2.19.0
    • [SPARK-55015][SS][SQL] Perbaiki perhitungan numFields dalam decodeRemainingKey di PrefixKeyScanStateEncoder
    • Penambal keamanan sistem operasi.
  • 9 Januari 2026
    • Pustaka Java yang diperbarui:
      • (Hanya Scala 2.12) io.delta.delta-sharing-client_2.12 dari 1.2.8 ke 1.2.9
      • (Hanya Scala 2.13) io.delta.delta-sharing-client_2.13 dari 1.2.8 hingga 1.2.9
    • [SPARK-54620][SQL] Tambahkan pemeriksaan keamanan di ObservationManager untuk menghindari pemblokiran Observasi
    • [SPARK-54711][PYTHON] Tambahkan batas waktu untuk koneksi pekerja yang dibuat daemon
    • [SPARK-41916] [ML] Torch distributor: mendukung beberapa proses torchrun per tugas jika jumlah task.gpu kurang dari > 1
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • Tabel Delta yang dipartisi akan memiliki kolom partisi yang diimplementasikan dalam file data parquet ke depannya. Ini memungkinkan sinergi yang lebih baik dengan bagaimana tabel Iceberg dan UniForm ditangani, dan meningkatkan kompatibilitas dengan pembaca non-Delta eksternal.
    • Untuk konektor Snowflake dan Snowflake Lakehouse Federation, TIMESTAMP_NTZ (tanda waktu tanpa zona waktu) literal tidak lagi diteruskan ke Snowflake. Perubahan ini mencegah kegagalan kueri yang disebabkan oleh penanganan tanda waktu yang tidak kompatibel dan meningkatkan keandalan untuk kueri yang terpengaruh.
    • [SPARK-54427][SQL] Izinkan ColumnarRow untuk memanggil copy dengan jenis varian
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54099][SQL] pengurai varian XML harus beralih kembali ke string pada kesalahan penguraian desimal
    • [SPARK-54015][PYTHON] Melonggarkan persyaratan Py4J untuk py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Uji baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan hapus infra dari pengujian lama
    • [SPARK-54156][PROTOBUF] Mengklasifikasikan kesalahan untuk kegagalan casting ProtobufOptions
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • Pustaka R yang diperbarui:
      • panah dari 16.1.0 hingga 21.0.0
    • [SPARK-53973][Avro] Mengklasifikasikan kesalahan untuk kegagalan konversi boolean AvroOptions
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 7 Oktober 2025
    • [SPARK-53568][CONNECT][PYTHON] Memperbaiki beberapa bug kecil di logika penanganan kesalahan klien Spark Connect Python
    • [SPARK-53574] Memperbaiki AnalysisContext yang dihapus/hilang selama resolusi rencana bertingkat
    • [SPARK-53623][SQL] meningkatkan pembacaan properti pada tabel besar...
    • [SPARK-53598][SQL] Periksa keberadaan numParts sebelum membaca properti tabel besar
    • [SPARK-53549][SS] Selalu tutup alokator panah saat proses permintaan status daftar selesai
    • Penambal keamanan sistem operasi.
  • 16 September 2025
    • Konektor Snowflake sekarang menggunakan INFORMATION_SCHEMA tabel untuk mencantumkan skema alih-alih perintah SHOW SCHEMAS. Perubahan ini menghapus batas 10.000 skema dari pendekatan sebelumnya dan meningkatkan dukungan untuk database dengan sejumlah besar skema.
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Memperbaiki masalah yang dapat menyebabkan Auto Loader menggantung tanpa batas waktu.
    • Memperbaiki kesalahan sementara di Auto Loader yang dapat menyebabkan pekerjaan gagal
    • [SPARK-49872][CORE] Hapus batasan panjang string JSON jackson
    • [SPARK-51821][CORE] Panggil interupsi() tanpa menahan uninterruptibleLock untuk menghindari kemungkinan kebuntuan
    • Penambal keamanan sistem operasi.
  • 26 Agustus 2025
    • Pustaka Java yang diperbarui:
      • (Hanya Scala 2.12) io.delta.delta-sharing-client_2.12 dari 1.2.7 hingga 1.2.8
      • (Hanya Scala 2.13) io.delta.delta-sharing-client_2.13 dari 1.2.7 hingga 1.2.8
    • [SPARK-52482][SQL][CORE] Meningkatkan penanganan pengecualian untuk membaca file zstd tertentu yang rusak
    • [SPARK-53192][CONNECT] Selalu cache DataSource di Spark Connect Plan Cache
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • [SPARK-51011][CORE] Tambahkan pengelogan untuk apakah tugas akan terganggu saat dibunuh
    • [SPARK-52833][SQL] Perbaikan VariantBuilder.appendFloat
    • [SPARK-51505][SQL] Selalu tampilkan metrik nomor partisi kosong di AQEShuffleReadExec
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • [SPARK-52753][SQL] Buat biner parseDataType kompatibel dengan versi sebelumnya
    • Penambal keamanan sistem operasi.
  • 15 Juli 2025
    • Memperbaiki masalah kehilangan data non-deterministik saat menggunakan Spark Structured Streaming untuk mengalirkan data dari Pulsar.
    • [SPARK-52579][PYTHON] Atur cadangan jejak berkala untuk pekerja Python
    • [SPARK-52553][SS] Perbaiki NumberFormatException saat membaca changelog v1
    • [SPARK-52450] Meningkatkan performa salinan mendalam skema
    • [SPARK-52503][SQL][CONNECT] Perbaiki drop saat kolom input tidak ada
    • [SPARK-52599][PYTHON] Mendukung dump penelusuran balik berkala di sisi Driver pekerja
    • Penambal keamanan sistem operasi.
  • 1 Juli 2025
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • [SPARK-52521][SQL] Right#replacement tidak boleh mengakses SQLConf secara dinamis
    • [SPARK-52482][SQL][CORE] Dukungan ZStandard untuk pembaca sumber data file
    • [SPARK-52312][SQL] Abaikan V2WriteCommand saat caching DataFrame
    • Penambal keamanan sistem operasi.
  • 17 Juni 2025
    • Mengatasi batasan bahwa fungsi bernilai tabel (TVF) cloud_files_state tidak dapat digunakan untuk membaca status tingkat file dari tabel streaming di berbagai pipeline.
    • Memperbaiki masalah otorisasi Katalog Unity untuk kueri pada tampilan sementara.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference harus mempertahankan ID rencana
    • Penambal keamanan sistem operasi.
  • 3 Juni 2025
    • [SPARK-52195][PYTHON][SS] Perbaiki masalah penurunan kolom status awal untuk Python TWS
    • [SPARK-52159][SQL] Tangani pemeriksaan keberadaan tabel dengan benar untuk dialek jdbc
    • Beberapa macam perbaikan bug.
  • 7 Mei 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.13 dari 1.2.3 hingga 1.2.7
      • org.apache.avro.avro dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-ipc dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-mapred dari 1.11.3 ke 1.11.4
    • Sesi kloning streaming akan digunakan di dalam fungsi pengguna foreachBatch di Kluster Bersama/Tanpa Server. Ini selaras dengan perilaku dalam klasik (Kluster yang Ditetapkan).
    • Sesi kloning streaming akan digunakan di dalam fungsi pengguna foreachBatch di Kluster Bersama/Tanpa Server. Ini selaras dengan perilaku dalam klasik (Kluster yang Ditetapkan).
    • Sebelum perubahan ini, spasi awal dan tab dalam jalur pada ekspresi variant_get diabaikan ketika Photon dinonaktifkan. Misalnya, select variant_get(parse_json('{"key": "value"}'), '$['key']') tidak akan efektif dalam mengekstrak nilai "key". Namun, pengguna akan dapat mengekstrak kunci tersebut sekarang.
    • [SPARK-51935][SQL] Perbaiki perilaku iterator yang malas dalam df.collect() yang ditafsirkan
    • [SPARK-51921][SS][PYTHON] Gunakan jenis panjang untuk durasi TTL dalam milidetik dalam transformWithState
    • [SPARK-51940][SS] Tambahkan antarmuka untuk mengelola metadata titik pemeriksaan streaming
    • [SPARK-52049] Memperbaiki bug yang tidak dapat diurai atribut XML sebagai Varian
    • [SPARK-51904][SS] Menghapus pembersihan metadata asinkron untuk StateSchemaV3 dan mengabaikan file non-batch saat mencantumkan file OperatorMetadata
    • [SPARK-51869][SS] Buat klasifikasi untuk kesalahan pengguna dalam UDF untuk Scala TransformWithState
    • [SPARK-51889][PYTHON][SS] Perbaiki bug untuk MapState clear() di Python TWS
    • [SPARK-51922] [SS] Perbaiki UTFDataFormatException yang dihasilkan dari StateStoreChangelogReaderFactory untuk v1
    • [SPARK-51848][SQL] Memperbaiki penguraian catatan XML dengan skema yang ditentukan dari array/struktur/peta Varian
    • Penambal keamanan sistem operasi.

Databricks Runtime 15.4 LTS

Lihat Databricks Runtime 15.4 LTS.

  • 29 September 2026

    • Penambal keamanan sistem operasi.

  • 15 September 2026

    • Pustaka Java yang diperbarui:
      • com.microsoft.sqlserver.mssql-jdbc dari 11.2.3.jre8, 11.2.3.jre8 ke 11.2.3.jre8, 11.2.4.jre8
    • [SPARK-41246][CORE] Segera gagal saat terjadi overflow ID RDD; menguraikan ID blok negatif sebagai langkah pengaman (cherry-pick ke dbr-branch-15.4)
    • Penambal keamanan sistem operasi.

  • 1 September 2026

    • (Perubahan perilaku) RESTORE dan CLONE perintah yang mengubah partisi tabel dapat diblokir jika tabel sumber dan target berbagi file yang sama.
    • Pustaka Java yang diperbarui:
      • org.eclipse.jetty.jetty-client dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-lanjutan dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet dari 9.4.52.v20230823 hingga 9.4.57.v20241219
    • [SPARK-58292][CORE] Buat ulang netty worker EventLoopGroup ketika thread event loop worker mati
    • [SPARK-58531][SQL][CONNECT] Jadikan spark.sql.artifact.copyFromLocalToFs.allowDestLocal sebagai konfigurasi statis
    • Penambal keamanan sistem operasi.

  • 18 Agustus 2026

    • Pustaka Java yang diperbarui:
      • com.microsoft.sqlserver.mssql-jdbc dari 11.2.2.jre8, 11.2.3.jre8 ke 11.2.3.jre8, 11.2.3.jre8
    • Penambal keamanan sistem operasi.

  • 4 Agustus 2026

    • [SPARK-58107] Backport checkpoint lokal dedup-and-seal + verifikasi checksum sumber termaterialisasi MERGE
    • [SPARK-57547][SQL] Perbaikan materialisasi konkuren backport InMemoryRelation ke 15.4 (dengan kill switch)
    • Penambal keamanan sistem operasi.

  • 24 Juli 2026

    • Penambal keamanan sistem operasi.

  • Juli 10, 2026

    • Penambal keamanan sistem operasi.

  • 29 Juni 2026

    • (Perubahan perilaku) Tampilan metrik sekarang menolak ukuran jendela yang mereferensikan ukuran jendela lain. Sebelumnya, pola ini berhasil pada saat CREATE, tetapi gagal tanpa pemberitahuan atau menghasilkan hasil yang salah saat kueri dijalankan. Sekarang, Azure Databricks menampilkan pesan kesalahan yang jelas pada waktu CREATE atau ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Untuk menonaktifkan validasi ini, atur spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled ke false.

    • Memperbaiki masalah keakuratan data di mana nilai struct NULL pada sumber secara keliru diperluas menjadi struct non-NULL dengan field NULL pada target dalam MERGE, UPDATE, dan kueri penulisan streaming. Setelah perubahan, struktur NULL di sumber dipertahankan dengan benar sebagai NULL dalam target.

      Operasi yang terpengaruh:

      • MERGE kueri dengan UPDATE SET t.structCol = s.structCol tindakan dengan jenis struct casts
      • MERGE kueri dengan UPDATE SET * saat evolusi skema diaktifkan (Saat struktur sumber bernilai NULL, timpa target dengan NULL jika struktur target tidak memiliki bidang tambahan atau semula bernilai NULL)
      • MERGE kueri dengan UPDATE SET * EXCEPT (Saat struct sumber bernilai NULL, timpa target dengan NULL jika struct tersebut tidak memiliki field dalam daftar EXCEPT)
      • MERGE kueri dengan INSERT (structCol) VALUES (s.structCol) tindakan dengan jenis struct casts
      • MERGE kueri dengan INSERT * [EXCEPT] tindakan dengan jenis struct casts
      • UPDATE kueri dengan konversi tipe struct
      • Penulisan streaming dengan konversi jenis struct

    • Penambal keamanan sistem operasi.

  • 9 Juni 2026

    • Penambal keamanan sistem operasi.
  • Mei 26, 2026
    • Penambal keamanan sistem operasi.
  • Mei 13, 2026
    • (Perubahan perilaku) Mencantumkan tabel menggunakan pola skema tidak lagi menyegarkan metadata Unity Catalog untuk tabel asing (misalnya, SQL Server, PostgreSQL, atau AWS Glue). Perubahan ini memengaruhi pemanggilan SHOW TABLES IN SCHEMA LIKE ... dan getMetaData.getTables di driver JDBC saat pola skema diberikan, serta API SparkGetTablesOperation Thrift. Jika beban kerja Anda bergantung pada refresh metadata dengan pola skema, hubungi Dukungan Databricks.
    • Penambal keamanan sistem operasi.
  • 29 April 2026
    • Beberapa macam perbaikan bug.
  • 20 April 2026
    • Beberapa macam perbaikan bug.

  • 2 April 2026

    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.1.10 hingga 1.1.11
    • Auto Loader mencakup dua fitur baru yang terkait dengan manajemen lokasi sumber dan visibilitas di DBR 16.3: 1. Rekam perubahan peristiwa: dengan perubahan ini, pelanggan akan dapat menggunakan cloud_files_state TVF untuk melihat penemuan file dan detail pemrosesan seperti waktu file awalnya ditemukan, waktu disetujui, diarsipkan, dll. Lihat dokumentasi publik TVF ini saat ini di sini. 2. Sumber bersih: Dengan fitur ini, pelanggan dapat menginstruksikan Auto Loader untuk menghapus file yang telah diproses secara otomatis. Pelanggan dapat ikut serta dalam fitur ini menggunakan cloudFiles.cleanSource opsi Auto Loader. Lihat detail selengkapnya dalam dokumentasi opsi Auto Loader di sini.
    • Penambal keamanan sistem operasi.

  • 10 Maret 2026

    • [SPARK-55701]ES-1694761[SS] Memperbaiki kondisi balapan di CompactibleFileStreamLog.allFiles
    • [SPARK-55111][SS] Memeriksa ulang deteksi partisi ulang yang belum selesai pada memulai ulang kueri
    • Penambal keamanan sistem operasi.

  • 26 Februari 2026

    • Pustaka Java yang diperbarui:
      • org.mlflow.mlflow-spark_2.12 dari 2.9.1 ke 2.11.3
    • Penambal keamanan sistem operasi.

  • Februari 19, 2026

    • [SPARK-55243][CONNECT] Izinkan pengaturan header biner melalui akhiran -bin di klien Scala Connect
    • [SPARK-55282][PYTHON][CONNECT] Hindari menggunakan worker_util di sisi Driver
    • Penambal keamanan sistem operasi.
  • 27 Januari 2026
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.1.9 hingga 1.1.10
    • Penambal keamanan sistem operasi.
  • 9 Januari 2026
    • Tabel Delta yang dipartisi akan memiliki kolom partisi yang diimplementasikan dalam file data parquet ke depannya. Ini memungkinkan sinergi yang lebih baik dengan bagaimana tabel Iceberg dan UniForm ditangani, dan meningkatkan kompatibilitas dengan pembaca non-Delta eksternal.
    • [SPARK-54620][SQL] Tambahkan pemeriksaan keamanan di ObservationManager untuk menghindari pemblokiran Observasi
    • [SPARK-54711][PYTHON] Tambahkan batas waktu untuk koneksi pekerja yang dibuat daemon
    • Penambal keamanan sistem operasi.
  • 9 Desember 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.1.7 hingga 1.1.9
    • [SPARK-54427][SQL] Izinkan ColumnarRow untuk memanggil copy dengan jenis varian
    • [SPARK-52579][PYTHON] Atur cadangan jejak berkala untuk pekerja Python
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54078][SS] Uji baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan hapus infra dari pengujian lama
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • Pustaka R yang diperbarui:
      • arah panah dari 14.0.0.2 hingga 21.0.0
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Kriteria fotonisasi pemindaian diperbarui untuk memungkinkan fotonisasi pemindaian saat verifikasi checksum diperlukan.
      Menentukan apakah verifikasi checksum diperlukan sekarang berasal dari conf hadoop alih-alih SQLConf.
    • Penambal keamanan sistem operasi.
  • 7 Oktober 2025
    • [SPARK-53568][CONNECT][PYTHON] Memperbaiki beberapa bug kecil di logika penanganan kesalahan klien Spark Connect Python
    • [SPARK-53574] Memperbaiki AnalysisContext yang dihapus/hilang selama resolusi rencana bertingkat
    • Beberapa macam perbaikan bug.
  • 16 September 2025
    • Konektor Snowflake sekarang menggunakan INFORMATION_SCHEMA tabel untuk mencantumkan skema alih-alih perintah SHOW SCHEMAS. Perubahan ini menghapus batas 10.000 skema dari pendekatan sebelumnya dan meningkatkan dukungan untuk database dengan sejumlah besar skema.
    • [SPARK-50870][SQL] Tambahkan zona waktu saat mentransmisikan ke tanda waktu di V2ScanRelationPushDown
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Memperbaiki masalah yang dapat menyebabkan Auto Loader menggantung tanpa batas waktu.
    • Memperbaiki kesalahan sementara di Auto Loader yang dapat menyebabkan pekerjaan gagal
    • [SPARK-51821][CORE] Panggil interupsi() tanpa menahan uninterruptibleLock untuk menghindari kemungkinan kebuntuan
    • [SPARK-49872][CORE] Hapus batasan panjang string JSON jackson
    • Penambal keamanan sistem operasi.
  • 26 Agustus 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.1.6 hingga 1.1.7
    • [SPARK-52482][SQL][CORE] Meningkatkan penanganan pengecualian untuk membaca file zstd tertentu yang rusak
    • [SPARK-53192][CONNECT] Selalu cache DataSource di Spark Connect Plan Cache
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • [SPARK-51011][CORE] Tambahkan pengelogan untuk apakah tugas akan terganggu saat dibunuh
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • Penambal keamanan sistem operasi.

  • 21 Juli 2025

    • Untuk komputasi yang diaktifkan untuk Photon atau menggunakan CPU berbasis Arm64, mlflow-skinny ditingkatkan ke 2.19.0, ray ditingkatkan ke 2.37.0, dan databricks-feature-engineering ditingkatkan ke 0.8.0.

  • 15 Juli 2025

    • Memperbaiki masalah kehilangan data non-deterministik saat menggunakan Spark Structured Streaming untuk mengalirkan data dari Pulsar.
    • [SPARK-52503][SQL][CONNECT] Perbaiki drop saat kolom input tidak ada
  • 1 Juli 2025
    • Pustaka Java yang diperbarui:
      • org.mlflow.mlflow-spark_2.12 dari 2.9.1 ke 2.11.3
      • Dihapus com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
      • Dihapus org.slf4j.slf4j-simple 1.7.25
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • [SPARK-52521][SQL] Right#replacement tidak boleh mengakses SQLConf secara dinamis
    • [SPARK-52482][SQL][CORE] Dukungan ZStandard untuk pembaca sumber data file
    • [SPARK-52312][SQL] Abaikan V2WriteCommand saat caching DataFrame
    • Penambal keamanan sistem operasi.
  • 17 Juni 2025
    • Mengatasi batasan bahwa fungsi bernilai tabel (TVF) cloud_files_state tidak dapat digunakan untuk membaca status tingkat file dari tabel streaming di berbagai pipeline.
    • [SPARK-49646][SQL] perbaiki dekorelasi subkueri untuk operasi union/set ketika parentOuterReferences memiliki referensi yang tidak tercakup dalam collectedChildOuterReferences
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference harus mempertahankan ID rencana
  • 3 Juni 2025
    • Pustaka Python yang diperbarui:
      • kriptografi dari 3.4.8, 41.0.3 hingga 41.0.3
      • filelock berubah dari 3.13.4, 3.15.4 ke 3.13.4
      • importlib-metadata dari 4.6.4, 6.0.0 hingga 6.0.0
      • platformdirs dari 3.10.0, 3.11.0 hingga 3.10.0
      • pyparsing dari 2.4.7, 3.0.9 ke 3.0.9
      • zipp dari 1.0.0, 3.11.0 hingga 3.11.0
      • Menambahkan pip 23.2.1
      • Menambahkan setuptools 68.0.0
      • Ditambahkan wcwidth 0.2.5
      • Menambahkan roda 0.38.4
      • Dihapus distribusi perangkat lunak 1.7.0
      • Telah dihapus distro-info 1.1+ubuntu0.2
      • Menghapus python-apt 2.4.0+ubuntu4
    • Pustaka Java yang diperbarui:
      • com.github.fommil.netlib.native_ref-java dari 1.1, 1.1-natives ke 1.1, 1.1
      • com.github.fommil.netlib.native_system-java dari 1.1, 1.1-natives ke 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 dari 1.1-natives ke 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 dari 1.1-natives ke 1.1
      • io.netty.netty-tcnative-boringssl-static dari versi 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 ke 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll dari 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 ke 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue dari 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 ke 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core dari 1.9.2-shaded-protobuf menjadi 1.9.2
      • org.apache.orc.orc-mapreduce dari 1.9.2-shaded-protobuf ke 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider dari 1.6.2-linux-x86_64 ke 1.6.2
    • [SPARK-52159][SQL] Tangani pemeriksaan keberadaan tabel dengan benar untuk dialek jdbc
    • Penambal keamanan sistem operasi.
  • Mei 20, 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.1.5 hingga 1.1.6
    • Sesi kloning streaming akan digunakan di dalam fungsi pengguna foreachBatch di Kluster Bersama/Tanpa Server. Ini selaras dengan perilaku dalam klasik (Kluster yang Ditetapkan).
    • Sebelum perubahan ini, spasi awal dan tab dalam jalur pada ekspresi variant_get diabaikan ketika Photon dinonaktifkan. Misalnya, select variant_get(parse_json('{"key": "value"}'), '$['key']') tidak akan efektif dalam mengekstrak nilai "key". Namun, pengguna akan dapat mengekstrak kunci tersebut sekarang.
    • [SPARK-51935][SQL] Perbaiki perilaku iterator yang malas dalam df.collect() yang ditafsirkan
    • Penambal keamanan sistem operasi.
  • 22 April 2025
    • Pustaka Java yang diperbarui:
      • org.apache.avro.avro dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-ipc dari 1.11.3 hingga 1.11.4
      • org.apache.avro.avro-mapred dari 1.11.3 ke 1.11.4
    • Kembalikan "[SPARK-47895][SQL] pengelompokan berdasarkan alias harus idempoten" di 15.4, 16.0, 16.1, 16.2 dan 16.3
    • [SPARK-50682][SQL] Alias Internal harus dikononisasi
    • Penambal keamanan sistem operasi.
  • 9 April 2025
    • (perubahan perilaku) Untuk menerapkan patch keamanan penting, versi Python default diperbarui ke Python 3.11.11 dari Python 3.11.0rc1. Pembaruan ini mungkin berdampak pada beberapa beban kerja yang berjalan pada Databricks Runtime 15.4 LTS, seperti beban kerja yang menggunakan serialisasi Python untuk menyimpan dan memulihkan status antara eksekusi atau beban kerja yang disematkan ke versi 3.11.0 Python.
    • Pustaka Java yang diperbarui:
      • Dihapus io.starburst.openjson.openjson 1.8-e.12
      • Dihapus io.starburst.openx.data.json-serde 1.3.9-e.12
      • Dihapus io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] group by alias harus bersifat idempoten
    • [SPARK-51624][SQL] Sampaikan metadata GetStructField ke dalam CreateNamedStruct.dataType
    • Penambal keamanan sistem operasi.
  • 31 Maret 2025
    • Untuk komputasi yang tidak diaktifkan untuk Photon, databricks-feature-engineering ditingkatkan ke 0.8.0. Untuk komputasi yang diaktifkan Photon, databricks-feature-engineering tetap pada 0.6.0.

  • 11 Maret 2025

    • Databricks Runtime 14.3 LTS ke atas mencakup perbaikan untuk masalah yang menyebabkan ketidakcocokan biner dengan kode yang menginstansikan kelas dan dikompilasi terhadap Apache Spark. Ketidaksesuaian ini dihasilkan dari penggabungan SPARK-46399 ke dalam Apache Spark. Penggabungan ini menyertakan perubahan yang menambahkan argumen default ke konstruktor SparkListenerApplicationEnd. Untuk memulihkan kompatibilitas biner, perbaikan ini menambahkan satu konstruktor argumen ke kelas SparkListenerApplicationEnd.
    • [SPARK-50985][SS] Klasifikasikan kesalahan ketidakcocokan Offset Tanda Waktu Kafka, bukan menegaskan dan melempar kesalahan saat server hilang di KafkaTokenProvider.
    • [SPARK-50791][SQL] Perbaiki NPE dalam penanganan kesalahan penyimpanan status
    • [SPARK-50310][PYTHON] Tingkatkan performa Kolom saat DQC dinonaktifkan
    • [SPARK-51222][SQL] Mengoptimalkan ReplaceCurrentLike
    • [SPARK-49525][SS][CONNECT] Peningkatan log kecil pada ListenerBus Listener Kueri Streaming Sisi Server
    • [SPARK-51084][SQL] Menetapkan kelas kesalahan yang sesuai untuk negativeScaleNotAllowedError
    • Penambal keamanan sistem operasi.

  • 11 Februari 2025

    • Rilis ini mencakup perbaikan untuk masalah yang memengaruhi konversi jenis data tertentu saat membuat serial kolom data XML yang diselamatkan. Jenis data yang terpengaruh adalah tanggal, tanda waktu non-NTZ, dan desimal saat prefersDecimal diaktifkan. Untuk mempelajari selengkapnya tentang kolom data yang diselamatkan, lihat Apa kolom data yang diselamatkan?.
    • [SPARK-50492][SS] Perbaiki java.util.NoSuchElementException ketika kolom waktu kejadian hilang setelah dropDuplicatesWithinWatermark
    • Penambal keamanan sistem operasi.
    • Untuk komputasi yang tidak diaktifkan untuk Photon, mlflow-skinny ditingkatkan ke 2.19.0. Untuk komputasi yang diaktifkan Photon, mlflow-skinny tetap pada 2.13.1.
  • 10 Desember 2024
    • Pernyataan USE CATALOG sekarang mendukung klausul IDENTIFIER. Dengan dukungan ini, Anda dapat membuat parameter katalog saat ini berdasarkan variabel string atau penanda parameter.
    • Rilis ini mencakup perbaikan untuk masalah yang dapat menyebabkan kunci utama pada tabel Delta dihilangkan dalam kasus-kasus tepi tertentu yang terkait dengan pemadatan otomatis yang dilakukan di latar belakang.
    • Dengan rilis ini, ukuran cache yang digunakan oleh SSD pada node komputasi Databricks secara dinamis berkembang hingga ukuran awal SSD dan menyusut ketika diperlukan, hingga batas spark.databricks.io.cache.maxDiskUsage. Lihat Mengoptimalkan performa dengan caching pada Azure Databricks.
    • Paket pyodbc diperbarui dari versi 4.0.38 ke versi 4.0.39. Perubahan ini diperlukan karena bug ditemukan di versi 4.0.38 dan versi tersebut telah dihapus dari PyPI.
    • [SPARK-50329][SQL] memperbaiki InSet$toString
    • [SPARK-47435][SQL] Memperbaiki masalah overflow MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Mendukung ekspresi IDENTIFIER dalam pernyataan SETCATALOG
    • [SPARK-50426][PYTHON] Hindari pencarian sumber data Python statis saat menggunakan sumber data bawaan atau Java
    • [SPARK-48863][SQL] Fix ClassCastException saat mengurai JSON dengan "spark.sql.json.enablePartialResults" diaktifkan
    • [SPARK-50310][PYTHON] Tambahkan bendera untuk menonaktifkan DataFrameQueryContext untuk PySpark
    • [15.3-15.4] [SPARK-50034][CORE] Perbaiki Pelaporan Kesalahan Fatal sebagai Pengecualian Tidak Tertangkap dalam SparkUncaughtExceptionHandler
    • Penambal keamanan sistem operasi.
  • 26 November 2024
    • Dengan rilis ini, Anda sekarang dapat mengkueri fungsi vector_search menggunakan query_text untuk input teks atau query_vector untuk menyematkan input.
    • Anda sekarang dapat mengatur batas waktu untuk kueri Spark Connect menggunakan properti konfigurasi Spark spark.databricks.execution.timeout. Untuk notebook yang berjalan pada komputasi serverless, nilai defaultnya adalah 9000 (detik). Pekerjaan yang berjalan pada komputasi tanpa server dan komputasi dengan mode akses standar tidak memiliki batas waktu kecuali properti konfigurasi ini diatur. Eksekusi yang berlangsung lebih lama dari batas waktu yang ditentukan menghasilkan kesalahan QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-50322][SQL] Memperbaiki pengidentifikasi berparameter dalam sub-kueri
    • [SPARK-49615] [ML] Membuat semua validasi skema himpunan data transformator fitur ML sesuai dengan konfigurasi "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET harus mempertahankan urutan data
    • Penambal keamanan sistem operasi.
  • 5 November 2024
    • (Perubahan menerobos) Dalam Databricks Runtime 15.4 LTS ke atas, penanganan ekspresi reguler di Photon diperbarui untuk mencocokkan perilaku penanganan ekspresi reguler Apache Spark. Sebelumnya, fungsi ekspresi reguler yang dijalankan oleh Photon, seperti split() dan regexp_extract(), menerima beberapa ekspresi reguler yang ditolak oleh pengurai Spark. Untuk mempertahankan konsistensi dengan Apache Spark, kueri Photon sekarang akan gagal untuk ekspresi reguler yang dianggap Spark tidak valid. Karena perubahan ini, Anda mungkin melihat kesalahan jika kode Spark Anda menyertakan ekspresi reguler yang tidak valid. Misalnya, ekspresi split(str_col, '{'), yang berisi kurung kurawal yang tidak sepadan dan dulunya diterima oleh Photon, kini menjadi tidak valid. Untuk memperbaiki ekspresi ini, Anda dapat menghindari karakter kurung kurawal: split(str_col, '\\{'). Perilaku Photon dan Spark juga berbeda untuk beberapa pencocokan ekspresi reguler untuk karakter non-ASCII. Ini juga diperbarui sehingga Photon cocok dengan perilaku Apache Spark.
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-49867][SQL] Meningkatkan pesan kesalahan saat indeks berada di luar batas saat memanggil GetColumnByOrdinal
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • [SPARK-49905] Gunakan ShuffleOrigin khusus pada operator stateful untuk mencegah modifikasi pengacakan dari AQE (Adaptive Query Execution)
    • [SPARK-46632][SQL] Memperbaiki eliminasi subekspresi ketika ekspresi terner yang setara memiliki elemen berbeda
    • [SPARK-49443][SQL][PYTHON] Menerapkan ekspresi to_variant_object dan membuat ekspresi schema_of_variant mencetak OBJECT untuk objek varian
    • [SPARK-49615] Bugfix: Buat validasi skema kolom ML sesuai dengan konfigurasi spark spark.sql.caseSensitive.
  • 22 Oktober 2024
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-49867][SQL] Meningkatkan pesan kesalahan saat indeks berada di luar batas saat memanggil GetColumnByOrdinal
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • [SPARK-49905] Gunakan ShuffleOrigin khusus pada operator stateful untuk mencegah modifikasi pengacakan dari AQE (Adaptive Query Execution)
    • [SPARK-46632][SQL] Memperbaiki eliminasi subekspresi ketika ekspresi terner yang setara memiliki elemen berbeda
    • [SPARK-49443][SQL][PYTHON] Menerapkan ekspresi to_variant_object dan membuat ekspresi schema_of_variant mencetak OBJECT untuk objek varian
    • [SPARK-49615] Bugfix: Buat validasi skema kolom ML sesuai dengan konfigurasi spark spark.sql.caseSensitive.
  • 10 Oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields
    • [SPARK-49688][SAMBUNGKAN] Memperbaiki balapan data antara interupsi dan rencana eksekusi
    • [BACKPORT] [SPARK-49474][SS] Mengklasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna FlatMapGroupsWithState
    • [SPARK-49460][SQL] Tindak lanjut: memperbaiki potensi risiko NPE
  • 25 September 2024
    • [SPARK-49628][SQL] ConstantFolding harus menyalin ekspresi stateful sebelum mengevaluasi
    • [SPARK-49000][SQL] Perbaiki `SELECT COUNT(DISTINCT 1)` dari t di mana t adalah tabel kosong dengan meningkatkan fungsi RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Upaya memasang kembali pada ExecutionHolder yang tidak aktif
    • [SPARK-49458][CONNECT][PYTHON] Menyediakan session id sisi server melalui ReattachExecute
    • [SPARK-49017][SQL] Pernyataan insert gagal ketika beberapa parameter sedang digunakan
    • [SPARK-49451] Izinkan kunci duplikat dalam parse_json.
    • Beberapa macam perbaikan bug.
  • 17 September 2024
    • [SPARK-48463][ML] Membuat Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor untuk mendukung kolom input berlapis
    • [SPARK-49409][SAMBUNGKAN] Menyesuaikan default nilai dari CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Mendukung jalur gaya Windows di ArtifactManager
    • Batalkan "[SPARK-48482][PYTHON] dropDuplicates dan dropDuplicatesWithinWatermark harus menerima argumen panjang variabel"
    • [SPARK-43242][CORE] Memperbaiki 'Tipe BlockId yang tidak terduga' saat mendiagnosis kerusakan shuffle
    • [SPARK-49366][CONNECT] Perlakukan simpul Union sebagai daun dalam resolusi kolom dataframe
    • [SPARK-49018][SQL] Perbaiki approx_count_distinct tidak berfungsi dengan benar dengan kolasi
    • [SPARK-49460][SQL] Hapus cleanupResource() dari EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader tidak dapat menangani null dengan benar
    • [SPARK-49336][CONNECT] Batasi tingkat penumpukan saat memotong pesan protobuf
  • 29 Agustus 2024
    • Output dari pernyataan SHOW CREATE TABLE kini menyertakan filter baris atau masker kolom yang ditentukan pada tampilan materialisasi atau tabel streaming. Lihat SHOW CREATE TABLE. Untuk mempelajari tentang filter baris dan masker kolom, lihat Filter baris dan masker kolom.
    • Pada komputasi yang dikonfigurasi dengan mode akses bersama, pemrosesan batch Kafka untuk membaca dan menulis sekarang memiliki batasan yang sama seperti yang diberlakukan dalam dokumentasi untuk Structured Streaming. Lihat Batasan streaming.
    • [SPARK-48941][SPARK-48970] Perbaikan untuk penulisan/pembacaan ML dengan backport
    • [SPARK-49074][SQL] Perbaiki varian dengan df.cache()
    • [SPARK-49263][SAMBUNGKAN] Klien python Spark Connect: Menangani opsi pembaca Dataframe boolean secara konsisten
    • [SPARK-48955][SQL] Sertakan perubahan ArrayCompact dalam 15.4
    • [SPARK-48937][SQL] Menambahkan dukungan kolatasi untuk ekspresi string StringToMap
    • [SPARK-48929] Memperbaiki kesalahan internal view dan membersihkan konteks pengecualian parser.
    • [SPARK-49125][SQL] Izinkan nama kolom duplikat dalam penulisan CSV
    • [SPARK-48934][SS] Jenis datetime Python dikonversi secara tidak tepat saat mengatur batas waktu di applyInPandasWithState
    • [SPARK-48843] Mencegah perulangan tak terbatas dengan BindParameters
    • [SPARK-48981] Memperbaiki metode simpleString dari StringType di pyspark untuk kolase
    • [SPARK-49065][SQL] Rebasing dalam pemformat/pemroses lama harus mendukung zona waktu default selain JVM
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backport perbaikan penulisan Spark ML
    • [SPARK-48725][SQL] Mengintegrasikan CollationAwareUTF8String.lowerCaseCodePoints ke dalam ekspresi string
    • [SPARK-48978][SQL] Menerapkan jalur cepat ASCII dalam dukungan kolase untuk UTF8_LCASE
    • [SPARK-49047][PYTHON][KONEKSI] Memotong pesan untuk pencatatan log
    • [SPARK-49146][SS] Memindahkan kesalahan asersi terkait watermark yang hilang dalam kueri streaming mode tambah ke kerangka kesalahan
    • [SPARK-48977][SQL] Optimalkan pencarian string di bawah kolase UTF8_LCASE
    • [SPARK-48889][SS] testStream untuk membongkar penyimpanan status sebelum selesai
    • [SPARK-48463] Membuat StringIndexer yang mendukung kolom input berlapis
    • [SPARK-48954] try_mod() menggantikan try_remainder()
    • Penambal keamanan sistem operasi.

Databricks Runtime 14.3 LTS

Lihat Databricks Runtime 14.3 LTS.

  • 29 September 2026

    • Penambal keamanan sistem operasi.

  • 15 September 2026

    • Penambal keamanan sistem operasi.

  • 1 September 2026

    • (Perubahan perilaku) RESTORE dan CLONE perintah yang mengubah partisi tabel dapat diblokir jika tabel sumber dan target berbagi file yang sama.
    • Pustaka Java yang diperbarui:
      • org.eclipse.jetty.jetty-client dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-lanjutan dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server dari 9.4.52.v20230823 hingga 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet dari 9.4.52.v20230823 hingga 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] Jadikan spark.sql.artifact.copyFromLocalToFs.allowDestLocal sebagai konfigurasi statis
    • Penambal keamanan sistem operasi.

  • 18 Agustus 2026

    • Pustaka Java yang diperbarui:
      • com.microsoft.sqlserver.mssql-jdbc dari 11.2.2.jre8, 11.2.3.jre8 ke 11.2.3.jre8, 11.2.3.jre8
    • Penambal keamanan sistem operasi.

  • 4 Agustus 2026

    • [SPARK-58107] Backport checkpoint lokal dedup-and-seal + verifikasi checksum sumber termaterialisasi MERGE
    • [SPARK-57547][SQL] Perbaikan materialisasi konkuren backport InMemoryRelation ke 14.3 (dengan kill switch)
    • Penambal keamanan sistem operasi.

  • 24 Juli 2026

    • Penambal keamanan sistem operasi.

  • Juli 10, 2026

    • Penambal keamanan sistem operasi.
  • 29 Juni 2026
    • (Perubahan perilaku) Tampilan metrik sekarang menolak ukuran jendela yang mereferensikan ukuran jendela lain. Sebelumnya, pola ini berhasil pada saat CREATE, tetapi gagal tanpa pemberitahuan atau menghasilkan hasil yang salah saat kueri dijalankan. Sekarang, Azure Databricks menampilkan pesan kesalahan yang jelas pada waktu CREATE atau ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Untuk menonaktifkan validasi ini, atur spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled ke false.
    • Penambal keamanan sistem operasi.
  • 9 Juni 2026
    • Penambal keamanan sistem operasi.
  • Mei 26, 2026
    • Penambal keamanan sistem operasi.
  • Mei 13, 2026
    • (Perubahan perilaku) Mencantumkan tabel menggunakan pola skema tidak lagi menyegarkan metadata Unity Catalog untuk tabel asing (misalnya, SQL Server, PostgreSQL, atau AWS Glue). Perubahan ini memengaruhi pemanggilan SHOW TABLES IN SCHEMA LIKE ... dan getMetaData.getTables di driver JDBC saat pola skema diberikan, serta API SparkGetTablesOperation Thrift. Jika beban kerja Anda bergantung pada refresh metadata dengan pola skema, hubungi Dukungan Databricks.
    • Penambal keamanan sistem operasi.
  • 29 April 2026
    • Beberapa macam perbaikan bug.
  • 20 April 2026
    • Beberapa macam perbaikan bug.

  • 2 April 2026

    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.1.7 hingga 1.1.11
    • Auto Loader mencakup dua fitur baru yang terkait dengan manajemen lokasi sumber dan visibilitas di DBR 16.3: 1. Rekam perubahan peristiwa: dengan perubahan ini, pelanggan akan dapat menggunakan cloud_files_state TVF untuk melihat penemuan file dan detail pemrosesan seperti waktu file awalnya ditemukan, waktu disetujui, diarsipkan, dll. Lihat dokumentasi publik TVF ini saat ini di sini. 2. Sumber bersih: Dengan fitur ini, pelanggan dapat menginstruksikan Auto Loader untuk menghapus file yang telah diproses secara otomatis. Pelanggan dapat ikut serta dalam fitur ini menggunakan cloudFiles.cleanSource opsi Auto Loader. Lihat detail selengkapnya dalam dokumentasi opsi Auto Loader di sini.
    • Penambal keamanan sistem operasi.

  • 10 Maret 2026

    • [SPARK-55111][SS] Memeriksa ulang deteksi partisi ulang yang belum selesai pada memulai ulang kueri
    • [SPARK-55701]ES-1694761[SS] Memperbaiki kondisi balapan di CompactibleFileStreamLog.allFiles
    • Penambal keamanan sistem operasi.

  • 26 Februari 2026

    • Penambal keamanan sistem operasi.

  • Februari 19, 2026

    • Penambal keamanan sistem operasi.

  • Januari 27, 2026

    • Penambal keamanan sistem operasi.

  • 9 Januari 2026

    • Tabel Delta yang dipartisi akan memiliki kolom partisi yang diimplementasikan dalam file data parquet ke depannya. Ini memungkinkan sinergi yang lebih baik dengan bagaimana tabel Iceberg dan UniForm ditangani, dan meningkatkan kompatibilitas dengan pembaca non-Delta eksternal.
    • [SPARK-54711][PYTHON] Tambahkan batas waktu untuk koneksi pekerja yang dibuat daemon
    • Penambal keamanan sistem operasi.

  • 9 Desember 2025

    • [SPARK-52579][PYTHON] Atur cadangan jejak berkala untuk pekerja Python
    • [SPARK-54180][SQL] Mengesampingkan toString dari BinaryFileFormat
    • Penambal keamanan sistem operasi.
  • 18 November 2025
    • [SPARK-54078][SS] Uji baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan hapus infra dari pengujian lama
    • [SPARK-54047][PYTHON] Gunakan kesalahan perbedaan saat kill-on-idle-timeout
    • Penambal keamanan sistem operasi.
  • 4 November 2025
    • Pustaka R yang diperbarui:
      • panah dari 12.0.1 hingga 21.0.0
    • Penambal keamanan sistem operasi.
  • 21 Oktober 2025
    • Penambal keamanan sistem operasi.
  • 7 Oktober 2025
    • [SPARK-53568][CONNECT][PYTHON] Memperbaiki beberapa bug kecil di logika penanganan kesalahan klien Spark Connect Python
    • [SPARK-53574] Memperbaiki AnalysisContext yang dihapus/hilang selama resolusi rencana bertingkat
    • Beberapa macam perbaikan bug.
  • 16 September 2025
    • Penambal keamanan sistem operasi.
  • 9 September 2025
    • Memperbaiki masalah yang dapat menyebabkan Auto Loader menggantung tanpa batas waktu.
    • [SPARK-49872][CORE] Hapus batasan panjang string JSON jackson
    • Penambal keamanan sistem operasi.
  • 26 Agustus 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.1.6 hingga 1.1.7
    • [SPARK-52482][SQL][CORE] Meningkatkan penanganan pengecualian untuk membaca file zstd tertentu yang rusak
    • Penambal keamanan sistem operasi.
  • 14 Agustus 2025
    • Penambal keamanan sistem operasi.
  • 29 Juli 2025
    • Penambal keamanan sistem operasi.
  • 15 Juli 2025
    • [SPARK-52503][SQL][CONNECT] Perbaiki drop saat kolom input tidak ada
    • Beberapa macam perbaikan bug.
  • 1 Juli 2025
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • Dukungan dekompresi ZStandard untuk pembaca sumber data file (json, csv, xml, dan teks.)
    • [SPARK-52521][SQL] Right#replacement tidak boleh mengakses SQLConf secara dinamis
    • [SPARK-52482][SQL][CORE] Dukungan ZStandard untuk pembaca sumber data file
    • Penambal keamanan sistem operasi.
  • 17 Juni 2025
    • Mengatasi batasan bahwa fungsi bernilai tabel (TVF) cloud_files_state tidak dapat digunakan untuk membaca status tingkat file dari tabel streaming di berbagai pipeline.
    • [SPARK-49646][SQL] perbaiki dekorelasi subkueri untuk operasi union/set ketika parentOuterReferences memiliki referensi yang tidak tercakup dalam collectedChildOuterReferences
  • 3 Juni 2025
    • Pustaka Python yang diperbarui:
      • kriptografi dari 3.4.8, 39.0.1 hingga 39.0.1
      • platformdirs dari 2.5.2, 2.6.2 ke 2.5.2
      • pyparsing dari 2.4.7, 3.0.9 ke 3.0.9
      • Telah menambahkan pip 22.3.1
      • Menambahkan setuptools 65.6.3
      • Menambahkan tomli 2.0.1
      • Ditambahkan wcwidth 0.2.5
      • Menambahkan roda 0.38.4
      • Dihapus distribusi perangkat lunak 1.7.0
      • Telah dihapus distro-info 1.1+ubuntu0.2
      • Menghapus python-apt 2.4.0+ubuntu4
    • Pustaka Java yang diperbarui:
      • com.github.fommil.netlib.native_ref-java dari 1.1, 1.1-natives ke 1.1, 1.1
      • com.github.fommil.netlib.native_system-java dari 1.1, 1.1-natives ke 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 dari 1.1-natives ke 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 dari 1.1-natives ke 1.1
      • io.netty.netty-tcnative-boringssl-static dari versi 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 ke 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll dari 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 ke 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue dari 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 ke 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core dari 1.9.2-shaded-protobuf menjadi 1.9.2
      • org.apache.orc.orc-mapreduce dari 1.9.2-shaded-protobuf ke 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider dari 1.6.1-linux-x86_64 hingga 1.6.1
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference harus mempertahankan ID rencana
    • [SPARK-52159][SQL] Tangani pemeriksaan keberadaan tabel dengan benar untuk dialek jdbc
    • Penambal keamanan sistem operasi.
  • Mei 20, 2025
    • Pustaka Java yang diperbarui:
      • io.delta.delta-sharing-client_2.12 dari 1.1.5 hingga 1.1.6
    • [SPARK-51935][SQL] Perbaiki perilaku iterator yang malas dalam df.collect() yang ditafsirkan
    • Penambal keamanan sistem operasi.
  • 22 April 2025
    • Penambal keamanan sistem operasi.

  • 09 April 2025

    • [Perubahan Perilaku] Operasi vakum sekarang melakukan pemeriksaan protokol Writer dengan cara yang mirip dengan operasi lain, mencegah pembersihan tak terduga pada tabel dengan fitur yang lebih baru ketika dijalankan dari versi Databricks Runtime yang lebih lama dan tidak kompatibel.
    • [SPARK-51624][SQL] Sampaikan metadata GetStructField ke dalam CreateNamedStruct.dataType
    • Penambal keamanan sistem operasi.

  • 11 Maret 2025

    • Databricks Runtime 14.3 LTS ke atas mencakup perbaikan untuk masalah yang menyebabkan ketidakcocokan biner dengan kode yang menginstansikan kelas dan dikompilasi terhadap Apache Spark. Ketidaksesuaian ini dihasilkan dari penggabungan SPARK-46399 ke dalam Apache Spark. Penggabungan ini menyertakan perubahan yang menambahkan argumen default ke konstruktor SparkListenerApplicationEnd. Untuk memulihkan kompatibilitas biner, perbaikan ini menambahkan satu konstruktor argumen ke kelas SparkListenerApplicationEnd.
    • [SPARK-50791][SQL] Perbaiki NPE dalam penanganan kesalahan penyimpanan status
    • [SPARK-50705][SQL] Buat QueryPlan bebas kunci
    • [SPARK-49525][SS][CONNECT] Peningkatan log kecil pada ListenerBus Listener Kueri Streaming Sisi Server
    • Penambal keamanan sistem operasi.

  • 11 Februari 2025

    • Rilis ini mencakup perbaikan untuk masalah yang memengaruhi konversi jenis data tertentu saat membuat serial kolom data XML yang diselamatkan. Jenis data yang terpengaruh adalah tanggal, tanda waktu non-NTZ, dan desimal saat prefersDecimal diaktifkan. Untuk mempelajari selengkapnya tentang kolom data yang diselamatkan, lihat Apa kolom data yang diselamatkan?.
    • [SPARK-50492][SS] Perbaiki java.util.NoSuchElementException ketika kolom waktu kejadian hilang setelah dropDuplicatesWithinWatermark
    • [SPARK-51084][SQL] Menetapkan kelas kesalahan yang sesuai untuk negativeScaleNotAllowedError
    • Penambal keamanan sistem operasi.
  • 10 Desember 2024
    • Rilis ini mencakup perbaikan untuk masalah yang dapat menyebabkan kunci utama pada tabel Delta dihilangkan dalam kasus-kasus tepi tertentu yang terkait dengan pemadatan otomatis yang dilakukan di latar belakang.
    • [SPARK-50329][SQL] memperbaiki InSet$toString
    • Penambal keamanan sistem operasi.
  • 26 November 2024
    • [SPARK-49615] [ML] Membuat semua validasi skema himpunan data transformator fitur ML sesuai dengan konfigurasi "spark.sql.caseSensitive".
    • Penambal keamanan sistem operasi.
  • 5 November 2024
    • [SPARK-48843] Mencegah perulangan tak terbatas dengan BindParameters
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [BACKPORT] [SPARK-49326][SS] Klasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna sink ForEach
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [SPARK-46632][SQL] Memperbaiki eliminasi subekspresi ketika ekspresi terner yang setara memiliki elemen berbeda
    • [SPARK-49905] Gunakan ShuffleOrigin khusus pada operator stateful untuk mencegah modifikasi pengacakan dari AQE (Adaptive Query Execution)
    • Penambal keamanan sistem operasi.
  • 22 Oktober 2024
    • [SPARK-48843] Mencegah perulangan tak terbatas dengan BindParameters
    • [SPARK-49863][SQL] Perbaiki NormalizeFloatingNumbers untuk mempertahankan nullability dari struct bersarang
    • [SPARK-49905] Gunakan ShuffleOrigin khusus pada operator stateful untuk mencegah modifikasi pengacakan dari AQE (Adaptive Query Execution)
    • [SPARK-46632][SQL] Memperbaiki eliminasi subekspresi ketika ekspresi terner yang setara memiliki elemen berbeda
    • [SPARK-49782][SQL] Aturan ResolveDataFrameDropColumns mengatasi UnresolvedAttribute dengan output turunan
    • [BACKPORT] [SPARK-49326][SS] Klasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna sink ForEach
    • [SPARK-49829] Merevisi pengoptimalan saat menambahkan input ke penyimpanan status dalam penggabungan aliran-ke-aliran (memperbaiki masalah ketepatan)
    • Penambal keamanan sistem operasi.
  • 10 Oktober 2024
    • [BACKPORT] [SPARK-49474][SS] Mengklasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields
    • [SPARK-49688][SAMBUNGKAN] Memperbaiki balapan data antara interupsi dan rencana eksekusi
  • 25 September 2024
    • [SPARK-48810][CONNECT] Sesi stop() API harus bersifat idempoten dan tidak gagal jika sesi sudah ditutup oleh server.
    • [SPARK-48719][SQL] Perbaiki bug perhitungan `RegrS...
    • [SPARK-49000][SQL] Perbaiki `SELECT COUNT(DISTINCT 1)` dari t di mana t adalah tabel kosong dengan meningkatkan fungsi RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding harus menyalin ekspresi stateful sebelum mengevaluasi
    • [SPARK-49492][CONNECT] Upaya memasang kembali pada ExecutionHolder yang tidak aktif
    • Penambal keamanan sistem operasi.
  • 17 September 2024
    • [SPARK-49336][CONNECT] Batasi tingkat penumpukan saat memotong pesan protobuf
    • [SPARK-43242][CORE] Memperbaiki 'Tipe BlockId yang tidak terduga' saat mendiagnosis kerusakan shuffle
    • [SPARK-48463][ML] Membuat Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor untuk mendukung kolom input berlapis
    • [SPARK-49526][CONNECT] Mendukung jalur gaya Windows di ArtifactManager
    • [SPARK-49409][SAMBUNGKAN] Menyesuaikan default nilai dari CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Perlakukan simpul Union sebagai daun dalam resolusi kolom dataframe
  • 29 Agustus 2024
    • [SPARK-49146][SS] Memindahkan kesalahan asersi terkait watermark yang hilang dalam kueri streaming mode tambah ke kerangka kesalahan
    • [SPARK-48862][PYTHON][CONNECT] Hindari panggilan _proto_to_string saat tingkat INFO tidak diaktifkan
    • [SPARK-49263][SAMBUNGKAN] Klien python Spark Connect: Menangani opsi pembaca Dataframe boolean secara konsisten
  • 14 Agustus 2024
    • [SPARK-48941][SPARK-48970] Perbaikan untuk penulisan/pembacaan ML dengan backport
    • [SPARK-48706][PYTHON] Python UDF dalam fungsi tingkat tinggi tidak boleh menghasilkan kesalahan internal
    • [SPARK-49056][SQL] ErrorClassesJsonReader tidak dapat menangani null dengan benar
    • [SPARK-48597][SQL] Memperkenalkan penanda untuk properti isStreaming dalam representasi teks dari rencana logis
    • [SPARK-49065][SQL] Rebasing dalam pemformat/pemroses lama harus mendukung zona waktu default selain JVM
    • [SPARK-48934][SS] Jenis datetime Python dikonversi secara tidak tepat saat mengatur batas waktu di applyInPandasWithState
  • 1 Agustus 2024
    • Rilis ini mencakup perbaikan bug untuk kelas ColumnVector dan ColumnarArray di antarmuka Java Spark. Sebelumnya untuk perbaikan ini, ArrayIndexOutOfBoundsException mungkin dilemparkan atau data yang salah dikembalikan ketika instans salah satu kelas ini berisi nilai null.
    • Pada komputasi tanpa server untuk notebook dan pekerjaan, mode ANSI SQL diaktifkan secara default. Lihatlah parameter konfigurasi Spark yang didukung .
    • Pada komputasi yang dikonfigurasi dengan mode akses bersama, pemrosesan batch Kafka untuk membaca dan menulis sekarang memiliki batasan yang sama seperti yang diberlakukan dalam dokumentasi untuk Structured Streaming. Lihat Batasan streaming.
    • Output dari pernyataan SHOW CREATE TABLE kini menyertakan filter baris atau masker kolom yang ditentukan pada tampilan materialisasi atau tabel streaming. Lihat SHOW CREATE TABLE. Untuk mempelajari tentang filter baris dan masker kolom, lihat Filter baris dan masker kolom.
    • Pada komputasi yang dikonfigurasi dengan mode akses bersama, pemrosesan batch Kafka untuk membaca dan menulis sekarang memiliki batasan yang sama seperti yang diberlakukan dalam dokumentasi untuk Structured Streaming. Lihat Batasan streaming.
    • Output dari pernyataan SHOW CREATE TABLE kini menyertakan filter baris atau masker kolom yang ditentukan pada tampilan materialisasi atau tabel streaming. Lihat SHOW CREATE TABLE. Untuk mempelajari tentang filter baris dan masker kolom, lihat Filter baris dan masker kolom.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backport perbaikan penulisan Spark ML
    • [SPARK-48889][SS] testStream untuk membongkar penyimpanan status sebelum selesai
    • [SPARK-48705][PYTHON] Gunakan worker_main secara eksplisit ketika memulai dengan pyspark
    • [SPARK-48047][SQL] Mengurangi tekanan memori tag TreeNode kosong
    • [SPARK-48544][SQL] Mengurangi tekanan memori TreeNode BitSets kosong
    • [SPARK-46957][CORE] Penonaktifan file shuffle yang telah dimigrasikan harus dapat dibersihkan dari eksekutor
    • [SPARK-48463] Membuat StringIndexer yang mendukung kolom input berlapis
    • [SPARK-47202][PYTHON] Memperbaiki kesalahan ketik yang menyebabkan kegagalan tanggalwaktu dengan tzinfo
    • [SPARK-47713][SQL][CONNECT] Memperbaiki kegagalan self-join
    • Penambal keamanan sistem operasi.
  • 11 Juli 2024
    • (Perubahan Perilaku) DataFrames yang di-cache terhadap sumber tabel Delta sekarang tidak valid jika tabel sumber ditimpa. Perubahan ini berarti bahwa semua perubahan status pada tabel Delta sekarang membatalkan hasil cache. Gunakan .checkpoint() untuk mempertahankan status tabel sepanjang masa pakai DataFrame.
    • Snowflake JDBC Driver diperbarui ke versi 3.16.1.
    • Rilis ini mencakup perbaikan untuk masalah yang mencegah tab Lingkungan Spark UI ditampilkan dengan benar saat berjalan di Layanan Kontainer Databricks.
    • Pada komputasi tanpa server untuk notebook dan pekerjaan, mode ANSI SQL diaktifkan secara default. Lihatlah parameter konfigurasi Spark yang didukung .
    • Untuk mengabaikan partisi yang tidak valid saat membaca data, sumber data berbasis file, seperti Parquet, ORC, CSV, atau JSON, dapat mengatur opsi sumber data ignoreInvalidPartitionPaths ke true. Misalnya: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Anda juga dapat menggunakan konfigurasi SQL spark.sql.files.ignoreInvalidPartitionPaths. Namun, opsi sumber data lebih diutamakan daripada konfigurasi SQL. Pengaturan ini salah secara default.
    • [SPARK-48648][PYTHON][CONNECT] Buat SparkConnectClient.tags dengan benar threadlocal
    • [SPARK-48445][SQL] Jangan menggabungkan UDF dengan komponen-komponen yang memakan banyak sumber daya
    • [SPARK-48481][SQL][SS] Jangan terapkan OptimizeOneRowPlan terhadap Himpunan Data streaming
    • [SPARK-48383][SS] Menghasilkan kesalahan yang lebih baik untuk partisi yang tidak sejajar dalam opsi startOffset di Kafka
    • [SPARK-48503][SQL] Memperbaiki subkueri skalar tidak valid dengan group-by pada kolom yang tidak setara yang diizinkan secara keliru
    • [SPARK-48100][SQL] Memperbaiki masalah dalam melompati bidang struktur berlapis yang tidak dipilih dalam skema
    • [SPARK-48273][SQL] Memperbaiki penulisan ulang planWithUnresolvedIdentifier yang terlambat
    • [SPARK-48252][SQL] Perbarui CommonExpressionRef bila perlu
    • [SPARK-48475][PYTHON] Optimalkan _get_jvm_function di PySpark.
    • [SPARK-48292][CORE] Mengembalikan [SPARK-39195][SQL] Spark OutputCommitCoordinator harus membatalkan tahapan ketika file yang dikomitmen tidak sesuai dengan status tugas
    • Penambal keamanan sistem operasi.
  • 17 Juni 2024
    • applyInPandasWithState() tersedia pada komputasi dengan mode akses standar.
    • Memperbaiki bug di mana pengoptimalan jendela peringkat menggunakan Photon TopK salah menangani partisi dengan struktur.
    • [SPARK-48310][PYTHON][CONNECT] Properti yang disimpan dalam cache harus mengembalikan salinan
    • [SPARK-48276][Python][CONNECT] Tambahkan metode yang hilang __repr__ untuk SQLExpression
    • [SPARK-48294][SQL] Menangani huruf kecil dalam nestedTypeMissingElementTypeError
    • Penambal keamanan sistem operasi.
  • Mei 21, 2024
    • (Perubahan perilaku) dbutils.widgets.getAll() sekarang didukung agar mendapatkan semua nilai widget dalam notebook.
    • Memperbaiki bug dalam fungsi try_divide() di mana input yang berisi desimal menghasilkan pengecualian yang tidak terduga.
    • [SPARK-48056][SAMBUNGKAN][PYTHON] Jalankan kembali rencana pemrosesan jika terjadi kesalahan SESSION_NOT_FOUND dan respons parsial tidak diterima.
    • [SPARK-48146][SQL] Memperbaiki fungsi agregat dalam ekspresi With pada penegasan elemen anak
    • [SPARK-47986][SAMBUNGKAN][PyTHON] Tidak dapat membuat sesi baru ketika sesi default ditutup oleh server
    • [SPARK-48180][SQL] Meningkatkan kesalahan ketika panggilan UDTF dengan TABLE arg lupa tanda kurung di beberapa PARTITION/ORDER BY exprs
    • [SPARK-48016][SQL] Memperbaiki bug dalam fungsi try_divide saat dengan desimal
    • [SPARK-48197][SQL] Hindari kesalahan pernyataan untuk fungsi lambda yang tidak valid
    • [SPARK-47994][SQL] Perbaiki bug dengan penurunan filter kolom CASE WHEN di SQL Server
    • [SPARK-48173][SQL] CheckAnalysis akan melihat seluruh rencana kueri
    • [SPARK-48105][SS] Memperbaiki race condition antara pembongkaran penyimpanan status dan pembuatan cuplikan
    • Penambal keamanan sistem operasi.
  • Mei 9, 2024
    • (Perubahan perilaku) applyInPandas dan mapInPandas jenis UDF sekarang didukung pada komputasi mode akses bersama yang menjalankan Databricks Runtime 14.3 LTS ke atas.
    • [SPARK-47739][SQL] Mendaftarkan jenis avro logis
    • [SPARK-47941] [SS] [Connect] Menyampaikan kesalahan inisialisasi pekerja ForeachBatch kepada pengguna untuk PySpark
    • [SPARK-48010][SQL] Hindari panggilan berulang ke conf.resolver di resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Tembolok DataFrame.isStreaming
    • [SPARK-47956][SQL] Pemeriksaan kewarasan untuk referensi LCA yang belum terselesaikan
    • [SPARK-47543][CONNECT][PYTHON] Menyimpulkan dict sebagai MapType dari Pandas DataFrame untuk memungkinkan pembuatan DataFrame
    • [SPARK-47819][SAMBUNGKAN][Cherry-pick-14.3] Gunakan panggilan balik asinkron untuk pembersihan setelah eksekusi
    • [SPARK-47764][CORE][SQL] Membersihkan dependensi shuffle berdasarkan ShuffleCleanupMode
    • [SPARK-48018][SS] Memperbaiki groupId null yang menyebabkan kesalahan parameter hilang saat melempar KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Memperbaiki bug agregat di RewriteWithExpression
    • [SPARK-47371] [SQL] XML: Mengabaikan tag baris yang ditemukan di CDATA
    • [SPARK-47895][SQL] grup menurut semua harus idempoten
    • [SPARK-47973][CORE] Mencatat lokasi panggilan di SparkContext.stop() dan kemudian di SparkContext.assertNotStopped()
    • Penambal keamanan sistem operasi.
  • 25 April 2024
    • [SPARK-47543][CONNECT][PYTHON] Menyimpulkan dict sebagai MapType dari Pandas DataFrame untuk memungkinkan pembuatan DataFrame
    • [SPARK-47694][CONNECT] Membuat ukuran pesan maksimum dapat dikonfigurasi pada pihak klien
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Validasi nama kolom dengan skema cache
    • [SPARK-47862][PYTHON][CONNECT] Memperbaiki pembuatan file proto
    • Kembalikan "[SPARK-47543][CONNECT][PYTHON] Menyimpulkan dict sebagai MapType dari Pandas DataFrame agar memungkinkan pembuatan DataFrame"
    • [SPARK-47704][SQL] Penguraian JSON gagal dengan "java.lang.ClassCastException" saat spark.sql.json.enablePartialResults diaktifkan
    • [SPARK-47812][KONEKSI] Mendukung Serialisasi SparkSession untuk pekerja ForEachBatch
    • [SPARK-47818][SAMBUNGKAN][Cherry-pick-14.3] Memperkenalkan cache rencana di SparkConnectPlanner untuk meningkatkan performa permintaan analisis
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite gagal dengan rencana yang tidak valid
    • Penambal keamanan sistem operasi.
  • 11 April 2024
    • (Perubahan Perilaku) Untuk memastikan perilaku yang konsisten pada semua jenis komputasi, UDF PySpark pada komputasi dengan mode akses standar sekarang sesuai dengan perilaku UDF pada kluster tanpa isolasi dan yang ditetapkan. Pembaruan ini mencakup perubahan berikut yang mungkin merusak kode yang ada:
      • UDF dengan jenis pengembalian string tidak lagi secara implisit mengonversi nilai non-string menjadi nilai string. Sebelumnya, UDF dengan tipe pengembalian str akan membungkus nilai pengembalian dengan fungsi str() terlepas dari jenis data aktual dari nilai yang dikembalikan.
      • UDF dengan timestamp jenis pengembalian tidak lagi secara implisit menerapkan konversi ke timestamp dengan timezone.
      • Konfigurasi kluster Spark spark.databricks.sql.externalUDF.* tidak lagi berlaku untuk UDF PySpark pada komputasi dengan mode akses standar.
      • Konfigurasi spark.databricks.safespark.externalUDF.plan.limit kluster Spark tidak lagi memengaruhi UDF PySpark, menghapus batasan 5 UDF per kueri pada versi Pratinjau Publik untuk UDF PySpark.
      • Konfigurasi kluster Spark spark.databricks.safespark.sandbox.size.default.mib tidak lagi berlaku untuk UDF PySpark pada komputasi dengan mode akses standar. Sebagai gantinya, memori yang tersedia pada sistem digunakan. Untuk membatasi memori UDF PySpark, gunakan spark.databricks.pyspark.udf.isolation.memoryLimit dengan nilai minimum 100m.
    • Jenis data TimestampNTZ kini didukung sebagai kolom pengelompokan dengan penggunaan teknologi clustering cair. Lihat Menggunakan pengklusteran cair untuk tabel.
    • [SPARK-47511][SQL] Mengkanonisasi ekspresi dengan menetapkan ulang ID
    • [SPARK-47509][SQL] Memblokir ekspresi subkueri dalam fungsi lambda dan urutan yang lebih tinggi
    • [SPARK-46990][SQL] Memperbaiki pemuatan file Avro kosong yang dihasilkan oleh Event Hubs
    • [SPARK-47638][PS][CONNECT] Lewati validasi nama kolom di PS
    • Penambal keamanan sistem operasi.
  • 14 Maret 2024
    • [SPARK-47135][SS] Menerapkan kelas kesalahan untuk pengecualian kehilangan data Kafka
    • [SPARK-47176][SQL] Memiliki fungsi pembantu ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Lampirkan pengenal tabel ke eksekusi pemindaian sumber data baris untuk strategi V2.
    • [SPARK-47044][SQL] Tambahkan kueri yang dijalankan untuk sumber data eksternal JDBC untuk menjelaskan output
    • [SPARK-47167][SQL] Menambahkan kelas konkret untuk hubungan anonim JDBC
    • [SPARK-47070] Memperbaiki agregasi yang tidak valid setelah penulisan ulang subkueri
    • [SPARK-47121][CORE] Hindari RejectedExecutionExceptions selama penutupan StandaloneSchedulerBackend
    • Batalkan "[SPARK-46861][CORE] Hindari Deadlock di DAGScheduler"
    • [SPARK-47125][SQL] Mengembalikan null jika Univocity tidak pernah memicu penguraian
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier harus menyertakan ekspresi lain dalam pohon ekspresi
    • [SPARK-47129][SAMBUNGKAN][SQL] Lakukan ResolveRelations perencanaan cache koneksi dengan tepat
    • [SPARK-47241][SQL] Memperbaiki masalah urutan aturan untuk ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Protokol untuk Pendengar di Sisi Klien
    • Penambal keamanan sistem operasi.
  • 29 Februari 2024
    • Memperbaiki masalah saat menggunakan koleksi lokal sebagai sumber dalam perintah MERGE dapat mengakibatkan metrik operasi numSourceRows melaporkan jumlah baris yang benar dua kali lipat.
    • Membuat skema dengan lokasi yang ditentukan sekarang mengharuskan pengguna untuk memiliki hak istimewa SELECT dan hak istimewa untuk MEMODIFIKASI pada file apa pun.
    • [SPARK-47071][SQL] Menggabungkan ekspresi jika berisi ekspresi khusus
    • [SPARK-47059][SQL] Lampirkan konteks kesalahan untuk perintah ALTER COLUMN v1
    • [SPARK-46993][SQL] Memperbaiki folding konstanta untuk variabel sesi
    • Penambal keamanan sistem operasi.
  • 3 Januari 2024
    • [SPARK-46933] Tambahkan metrik waktu eksekusi kueri ke konektor yang menggunakan JDBCRDD.
    • [SPARK-46763] Memperbaiki kegagalan pernyataan di ReplaceDeduplicateWithAggregate untuk atribut duplikat.
    • [SPARK-46954] XML: Membungkus InputStreamReader dengan BufferedReader.
    • [SPARK-46655] Lewati menangkap konteks kueri dalam metode DataFrame.
    • [SPARK-44815] Simpan cache df.schema untuk menghindari terjadinya RPC tambahan.
    • [SPARK-46952] XML: Batasi ukuran rekaman yang rusak.
    • [SPARK-46794] Menghapus subkueri dari batasan LogicalRDD.
    • [SPARK-46736] pertahankan bidang pesan kosong di konektor protobuf.
    • [SPARK-45182] Abaikan penyelesaian tugas dari tahap lama setelah mencoba kembali tahap induk yang tidak terdefinisi seperti yang ditentukan oleh checksum.
    • [SPARK-46414] Gunakan prependBaseUri untuk merender impor javascript.
    • [SPARK-46383] Kurangi Penggunaan Timbunan Driver dengan Mengurangi Masa Pakai TaskInfo.accumulables().
    • [SPARK-46861] Hindari Kebuntuan di Modul DAGScheduler.
    • [SPARK-46954] XML: Optimalkan pencarian indeks skema.
    • [SPARK-46676] dropDuplicatesWithinWatermark tidak boleh gagal dalam proses kanonisasi rencana.
    • [SPARK-46644] Ubah tambahkan dan gabungkan di SQLMetric untuk menggunakan isZero.
    • [SPARK-46731] Mengelola instans penyedia penyimpanan status menurut sumber data status - pembaca.
    • [SPARK-46677] Perbaiki dataframe["*"] resolusi.
    • [SPARK-46610] Buat tabel seharusnya memunculkan pengecualian jika tidak ada nilai untuk setiap kunci di dalam opsi.
    • [SPARK-46941] Tidak dapat menyisipkan simpul batas grup jendela untuk komputasi k atas jika berisi SizeBasedWindowFunction.
    • [SPARK-45433] Memperbaiki inferensi skema CSV/JSON saat tanda waktu tidak cocok dengan format tanda waktu yang ditentukan.
    • [SPARK-46930] Tambahkan dukungan untuk awalan kustom untuk bidang jenis Union di Avro.
    • [SPARK-46227] Memindahkan kembali ke 14.3.
    • [SPARK-46822] Menghormati spark.sql.legacy.charVarcharAsString ketika melakukan casting tipe JDBC ke tipe katalis dalam JDBC.
    • Penambal keamanan sistem operasi.

Databricks Runtime 9.1 LTS

  • 9 April 2025
    • Penambal keamanan sistem operasi.
  • 11 Maret 2025
    • Penambal keamanan sistem operasi.
  • 11 Februari 2025
    • Penambal keamanan sistem operasi.
  • 10 Desember 2024
    • Penambal keamanan sistem operasi.
  • 26 November 2024
    • Penambal keamanan sistem operasi.
  • 5 November 2024
    • Penambal keamanan sistem operasi.
  • 22 Oktober 2024
    • Penambal keamanan sistem operasi.
  • 10 Oktober 2024
    • Penambal keamanan sistem operasi.
  • 25 September 2024
    • [SPARK-49000][SQL] Perbaiki `SELECT COUNT(DISTINCT 1)` dari t di mana t adalah tabel kosong dengan meningkatkan fungsi RewriteDistinctAggregates
    • Penambal keamanan sistem operasi.
  • 6 September 2024
    • Penambal keamanan sistem operasi.
  • 29 Agustus 2024
    • [SPARK-49065][SQL] Rebasing dalam pemformat/pemroses lama harus mendukung zona waktu default selain JVM
  • 14 Agustus 2024
  • 1 Agustus 2024
    • Penambal keamanan sistem operasi.
  • 11 Juli 2024
    • Penambal keamanan sistem operasi.
  • 17 Juni 2024
    • Penambal keamanan sistem operasi.
  • Mei 21, 2024
    • [SPARK-48105][SS] Memperbaiki race condition antara pembongkaran penyimpanan status dan pembuatan cuplikan
    • Penambal keamanan sistem operasi.
  • Mei 9, 2024
    • [SPARK-47973][CORE] Mencatat lokasi panggilan di SparkContext.stop() dan kemudian di SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Atur agar dapat bernilai null dengan benar pada kunci penggabungan yang digabungkan di full outer USING join
    • Penambal keamanan sistem operasi.
  • 25 April 2024
    • Beberapa macam perbaikan bug.
  • 11 April 2024
    • Penambal keamanan sistem operasi.
  • 1 April tahun 2024
    • Batalkan "[SPARK-46861][CORE] Hindari Deadlock di DAGScheduler"
    • Penambal keamanan sistem operasi.
  • 14 Maret 2024
    • Penambal keamanan sistem operasi.
  • 29 Februari 2024
    • Memperbaiki masalah saat menggunakan koleksi lokal sebagai sumber dalam perintah MERGE dapat mengakibatkan metrik operasi numSourceRows melaporkan jumlah baris yang benar dua kali lipat.
    • Penambal keamanan sistem operasi.
  • 13 Februari 2024
    • [SPARK-46861] Hindari Kebuntuan di Modul DAGScheduler.
    • Penambal keamanan sistem operasi.
  • 31 Januari 2024
    • Penambal keamanan sistem operasi.
  • 25 Desember 2023
    • Untuk menghindari peningkatan latensi saat berkomunikasi melalui TLSv1.3, rilis pemeliharaan ini mencakup patch ke penginstalan JDK 8 untuk memperbaiki bug JDK JDK JDK-8293562.
    • [SPARK-46058] Tambahkan bendera terpisah untuk privateKeyPassword.
    • [SPARK-39440] Tambahkan konfigurasi untuk menonaktifkan garis waktu peristiwa.
    • [SPARK-46132] Mendukung kata sandi untuk kunci JKS untuk RPC SSL.
  • 14 Desember 2023
    • Penambal keamanan sistem operasi.
  • 29 November 2023
    • Memasang paket baru, pyarrow-hotfix untuk memulihkan kerentanan RCE PyArrow.
    • [SPARK-45859] Membuat objek UDF menjadi tangguh ml.functions.
    • [SPARK-45544] Dukungan SSL terintegrasi ke dalam TransportContext.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • Penambal keamanan sistem operasi.
  • 14 November 2023
    • [SPARK-45545]SparkTransportConf mewarisi SSLOptions ketika diciptakan.
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45541] Ditambahkan SSLFactory.
    • [SPARK-42205] Menghapuskan akumulasi pencatatan dalam awal peristiwa Tahap dan Tugas.
    • Penambal keamanan sistem operasi.
  • 24 Oktober 2023
    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • Penambal keamanan sistem operasi.
  • 13 Oktober 2023
    • Penambal keamanan sistem operasi.
  • 10 September 2023
    • Perbaikan lain-lain.
  • 30 Agustus 2023
    • Penambal keamanan sistem operasi.
  • 15 Agustus 2023
    • Penambal keamanan sistem operasi.
  • 23 Juni 2023
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • Penambal keamanan sistem operasi.
  • 15 Juni 2023
    • [SPARK-43098] Perbaiki bug ketepatan pada fungsi COUNT saat subkueri skalar memiliki klausul GROUP BY.
    • [SPARK-43156][SPARK-43098] Perluas pengujian penghitungan bug pada subkueri skalar dengan decorrelateInnerQuery dimatikan.
    • [SPARK-40862] Mendukung subkueri non-agregat dalam RewriteCorrelatedScalarSubquery.
    • Penambal keamanan sistem operasi.
  • 2 Juni 2023
    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Memperbaiki masalah dalam penguraian data JSON yang terselamatkan untuk mencegah UnknownFieldException.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-37520]startswith() Menambahkan fungsi string dan endswith()
    • [SPARK-43413] Memperbaiki keterhubungan null subkueri IN .
    • Penambal keamanan sistem operasi.
  • Mei 17, 2023
    • Penambal keamanan sistem operasi.
  • 25 April 2023
    • Penambal keamanan sistem operasi.
  • 11 April 2023
    • Memperbaiki masalah di mana evolusi skema Auto Loader dapat masuk ke perulangan kegagalan tak terbatas ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42967] Perbaiki SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.
  • 29 Maret 2023
    • Penambal keamanan sistem operasi.
  • 14 Maret 2023
    • [SPARK-42484] Pesan kesalahan yang disempurnakan untuk UnsafeRowUtils.
    • Perbaikan lain-lain.
  • 28 Februari 2023
    • Pengguna sekarang dapat membaca dan menulis tabel Delta tertentu yang memerlukan Pembaca versi 3 dan Writer versi 7, menggunakan Databricks Runtime 9.1 LTS atau yang lebih baru. Agar berhasil, fitur tabel yang tercantum dalam protokol tabel harus didukung oleh versi Databricks Runtime saat ini.
    • Penambal keamanan sistem operasi.
  • 16 Februari 2023
    • Penambal keamanan sistem operasi.
  • 31 Januari 2023
    • Jenis tabel JDBC sekarang adalah EKSTERNAL secara default.
  • 18 Januari 2023
    • Penambal keamanan sistem operasi.
  • 29 November 2022
    • Memperbaiki masalah penguraian JSON di Auto Loader ketika semua kolom dibiarkan sebagai string (cloudFiles.inferColumnTypes tidak diatur atau diatur ke false) dan JSON berisi objek berlapis.
    • Penambal keamanan sistem operasi.
  • 15 November 2022
    • Meningkatkan teks umum Apache ke 1.10.0.
    • Penambal keamanan sistem operasi.
    • Perbaikan lain-lain.
  • 1 November 2022
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Mengubah umpan data dinonaktifkan pada tabel tersebut, data di kolom tersebut akan salah diisi dengan nilai NULL saat menjalankan MERGE.
    • Memperbaiki masalah Auto Loader di mana file dapat diduplikasi dalam batch mikro yang sama saat allowOverwrites diaktifkan
    • [SPARK-40596] Lengkapi ExecutorDecommission dengan pesan dalam ExecutorDecommissionInfo
    • Penambal keamanan sistem operasi.
  • 18 Oktober 2022
    • Penambal keamanan sistem operasi.
  • 5 Oktober 2022
    • Perbaikan lain-lain.
    • Penambal keamanan sistem operasi.
  • 22 September 2022
    • Pengguna dapat mengatur spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") untuk mengaktifkan kembali daftar bawaan untuk Auto Loader di ADLS. Daftar bawaan sebelumnya dinonaktifkan karena masalah performa, namun hal ini dapat menyebabkan peningkatan biaya penyimpanan bagi pelanggan.
    • [SPARK-40315] Tambahkan hashCode() untuk Literal dari ArrayBasedMapData
    • [SPARK-40089] Memperbaiki pengurutan untuk beberapa jenis Desimal
    • [SPARK-39887] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
  • 6 September 2022
    • [SPARK-40235] Gunakan kunci yang dapat diinterupsi alih-alih disinkronkan di Executor.updateDependencies()
    • [SPARK-35542] Perbaikan: Bucketizer dibuat untuk beberapa kolom dengan parameter splitsArray, inputCols, dan outputCols tidak dapat dimuat setelah disimpan.
    • [SPARK-40079] Tambahkan validasi Imputer inputCols untuk kasus input kosong
  • 24 Agustus 2022
    • [SPARK-39666] Gunakan UnsafeProjection.create untuk menghormati spark.sql.codegen.factoryMode di ExpressionEncoder
    • [SPARK-39962] Terapkan proyeksi saat atribut grup kosong
    • Penambal keamanan sistem operasi.
  • 9 Agustus 2022
    • Penambal keamanan sistem operasi.
  • 27 Juli 2022
    • Buat agar hasil operasi PENGGABUNGAN Delta konsisten saat sumbernya bersifat non-deterministik.
    • [SPARK-39689] Dukungan untuk 2 karakter lineSep di sumber data CSV
    • [SPARK-39575] Ditambahkan ByteBuffer#rewind setelah ByteBuffer#get di AvroDeserializer.
    • [SPARK-37392] Memperbaiki kesalahan performa untuk pengoptimal katalis.
    • Penambal keamanan sistem operasi.
  • 13 Juli 2022
    • [SPARK-39419]ArraySort melempar pengecualian ketika komparator mengembalikan null.
    • Mematikan penggunaan API cloud bawaan Auto Loader untuk daftar direktori di Azure.
    • Penambal keamanan sistem operasi.
  • 5 Juli 2022
    • Penambal keamanan sistem operasi.
    • Perbaikan lain-lain.
  • 15 Juni 2022
    • [SPARK-39283] Perbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter.SpillableIterator.
  • 2 Juni 2022
    • [SPARK-34554] Terapkan copy() metode di ColumnarMap.
    • Penambal keamanan sistem operasi.
  • Mei 18, 2022
    • Memperbaiki potensi kebocoran memori bawaan di Auto Loader.
    • Tingkatkan versi AWS SDK dari 1.11.655 ke 1.11.678.
    • [SPARK-38918] pemangkasan kolom berlapis harus memfilter atribut yang bukan milik relasi saat ini
    • [SPARK-39084] Perbaiki df.rdd.isEmpty() dengan menggunakan TaskContext untuk menghentikan iterator pada penyelesaian tugas
    • Penambal keamanan sistem operasi.
  • 19 April 2022
    • Penambal keamanan sistem operasi.
    • Perbaikan lain-lain.
  • 6 April 2022
    • [SPARK-38631] Menggunakan implementasi berbasis Java untuk un-tarring di Utils.unpack.
    • Penambal keamanan sistem operasi.
  • 22 Maret 2022
    • Mengubah direktori kerja notebook saat ini pada kluster Konkurensi Tinggi dengan kontrol akses tabel atau passthrough kredensial yang diaktifkan ke direktori beranda pengguna. Sebelumnya, direktori aktif adalah /databricks/driver.
    • [SPARK-38437] Serialisasi yang longgar tanggal waktu dari sumber data
    • [SPARK-38180] Memungkinkan ekspresi up-cast yang aman dalam predikat kesetaraan yang berkorelasi
    • [SPARK-38155] Melarang agregat unik dalam subkueri lateral dengan predikat yang tidak didukung
    • [SPARK-27442] Menghapus bidang pemeriksaan saat membaca atau menulis data dalam parquet.
  • 14 Maret 2022
    • [SPARK-38236] Jalur file Absolut yang ditentukan dalam tabel buat/ubah diperlakukan sebagai relatif
    • [SPARK-34069] Menginterupsi alur tugas jika properti lokal SPARK_JOB_INTERRUPT_ON_CANCEL diatur ke true.
  • 23 Februari 2022
    • [SPARK-37859] tabel SQL yang dibuat dengan JDBC dengan Spark 3.1 tidak dapat dibaca dengan Spark 3.2.
  • 8 Februari 2022
    • [SPARK-27442] Menghapus bidang pemeriksaan saat membaca atau menulis data dalam parquet.
    • Penambal keamanan sistem operasi.
  • 1 Februari 2022
    • Penambal keamanan sistem operasi.
  • 26 Januari 2022
    • Memperbaiki masalah saat transaksi bersamaan pada tabel Delta dapat dilakukan dalam urutan yang tidak dapat diserialisasikan dalam kondisi langka tertentu.
    • Memperbaiki masalah di mana perintah OPTIMIZE dapat gagal ketika dialek ANSI SQL diaktifkan.
  • 19 Januari 2022
    • Perbaikan kecil dan peningkatan keamanan.
    • Penambal keamanan sistem operasi.
  • 4 November 2021
    • Memperbaiki masalah yang dapat menyebabkan aliran streaming terstruktur gagal dengan ArrayIndexOutOfBoundsException.
    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: No FileSystem for scheme atau yang dapat menyebabkan modifikasi sparkContext.hadoopConfiguration tidak berlaku dalam kueri.
    • Konektor Apache Spark untuk Delta Sharing ditingkatkan menjadi 0.2.0.
  • 20 Oktober 2021
    • Konektor BigQuery yang ditingkatkan dari 0.18.1 ke 0.22.2. Ini menambahkan dukungan untuk tipe BigNumeric.
  • Terakhir diperbarui pada