Bagikan melalui

Pembaruan pemeliharaan untuk Databricks Runtime (diarsipkan)

  • Artikel

Halaman yang diarsipkan ini mencantumkan pembaruan pemeliharaan yang dikeluarkan untuk rilis Runtime Databricks yang tidak lagi didukung. Untuk menambahkan pembaruan pemeliharaan ke kluster yang sedang ada, Anda harus menghidupkan ulang kluster.

Untuk bermigrasi ke versi Runtime Databricks yang didukung, lihat panduan migrasi Databricks Runtime.

Penting

Dokumentasi ini telah dihentikan dan mungkin tidak diperbarui. Produk, layanan, atau teknologi yang disebutkan dalam konten ini tidak lagi didukung. Lihat Versi dan kompatibilitas catatan rilis Databricks Runtime.

Catatan

Artikel ini berisi referensi mengenai istilah daftar yang diperbolehkan, istilah yang tidak lagi digunakan oleh Azure Databricks. Ketika istilah ini dihapus dari perangkat lunak, kami akan menghapusnya dari artikel ini.

Rilis Runtime Databricks

Pembaruan pemeliharaan berdasarkan rilis:

Untuk pembaruan pemeliharaan pada versi Runtime Databricks yang didukung, lihat Pembaruan pemeliharaan Runtime Databricks.

Databricks Runtime 14.0

Lihat Databricks Runtime 14.0 (tidak didukung).

  • 8 Februari 2024
    • [SPARK-46396] Inferensi tanda waktu tidak boleh melemparkan pengecualian.
    • [SPARK-46794] Hapus subkueri dari batasan LogicalRDD.
    • [SPARK-45182] Abaikan penyelesaian tugas dari tahap lama setelah mencoba kembali tahap induk yang tidak ditentukan seperti yang ditentukan oleh checksum.
    • [SPARK-46933] Tambahkan metrik waktu eksekusi kueri ke konektor yang menggunakan JDBCRDD.
    • [SPARK-45957] Hindari menghasilkan rencana eksekusi untuk perintah yang tidak dapat dieksekusi.
    • [SPARK-46861] Hindari Kebuntuan di DAGScheduler.
    • [SPARK-46930] Tambahkan dukungan untuk awalan kustom untuk bidang jenis Union di Avro.
    • [SPARK-46941] Tidak dapat menyisipkan simpul batas grup jendela untuk komputasi k atas jika berisi SizeBasedWindowFunction.
    • [SPARK-45582] Pastikan instans penyimpanan tidak digunakan setelah memanggil penerapan dalam agregasi streaming mode output.
    • Penambal keamanan sistem operasi.
  • 31 Januari 2024
    • [SPARK-46541] Perbaiki referensi kolom ambigu dalam gabungan mandiri.
    • [SPARK-46676] dropDuplicatesWithinWatermark tidak boleh gagal pada kanonisisasi rencana.
    • [SPARK-46769] Pertajam inferensi skema terkait tanda waktu.
    • [SPARK-45498] Tindak lanjut: Abaikan penyelesaian tugas dari upaya tahap lama.
    • Kembalikan [SPARK-46769] Pertajam inferensi skema terkait tanda waktu.
    • [SPARK-46383] Kurangi Penggunaan Timbunan Driver dengan Mengurangi Masa Pakai TaskInfo.accumulables().
    • [SPARK-46633] Perbaiki pembaca Avro untuk menangani blok panjang nol.
    • [SPARK-46677] Perbaiki dataframe["*"] resolusi.
    • [SPARK-46684] Perbaiki CoGroup.applyInPandas/Arrow untuk meneruskan argumen dengan benar.
    • [SPARK-46763] Memperbaiki kegagalan pernyataan di ReplaceDeduplicateWithAggregate untuk atribut duplikat.
    • [SPARK-46610] Buat tabel harus melemparkan pengecualian ketika tidak ada nilai untuk kunci dalam opsi.
    • Penambal keamanan sistem operasi.
  • 17 Januari 2024
    • Simpul shuffle rencana penjelasan yang dikembalikan oleh kueri Photon diperbarui untuk menambahkan causedBroadcastJoinBuildOOM=true bendera saat kesalahan di luar memori terjadi selama pengacakan yang merupakan bagian dari gabungan siaran.
    • Untuk menghindari peningkatan latensi saat berkomunikasi melalui TLSv1.3, rilis pemeliharaan ini mencakup patch ke penginstalan JDK 8 untuk memperbaiki bug JDK JDK JDK-8293562.
    • [SPARK-46394] Perbaiki masalah spark.catalog.listDatabases() pada skema dengan karakter khusus saat spark.sql.legacy.keepCommandOutputSchema diatur ke true.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-45814] Buat ArrowConverters.createEmptyArrowBatch call close() untuk menghindari kebocoran memori.
    • [SPARK-46173] Melompati pemangkasanSemua panggilan selama penguraian tanggal.
    • [SPARK-46484] Buat resolveOperators fungsi pembantu menyimpan id paket.
    • [SPARK-46466] Pembaca parket vektorisasi tidak boleh melakukan rebase untuk tanda waktu ntz.
    • [SPARK-46056] Perbaiki NPE baca vektor Parquet dengan nilai default byteArrayDecimalType.
    • [SPARK-46058] Tambahkan bendera terpisah untuk privateKeyPassword.
    • [SPARK-46478] Kembalikan SPARK-43049 untuk menggunakan oracle varchar(255) untuk string.
    • [SPARK-46132] Mendukung kata sandi kunci untuk kunci JKS untuk RPC SSL.
    • [SPARK-46417] Jangan gagal saat memanggil hive.getTable dan throwException salah.
    • [SPARK-46261]DataFrame.withColumnsRenamed harus menjaga urutan dict/map.
    • [SPARK-46370] Perbaiki bug saat mengkueri dari tabel setelah mengubah default kolom.
    • [SPARK-46609] Hindari ledakan eksponensial di PartitioningPreservingUnaryExecNode.
    • [SPARK-46600] Pindahkan kode bersama antara SqlConf dan SqlApiConf ke SqlApiConfHelper.
    • [SPARK-46538] Perbaiki masalah referensi kolom ambigu di ALSModel.transform.
    • [SPARK-46337] Pertahankan CTESubstitutionPLAN_ID_TAG.
    • [SPARK-46602] Menyebarkan allowExisting dalam pembuatan tampilan saat tampilan/tabel tidak ada.
    • [SPARK-46260]DataFrame.withColumnsRenamed harus menghormati urutan dict.
    • [SPARK-46145] spark.catalog.listTables tidak memberikan pengecualian saat tabel atau tampilan tidak ditemukan.
  • 14 Desember 2023
    • Memperbaiki masalah di mana garis bawah yang lolos dalam operasi getColumns yang berasal dari klien JDBC atau ODBC ditangani dengan salah dan ditafsirkan sebagai wildcard.
    • [SPARK-46255] Mendukung jenis kompleks -> konversi string.
    • [SPARK-46028] Buat Column.__getitem__ kolom input terima.
    • [SPARK-45920] kelompok menurut ordinal harus idempotensi.
    • [SPARK-45433] Perbaiki inferensi skema CSV/JSON saat tanda waktu tidak cocok dengan timestampFormat yang ditentukan.
    • [SPARK-45509] Perbaiki perilaku referensi kolom df untuk Spark Koneksi.
    • Penambal keamanan sistem operasi.
  • 29 November 2023
    • Memasang paket baru, pyarrow-hotfix untuk memulihkan kerentanan RCE PyArrow.
    • Memperbaiki masalah di mana garis bawah yang lolos dalam getColumns operasi yang berasal dari klien JDBC atau ODBC salah ditafsirkan sebagai wildcard.
    • Saat menyerap data CSV menggunakan Auto Loader atau Tabel Streaming, file CSV besar sekarang dapat dibagi dan dapat diproses secara paralel selama inferensi skema dan pemrosesan data.
    • Konektor Spark-snowflake ditingkatkan ke 2.12.0.
    • [SPARK-45859] Membuat objek UDF malas ml.functions .
    • Kembalikan [SPARK-45592].
    • [SPARK-45892] Validasi rencana pengoptimal refaktor untuk memisahkan validateSchemaOutput dan validateExprIdUniqueness.
    • [SPARK-45592] Memperbaiki masalah kebenaran di AQE dengan InMemoryTableScanExec.
    • [SPARK-45620] API yang terkait dengan Python UDF sekarang menggunakan camelCase.
    • [SPARK-44784] Membuat pengujian SBT hermetic.
    • [SPARK-45770] Memperbaiki resolusi kolom dengan DataFrameDropColumns untuk Dataframe.drop.
    • [SPARK-45544] Dukungan SSL terintegrasi ke dalam TransportContext.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • Penambal keamanan sistem operasi.
  • 10 November 2023
    • Kueri umpan data yang diubah pada Tabel Streaming Katalog Unity dan Tampilan Terwujud untuk menampilkan pesan kesalahan.
    • [SPARK-45545]SparkTransportConf mewarisi saat penciptaan SSLOptions .
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • [SPARK-45541] Ditambahkan SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction tidak lagi gagal ketika IGNORE NULLS dan offset > rowCount.
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • [SPARK-44219] Menambahkan validasi per aturan tambahan untuk penulisan ulang pengoptimalan.
    • [SPARK-45543] Memperbaiki masalah saat InferWindowGroupLimit menghasilkan kesalahan jika fungsi jendela lain tidak memiliki bingkai jendela yang sama dengan fungsi seperti peringkat.
    • Penambal keamanan sistem operasi.
  • 23 Oktober 2023
    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • [SPARK-45396] Menambahkan entri dokumen untuk PySpark.ml.connect modul, dan ditambahkan Evaluator ke __all__ di ml.connect.
    • [SPARK-45256] Memperbaiki masalah saat DurationWriter gagal saat menulis lebih banyak nilai daripada kapasitas awal.
    • [SPARK-45279] Dilampirkan plan_id ke semua rencana logis.
    • [SPARK-45250] Menambahkan dukungan untuk profil sumber daya tugas tingkat tahap untuk kluster yarn saat alokasi dinamis dinonaktifkan.
    • [SPARK-45182] Menambahkan dukungan untuk menggulung balik tahap peta acak sehingga semua tugas tahap dapat dicoba kembali ketika output tahap tidak ditentukan.
    • [SPARK-45419] Hindari menggunakan rocksdb sst kembali file dalam instans yang berbeda rocksdb dengan menghapus entri peta versi file dari versi yang lebih besar.
    • [SPARK-45386] Memperbaiki masalah di mana StorageLevel.NONE salah mengembalikan 0.
    • Penambal keamanan sistem operasi.
  • 13 Oktober 2023
    • Dependensi Snowflake-jdbc ditingkatkan dari 3.13.29 menjadi 3.13.33.
    • Fungsi array_insert ini berbasis 1 untuk indeks positif dan negatif, sementara sebelumnya, itu berbasis 0 untuk indeks negatif. Sekarang menyisipkan elemen baru di akhir array input untuk indeks -1. Untuk mengembalikan perilaku sebelumnya, atur spark.sql.legacy.negativeIndexInArrayInsert ke true.
    • Azure Databricks tidak lagi mengabaikan file yang rusak ketika inferensi skema CSV dengan Auto Loader telah diaktifkan ignoreCorruptFiles.
    • [SPARK-45227] Memperbaiki masalah keamanan utas halus dengan CoarseGrainedExecutorBackend.
    • [SPARK-44658]ShuffleStatus.getMapStatus harus kembali None alih-alih Some(null).
    • [SPARK-44910]Encoders.bean tidak mendukung superclasses dengan argumen jenis generik.
    • [SPARK-45346] Inferensi skema parquet menghormati bendera peka huruf besar/kecil saat menggabungkan skema.
    • Kembalikan [SPARK-42946].
    • [SPARK-42205] Memperbarui protokol JSON untuk menghapus pengelogan Akumulasi dalam peristiwa tugas atau tahap mulai.
    • [SPARK-45360] Penyusun sesi Spark mendukung inisialisasi dari SPARK_REMOTE.
    • [SPARK-45316] Tambahkan parameter ignoreCorruptFiles/ignoreMissingFiles baru ke HadoopRDD dan .NewHadoopRDD
    • [SPARK-44909] Lewati menjalankan server streaming log distributor obor saat tidak tersedia.
    • [SPARK-45084]StateOperatorProgress sekarang menggunakan nomor partisi acak yang akurat.
    • [SPARK-45371] Memperbaiki masalah bayangan di Klien Spark Koneksi Scala.
    • [SPARK-45178] Fallback untuk menjalankan satu batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan pembungkus.
    • [SPARK-44840] Buat array_insert() berbasis 1 untuk indeks negatif.
    • [SPARK-44551] Komentar yang diedit untuk disinkronkan dengan OSS.
    • [SPARK-45078] Fungsi ArrayInsert ini sekarang membuat transmisi eksplisit ketika jenis elemen tidak sama dengan jenis komponen turunan.
    • [SPARK-45339] PySpark sekarang mencatat kesalahan coba lagi.
    • [SPARK-45057] Hindari memperoleh kunci baca saat keepReadLock salah.
    • [SPARK-44908] Memperbaiki fungsionalitas param validator foldCol silang.
    • Penambal keamanan sistem operasi.

Databricks Runtime 13.1

Lihat Databricks Runtime 13.1 (tidak didukung).

  • 29 November 2023
    • Memperbaiki masalah di mana garis bawah yang lolos dalam getColumns operasi yang berasal dari klien JDBC atau ODBC salah ditafsirkan sebagai wildcard.
    • [SPARK-44846] Menghapus ekspresi pengelompokan kompleks setelah RemoveRedundantAggregates.
    • [SPARK-43802] Memperbaiki masalah di mana codegen untuk ekspresi unhex dan unbase64 akan gagal.
    • [SPARK-43718] Memperbaiki nullability untuk kunci dalam USING gabungan.
    • Penambal keamanan sistem operasi.
  • 14 November 2023
    • Filter partisi pada kueri streaming Delta Lake didorong ke bawah sebelum pembatasan laju untuk mencapai pemanfaatan yang lebih baik.
    • Kueri umpan data yang diubah pada Tabel Streaming Katalog Unity dan Tampilan Terwujud untuk menampilkan pesan kesalahan.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction tidak lagi gagal ketika IGNORE NULLS dan offset > rowCount.
    • [SPARK-45543] Memperbaiki masalah di mana InferWindowGroupLimit menyebabkan masalah jika fungsi jendela lain tidak memiliki bingkai jendela yang sama dengan fungsi seperti peringkat.
    • Penambal keamanan sistem operasi.
  • 24 Oktober 2023
    • [SPARK-43799] Menambahkan opsi biner deskriptor ke PySpark Protobuf API.
    • Kembalikan [SPARK-42946].
    • [SPARK-45346] Inferensi skema parquet sekarang menghormati bendera peka huruf besar/kecil saat menggabungkan skema.
    • Penambal keamanan sistem operasi.
  • 13 Oktober 2023
    • Dependensi Snowflake-jdbc ditingkatkan dari 3.13.29 menjadi 3.13.33.
    • Tidak lagi mengabaikan file yang rusak ketika ignoreCorruptFiles diaktifkan selama inferensi skema CSV dengan Auto Loader.
    • [SPARK-44658]ShuffleStatus.getMapStatus mengembalikan alih-alih NoneSome(null).
    • [SPARK-45178] Fallback untuk menjalankan satu batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan pembungkus.
    • [SPARK-42205] Memperbarui protokol JSON untuk menghapus pengelogan Akumulasi dalam peristiwa tugas atau tahap mulai.
    • Penambal keamanan sistem operasi.
  • 12 September 2023
    • [SPARK-44718] Cocokkan ColumnVector konfigurasi mode memori secara default dengan OffHeapMemoryMode nilai konfigurasi.
    • SPARK-44878 Menonaktifkan batas ketat bagi RocksDB manajer tulis untuk menghindari pengecualian penyisipan pada cache selesai.
    • Perbaikan lain-lain.
  • 30 Agustus 2023
    • [SPARK-44871] Memperbaiki perilaku 'percentile_disc.
    • [SPARK-44714] Kemudahan pembatasan resolusi LCA mengenai kueri.
    • [SPARK-44245]PySpark.sql.dataframe sample() tes dokumen sekarang hanya ilustrasi.
    • [SPARK-44818] Memperbaiki perlombaan untuk tugas tertunda yang dikeluarkan sebelum taskThread diinisialisasi.
    • Penambal keamanan sistem operasi.
  • 15 Agustus 2023
    • [SPARK-44485] Dioptimalkan TreeNode.generateTreeString.
    • [SPARK-44643] Diperbaiki Row.__repr__ saat baris kosong.
    • [SPARK-44504] Tugas pemeliharaan sekarang membersihkan penyedia yang dimuat saat kesalahan berhenti.
    • [SPARK-44479]protobuf Memperbaiki konversi dari jenis struct kosong.
    • [SPARK-44464] Diperbaiki applyInPandasWithStatePythonRunner untuk baris output yang memiliki Null sebagai nilai kolom pertama.
    • Perbaikan lain-lain.
  • 27 Juli 2023
    • Memperbaiki masalah saat dbutils.fs.ls() dikembalikan saat dipanggil INVALID_PARAMETER_VALUE.LOCATION_OVERLAP untuk jalur lokasi penyimpanan yang berbenturan dengan lokasi penyimpanan eksternal atau terkelola lainnya.
    • [SPARK-44199]CacheManager tidak lagi me-refresh yang fileIndex tidak perlu.
    • [SPARK-44448] Memperbaiki bug hasil yang salah dari DenseRankLimitIterator dan InferWindowGroupLimit.
    • Penambal keamanan sistem operasi.
  • 24 Juli 2023
    • Kembalikan [SPARK-42323].
    • [SPARK-41848] Memperbaiki masalah jadwal berlebih tugas dengan TaskResourceProfile.
    • [SPARK-44136] Memperbaiki masalah di mana StateManager akan terwujud dalam pelaksana alih-alih driver di FlatMapGroupsWithStateExec.
    • [SPARK-44337] Memperbaiki masalah di mana bidang apa pun diatur untuk Any.getDefaultInstance menyebabkan kesalahan penguraian.
    • Penambal keamanan sistem operasi.
  • 27 Juni 2023
    • Penambal keamanan sistem operasi.
  • 15 Juni 2023
    • Difoto approx_count_distinct.
    • Pengurai JSON dalam failOnUnknownFields mode sekarang menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • Bidang PubSubRecord atribut disimpan sebagai JSON alih-alih string dari peta Scala untuk serialisasi dan deserialisasi yang lebih mudah.
    • Perintah EXPLAIN EXTENDED sekarang mengembalikan kelayakan cache hasil kueri.
    • Meningkatkan performa pembaruan bertahap dengan SHALLOW CLONE Iceberg dan Parquet.
    • [SPARK-43032] Perbaikan bug Python SQM.
    • [SPARK-43404]Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan ID.
    • [SPARK-43340] Menangani bidang stack-trace yang hilang di eventlogs.
    • [SPARK-43527] Diperbaiki catalog.listCatalogs di PySpark.
    • [SPARK-43541] Sebarkan semua Project tag dalam menyelesaikan ekspresi dan kolom yang hilang.
    • [SPARK-43300]NonFateSharingCache pembungkus untuk Guava Cache.
    • [SPARK-43378] Tutup objek aliran dengan benar di deserializeFromChunkedBuffer.
    • [SPARK-42852] Kembalikan NamedLambdaVariable perubahan terkait dari EquivalentExpressions.
    • [SPARK-43779]ParseToDate sekarang dimuat di utas EvalMode utama.
    • [SPARK-43413] Perbaiki IN nullability subkueri ListQuery .
    • [SPARK-43889] Tambahkan periksa nama kolom untuk __dir__() memfilter nama kolom yang rawan kesalahan.
    • [SPARK-43043] Meningkatkan performa MapOutputTracker.updateMapOutput
    • [SPARK-43522] Memperbaiki pembuatan nama kolom struct dengan indeks array.
    • [SPARK-43457] Agen pengguna augument dengan versi OS, Python, dan Spark.
    • [SPARK-43286] Mode CBC yang diperbarui aes_encrypt untuk menghasilkan IV acak.
    • [SPARK-42851] Jaga EquivalentExpressions.addExpr() dengan supportedExpression().
    • Kembalikan [SPARK-43183].
    • Penambal keamanan sistem operasi.

Databricks Runtime 12.2 LTS

Lihat Databricks Runtime 12.2 LTS.

  • 29 November 2023
    • Memperbaiki masalah di mana garis bawah yang lolos dalam getColumns operasi yang berasal dari klien JDBC atau ODBC salah ditafsirkan sebagai wildcard.
    • [SPARK-42205] Menghapus akumulasi pengelogan dalam Stage dan Task memulai peristiwa.
    • [SPARK-44846] Menghapus ekspresi pengelompokan kompleks setelah RemoveRedundantAggregates.
    • [SPARK-43718] Memperbaiki nullability untuk kunci dalam USING gabungan.
    • [SPARK-45544] Dukungan SSL terintegrasi ke dalam TransportContext.
    • [SPARK-43973] Antarmuka pengguna Streaming Terstruktur sekarang menampilkan kueri yang gagal dengan benar.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Membuat objek UDF malas ml.functions .
    • Penambal keamanan sistem operasi.
  • 14 November 2023
    • Filter partisi pada kueri streaming Delta Lake didorong ke bawah sebelum pembatasan laju untuk mencapai pemanfaatan yang lebih baik.
    • [SPARK-45545]SparkTransportConf mewarisi saat penciptaan SSLOptions .
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45541] Ditambahkan SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction tidak lagi gagal ketika IGNORE NULLS dan offset > rowCount.
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • Penambal keamanan sistem operasi.
  • 24 Oktober 2023
    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • Perbaikan lain-lain.
  • 13 Oktober 2023
    • Dependensi Snowflake-jdbc ditingkatkan dari 3.13.29 menjadi 3.13.33.
    • [SPARK-42553] Pastikan setidaknya satu unit waktu setelah interval.
    • [SPARK-45346] Inferensi skema parquet menghormati bendera sensitif huruf besar/kecil saat menggabungkan skema.
    • [SPARK-45178] Fallback untuk menjalankan satu batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan pembungkus.
    • [SPARK-45084]StateOperatorProgress untuk menggunakan nomor partisi acak yang akurat dan memadai.
  • 12 September 2023
    • [SPARK-44873] Menambahkan dukungan untuk alter view dengan kolom berlapis di klien Apache Hive.
    • [SPARK-44718] Cocokkan ColumnVector konfigurasi mode memori secara default dengan OffHeapMemoryMode nilai konfigurasi.
    • [SPARK-43799] Menambahkan opsi biner deskriptor ke PySpark Protobuf API.
    • Perbaikan lain-lain.
  • 30 Agustus 2023
  • 15 Agustus 2023
    • [SPARK-44504] Tugas pemeliharaan membersihkan penyedia yang dimuat saat kesalahan berhenti.
    • [SPARK-44464] Diperbaiki applyInPandasWithStatePythonRunner untuk baris output yang memiliki Null sebagai nilai kolom pertama.
    • Penambal keamanan sistem operasi.
  • 29 Juli 2023
    • Memperbaiki masalah saat dbutils.fs.ls() dikembalikan saat dipanggil INVALID_PARAMETER_VALUE.LOCATION_OVERLAP untuk jalur lokasi penyimpanan yang berbenturan dengan lokasi penyimpanan eksternal atau terkelola lainnya.
    • [SPARK-44199]CacheManager tidak lagi me-refresh yang fileIndex tidak perlu.
    • Penambal keamanan sistem operasi.
  • 24 Juli 2023
    • [SPARK-44337] Memperbaiki masalah di mana bidang apa pun diatur untuk Any.getDefaultInstance menyebabkan kesalahan penguraian.
    • [SPARK-44136] Memperbaiki masalah di mana StateManager akan terwujud dalam pelaksana alih-alih driver di FlatMapGroupsWithStateExec.
    • Penambal keamanan sistem operasi.
  • 23 Juni 2023
    • Penambal keamanan sistem operasi.
  • 15 Juni 2023
    • Difoto approx_count_distinct.
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • [SPARK-43779]ParseToDate sekarang dimuat di utas EvalMode utama.
    • [SPARK-43156][SPARK-43098] Uji kesalahan jumlah subkueri skalar yang diperluas dengan decorrelateInnerQuery dinonaktifkan.
    • Penambal keamanan sistem operasi.
  • 2 Juni 2023
    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Meningkatkan performa pembaruan bertahap dengan SHALLOW CLONE Iceberg dan Parquet.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-43404] Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan ID.
    • [SPARK-43413][11.3-13.0] Memperbaiki nullability subkueri INListQuery .
    • [SPARK-43522] Memperbaiki pembuatan nama kolom struct dengan indeks array.
    • [SPARK-43541] Sebarkan semua Project tag dalam menyelesaikan ekspresi dan kolom yang hilang.
    • [SPARK-43527] Diperbaiki catalog.listCatalogs di PySpark.
    • [SPARK-43123] Metadata bidang internal tidak lagi bocor ke katalog.
    • [SPARK-43340] Memperbaiki bidang pelacakan tumpukan yang hilang di eventlogs.
    • [SPARK-42444]DataFrame.drop sekarang menangani kolom duplikat dengan benar.
    • [SPARK-42937]PlanSubqueries sekarang diatur InSubqueryExec#shouldBroadcast ke true.
    • [SPARK-43286] Mode CBC yang diperbarui aes_encrypt untuk menghasilkan IV acak.
    • [SPARK-43378] Tutup objek aliran dengan benar di deserializeFromChunkedBuffer.
  • Mei 17, 2023
    • Pemindaian parquet sekarang kuat terhadap OOM saat memindai file yang sangat terstruktur dengan menyesuaikan ukuran batch secara dinamis. Metadata file dianalisis ke ukuran batch yang lebih rendah secara preemptivetively dan diturunkan lagi pada percobaan ulang tugas sebagai jaring pengaman akhir.
    • Jika file Avro dibaca hanya failOnUnknownFields\ dengan opsi atau dengan Auto Loader dalam failOnNewColumns\ mode evolusi skema, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null\ alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi .rescuedDataColumn\
    • Auto Loader sekarang melakukan hal berikut.
      • Membaca dengan benar dan tidak lagi menyelamatkan Integer, , Shortdan Byte jenis jika salah satu jenis data ini disediakan, tetapi file Avro menyarankan salah satu dari dua jenis lainnya.
      • Mencegah membaca jenis interval sebagai jenis stempel tanggal atau waktu untuk menghindari tanggal rusak.
      • Mencegah jenis pembacaan Decimal dengan presisi yang lebih rendah.
    • [SPARK-43172] Mengekspos host dan token dari klien Spark connect.
    • [SPARK-43293]__qualified_access_only diabaikan dalam kolom normal.
    • [SPARK-43098] Memperbaiki bug kebenaran COUNT ketika subkueri skalar dikelompokkan menurut klausul.
    • [SPARK-43085] Dukungan untuk penetapan kolom DEFAULT untuk nama tabel multi-bagian.
    • [SPARK-43190]ListQuery.childOutput sekarang konsisten dengan output sekunder.
    • [SPARK-43192] Menghapus validasi charset agen pengguna.
    • Penambal keamanan sistem operasi.
  • 25 April 2023
    • Jika file Parquet dibaca hanya failOnUnknownFields dengan opsi atau dengan Auto Loader dalam failOnNewColumns mode evolusi skema, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi .rescuedDataColumn
    • Auto Loader sekarang membaca dengan benar dan tidak lagi menyelamatkan Integer, Short, dan Byte jenis jika salah satu jenis data ini disediakan. File Parquet menyarankan salah satu dari dua jenis lainnya. Ketika kolom data yang diselamatkan sebelumnya diaktifkan, ketidakcocokan jenis data akan menyebabkan kolom disimpan meskipun dapat dibaca.
    • [SPARK-43009] Diparameterkan sql() dengan Any konstanta
    • [SPARK-42406] Hentikan bidang rekursif Protobuf dengan menjatuhkan bidang
    • [SPARK-43038] Mendukung mode CBC dengan aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Ubah untuk mencetak workdir jika appDirs null saat pekerja menangani WorkDirCleanup peristiwa
    • [SPARK-43018] Memperbaiki bug untuk perintah INSERT dengan literal tanda waktu
    • Penambal keamanan sistem operasi.
  • 11 April 2023
    • Mendukung format sumber data warisan dalam SYNC perintah.
    • Memperbaiki masalah dalam perilaku %autoreload di buku catatan di luar repositori.
    • Memperbaiki masalah di mana evolusi skema Auto Loader dapat masuk ke perulangan kegagalan tak terbatas ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42928] Membuat resolvePersistentFunction disinkronkan.
    • [SPARK-42936] Memperbaiki masalah LCan ketika klausul dapat diselesaikan langsung oleh agregat turunannya.
    • [SPARK-42967] Perbaikan SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.
    • Penambal keamanan sistem operasi.
  • 29 Maret 2023

    • Databricks SQL sekarang mendukung penentuan nilai default untuk kolom tabel Delta Lake, baik pada waktu pembuatan tabel atau sesudahnya. INSERTPerintah , , UPDATEDELETE, dan MERGE berikutnya dapat merujuk ke nilai default kolom apa pun menggunakan kata kunci eksplisitDEFAULT. Selain itu, jika ada INSERT penetapan yang memiliki daftar eksplisit kolom yang lebih sedikit dari tabel target, nilai default kolom terkait diganti dengan kolom yang tersisa (atau NULL jika tidak ada default yang ditentukan).

      Contohnya:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Auto Loader sekarang memulai setidaknya satu pembersihan log RocksDB sinkron untuk Trigger.AvailableNow aliran untuk memeriksa apakah titik pemeriksaan dapat dibersihkan secara teratur untuk aliran Auto Loader yang berjalan cepat. Ini dapat menyebabkan beberapa aliran memakan waktu lebih lama sebelum dimatikan, tetapi akan menghemat biaya penyimpanan Anda dan meningkatkan pengalaman Auto Loader dalam eksekusi di masa mendatang.

    • Sekarang Anda dapat mengubah tabel Delta untuk menambahkan dukungan ke fitur tabel menggunakan DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Tingkatkan lockAcquireTimeoutMs menjadi 2 menit untuk memperoleh penyimpanan status RocksDB di Streaming Struktur

    • [SPARK-42521] Menambahkan NULL untuk INSERT dengan daftar kolom yang ditentukan pengguna lebih sedikit daripada tabel target

    • [SPARK-42702][SPARK-42623] Mendukung kueri berparameter dalam subkueri dan CTE

    • [SPARK-42668] Menangkap pengecualian saat mencoba menutup aliran terkompresi di penghentian HDFSStateStoreProvider

    • [SPARK-42403] JsonProtocol harus menangani string JSON null

  • 8 Maret 2023
    • Pesan kesalahan "Kegagalan menginisialisasi konfigurasi" telah ditingkatkan untuk memberikan lebih banyak konteks bagi pelanggan.
    • Ada perubahan terminologi untuk menambahkan fitur ke tabel Delta menggunakan properti tabel. Sintaks yang disukai sekarang 'delta.feature.featureName'='supported' bukan 'delta.feature.featureName'='enabled'. Untuk kompatibilitas mundur, menggunakan 'delta.feature.featureName'='enabled' masih berfungsi dan akan terus berfungsi.
    • Mulai dari rilis ini, dimungkinkan untuk membuat/mengganti tabel dengan properti delta.ignoreProtocolDefaults tabel tambahan untuk mengabaikan konfigurasi Spark terkait protokol, yang mencakup versi pembaca dan penulis default dan fitur tabel yang didukung secara default.
    • [SPARK-42070] Ubah nilai default argumen fungsi Mask dari -1 ke NULL
    • [SPARK-41793] Hasil yang salah untuk bingkai jendela yang ditentukan oleh klausul rentang pada desimal yang signifikan
    • [SPARK-42484] Pesan kesalahan UnsafeRowUtils lebih baik
    • [SPARK-42516] Selalu ambil konfigurasi zona waktu sesi saat membuat tampilan
    • [SPARK-42635] Perbaiki ekspresi TimestampAdd.
    • [SPARK-42622] Menonaktifkan substitusi dalam nilai
    • [SPARK-42534] Memperbaiki klausa Batas DB2Dialect
    • [SPARK-42121] Menambahkan fungsi bernilai tabel bawaan posexplode, posexplode_outer, json_tuple, dan tumpukan
    • [SPARK-42045] Mode ANSI SQL: Round/Bround harus mengembalikan kesalahan pada luapan bilangan bulat kecil/kecil/signifikan
    • Penambal keamanan sistem operasi.

Databricks Runtime 11.3 LTS

Lihat Databricks Runtime 11.3 LTS.

  • 29 November 2023
    • Memperbaiki masalah di mana garis bawah yang lolos dalam getColumns operasi yang berasal dari klien JDBC atau ODBC salah ditafsirkan sebagai wildcard.
    • [SPARK-43973] Antarmuka pengguna Streaming Terstruktur sekarang menampilkan kueri yang gagal dengan benar.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Dukungan SSL terintegrasi ke dalam TransportContext.
    • [SPARK-45859] Membuat objek UDF malas ml.functions .
    • [SPARK-43718] Memperbaiki nullability untuk kunci dalam USING gabungan.
    • [SPARK-44846] Menghapus ekspresi pengelompokan kompleks setelah RemoveRedundantAggregates.
    • Penambal keamanan sistem operasi.
  • 14 November 2023
    • Filter partisi pada kueri streaming Delta Lake didorong ke bawah sebelum pembatasan laju untuk mencapai pemanfaatan yang lebih baik.
    • [SPARK-42205] Menghapus akumulasi pengelogan dalam peristiwa Tahap dan Tugas mulai.
    • [SPARK-45545]SparkTransportConf mewarisi saat penciptaan SSLOptions .
    • Kembalikan [SPARK-33861].
    • [SPARK-45541] Ditambahkan SSLFactory.
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction tidak lagi gagal ketika IGNORE NULLS dan offset > rowCount.
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • Penambal keamanan sistem operasi.
  • 24 Oktober 2023
    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • Perbaikan lain-lain.
  • 13 Oktober 2023
    • Dependensi Snowflake-jdbc ditingkatkan dari 3.13.29 menjadi 3.13.33.
    • [SPARK-45178] Fallback untuk menjalankan satu batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan pembungkus.
    • [SPARK-45084]StateOperatorProgress untuk menggunakan nomor partisi acak yang akurat dan memadai.
    • [SPARK-45346] Inferensi skema parquet sekarang menghormati bendera peka huruf besar/kecil saat menggabungkan skema.
    • Penambal keamanan sistem operasi.
  • 10 September 2023
    • Perbaikan lain-lain.
  • 30 Agustus 2023
    • [SPARK-44818] Memperbaiki perlombaan untuk tugas tertunda yang dikeluarkan sebelum taskThread diinisialisasi.
    • [SPARK-44871][11.3-13.0] Perilaku tetap percentile_disc .
    • Penambal keamanan sistem operasi.
  • 15 Agustus 2023
    • [SPARK-44485] Dioptimalkan TreeNode.generateTreeString.
    • [SPARK-44504] Tugas pemeliharaan membersihkan penyedia yang dimuat saat kesalahan berhenti.
    • [SPARK-44464] Diperbaiki applyInPandasWithStatePythonRunner untuk baris output yang memiliki Null sebagai nilai kolom pertama.
    • Penambal keamanan sistem operasi.
  • 27 Juli 2023
    • Memperbaiki masalah saat dbutils.fs.ls() dikembalikan saat dipanggil INVALID_PARAMETER_VALUE.LOCATION_OVERLAP untuk jalur lokasi penyimpanan yang berbenturan dengan lokasi penyimpanan eksternal atau terkelola lainnya.
    • [SPARK-44199]CacheManager tidak lagi me-refresh yang fileIndex tidak perlu.
    • Penambal keamanan sistem operasi.
  • 24 Juli 2023
    • [SPARK-44136] Memperbaiki masalah yang dapat diwujudkan oleh StateManager dalam eksekutor alih-alih driver di FlatMapGroupsWithStateExec.
    • Penambal keamanan sistem operasi.
  • 23 Juni 2023
    • Penambal keamanan sistem operasi.
  • 15 Juni 2023
    • Difoto approx_count_distinct.
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • [SPARK-43779]ParseToDate sekarang dimuat di utas EvalMode utama.
    • [SPARK-40862] Mendukung subkueri non-agregat di RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Uji bug jumlah subkueri skalar yang diperluas dengan decorrelateInnerQuery dinonaktifkan.
    • [SPARK-43098] Memperbaiki bug correctness COUNT saat subkueri skalar memiliki klausul grup menurut
    • Penambal keamanan sistem operasi.
  • 2 Juni 2023
    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Meningkatkan performa pembaruan bertahap dengan SHALLOW CLONE Iceberg dan Parquet.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-43404]Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan ID.
    • [SPARK-43527] Diperbaiki catalog.listCatalogs di PySpark.
    • [SPARK-43413][11.3-13.0] Memperbaiki nullability subkueri INListQuery .
    • [SPARK-43340] Memperbaiki bidang pelacakan tumpukan yang hilang di eventlogs.

Databricks Runtime 10.4 LTS

Lihat Runtime Databricks 10.4 LTS.

  • 29 November 2023
    • [SPARK-45544] Dukungan SSL terintegrasi ke dalam TransportContext.
    • [SPARK-45859] Membuat objek UDF malas ml.functions .
    • [SPARK-43718] Memperbaiki nullability untuk kunci dalam USING gabungan.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Menghapus akumulasi pengelogan dalam peristiwa Tahap dan Tugas mulai.
    • [SPARK-44846] Menghapus ekspresi pengelompokan kompleks setelah RemoveRedundantAggregates.
    • Penambal keamanan sistem operasi.
  • 14 November 2023
    • [SPARK-45541] Ditambahkan SSLFactory.
    • [SPARK-45545]SparkTransportConf mewarisi saat penciptaan SSLOptions .
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • Kembalikan [SPARK-33861].
    • Penambal keamanan sistem operasi.
  • 24 Oktober 2023
    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • Penambal keamanan sistem operasi.
  • 13 Oktober 2023
    • [SPARK-45084]StateOperatorProgress untuk menggunakan nomor partisi acak yang akurat dan memadai.
    • [SPARK-45178] Fallback untuk menjalankan satu batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan pembungkus.
    • Penambal keamanan sistem operasi.
  • 10 September 2023
    • Perbaikan lain-lain.
  • 30 Agustus 2023
    • [SPARK-44818] Memperbaiki perlombaan untuk tugas tertunda yang dikeluarkan sebelum taskThread diinisialisasi.
    • Penambal keamanan sistem operasi.
  • 15 Agustus 2023
    • [SPARK-44504] Tugas pemeliharaan membersihkan penyedia yang dimuat saat kesalahan berhenti.
    • [SPARK-43973] Antarmuka pengguna Streaming Terstruktur sekarang muncul kueri yang gagal dengan benar.
    • Penambal keamanan sistem operasi.
  • 23 Juni 2023
    • Penambal keamanan sistem operasi.
  • 15 Juni 2023
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • [SPARK-43098] Memperbaiki bug correctness COUNT saat subkueri skalar memiliki klausul grup menurut
    • [SPARK-40862] Mendukung subkueri non-agregat di RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Uji jumlah subkueri skalar yang diperluas dengan decorrelateInnerQuery dinonaktifkan.
    • Penambal keamanan sistem operasi.
  • 2 Juni 2023
    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Memperbaiki masalah dalam penguraian data yang diselamatkan JSON untuk mencegah UnknownFieldException.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-43404] Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan ID.
    • [SPARK-43413]IN Memperbaiki nullability subkueri ListQuery .
    • Penambal keamanan sistem operasi.
  • Mei 17, 2023
    • Pemindaian parquet sekarang kuat terhadap OOM saat memindai file yang sangat terstruktur dengan menyesuaikan ukuran batch secara dinamis. Metadata file dianalisis ke ukuran batch yang lebih rendah secara preemptivetively dan diturunkan lagi pada percobaan ulang tugas sebagai jaring pengaman akhir.
    • [SPARK-41520] Pisahkan AND_OR pola pohon untuk memisahkan AND dan OR.
    • [SPARK-43190]ListQuery.childOutput sekarang konsisten dengan output sekunder.
    • Penambal keamanan sistem operasi.
  • 25 April 2023
    • [SPARK-42928] Buat resolvePersistentFunction disinkronkan.
    • Penambal keamanan sistem operasi.
  • 11 April 2023
    • Memperbaiki masalah di mana evolusi skema Auto Loader dapat masuk ke perulangan kegagalan tak terbatas ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42937]PlanSubqueries sekarang diatur InSubqueryExec#shouldBroadcast ke true.
    • [SPARK-42967] Perbaiki SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.
  • 29 Maret 2023
    • [SPARK-42668] Menangkap pengecualian saat mencoba menutup aliran terkompresi di penghentian HDFSStateStoreProvider
    • [SPARK-42635] Perbaiki ...
    • Penambal keamanan sistem operasi.
  • 14 Maret 2023
    • [SPARK-41162] Perbaiki anti-dan semi-join untuk gabungan mandiri dengan agregasi
    • [SPARK-33206] Memperbaiki perhitungan berat singgahan indeks acak untuk file indeks kecil
    • [SPARK-42484]UnsafeRowUtils Meningkatkan pesan kesalahan
    • Perbaikan lain-lain.
  • 28 Februari 2023
    • Kolom yang dihasilkan dukungan untuk date_format yyyy-MM-dd. Perubahan ini mendukung pemangkasan partisi untuk yyyy-MM-dd sebagai date_format dalam kolom yang dihasilkan.
    • Pengguna sekarang dapat membaca dan menulis tabel Delta tertentu yang memerlukan Pembaca versi 3 dan Writer versi 7, menggunakan Databricks Runtime 9.1 LTS atau yang lebih baru. Agar berhasil, fitur tabel yang tercantum dalam protokol tabel harus didukung oleh versi Databricks Runtime saat ini.
    • Kolom yang dihasilkan dukungan untuk date_format yyyy-MM-dd. Perubahan ini mendukung pemangkasan partisi untuk yyyy-MM-dd sebagai date_format dalam kolom yang dihasilkan.
    • Penambal keamanan sistem operasi.
  • 16 Februari 2023
    • [SPARK-30220] Aktifkan menggunakan subkueri Exists/In di luar simpul Filter
    • Penambal keamanan sistem operasi.
  • 31 Januari 2023
    • Jenis tabel tabel JDBC sekarang EKSTERNAL secara default.
  • 18 Januari 2023
    • Konektor Azure Synapse mengembalikan pesan kesalahan yang lebih deskriptif saat nama kolom berisi karakter yang tidak valid seperti spasi kosong atau titik koma. Dalam kasus seperti itu, pesan berikut akan dikembalikan: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Hapus batch tulis setelah penerapan penyimpanan status RocksDB
    • [SPARK-41199] Memperbaiki masalah metrik saat sumber streaming DSv1 dan sumber streaming DSv2 digunakan bersama
    • [SPARK-41198] Memperbaiki metrik dalam kueri streaming yang memiliki sumber streaming CTE dan DSv1
    • [SPARK-41339] Tutup dan buat ulang batch tulis RocksDB alih-alih hanya membersihkan
    • [SPARK-41732] Menerapkan pemangkasan berbasis pola pohon untuk aturan SessionWindowing
    • Penambal keamanan sistem operasi.
  • 29 November 2022
    • Pengguna dapat mengonfigurasi perilaku spasi putih terkemuka dan berikutnya saat menulis data menggunakan konektor Redshift. Opsi berikut telah ditambahkan untuk mengontrol penanganan spasi kosong:
      • csvignoreleadingwhitespace, ketika diatur ke true, menghapus spasi putih di depan dari nilai selama penulisan ketika tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan saat konfigurasi diatur ke false. Secara default, nilainya adalah true.
      • csvignoretrailingwhitespace, ketika diatur ke true, menghapus spasi kosong berikutnya dari nilai selama penulisan ketika tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan saat konfigurasi diatur ke false. Secara default, nilainya adalah true.
    • Memperbaiki masalah penguraian JSON di Auto Loader ketika semua kolom dibiarkan sebagai string (cloudFiles.inferColumnTypes tidak diatur atau diatur ke false) dan JSON berisi objek berlapis.
    • Penambal keamanan sistem operasi.
  • 15 November 2022
    • Meningkatkan teks umum Apache ke 1.10.0.
    • [SPARK-40646] Penguraian JSON untuk struktur, peta, dan array telah diperbaiki sehingga ketika bagian dari rekaman tidak cocok dengan skema, sisa rekaman masih dapat diurai dengan benar alih-alih mengembalikan null. Untuk ikut serta dalam perilaku yang ditingkatkan, atur spark.sql.json.enablePartialResults ke true. Bendera dinonaktifkan secara default untuk mempertahankan perilaku asli.
    • [SPARK-40292] Memperbaiki nama kolom dalam fungsi saat array direferensikan arrays_zip dari struct berlapis
    • Penambal keamanan sistem operasi.
  • 1 November 2022
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Ubah umpan data dinonaktifkan pada tabel tersebut, data di kolom tersebut akan salah diisi dengan nilai NULL saat menjalankan MERGE.
    • Memperbaiki masalah dengan Auto Loader di mana file dapat diduplikasi dalam batch mikro yang sama saat allowOverwrites diaktifkan
    • [SPARK-40697] Menambahkan padding karakter sisi baca untuk mencakup file data eksternal
    • [SPARK-40596] Isi ExecutorDecommission dengan pesan di ExecutorDecommissionInfo
    • Penambal keamanan sistem operasi.
  • 18 Oktober 2022
    • Penambal keamanan sistem operasi.
  • 5 Oktober 2022
    • [SPARK-40468] Perbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih.
    • Penambal keamanan sistem operasi.
  • 22 September 2022
    • Pengguna dapat mengatur spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) untuk mengaktifkan kembali daftar bawaan untuk Auto Loader di ADLS Gen2. Daftar bawaan sebelumnya dinonaktifkan karena masalah performa tetapi dapat menyebabkan peningkatan biaya penyimpanan bagi pelanggan.
    • [SPARK-40315] Menambahkan hashCode() untuk Literal ArrayBasedMapData
    • [SPARK-40213] Mendukung konversi nilai ASCII untuk karakter Latin-1
    • [SPARK-40380] Perbaiki pelipatan konstanta InvokeLike untuk menghindari literal yang tidak dapat diserialisasikan yang disematkan dalam rencana
    • [SPARK-38404] Meningkatkan resolusi CTE saat CTE berlapis mereferensikan CTE luar
    • [SPARK-40089] Memperbaiki pengurutan untuk beberapa jenis Desimal
    • [SPARK-39887] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
  • 6 September 2022
    • [SPARK-40235] Gunakan kunci yang dapat diinterupsi alih-alih disinkronkan di Executor.updateDependencies()
    • [SPARK-40218] GROUPING SETS harus mempertahankan kolom pengelompokan
    • [SPARK-39976] ArrayIntersect harus menangani null dalam ekspresi kiri dengan benar
    • [SPARK-40053] Tambahkan assume ke kasus pembatalan dinamis yang memerlukan lingkungan runtime Python
    • [SPARK-35542] Perbaikan: Bucketizer yang dibuat untuk beberapa kolom dengan parameter splitsArray, inputCols, dan outputCols tidak dapat dimuat setelah menyimpannya
    • [SPARK-40079] Menambahkan validasi Imputer inputCols untuk kasus input kosong
  • 24 Agustus 2022
    • [SPARK-39983] Jangan menyimpan relasi siaran yang tidak diserialisasi pada driver
    • [SPARK-39775] Menonaktifkan validasi nilai default saat mengurai skema Avro
    • [SPARK-39962] Terapkan proyeksi saat atribut grup kosong
    • [SPARK-37643] ketika charVarcharAsString benar, untuk kueri predikat tipe data karakter harus melewati aturan rpadding
    • Penambal keamanan sistem operasi.
  • 9 Agustus 2022
    • [SPARK-39847] Perbaiki kondisi balapan di RocksDBLoader.loadLibrary() jika utas pemanggil terganggu
    • [SPARK-39731] Memperbaiki masalah dalam sumber data CSV dan JSON saat mengurai tanggal dalam format "yyyyMMdd" dengan kebijakan pengurai waktu YANG DIKOREKSI
    • Penambal keamanan sistem operasi.
  • 27 Juli 2022
    • [SPARK-39625] Tambahkan Dataset.as(StructType)
    • [SPARK-39689]Mendukung 2 karakter lineSep di sumber data CSV
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded harus aman untuk utas
    • [SPARK-39570] Tabel sebaris harus mengizinkan ekspresi dengan alias
    • [SPARK-39702] Mengurangi overhead memori TransportCipher$EncryptedMessage dengan menggunakan byteRawChannel bersama
    • [SPARK-39575] tambahkan ByteBuffer#rewind setelah ByteBuffer#get di AvroDeserializer
    • [SPARK-39476] Nonaktifkan optimalkan pemeran Unwrap saat transmisi dari Long ke Float/ Double atau dari Bilangan Bulat ke Float
    • [SPARK-38868] Jangan menyebarluaskan pengecualian dari predikat filter saat mengoptimalkan gabungan luar
    • Penambal keamanan sistem operasi.
  • 20 Juli 2022
    • Buat hasil operasi PENGGABUNGAN Delta konsisten ketika sumber tidak deterministik.
    • [SPARK-39355] Kolom tunggal menggunakan yang dikutip untuk membangun UnresolvedAttribute
    • [SPARK-39548] Perintah CreateView dengan kueri klausa jendela tekan masalah definisi jendela yang salah tidak ditemukan
    • [SPARK-39419] Memperbaiki ArraySort untuk melempar pengecualian saat komparator mengembalikan null
    • Nonaktifkan penggunaan API cloud bawaan Auto Loader untuk daftar direktori di Azure.
    • Penambal keamanan sistem operasi.
  • 5 Juli 2022
    • [SPARK-39376] Sembunyikan kolom duplikat dalam perluasan bintang alias subkueri dari NATURAL/USING JOIN
    • Penambal keamanan sistem operasi.
  • 15 Juni 2022
    • [SPARK-39283] Memperbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285] Spark tidak boleh memeriksa nama bidang saat membaca file
    • [SPARK-34096] Meningkatkan performa untuk nth_value mengabaikan null melalui jendela offset
    • [SPARK-36718]isExtractOnly Perbaiki cek masuk CollapseProject
  • 2 Juni 2022
    • [SPARK-39093] Hindari kesalahan kompilasi codegen saat membagi interval bulan tahunan atau interval waktu sehari dengan integral
    • [SPARK-38990] Hindari NullPointerException saat mengevaluasi format date_trunc/potong sebagai referensi terikat
    • Penambal keamanan sistem operasi.
  • Mei 18, 2022
    • Memperbaiki potensi kebocoran memori bawaan di Auto Loader.
    • [SPARK-38918] Pemangkasan kolom berlapis harus memfilter atribut yang bukan milik relasi saat ini
    • [SPARK-37593] Kurangi ukuran halaman default dengan LONG_ARRAY_OFFSET jika G1GC dan ON_HEAP digunakan
    • [SPARK-39084] Perbaiki df.rdd.isEmpty() dengan menggunakan TaskContext untuk menghentikan iterator pada penyelesaian tugas
    • [SPARK-32268] Menambahkan ColumnPruning dalam injectBloomFilter
    • [SPARK-38974] Memfilter fungsi terdaftar dengan nama database tertentu dalam fungsi daftar
    • [SPARK-38931] Membuat direktori root dfs untuk RocksDBFileManager dengan jumlah kunci yang tidak diketahui pada titik pemeriksaan ke-1
    • Penambal keamanan sistem operasi.
  • 19 April 2022
    • Java AWS SDK yang ditingkatkan dari versi 1.11.655 menjadi 1.12.1899.
    • Memperbaiki masalah dengan pustaka bercakupan buku catatan yang tidak berfungsi dalam pekerjaan streaming batch.
    • [SPARK-38616] Melacak teks kueri SQL di Catalyst TreeNode
    • Penambal keamanan sistem operasi.
  • 6 April 2022
    • Fungsi Spark SQL berikut sekarang tersedia dengan rilis ini:
      • timestampadd() dan dateadd(): Tambahkan durasi waktu dalam unit tertentu ke ekspresi stempel waktu.
      • timestampdiff() dan datediff(): Hitung perbedaan waktu antara ekspresi stempel dua kali dalam unit tertentu.
    • Parquet-MR telah ditingkatkan ke 1.12.2
    • Peningkatan dukungan untuk skema komprehensif dalam file parket
    • [SPARK-38631] Menggunakan implementasi berbasis Java untuk un-tarring di Utils.unpack
    • [SPARK-38509][SPARK-38481] Cherry-pilih tiga timestmapadd/diff perubahan.
    • [SPARK-38523] Perbaikan mengacu pada kolom rekaman yang rusak dari CSV
    • [SPARK-38237] Izinkan ClusteredDistribution untuk memerlukan kunci pengklusteran penuh
    • [SPARK-38437] Serialisasi lenient tanggalwaktu dari sumber data
    • [SPARK-38180] Izinkan ekspresi up-cast yang aman dalam predikat kesetaraan yang berkorelasi
    • [SPARK-38155] Melarang agregat berbeda dalam subkueri lateral dengan predikat yang tidak didukung
    • Penambal keamanan sistem operasi.

Runtime Databricks 9.1 LTS

Lihat Runtime Databricks 9.1 LTS.

  • 29 November 2023
    • [SPARK-45859] Membuat objek UDF malas ml.functions .
    • [SPARK-45544] Dukungan SSL terintegrasi ke dalam TransportContext.
    • [SPARK-45730] Batasan waktu yang ditingkatkan untuk ReloadingX509TrustManagerSuite.
    • Penambal keamanan sistem operasi.
  • 14 November 2023
    • [SPARK-45545]SparkTransportConf mewarisi saat penciptaan SSLOptions .
    • [SPARK-45429] Menambahkan kelas pembantu untuk komunikasi SSL RPC.
    • [SPARK-45427] Menambahkan pengaturan SSL RPC ke SSLOptions dan SparkTransportConf.
    • [SPARK-45584] Memperbaiki kegagalan eksekusi subkueri dengan TakeOrderedAndProjectExec.
    • [SPARK-45541] Ditambahkan SSLFactory.
    • [SPARK-42205] Menghapus akumulasi pengelogan dalam peristiwa Tahap dan Tugas mulai.
    • Penambal keamanan sistem operasi.
  • 24 Oktober 2023
    • [SPARK-45426] Menambahkan dukungan untuk ReloadingX509TrustManager.
    • Penambal keamanan sistem operasi.
  • 13 Oktober 2023
    • Penambal keamanan sistem operasi.
  • 10 September 2023
    • Perbaikan lain-lain.
  • 30 Agustus 2023
    • Penambal keamanan sistem operasi.
  • 15 Agustus 2023
    • Penambal keamanan sistem operasi.
  • 23 Juni 2023
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • Penambal keamanan sistem operasi.
  • 15 Juni 2023
    • [SPARK-43098] Memperbaiki bug correctness COUNT saat subkueri skalar memiliki klausul grup menurut
    • [SPARK-43156][SPARK-43098] Perluas pengujian bug jumlah subkueri skalar dengan decorrelateInnerQuery dinonaktifkan.
    • [SPARK-40862] Mendukung subkueri non-agregat di RewriteCorrelatedScalarSubquery
    • Penambal keamanan sistem operasi.
  • 2 Juni 2023
    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Memperbaiki masalah dalam penguraian data yang diselamatkan JSON untuk mencegah UnknownFieldException.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-37520]startswith() Menambahkan fungsi string dan endswith()
    • [SPARK-43413]IN Memperbaiki nullability subkueri ListQuery .
    • Penambal keamanan sistem operasi.
  • Mei 17, 2023
    • Penambal keamanan sistem operasi.
  • 25 April 2023
    • Penambal keamanan sistem operasi.
  • 11 April 2023
    • Memperbaiki masalah di mana evolusi skema Auto Loader dapat masuk ke perulangan kegagalan tak terbatas ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42967] Perbaiki SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.
  • 29 Maret 2023
    • Penambal keamanan sistem operasi.
  • 14 Maret 2023
    • [SPARK-42484] Pesan kesalahan yang disempurnakan untuk UnsafeRowUtils.
    • Perbaikan lain-lain.
  • 28 Februari 2023
    • Pengguna sekarang dapat membaca dan menulis tabel Delta tertentu yang memerlukan Pembaca versi 3 dan Writer versi 7, menggunakan Databricks Runtime 9.1 LTS atau yang lebih baru. Agar berhasil, fitur tabel yang tercantum dalam protokol tabel harus didukung oleh versi Databricks Runtime saat ini.
    • Penambal keamanan sistem operasi.
  • 16 Februari 2023
    • Penambal keamanan sistem operasi.
  • 31 Januari 2023
    • Jenis tabel tabel JDBC sekarang EKSTERNAL secara default.
  • 18 Januari 2023
    • Penambal keamanan sistem operasi.
  • 29 November 2022
    • Memperbaiki masalah penguraian JSON di Auto Loader ketika semua kolom dibiarkan sebagai string (cloudFiles.inferColumnTypes tidak diatur atau diatur ke false) dan JSON berisi objek berlapis.
    • Penambal keamanan sistem operasi.
  • 15 November 2022
    • Meningkatkan teks umum Apache ke 1.10.0.
    • Penambal keamanan sistem operasi.
    • Perbaikan lain-lain.
  • 1 November 2022
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Ubah umpan data dinonaktifkan pada tabel tersebut, data di kolom tersebut akan salah diisi dengan nilai NULL saat menjalankan MERGE.
    • Memperbaiki masalah dengan Auto Loader di mana file dapat diduplikasi dalam batch mikro yang sama saat allowOverwrites diaktifkan
    • [SPARK-40596] Isi ExecutorDecommission dengan pesan di ExecutorDecommissionInfo
    • Penambal keamanan sistem operasi.
  • 18 Oktober 2022
    • Penambal keamanan sistem operasi.
  • 5 Oktober 2022
    • Perbaikan lain-lain.
    • Penambal keamanan sistem operasi.
  • 22 September 2022
    • Pengguna dapat mengatur spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") untuk mengaktifkan kembali daftar bawaan untuk Auto Loader di ADLS Gen2. Daftar bawaan sebelumnya dinonaktifkan karena masalah performa tetapi dapat menyebabkan peningkatan biaya penyimpanan bagi pelanggan.
    • [SPARK-40315] Menambahkan hashCode() untuk Literal ArrayBasedMapData
    • [SPARK-40089] Memperbaiki pengurutan untuk beberapa jenis Desimal
    • [SPARK-39887] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
  • 6 September 2022
    • [SPARK-40235] Gunakan kunci yang dapat diinterupsi alih-alih disinkronkan di Executor.updateDependencies()
    • [SPARK-35542] Perbaikan: Bucketizer yang dibuat untuk beberapa kolom dengan parameter splitsArray, inputCols, dan outputCols tidak dapat dimuat setelah menyimpannya
    • [SPARK-40079] Menambahkan validasi Imputer inputCols untuk kasus input kosong
  • 24 Agustus 2022
    • [SPARK-39666] Gunakan UnsafeProjection.create untuk menghormati spark.sql.codegen.factoryMode di ExpressionEncoder
    • [SPARK-39962] Terapkan proyeksi saat atribut grup kosong
    • Penambal keamanan sistem operasi.
  • 9 Agustus 2022
    • Penambal keamanan sistem operasi.
  • 27 Juli 2022
    • Buat hasil operasi PENGGABUNGAN Delta konsisten ketika sumber tidak deterministik.
    • [SPARK-39689] Dukungan untuk 2 karakter lineSep di sumber data CSV
    • [SPARK-39575] Ditambahkan ByteBuffer#rewind setelah ByteBuffer#get di AvroDeserializer.
    • [SPARK-37392] Memperbaiki kesalahan performa untuk pengoptimal katalis.
    • Penambal keamanan sistem operasi.
  • 13 Juli 2022
    • [SPARK-39419]ArraySort melempar pengecualian ketika komparator mengembalikan null.
    • Nonaktifkan penggunaan API cloud bawaan Auto Loader untuk daftar direktori di Azure.
    • Penambal keamanan sistem operasi.
  • 5 Juli 2022
    • Penambal keamanan sistem operasi.
    • Perbaikan lain-lain.
  • 15 Juni 2022
    • [SPARK-39283] Perbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter.SpillableIterator.
  • 2 Juni 2022
    • [SPARK-34554] Terapkan copy() metode di ColumnarMap.
    • Penambal keamanan sistem operasi.
  • Mei 18, 2022
    • Memperbaiki potensi kebocoran memori bawaan di Auto Loader.
    • Tingkatkan versi AWS SDK dari 1.11.655 ke 1.11.678.
    • [SPARK-38918] Pemangkasan kolom berlapis harus memfilter atribut yang bukan milik relasi saat ini
    • [SPARK-39084] Perbaiki df.rdd.isEmpty() dengan menggunakan TaskContext untuk menghentikan iterator pada penyelesaian tugas
    • Penambal keamanan sistem operasi.
  • 19 April 2022
    • Penambal keamanan sistem operasi.
    • Perbaikan lain-lain.
  • 6 April 2022
    • [SPARK-38631] Menggunakan implementasi berbasis Java untuk un-tarring di Utils.unpack
    • Penambal keamanan sistem operasi.
  • 22 Maret 2022
    • Mengubah direktori buku catatan yang berfungsi saat ini pada kluster Konkurensi Tinggi dengan kontrol akses tabel atau passthrough info masuk yang diaktifkan untuk direktori beranda pengguna. Sebelumnya, direktori aktif adalah /databricks/driver.
    • [SPARK-38437] Serialisasi lenient tanggalwaktu dari sumber data
    • [SPARK-38180] Izinkan ekspresi up-cast yang aman dalam predikat kesetaraan yang berkorelasi
    • [SPARK-38155] Melarang agregat berbeda dalam subkueri lateral dengan predikat yang tidak didukung
    • [SPARK-27442] Menghapus bidang pemeriksaan saat membaca atau menulis data dalam parket.
  • 14 Maret 2022
    • [SPARK-38236] Jalur file absolut yang ditentukan dalam tabel buat/ubah diperlakukan sebagai relatif
    • [SPARK-34069] Interupsi alur tugas jika properti SPARK_JOB_INTERRUPT_ON_CANCEL lokal diatur ke true.
  • 23 Februari 2022
    • [SPARK-37859] Tabel SQL yang dibuat dengan JDBC dengan Spark 3.1 tidak dapat dibaca dengan Spark 3.2.
  • 8 Februari 2022
    • [SPARK-27442] Menghapus bidang pemeriksaan saat membaca atau menulis data dalam parket.
    • Penambal keamanan sistem operasi.
  • 1 Februari 2022
    • Penambal keamanan sistem operasi.
  • 26 Januari 2022
    • Memperbaiki masalah saat transaksi bersamaan pada tabel Delta dapat dilakukan dalam urutan yang tidak dapat diserialisasikan dalam kondisi langka tertentu.
    • Memperbaiki masalah di mana OPTIMIZE perintah dapat gagal ketika dialek ANSI SQL diaktifkan.
  • 19 Januari 2022
    • Perbaikan kecil dan peningkatan keamanan.
    • Penambal keamanan sistem operasi.
  • 4 November 2021
    • Memperbaiki masalah yang dapat menyebabkan streaming Streaming Terstruktur gagal dengan ArrayIndexOutOfBoundsException.
    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: No FileSystem for scheme atau yang dapat menyebabkan modifikasi sparkContext.hadoopConfiguration tidak berlaku dalam kueri.
    • Konektor Apache Spark untuk Delta Sharing ditingkatkan menjadi 0.2.0.
  • 20 Oktober 2021
    • Konektor BigQuery yang ditingkatkan dari 0.18.1 ke 0.22.2. Ini menambahkan dukungan untuk jenis BigNumeric.

Databricks Runtime 13.0 (tidak didukung)

Lihat Databricks Runtime 13.0 (tidak didukung).

  • 13 Oktober 2023

    • Dependensi Snowflake-jdbc ditingkatkan dari 3.13.29 menjadi 3.13.33.
    • [SPARK-42553][SQL] Pastikan setidaknya satu unit waktu setelah interval.
    • [SPARK-45178] Fallback untuk menjalankan satu batch untuk Trigger.AvailableNow dengan sumber yang tidak didukung daripada menggunakan pembungkus.
    • [SPARK-44658][CORE] ShuffleStatus.getMapStatus mengembalikan alih-alih NoneSome(null).
    • [SPARK-42205][CORE] Hapus pengelogan Akumulasi dalam peristiwa mulai Tugas/Tahap di JsonProtocol.
    • Penambal keamanan sistem operasi.

  • 12 September 2023

    • [SPARK-44485][SQL] Optimalkan TreeNode.generateTreeString.
    • [SPARK-44718][SQL] Cocokkan ColumnVector konfigurasi mode memori secara default dengan OffHeapMemoryMode nilai konfigurasi.
    • Beberapa macam perbaikan bug.

  • 30 Agustus 2023

  • 15 Agustus 2023

    • [SPARK-44643][SQL] [PyTHON] Perbaiki Row.__repr__ saat baris kosong.
    • [SPARK-44504][Backport] Tugas pemeliharaan membersihkan penyedia yang dimuat saat kesalahan berhenti.
    • [SPARK-44479][SAMBUNGKAN] [PyTHON] protobuf Memperbaiki konversi dari jenis struct kosong.
    • [SPARK-44464][SS] Diperbaiki applyInPandasWithStatePythonRunner untuk baris output yang memiliki Null nilai kolom pertama.
    • Beberapa macam perbaikan bug.

  • 29 Juli 2023

    • Memperbaiki bug saat dbutils.fs.ls() dikembalikan saat dipanggil INVALID_PARAMETER_VALUE.LOCATION_OVERLAP untuk jalur lokasi penyimpanan yang berbenturan dengan lokasi penyimpanan eksternal atau terkelola lainnya.
    • [SPARK-44199]CacheManager tidak lagi me-refresh yang fileIndex tidak perlu.
    • Penambal keamanan sistem operasi.

  • 24 Juli 2023

    • [SPARK-44337][PROTOBUF] Memperbaiki masalah di mana bidang apa pun diatur untuk Any.getDefaultInstance menyebabkan kesalahan penguraian.
    • [SPARK-44136] [SS] Memperbaiki masalah di mana StateManager akan terwujud dalam pelaksana alih-alih driver di FlatMapGroupsWithStateExec.
    • Kembalikan [SPARK-42323][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2332.
    • Penambal keamanan sistem operasi.

  • 23 Juni 2023

    • Penambal keamanan sistem operasi.

  • 15 Juni 2023

    • Difoto approx_count_distinct.
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • [SPARK-43156][SPARK-43098][SQL] Memperluas pengujian bug jumlah subkueri skalar dengan decorrelateInnerQuery dinonaktifkan
    • [SPARK-43779][SQL] ParseToDate sekarang dimuat di utas EvalMode utama.
    • [SPARK-42937][SQL] PlanSubqueries harus diatur InSubqueryExec#shouldBroadcast ke true
    • Penambal keamanan sistem operasi.

  • 2 Juni 2023

    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Meningkatkan performa pembaruan bertahap dengan SHALLOW CLONE Iceberg dan Parquet.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-43404][Backport] Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan ID.
    • [SPARK-43340][CORE] Memperbaiki bidang pelacakan tumpukan yang hilang di eventlogs.
    • [SPARK-43300][CORE] NonFateSharingCache pembungkus untuk Guava Cache.
    • [SPARK-43378][CORE] Tutup objek aliran dengan benar di deserializeFromChunkedBuffer.
    • [SPARK-16484][SQL] Gunakan register 8-bit untuk mewakili DataSketches.
    • [SPARK-43522][SQL] Memperbaiki pembuatan nama kolom struct dengan indeks array.
    • [SPARK-43413][11.3-13.0] [SQL] IN Memperbaiki nullability subkueri ListQuery .
    • [SPARK-43043][CORE] Peningkatan MapOutputTracker.updateMapOutput performa.
    • [SPARK-16484][SQL] Menambahkan dukungan untuk DataSketches HllSketch.
    • [SPARK-43123][SQL] Metadata bidang internal tidak lagi bocor ke katalog.
    • [SPARK-42851][SQL] Jaga EquivalentExpressions.addExpr() dengan supportedExpression().
    • [SPARK-43336][SQL] Transmisi antara Timestamp dan TimestampNTZ membutuhkan zona waktu.
    • [SPARK-43286][SQL] Mode CBC yang diperbarui aes_encrypt untuk menghasilkan IV acak.
    • [SPARK-42852][SQL] NamedLambdaVariable Mengembalikan perubahan terkait dari EquivalentExpressions.
    • [SPARK-43541][SQL] Sebarkan semua Project tag dalam menyelesaikan ekspresi dan kolom yang hilang..
    • [SPARK-43527][PyTHON] Diperbaiki catalog.listCatalogs di PySpark.
    • Penambal keamanan sistem operasi.

  • 31 Mei 2023

  • Mei 17, 2023

    • Memperbaiki regresi di mana _metadata.file_path dan _metadata.file_name akan mengembalikan string yang salah diformat. Misalnya, sekarang jalur dengan spasi direpresentasikan sebagai s3://test-bucket/some%20directory/some%20data.csv alih-alih s3://test-bucket/some directory/some data.csv.
    • Pemindaian parquet sekarang kuat terhadap OOM saat memindai file yang sangat terstruktur dengan menyesuaikan ukuran batch secara dinamis. Metadata file dianalisis ke ukuran batch yang lebih rendah secara preemptivetively dan diturunkan lagi pada percobaan ulang tugas sebagai jaring pengaman akhir.
      • Jika file Avro dibaca hanya failOnUnknownFields\ dengan opsi atau dengan Auto Loader dalam failOnNewColumns\ mode evolusi skema, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null\ alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi .rescuedDataColumn\
    • Auto Loader sekarang melakukan hal berikut.
      • Membaca dengan benar dan tidak lagi menyelamatkan Integer, Short, Byte jenis jika salah satu jenis data ini disediakan, tetapi file Avro menyarankan salah satu dari dua jenis lainnya.
      • Mencegah membaca jenis interval sebagai jenis tanggal atau tanda waktu untuk menghindari tanggal yang rusak.
      • Mencegah jenis pembacaan Decimal dengan presisi yang lebih rendah.
    • [SPARK-43172] [SAMBUNGKAN] Mengekspos host dan token dari klien Spark connect.
    • [SPARK-43293][SQL] __qualified_access_only diabaikan dalam kolom normal.
    • [SPARK-43098][SQL] Memperbaiki bug kebenaran COUNT ketika subkueri skalar dikelompokkan menurut klausul.
    • [SPARK-43085][SQL] Dukungan untuk penetapan kolom DEFAULT untuk nama tabel multi-bagian.
    • [SPARK-43190][SQL] ListQuery.childOutput sekarang konsisten dengan output sekunder.
    • [SPARK-43192] [SAMBUNGKAN] Menghapus validasi charset agen pengguna.

  • 25 April 2023

    • Anda dapat mengubah tabel Delta untuk menambahkan dukungan untuk fitur tabel Delta menggunakan DeltaTable.addFeatureSupport(feature_name).
    • Perintah SYNC sekarang mendukung format sumber data warisan.
    • Memperbaiki bug di mana menggunakan formatter Python sebelum menjalankan perintah lain dalam buku catatan Python dapat menyebabkan jalur buku catatan hilang dari sys.path.
    • Azure Databricks sekarang mendukung penentuan nilai default untuk kolom tabel Delta. INSERT, UPDATE, DELETE, dan MERGE perintah dapat merujuk ke nilai default kolom menggunakan kata kunci eksplisit DEFAULT . Untuk INSERT perintah dengan daftar eksplisit lebih sedikit kolom daripada tabel target, nilai default kolom terkait digantikan untuk kolom yang tersisa (atau NULL jika tidak ada default yang ditentukan).

  • Memperbaiki bug di mana terminal web tidak dapat digunakan untuk mengakses file /Workspace untuk beberapa pengguna.

    • Jika file Parquet dibaca hanya failOnUnknownFields dengan opsi atau dengan Auto Loader dalam failOnNewColumns mode evolusi skema, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi .rescuedDataColumn
    • Auto Loader sekarang membaca dengan benar dan tidak lagi menyelamatkan Integer, , ShortByte jenis jika salah satu jenis data ini disediakan. File Parquet menyarankan salah satu dari dua jenis lainnya. Ketika kolom data yang diselamatkan sebelumnya diaktifkan, ketidakcocokan jenis data akan menyebabkan kolom diselamatkan meskipun dapat dibaca.
    • Memperbaiki bug di mana evolusi skema Auto Loader dapat masuk ke perulangan gagal tak terbatas, ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42794][SS] Tingkatkan lockAcquireTimeoutMs menjadi 2 menit untuk memperoleh penyimpanan status RocksDB di Streaming Struktur.
    • [SPARK-39221][SQL] Buat informasi sensitif diredaksi dengan benar untuk tab pekerjaan/tahapan server thrift.
    • [SPARK-42971][CORE] Ubah untuk mencetak workdir jika appDirs null ketika pekerja menangani WorkDirCleanup peristiwa.
    • [SPARK-42936][SQL] Perbaiki bug LCA ketika klausul yang memiliki dapat diselesaikan langsung oleh agregat anaknya.
    • [SPARK-43018][SQL] Perbaiki bug untuk INSERT perintah dengan literal tanda waktu.
    • Kembalikan [SPARK-42754][SQL][UI] Perbaiki masalah kompatibilitas mundur dalam eksekusi SQL berlapis.
    • Kembalikan [SPARK-41498] Sebarkan metadata melalui Union.
    • [SPARK-43038][SQL] Dukung mode CBC dengan aes_encrypt()/aes_decrypt().
    • [SPARK-42928][SQL] Buat resolvePersistentFunction disinkronkan.
    • [SPARK-42521][SQL] Tambahkan NULL nilai untuk INSERT dengan daftar kolom yang ditentukan pengguna lebih sedikit daripada tabel target.
    • [SPARK-41391][SQL] Nama kolom output salah groupBy.agg(count_distinct) .
    • [SPARK-42548][SQL] Tambahkan ReferenceAllColumns untuk melewati atribut penulisan ulang.
    • [SPARK-42423][SQL] Tambahkan awal dan panjang blok file kolom metadata.
    • [SPARK-42796][SQL] Mendukung mengakses TimestampNTZ kolom di CachedBatch.
    • [SPARK-42266][PyTHON] Hapus direktori induk dalam shell.py dijalankan saat IPython digunakan.
    • [SPARK-43011][SQL] array_insert harus gagal dengan indeks 0.
    • [SPARK-41874][SAMBUNGKAN] [PyTHON] Dukungan SameSemantics di Spark Koneksi.
    • [SPARK-42702][SPARK-42623][SQL] Mendukung kueri berparameter dalam subkueri dan CTE.
    • [SPARK-42967][CORE] Perbaiki SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.
    • Penambal keamanan sistem operasi.

Databricks Runtime 12.1 (tidak didukung)

Lihat Databricks Runtime 12.1 (tidak didukung).

  • 23 Juni 2023

    • Penambal keamanan sistem operasi.

  • 15 Juni 2023

    • Difoto approx_count_distinct.
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • [SPARK-43779][SQL] ParseToDate sekarang dimuat di utas EvalMode utama.
    • [SPARK-43156][SPARK-43098][SQL] Memperluas pengujian bug jumlah subkueri skalar dengan decorrelateInnerQuery dinonaktifkan
    • Penambal keamanan sistem operasi.

  • 2 Juni 2023

    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Meningkatkan performa pembaruan bertahap dengan SHALLOW CLONE Iceberg dan Parquet.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-43404][Backport] Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan ID.
    • [SPARK-43413][11.3-13.0] [SQL] IN Memperbaiki nullability subkueri ListQuery .
    • [SPARK-43522][SQL] Memperbaiki pembuatan nama kolom struct dengan indeks array.
    • [SPARK-42444][PyTHON] DataFrame.drop sekarang menangani kolom duplikat dengan benar.
    • [SPARK-43541][SQL] Sebarkan semua Project tag dalam menyelesaikan ekspresi dan kolom yang hilang..
    • [SPARK-43340][CORE] Memperbaiki bidang pelacakan tumpukan yang hilang di eventlogs.
    • [SPARK-42937][SQL] PlanSubqueries sekarang diatur InSubqueryExec#shouldBroadcast ke true.
    • [SPARK-43527][PyTHON] Diperbaiki catalog.listCatalogs di PySpark.
    • [SPARK-43378][CORE] Tutup objek aliran dengan benar di deserializeFromChunkedBuffer.

  • Mei 17, 2023

    • Pemindaian parquet sekarang kuat terhadap OOM saat memindai file yang sangat terstruktur dengan menyesuaikan ukuran batch secara dinamis. Metadata file dianalisis ke ukuran batch yang lebih rendah secara preemptivetively dan diturunkan lagi pada percobaan ulang tugas sebagai jaring pengaman akhir.
    • Jika file Avro dibaca hanya failOnUnknownFields\ dengan opsi atau dengan Auto Loader dalam failOnNewColumns\ mode evolusi skema, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null\ alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi .rescuedDataColumn\
    • Auto Loader sekarang melakukan hal berikut.
      • Membaca dengan benar dan tidak lagi menyelamatkan Integer, Short, Byte jenis jika salah satu jenis data ini disediakan, tetapi file Avro menyarankan salah satu dari dua jenis lainnya.
      • Mencegah membaca jenis interval sebagai jenis tanggal atau tanda waktu untuk menghindari tanggal yang rusak.
      • Mencegah jenis pembacaan Decimal dengan presisi yang lebih rendah.
    • [SPARK-43098][SQL] Memperbaiki bug kebenaran COUNT ketika subkueri skalar dikelompokkan menurut klausul.
    • [SPARK-43190][SQL] ListQuery.childOutput sekarang konsisten dengan output sekunder.
    • Penambal keamanan sistem operasi.

  • 25 April 2023

    • Jika file Parquet dibaca hanya failOnUnknownFields dengan opsi atau dengan Auto Loader dalam failOnNewColumns mode evolusi skema, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi .rescuedDataColumn
    • Auto Loader sekarang membaca dengan benar dan tidak lagi menyelamatkan Integer, , ShortByte jenis jika salah satu jenis data ini disediakan. File Parquet menyarankan salah satu dari dua jenis lainnya. Ketika kolom data yang diselamatkan sebelumnya diaktifkan, ketidakcocokan jenis data akan menyebabkan kolom diselamatkan meskipun dapat dibaca.
    • [SPARK-43009][SQL] Diparameterkan sql() dengan Any konstanta.
    • [SPARK-42971][CORE] Ubah untuk mencetak workdir jika appDirs null ketika pekerja menangani WorkDirCleanup peristiwa.
    • Penambal keamanan sistem operasi.

  • Selasa, 11 April 2023

    • Mendukung format sumber data warisan dalam perintah SYNC.
    • Memperbaiki bug dalam perilaku %autoreload di notebook yang berada di luar repositori.
    • Memperbaiki bug di mana evolusi skema Auto Loader dapat masuk ke perulangan gagal tak terbatas, ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42928][SQL] Membuat resolvePersistentFunction disinkronkan.
    • [SPARK-42967][CORE] Perbaikan SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.
    • Penambal keamanan sistem operasi.

  • 29 Maret 2023

    • Auto Loader sekarang memicu setidaknya satu pembersihan log RocksDB sinkron untuk Trigger.AvailableNow aliran untuk memastikan bahwa titik pemeriksaan dapat dibersihkan secara teratur untuk aliran Auto Loader yang berjalan cepat. Ini dapat menyebabkan beberapa aliran memakan waktu lebih lama sebelum dimatikan, tetapi akan menghemat biaya penyimpanan Anda dan meningkatkan pengalaman Auto Loader di masa mendatang.
    • Sekarang Anda dapat mengubah tabel Delta untuk menambahkan dukungan ke fitur tabel menggunakan DeltaTable.addFeatureSupport(feature_name).
    • [SPARK-42702][SPARK-42623][SQL] Mendukung kueri berparameter dalam subkueri dan CTE
    • [SPARK-41162][SQL] Perbaiki anti-dan semi-join untuk gabungan mandiri dengan agregasi
    • [SPARK-42403][CORE] JsonProtocol harus menangani string JSON null
    • [SPARK-42668][SS] Menangkap pengecualian saat mencoba menutup aliran terkompresi di HDFSStateStoreProvider batal
    • [SPARK-42794][SS] Tingkatkan lockAcquireTimeoutMs menjadi 2 menit untuk memperoleh penyimpanan status RocksDB di Streaming Struktur

  • 14 Maret 2023

    • Ada perubahan terminologi untuk menambahkan fitur ke tabel Delta menggunakan properti tabel. Sintaks yang disukai sekarang 'delta.feature.featureName'='supported' bukan 'delta.feature.featureName'='enabled'. Untuk kompatibilitas mundur, menggunakan 'delta.feature.featureName'='enabled' masih berfungsi dan akan terus berfungsi.
    • [SPARK-42622][CORE] Menonaktifkan substitusi dalam nilai
    • [SPARK-42534][SQL] Memperbaiki klausa Batas DB2Dialect
    • [SPARK-42635][SQL] Perbaiki ekspresi TimestampAdd.
    • [SPARK-42516][SQL] Selalu ambil konfigurasi zona waktu sesi saat membuat tampilan
    • [SPARK-42484] [SQL] Pesan kesalahan UnsafeRowUtils lebih baik
    • [SPARK-41793][SQL] Hasil yang salah untuk bingkai jendela yang ditentukan oleh klausa rentang pada desimal besar
    • Penambal keamanan sistem operasi.

  • 24 Februari 2023

    • Sekarang Anda dapat menggunakan sekumpulan opsi terpadu (host, port, database, user, password) untuk menyambungkan ke sumber data yang didukung di Federasi Kueri (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Perhatikan bahwa port bersifat opsional dan menggunakan nomor port default untuk setiap sumber data jika tidak disediakan.

    Contoh konfigurasi koneksi PostgreSQL

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Contoh konfigurasi koneksi Snowflake

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PyTHON] Hindari melanggar konfigurasi pengelogan dari pyspark.pandas
    • [SPARK-42346][SQL] Regenerasi agregat yang berbeda setelah penggabungan subkueri
    • [SPARK-41990][SQL] Gunakan FieldReference.column alih-alih apply dalam konversi filter V1 ke V2
    • Kembalikan [SPARK-41848][CORE] Memperbaiki tugas yang terlalu terjadwal dengan TaskResourceProfile
    • [SPARK-42162] Memperkenalkan ekspresi MultiCommutativeOp sebagai pengoptimalan memori untuk kanonisisasi pohon besar ekspresi komutatif
    • Penambal keamanan sistem operasi.

  • 16 Februari 2023

    • Perintah SYNC mendukung sinkronisasi tabel Apache Hive Metastore yang dibuat ulang. Jika tabel HMS telah di-SYNCed sebelumnya ke Katalog Unity tetapi kemudian dihilangkan dan dibuat ulang, sinkronisasi ulang berikutnya akan berfungsi alih-alih melemparkan kode status TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide menggunakan desimal(1, 0) untuk mewakili 0
    • [SPARK-36173][CORE] Dukungan untuk mendapatkan nomor CPU di TaskContext
    • [SPARK-41848][CORE] Memperbaiki tugas yang terlalu terjadwal dengan TaskResourceProfile
    • [SPARK-42286][SQL] Fallback ke jalur kode codegen sebelumnya untuk expr kompleks dengan CAST

  • 31 Januari 2023

    • Membuat skema dengan lokasi yang ditentukan sekarang mengharuskan pengguna untuk memiliki hak istimewa SELECT dan MODIFIKASI pada FILE APA PUN.
    • [SPARK-41581][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1230
    • [SPARK-41996][SQL] [SS] Perbaiki pengujian kafka untuk memverifikasi partisi yang hilang untuk memperhitungkan operasi Kafka yang lambat
    • [SPARK-41580][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2137
    • [SPARK-41666][PyTHON] Mendukung SQL berparameter berdasarkan sql()
    • [SPARK-41579][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1249
    • [SPARK-41573][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2136
    • [SPARK-41574][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2009
    • [SPARK-41049][Tindak lanjut] Memperbaiki regresi sinkronisasi kode untuk ConvertToLocalRelation
    • [SPARK-41576][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2051
    • [SPARK-41572][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2149
    • [SPARK-41575][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2054
    • Penambal keamanan sistem operasi.

Databricks Runtime 12.0 (tidak didukung)

Lihat Databricks Runtime 12.0 (tidak didukung).

  • 15 Juni 2023

    • Difoto approx_count_distinct.
    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • [SPARK-43156][SPARK-43098][SQL] Memperluas pengujian bug jumlah subkueri skalar dengan decorrelateInnerQuery dinonaktifkan
    • [SPARK-43779][SQL] ParseToDate sekarang dimuat di utas EvalMode utama.
    • Penambal keamanan sistem operasi.

  • 2 Juni 2023

    • Pengurai JSON dalam failOnUnknownFields mode menghilangkan rekaman dalam DROPMALFORMED mode dan gagal langsung dalam FAILFAST mode.
    • Meningkatkan performa pembaruan bertahap dengan SHALLOW CLONE Iceberg dan Parquet.
    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.
    • [SPARK-42444][PyTHON] DataFrame.drop sekarang menangani kolom duplikat dengan benar.
    • [SPARK-43404][Backport] Lewati penggunaan kembali file sst untuk versi penyimpanan status RocksDB yang sama untuk menghindari kesalahan ketidakcocokan ID.
    • [11.3-13.0] [[SPARK-43413]]https://issues.apache.org/jira/browse/SPARK-43413) [SQL] IN Memperbaiki nullability subkueri ListQuery .
    • [SPARK-43527][PyTHON] Diperbaiki catalog.listCatalogs di PySpark.
    • [SPARK-43522][SQL] Memperbaiki pembuatan nama kolom struct dengan indeks array.
    • [SPARK-43541][SQL] Sebarkan semua Project tag dalam menyelesaikan ekspresi dan kolom yang hilang..
    • [SPARK-43340][CORE] Memperbaiki bidang pelacakan tumpukan yang hilang di eventlogs.
    • [SPARK-42937][SQL] PlanSubqueries atur InSubqueryExec#shouldBroadcast ke true.

  • Mei 17, 2023

    • Pemindaian parquet sekarang kuat terhadap OOM saat memindai file yang sangat terstruktur dengan menyesuaikan ukuran batch secara dinamis. Metadata file dianalisis ke ukuran batch yang lebih rendah secara preemptivetively dan diturunkan lagi pada percobaan ulang tugas sebagai jaring pengaman akhir.
    • Jika file Avro dibaca hanya failOnUnknownFields\ dengan opsi atau dengan Auto Loader dalam failOnNewColumns\ mode evolusi skema, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null\ alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi .rescuedDataColumn\
    • Auto Loader sekarang melakukan hal berikut.
      • Membaca dengan benar dan tidak lagi menyelamatkan Integer, Short, Byte jenis jika salah satu jenis data ini disediakan, tetapi file Avro menyarankan salah satu dari dua jenis lainnya.
      • Mencegah membaca jenis interval sebagai jenis tanggal atau tanda waktu untuk menghindari tanggal yang rusak.
      • Mencegah jenis pembacaan Decimal dengan presisi yang lebih rendah.
    • [SPARK-43172] [SAMBUNGKAN] Mengekspos host dan token dari klien Spark connect.
    • [SPARK-41520][SQL] Pisahkan AND_OR pola pohon untuk memisahkan AND dan OR.
    • [SPARK-43098][SQL] Memperbaiki bug kebenaran COUNT ketika subkueri skalar dikelompokkan menurut klausul.
    • [SPARK-43190][SQL] ListQuery.childOutput sekarang konsisten dengan output sekunder.
    • Penambal keamanan sistem operasi.

  • 25 April 2023

    • Jika file Parquet dibaca hanya failOnUnknownFields dengan opsi atau dengan Auto Loader dalam failOnNewColumns mode evolusi skema, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi .rescuedDataColumn
    • Auto Loader sekarang membaca dengan benar dan tidak lagi menyelamatkan Integer, , ShortByte jenis jika salah satu jenis data ini disediakan. File Parquet menyarankan salah satu dari dua jenis lainnya. Ketika kolom data yang diselamatkan sebelumnya diaktifkan, ketidakcocokan jenis data akan menyebabkan kolom diselamatkan meskipun dapat dibaca.
    • [SPARK-42971][CORE] Ubah untuk mencetak workdir jika appDirs null saat pekerja menangani WorkDirCleanup peristiwa
    • Penambal keamanan sistem operasi.

  • Selasa, 11 April 2023

    • Mendukung format sumber data warisan dalam SYNC perintah.
    • Memperbaiki bug dalam perilaku %autoreload di buku catatan yang berada di luar repositori.
    • Memperbaiki bug di mana evolusi skema Auto Loader dapat masuk ke perulangan gagal tak terbatas, ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42928][SQL] Membuat resolvePersistentFunction disinkronkan.
    • [SPARK-42967][CORE] Perbaikan SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.
    • Penambal keamanan sistem operasi.

  • 29 Maret 2023

    • [SPARK-42794][SS] Tingkatkan lockAcquireTimeoutMs menjadi 2 menit untuk memperoleh penyimpanan status RocksDB di Streaming Struktur
    • [SPARK-41162][SQL] Perbaiki anti-dan semi-join untuk gabungan mandiri dengan agregasi
    • [SPARK-42403][CORE] JsonProtocol harus menangani string JSON null
    • [SPARK-42668][SS] Menangkap pengecualian saat mencoba menutup aliran terkompresi di HDFSStateStoreProvider batal
    • Beberapa macam perbaikan bug.

  • 14 Maret 2023

    • [SPARK-42534][SQL] Memperbaiki klausa Batas DB2Dialect
    • [SPARK-42622][CORE] Menonaktifkan substitusi dalam nilai
    • [SPARK-41793][SQL] Hasil yang salah untuk bingkai jendela yang ditentukan oleh klausa rentang pada desimal besar
    • [SPARK-42484] [SQL] Pesan kesalahan UnsafeRowUtils lebih baik
    • [SPARK-42635][SQL] Perbaiki ekspresi TimestampAdd.
    • [SPARK-42516][SQL] Selalu ambil konfigurasi zona waktu sesi saat membuat tampilan
    • Penambal keamanan sistem operasi.

  • 24 Februari 2023

    • Opsi Koneksi standar untuk Federasi Kueri

      Sekarang Anda dapat menggunakan sekumpulan opsi terpadu (host, port, database, user, password) untuk menyambungkan ke sumber data yang didukung di Federasi Kueri (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Perhatikan bahwa port bersifat opsional dan akan menggunakan nomor port default untuk setiap sumber data jika tidak disediakan.

      Contoh konfigurasi koneksi PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Contoh konfigurasi koneksi Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Kembalikan [SPARK-41848][CORE] Memperbaiki tugas yang terlalu terjadwal dengan TaskResourceProfile

    • [SPARK-42162] Memperkenalkan ekspresi MultiCommutativeOp sebagai pengoptimalan memori untuk kanonisisasi pohon besar ekspresi komutatif

    • [SPARK-41990][SQL] Gunakan FieldReference.column alih-alih apply dalam konversi filter V1 ke V2

    • [SPARK-42346][SQL] Regenerasi agregat yang berbeda setelah penggabungan subkueri

    • Penambal keamanan sistem operasi.

  • 16 Februari 2023

    • Pengguna sekarang dapat membaca dan menulis tabel Delta tertentu yang memerlukan Pembaca versi 3 dan Writer versi 7, dengan menggunakan Databricks Runtime 9.1 atau yang lebih baru. Agar berhasil, fitur tabel yang tercantum dalam protokol tabel harus didukung oleh versi Databricks Runtime saat ini.
    • Perintah SYNC mendukung sinkronisasi tabel Apache Hive Metastore yang dibuat ulang. Jika tabel HMS telah di-SYNCed sebelumnya ke Katalog Unity tetapi kemudian dihilangkan dan dibuat ulang, sinkronisasi ulang berikutnya akan berfungsi alih-alih melemparkan kode status TABLE_ALREADY_EXISTS.
    • [SPARK-36173][CORE] Dukungan untuk mendapatkan nomor CPU di TaskContext
    • [SPARK-42286][SQL] Fallback ke jalur kode codegen sebelumnya untuk expr kompleks dengan CAST
    • [SPARK-41848][CORE] Memperbaiki tugas yang terlalu terjadwal dengan TaskResourceProfile
    • [SPARK-41219][SQL] IntegralDivide menggunakan desimal(1, 0) untuk mewakili 0

  • 25 Januari 2023

    • [SPARK-41660][SQL] Hanya sebarkan kolom metadata jika digunakan
    • [SPARK-41379][SS] [PyTHON] Menyediakan sesi spark kloning di DataFrame dalam fungsi pengguna untuk sink foreachBatch di PySpark
    • [SPARK-41669][SQL] Pemangkasan awal di canCollapseExpressions
    • Penambal keamanan sistem operasi.

  • 18 Januari 2023

    • REFRESH FUNCTION Perintah SQL sekarang mendukung fungsi SQL dan fungsi Tabel SQL. Misalnya, perintah dapat digunakan untuk me-refresh fungsi SQL persisten yang diperbarui di sesi SQL lain.
    • Sumber data Java Database Koneksi ivity (JDBC) v1 sekarang mendukung pushdown klausa LIMIT untuk meningkatkan performa dalam kueri. Fitur ini diaktifkan secara default dan dapat dinonaktifkan dengan spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled diatur ke false.
    • Di kluster ACL Tabel Warisan, membuat fungsi yang mereferensikan kelas JVM sekarang memerlukan MODIFY_CLASSPATH hak istimewa.
    • Sumber data Java Database Koneksi ivity (JDBC) v1 sekarang mendukung pushdown klausa LIMIT untuk meningkatkan performa dalam kueri. Fitur ini diaktifkan secara default dan dapat dinonaktifkan dengan spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled diatur ke false.
    • Konektor Azure Synapse sekarang mengembalikan pesan kesalahan yang lebih deskriptif ketika nama kolom berisi karakter yang tidak valid seperti spasi kosong atau titik koma. Dalam kasus seperti itu, pesan berikut akan dikembalikan: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • Streaming terstruktur Spark sekarang berfungsi dengan format("deltasharing") pada tabel berbagi delta sebagai sumber.
    • [SPARK-38277][SS] Hapus batch tulis setelah penerapan penyimpanan status RocksDB
    • [SPARK-41733][SQL] [SS] Menerapkan pemangkasan berbasis pola pohon untuk aturan ResolveWindowTime
    • [SPARK-39591][SS] Pelacakan Kemajuan Asinkron
    • [SPARK-41339][SQL] Tutup dan buat ulang batch tulis RocksDB alih-alih hanya membersihkan
    • [SPARK-41198][SS] Memperbaiki metrik dalam kueri streaming yang memiliki sumber streaming CTE dan DSv1
    • [SPARK-41539][SQL] Remap statistik dan batasan terhadap output dalam rencana logis untuk LogicalRDD
    • [SPARK-41732][SQL] [SS] Menerapkan pemangkasan berbasis pola pohon untuk aturan SessionWindowing
    • [SPARK-41862][SQL] Memperbaiki bug kebenaran yang terkait dengan nilai DEFAULT di pembaca Orc
    • [SPARK-41199][SS] Memperbaiki masalah metrik saat sumber streaming DSv1 dan sumber streaming DSv2 digunakan bersama
    • [SPARK-41261][PyTHON] [SS] Memperbaiki masalah untuk applyInPandasWithState ketika kolom kunci pengelompokan tidak ditempatkan secara berurutan dari awal
    • Penambal keamanan sistem operasi.

  • Mei 17, 2023

    • Pemindaian parquet sekarang kuat terhadap OOM saat memindai file yang sangat terstruktur dengan menyesuaikan ukuran batch secara dinamis. Metadata file dianalisis ke ukuran batch yang lebih rendah secara preemptivetively dan diturunkan lagi pada percobaan ulang tugas sebagai jaring pengaman akhir.
    • Memperbaiki regresi yang menyebabkan pekerjaan Azure Databricks bertahan setelah gagal terhubung ke metastore selama inisialisasi kluster.
    • [SPARK-41520][SQL] Pisahkan AND_OR pola pohon untuk memisahkan AND dan OR.
    • [SPARK-43190][SQL] ListQuery.childOutput sekarang konsisten dengan output sekunder.
    • Penambal keamanan sistem operasi.

  • 25 April 2023

    • Jika file Parquet dibaca hanya failOnUnknownFields dengan opsi atau dengan Auto Loader dalam failOnNewColumns mode evolusi skema, kolom yang memiliki jenis data yang berbeda akan dibaca sebagai null alih-alih melempar kesalahan yang menyatakan bahwa file tidak dapat dibaca. Pembacaan ini sekarang gagal dan merekomendasikan pengguna untuk menggunakan opsi .rescuedDataColumn
    • Auto Loader sekarang membaca dengan benar dan tidak lagi menyelamatkan Integer, , ShortByte jenis jika salah satu jenis data ini disediakan. File Parquet menyarankan salah satu dari dua jenis lainnya. Ketika kolom data yang diselamatkan sebelumnya diaktifkan, ketidakcocokan jenis data akan menyebabkan kolom diselamatkan meskipun dapat dibaca.
    • [SPARK-42937][SQL] PlanSubqueries sekarang diatur InSubqueryExec#shouldBroadcast ke true.
    • Penambal keamanan sistem operasi.

  • Selasa, 11 April 2023

    • Mendukung format sumber data warisan dalam perintah SYNC.
    • Memperbaiki bug dalam perilaku %autoreload di buku catatan yang berada di luar repositori.
    • Memperbaiki bug di mana evolusi skema Auto Loader dapat masuk ke perulangan gagal tak terbatas, ketika kolom baru terdeteksi dalam skema objek JSON berlapis.
    • [SPARK-42928][SQL] Buat resolvePersistentFunction disinkronkan.
    • [SPARK-42967][CORE] Perbaiki SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.

  • 29 Maret 2023

    • [SPARK-42794][SS] Tingkatkan lockAcquireTimeoutMs menjadi 2 menit untuk memperoleh penyimpanan status RocksDB di Streaming Struktur
    • [SPARK-42403][CORE] JsonProtocol harus menangani string JSON null
    • [SPARK-42668][SS] Menangkap pengecualian saat mencoba menutup aliran terkompresi di HDFSStateStoreProvider batal
    • Penambal keamanan sistem operasi.

  • 14 Maret 2023

    • [SPARK-42635][SQL] Perbaiki ekspresi TimestampAdd.
    • [SPARK-41793][SQL] Hasil yang salah untuk bingkai jendela yang ditentukan oleh klausa rentang pada desimal besar
    • [SPARK-42484] [SQL] Pesan kesalahan UnsafeRowUtils lebih baik
    • [SPARK-42534][SQL] Memperbaiki klausa Batas DB2Dialect
    • [SPARK-41162][SQL] Perbaiki anti-dan semi-join untuk gabungan mandiri dengan agregasi
    • [SPARK-42516][SQL] Selalu ambil konfigurasi zona waktu sesi saat membuat tampilan
    • Beberapa macam perbaikan bug.

  • 28 Februari 2023

    • Opsi Koneksi standar untuk Federasi Kueri

      Sekarang Anda dapat menggunakan sekumpulan opsi terpadu (host, port, database, user, password) untuk menyambungkan ke sumber data yang didukung di Federasi Kueri (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Perhatikan bahwa port bersifat opsional dan menggunakan nomor port default untuk setiap sumber data jika tidak disediakan.

      Contoh konfigurasi koneksi PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Contoh konfigurasi koneksi Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL] Fallback ke jalur kode codegen sebelumnya untuk expr kompleks dengan CAST

    • [SPARK-41989][PyTHON] Hindari melanggar konfigurasi pengelogan dari pyspark.pandas

    • [SPARK-42346][SQL] Regenerasi agregat yang berbeda setelah penggabungan subkueri

    • [SPARK-41360][CORE] Hindari pendaftaran ulang BlockManager jika pelaksana telah hilang

    • [SPARK-42162] Memperkenalkan ekspresi MultiCommutativeOp sebagai pengoptimalan memori untuk kanonisisasi pohon besar ekspresi komutatif

    • [SPARK-41990][SQL] Gunakan FieldReference.column alih-alih apply dalam konversi filter V1 ke V2

    • Penambal keamanan sistem operasi.

  • 16 Februari 2023

    • Pengguna sekarang dapat membaca dan menulis tabel Delta tertentu yang memerlukan Pembaca versi 3 dan Writer versi 7, dengan menggunakan Databricks Runtime 9.1 atau yang lebih baru. Agar berhasil, fitur tabel yang tercantum dalam protokol tabel harus didukung oleh versi Databricks Runtime saat ini.
    • Perintah SYNC mendukung sinkronisasi tabel Apache Hive Metastore yang dibuat ulang. Jika tabel HMS telah di-SYNCed sebelumnya ke Katalog Unity tetapi kemudian dihilangkan dan dibuat ulang, sinkronisasi ulang berikutnya akan berfungsi alih-alih melemparkan kode status TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide menggunakan desimal(1, 0) untuk mewakili 0
    • [SPARK-40382][SQL] Mengelompokkan ekspresi agregat yang berbeda oleh anak-anak yang setara secara semantik di RewriteDistinctAggregates
    • Penambal keamanan sistem operasi.

  • 25 Januari 2023

    • [SPARK-41379][SS] [PyTHON] Menyediakan sesi spark kloning di DataFrame dalam fungsi pengguna untuk sink foreachBatch di PySpark
    • [SPARK-41660][SQL] Hanya sebarkan kolom metadata jika digunakan
    • [SPARK-41669][SQL] Pemangkasan awal di canCollapseExpressions
    • Beberapa macam perbaikan bug.

  • 18 Januari 2023

    • REFRESH FUNCTION Perintah SQL sekarang mendukung fungsi SQL dan fungsi Tabel SQL. Misalnya, perintah dapat digunakan untuk me-refresh fungsi SQL persisten yang diperbarui di sesi SQL lain.
    • Sumber data Java Database Koneksi ivity (JDBC) v1 sekarang mendukung pushdown klausa LIMIT untuk meningkatkan performa dalam kueri. Fitur ini diaktifkan secara default dan dapat dinonaktifkan dengan spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled diatur ke false.
    • Sumber data Java Database Koneksi ivity (JDBC) v1 sekarang mendukung pushdown klausa LIMIT untuk meningkatkan performa dalam kueri. Fitur ini diaktifkan secara default dan dapat dinonaktifkan dengan spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled diatur ke false.
    • Konektor Azure Synapse sekarang mengembalikan pesan kesalahan yang lebih deskriptif ketika nama kolom berisi karakter yang tidak valid seperti spasi kosong atau titik koma. Dalam kasus seperti itu, pesan berikut akan dikembalikan: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Memperbaiki metrik dalam kueri streaming yang memiliki sumber streaming CTE dan DSv1
    • [SPARK-41862][SQL] Memperbaiki bug kebenaran yang terkait dengan nilai DEFAULT di pembaca Orc
    • [SPARK-41539][SQL] Remap statistik dan batasan terhadap output dalam rencana logis untuk LogicalRDD
    • [SPARK-39591][SS] Pelacakan Kemajuan Asinkron
    • [SPARK-41199][SS] Memperbaiki masalah metrik saat sumber streaming DSv1 dan sumber streaming DSv2 digunakan bersama
    • [SPARK-41261][PyTHON] [SS] Memperbaiki masalah untuk applyInPandasWithState ketika kolom kunci pengelompokan tidak ditempatkan secara berurutan dari awal
    • [SPARK-41339][SQL] Tutup dan buat ulang batch tulis RocksDB alih-alih hanya membersihkan
    • [SPARK-41732][SQL] [SS] Menerapkan pemangkasan berbasis pola pohon untuk aturan SessionWindowing
    • [SPARK-38277][SS] Hapus batch tulis setelah penerapan penyimpanan status RocksDB
    • Penambal keamanan sistem operasi.

  • 29 November 2022

    • Pengguna dapat mengonfigurasi perilaku spasi putih terkemuka dan berikutnya saat menulis data menggunakan konektor Redshift. Opsi berikut telah ditambahkan untuk mengontrol penanganan spasi kosong:
      • csvignoreleadingwhitespace, ketika diatur ke true, menghapus spasi kosong di depan dari nilai selama penulisan ketika tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan saat konfigurasi diatur ke false. Secara default, nilainya adalah true.
      • csvignoretrailingwhitespace, ketika diatur ke true, menghapus spasi kosong berikutnya dari nilai selama penulisan ketika tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan saat konfigurasi diatur ke false. Secara default, nilainya adalah true.
    • Memperbaiki bug dengan penguraian JSON di Auto Loader ketika semua kolom dibiarkan sebagai string (cloudFiles.inferColumnTypes tidak diatur atau diatur ke false) dan JSON berisi objek berlapis.
    • Tingkatkan snowflake-jdbc dependensi ke versi 3.13.22.
    • Jenis tabel tabel JDBC sekarang EKSTERNAL secara default.
    • [SPARK-40906][SQL] Mode harus menyalin kunci sebelum menyisipkan ke dalam Peta
    • Penambal keamanan sistem operasi.

  • 15 November 2022

    • ACL Tabel dan kluster Bersama UC sekarang mengizinkan metode Dataset.toJSON dari python.
    • [SPARK-40646] Penguraian JSON untuk struktur, peta, dan array telah diperbaiki sehingga ketika bagian dari rekaman tidak cocok dengan skema, sisa rekaman masih dapat diurai dengan benar alih-alih mengembalikan null. Untuk ikut serta dalam set perilaku spark.sql.json.enablePartialResults yang ditingkatkan ke true. Bendera dinonaktifkan secara default untuk mempertahankan perilaku asli
    • [SPARK-40903][SQL] Hindari menyusun ulang penambahan desimal untuk kanonisisasi jika jenis data diubah
    • [SPARK-40618][SQL] Memperbaiki bug dalam aturan MergeScalarSubqueries dengan subkueri berlapis menggunakan pelacakan referensi
    • [SPARK-40697][SQL] Menambahkan padding karakter sisi baca untuk mencakup file data eksternal
    • Penambal keamanan sistem operasi.

  • 1 November 2022

    • Streaming Terstruktur di Unity Catalog sekarang mendukung refresh token akses sementara. Beban kerja streaming yang berjalan dengan Katalog Unity semua tujuan atau kluster pekerjaan tidak lagi gagal setelah token awal kedaluwarsa.
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Umpan data Perubahan dinonaktifkan pada tabel tersebut, data di kolom tersebut akan salah diisi dengan nilai NULL saat menjalankan MERGE.
    • Memperbaiki masalah saat menjalankan MERGE dan menggunakan tepat 99 kolom dari sumber dalam kondisi dapat mengakibatkan java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Memperbaiki masalah Auto Loader di mana file dapat diduplikasi dalam mikro-batch yang sama saat allowOverwrites diaktifkan.
    • Meningkatkan teks umum Apache ke 1.10.0.
    • [SPARK-38881][DSTREAMS] [KINESIS] [PySPARK] Menambahkan Dukungan untuk CloudWatch MetricsLevel Config
    • [SPARK-40596][CORE] Isi ExecutorDecommission dengan pesan di ExecutorDecommissionInfo
    • [SPARK-40670][SS] [PyTHON] Perbaiki NPE di applyInPandasWithState saat skema input memiliki kolom "tidak dapat diubah ke null"
    • Penambal keamanan sistem operasi.

Databricks Runtime 11.2 (tidak didukung)

Lihat Databricks Runtime 11.2 (tidak didukung).

  • 28 Februari 2023
    • [SPARK-42286][SQL] Fallback ke jalur kode codegen sebelumnya untuk expr kompleks dengan CAST
    • [SPARK-42346][SQL] Regenerasi agregat yang berbeda setelah penggabungan subkueri
    • Penambal keamanan sistem operasi.
  • 16 Februari 2023
    • Pengguna sekarang dapat membaca dan menulis tabel Delta tertentu yang memerlukan Pembaca versi 3 dan Writer versi 7, dengan menggunakan Databricks Runtime 9.1 atau yang lebih baru. Agar berhasil, fitur tabel yang tercantum dalam protokol tabel harus didukung oleh versi Databricks Runtime saat ini.
    • Perintah SYNC mendukung sinkronisasi tabel Apache Hive Metastore yang dibuat ulang. Jika tabel HMS telah di-SYNCed sebelumnya ke Katalog Unity tetapi kemudian dihilangkan dan dibuat ulang, sinkronisasi ulang berikutnya akan berfungsi alih-alih melemparkan kode status TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] IntegralDivide menggunakan desimal(1, 0) untuk mewakili 0
    • Penambal keamanan sistem operasi.
  • 31 Januari 2023
    • Jenis tabel tabel JDBC sekarang EKSTERNAL secara default.
    • [SPARK-41379][SS] [PyTHON] Menyediakan sesi spark kloning di DataFrame dalam fungsi pengguna untuk sink foreachBatch di PySpark
  • 18 Januari 2023
    • Konektor Azure Synapse sekarang mengembalikan pesan kesalahan yang lebih deskriptif ketika nama kolom berisi karakter yang tidak valid seperti spasi kosong atau titik koma. Dalam kasus seperti itu, pesan berikut akan dikembalikan: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Memperbaiki metrik dalam kueri streaming yang memiliki sumber streaming CTE dan DSv1
    • [SPARK-41862][SQL] Memperbaiki bug kebenaran yang terkait dengan nilai DEFAULT di pembaca Orc
    • [SPARK-41539][SQL] Remap statistik dan batasan terhadap output dalam rencana logis untuk LogicalRDD
    • [SPARK-41199][SS] Memperbaiki masalah metrik saat sumber streaming DSv1 dan sumber streaming DSv2 digunakan bersama
    • [SPARK-41339][SQL] Tutup dan buat ulang batch tulis RocksDB alih-alih hanya membersihkan
    • [SPARK-41732][SQL] [SS] Menerapkan pemangkasan berbasis pola pohon untuk aturan SessionWindowing
    • [SPARK-38277][SS] Hapus batch tulis setelah penerapan penyimpanan status RocksDB
    • Penambal keamanan sistem operasi.
  • 29 November 2022
    • Pengguna dapat mengonfigurasi perilaku spasi putih terkemuka dan berikutnya saat menulis data menggunakan konektor Redshift. Opsi berikut telah ditambahkan untuk mengontrol penanganan spasi kosong:
      • csvignoreleadingwhitespace, ketika diatur ke true, menghapus spasi kosong di depan dari nilai selama penulisan ketika tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan saat konfigurasi diatur ke false. Secara default, nilainya adalah true.
      • csvignoretrailingwhitespace, ketika diatur ke true, menghapus spasi kosong berikutnya dari nilai selama penulisan ketika tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan saat konfigurasi diatur ke false. Secara default, nilainya adalah true.
    • Memperbaiki bug dengan penguraian JSON di Auto Loader ketika semua kolom dibiarkan sebagai string (cloudFiles.inferColumnTypes tidak diatur atau diatur ke false) dan JSON berisi objek berlapis.
    • [SPARK-40906][SQL] Mode harus menyalin kunci sebelum menyisipkan ke dalam Peta
    • Penambal keamanan sistem operasi.
  • 15 November 2022
    • [SPARK-40646] Penguraian JSON untuk struktur, peta, dan array telah diperbaiki sehingga ketika bagian dari rekaman tidak cocok dengan skema, sisa rekaman masih dapat diurai dengan benar alih-alih mengembalikan null. Untuk ikut serta dalam perilaku yang ditingkatkan, atur spark.sql.json.enablePartialResults ke true. Bendera dinonaktifkan secara default untuk mempertahankan perilaku asli
    • [SPARK-40618][SQL] Memperbaiki bug dalam aturan MergeScalarSubqueries dengan subkueri berlapis menggunakan pelacakan referensi
    • [SPARK-40697][SQL] Menambahkan padding karakter sisi baca untuk mencakup file data eksternal
    • Penambal keamanan sistem operasi.
  • 1 November 2022
    • Meningkatkan teks umum Apache ke 1.10.0.
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Umpan data Perubahan dinonaktifkan pada tabel tersebut, data di kolom tersebut akan salah diisi dengan nilai NULL saat menjalankan MERGE.
    • Memperbaiki masalah saat menjalankan MERGE dan menggunakan tepat 99 kolom dari sumber dalam kondisi dapat mengakibatkan java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Memperbaiki masalah dengan Auto Loader di mana file dapat diduplikasi dalam batch mikro yang sama saat allowOverwrites diaktifkan
    • [SPARK-40596][CORE] Isi ExecutorDecommission dengan pesan di ExecutorDecommissionInfo
    • Penambal keamanan sistem operasi.
  • 19 Oktober 2022
    • Memperbaiki masalah penggunaan COPY INTO dengan kredensial sementara pada kluster/gudang yang diaktifkan Katalog Unity.
    • [SPARK-40213][SQL] Mendukung konversi nilai ASCII untuk karakter Latin-1
    • Penambal keamanan sistem operasi.
  • 5 Oktober 2022
    • Pengguna dapat mengatur spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") untuk mengaktifkan kembali daftar asli untuk Auto Loader di ADLS Gen2. Daftar asli sebelumnya dinonaktifkan karena masalah performa, tetapi mungkin menyebabkan peningkatan biaya penyimpanan untuk pelanggan. Perubahan ini diluncurkan ke DBR 10.4 dan 9.1 dalam pembaruan pemeliharaan sebelumnya.
    • [SPARK-40315][SQL] Mendukung pengodean/dekode url sebagai fungsi bawaan dan merapikan fungsi terkait url
    • [SPARK-40156][SQL]url_decode() jika mengembalikan kelas kesalahan
    • [SPARK-40169] Jangan pushdown filter Parquet tanpa referensi ke skema data
    • [SPARK-40460][SS] Memperbaiki metrik streaming saat memilih _metadata
    • [SPARK-40468][SQL] Memperbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih
    • [SPARK-40055][SQL] listCatalogs juga harus mengembalikan spark_catalog bahkan ketika implementasi spark_catalog adalah defaultSessionCatalog
    • Penambal keamanan sistem operasi.
  • 22 September 2022
    • [SPARK-40315][SQL] Menambahkan hashCode() untuk Literal ArrayBasedMapData
    • [SPARK-40389][SQL] Desimal tidak dapat dinaikkan sebagai jenis integral jika cast dapat meluap
    • [SPARK-40380][SQL] Perbaiki pelipatan konstanta InvokeLike untuk menghindari literal yang tidak dapat diserialisasikan yang disematkan dalam rencana
    • [SPARK-40066][SQL] [TINDAK LANJUT] Periksa apakah ElementAt diselesaikan sebelum mendapatkan dataType-nya
    • [SPARK-40109][SQL] Fungsi SQL baru: get()
    • [SPARK-40066][SQL] Mode ANSI: selalu mengembalikan null pada akses yang tidak valid ke kolom peta
    • [SPARK-40089][SQL] Memperbaiki pengurutan untuk beberapa jenis Desimal
    • [SPARK-39887][SQL] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
    • [SPARK-40152][SQL] Memperbaiki masalah kompilasi codegen split_part
    • [SPARK-40235][CORE] Menggunakan kunci yang dapat diinterupsi alih-alih disinkronkan dalam Executor.updateDependencies()
    • [SPARK-40212][SQL] SparkSQL castPartValue tidak menangani byte, short, atau float dengan benar
    • [SPARK-40218][SQL] GROUPING SETS harus mempertahankan kolom pengelompokan
    • [SPARK-35542][ML] Perbaikan: Bucketizer dibuat untuk beberapa kolom dengan parameter
    • [SPARK-40079] Menambahkan validasi Imputer inputCols untuk kasus input kosong
    • [SPARK-39912]SPARK-39828[SQL] Menyempurnakan KatalogImpl

Databricks Runtime 11.1 (tidak didukung)

Lihat Databricks Runtime 11.1 (tidak didukung).

  • 31 Januari 2023

    • [SPARK-41379][SS] [PyTHON] Menyediakan sesi spark kloning di DataFrame dalam fungsi pengguna untuk sink foreachBatch di PySpark
    • Beberapa macam perbaikan bug.

  • 18 Januari 2023

    • Konektor Azure Synapse sekarang mengembalikan pesan kesalahan yang lebih deskriptif ketika nama kolom berisi karakter yang tidak valid seperti spasi kosong atau titik koma. Dalam kasus seperti itu, pesan berikut akan dikembalikan: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Memperbaiki metrik dalam kueri streaming yang memiliki sumber streaming CTE dan DSv1
    • [SPARK-41862][SQL] Memperbaiki bug kebenaran yang terkait dengan nilai DEFAULT di pembaca Orc
    • [SPARK-41199][SS] Memperbaiki masalah metrik saat sumber streaming DSv1 dan sumber streaming DSv2 digunakan bersama
    • [SPARK-41339][SQL] Tutup dan buat ulang batch tulis RocksDB alih-alih hanya membersihkan
    • [SPARK-41732][SQL] [SS] Menerapkan pemangkasan berbasis pola pohon untuk aturan SessionWindowing
    • [SPARK-38277][SS] Hapus batch tulis setelah penerapan penyimpanan status RocksDB
    • Penambal keamanan sistem operasi.

  • 29 November 2022

    • Pengguna dapat mengonfigurasi perilaku spasi putih terkemuka dan berikutnya saat menulis data menggunakan konektor Redshift. Opsi berikut telah ditambahkan untuk mengontrol penanganan spasi kosong:
      • csvignoreleadingwhitespace, ketika diatur ke true, menghapus spasi kosong di depan dari nilai selama penulisan ketika tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan saat konfigurasi diatur ke false. Secara default, nilainya adalah true.
      • csvignoretrailingwhitespace, ketika diatur ke true, menghapus spasi kosong berikutnya dari nilai selama penulisan ketika tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan saat konfigurasi diatur ke false. Secara default, nilainya adalah true.
    • Memperbaiki bug dengan penguraian JSON di Auto Loader ketika semua kolom dibiarkan sebagai string (cloudFiles.inferColumnTypes tidak diatur atau diatur ke false) dan JSON berisi objek berlapis.
    • [SPARK-39650][SS] Memperbaiki skema nilai yang salah dalam deduplikasi streaming dengan kompatibilitas mundur
    • Penambal keamanan sistem operasi.

  • 15 November 2022

    • [SPARK-40646] Penguraian JSON untuk struktur, peta, dan array telah diperbaiki sehingga ketika bagian dari rekaman tidak cocok dengan skema, sisa rekaman masih dapat diurai dengan benar alih-alih mengembalikan null. Untuk ikut serta dalam perilaku yang ditingkatkan, atur spark.sql.json.enablePartialResults ke true. Bendera dinonaktifkan secara default untuk mempertahankan perilaku asli
    • Penambal keamanan sistem operasi.

  • 1 November 2022

    • Meningkatkan teks umum Apache ke 1.10.0.
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Umpan data Perubahan dinonaktifkan pada tabel tersebut, data di kolom tersebut akan salah diisi dengan nilai NULL saat menjalankan MERGE.
    • Memperbaiki masalah saat menjalankan MERGE dan menggunakan tepat 99 kolom dari sumber dalam kondisi dapat mengakibatkan java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Memperbaiki masalah dengan Auto Loader di mana file dapat diduplikasi dalam batch mikro yang sama saat allowOverwrites diaktifkan
    • [SPARK-40697][SQL] Menambahkan padding karakter sisi baca untuk mencakup file data eksternal
    • [SPARK-40596][CORE] Isi ExecutorDecommission dengan pesan di ExecutorDecommissionInfo
    • Penambal keamanan sistem operasi.

  • 18 Oktober 2022

    • Memperbaiki masalah penggunaan COPY INTO dengan kredensial sementara pada kluster/gudang yang diaktifkan Katalog Unity.
    • [SPARK-40213][SQL] Mendukung konversi nilai ASCII untuk karakter Latin-1
    • Penambal keamanan sistem operasi.

  • Rabu, 05 Oktober 2022

    • Pengguna dapat mengatur spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") untuk mengaktifkan kembali daftar asli untuk Auto Loader di ADLS Gen2. Daftar asli sebelumnya dinonaktifkan karena masalah performa, tetapi mungkin menyebabkan peningkatan biaya penyimpanan untuk pelanggan. Perubahan ini diluncurkan ke DBR 10.4 dan 9.1 dalam pembaruan pemeliharaan sebelumnya.
    • [SPARK-40169] Jangan pushdown filter Parquet tanpa referensi ke skema data
    • [SPARK-40460][SS] Memperbaiki metrik streaming saat memilih _metadata
    • [SPARK-40468][SQL] Memperbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih
    • [SPARK-40055][SQL] listCatalogs juga harus mengembalikan spark_catalog bahkan ketika implementasi spark_catalog adalah defaultSessionCatalog
    • Penambal keamanan sistem operasi.

  • Tanggal 22 September 2022

    • [SPARK-40315][SQL] Menambahkan hashCode() untuk Literal ArrayBasedMapData
    • [SPARK-40380][SQL] Perbaiki pelipatan konstanta InvokeLike untuk menghindari literal yang tidak dapat diserialisasikan yang disematkan dalam rencana
    • [SPARK-40089][SQL] Memperbaiki pengurutan untuk beberapa jenis Desimal
    • [SPARK-39887][SQL] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
    • [SPARK-40152][SQL] Memperbaiki masalah kompilasi codegen split_part

  • 6 September 2022

    • Kami telah memperbarui model izin dalam Kontrol Akses Tabel (ACL Tabel) sehingga hanya izin MODIFIKASI yang diperlukan untuk mengubah skema tabel atau properti tabel dengan UBAH TABEL. Sebelumnya, operasi ini mengharuskan pengguna untuk memiliki tabel. Kepemilikan masih diperlukan untuk memberikan izin pada tabel, mengubah pemiliknya, mengubah lokasinya, atau mengganti namanya. Perubahan ini membuat model izin untuk ACL Tabel lebih konsisten dengan Katalog Unity.
    • [SPARK-40235][CORE] Menggunakan kunci yang dapat diinterupsi alih-alih disinkronkan dalam Executor.updateDependencies()
    • [SPARK-40212][SQL] SparkSQL castPartValue tidak menangani byte, short, atau float dengan benar
    • [SPARK-40218][SQL] GROUPING SETS harus mempertahankan kolom pengelompokan
    • [SPARK-39976][SQL] ArrayIntersect harus menangani null dalam ekspresi kiri dengan benar
    • [SPARK-40053][CORE][SQL][TESTS] Menambahkan assume ke kasus pembatalan dinamis yang memerlukan lingkungan runtime Python
    • [SPARK-35542][CORE][ML] Perbaikan: Bucketizer dibuat untuk beberapa kolom dengan parameter splitsArray, inputCols, dan outputCols yang tidak dapat dimuat setelah menyimpannya
    • [SPARK-40079][CORE] Menambahkan validasi inputCols Imputer untuk kasus input kosong

  • 24 Agustus 2022

    • Berbagi, penyedia, dan penerima sekarang mendukung perintah SQL untuk mengubah pemilik, komentar, mengganti nama
    • [SPARK-39983][CORE][SQL] Jangan menyimpan cache relasi siaran yang tidak diserialisasi di driver
    • [SPARK-39912][SPARK-39828][SQL] Menyempurnakan CatalogImpl
    • [SPARK-39775][CORE][AVRO] Menonaktifkan validasi nilai default saat mengurai skema Avro
    • [SPARK-39806] Memperbaiki masalah pada kueri yang mengakses crash struct METADATA pada tabel berpartisi
    • [SPARK-39867][SQL] Batas global tidak boleh mewarisi OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Menerapkan proyeksi saat atribut grup kosong
    • [SPARK-39839][SQL] Menangani kasus khusus Desimal panjang variabel null dengan offset non-nolAndSize dalam pemeriksaan integritas struktural UnsafeRow
    • [SPARK-39713][SQL] Mode ANSI: menambahkan saran menggunakan try_element_at untuk kesalahan INVALID_ARRAY_INDEX
    • [SPARK-39847][SS] Memperbaiki kondisi race di RocksDBLoader.loadLibrary() jika utas pemanggil terganggu
    • [SPARK-39731][SQL] Memperbaiki masalah di sumber data CSV dan JSON saat mengurai tanggal dalam format "yyyyMMdd" dengan kebijakan pengurai waktu CORRECTED
    • Penambal keamanan sistem operasi.

  • 10 Agustus 2022

    • Untuk tabel Delta dengan kontrol akses tabel, evolusi skema otomatis melalui pernyataan DML seperti INSERT dan MERGE sekarang tersedia untuk semua pengguna yang memiliki izin MODIFY pada tabel tersebut. Selain itu, izin yang diperlukan untuk melakukan evolusi skema dengan COPY INTO sekarang diturunkan dari OWNER ke MODIFY agar konsisten dengan perintah lain. Perubahan ini membuat model keamanan ACL tabel lebih konsisten dengan model keamanan Katalog Unity serta dengan operasi lain seperti mengganti tabel.
    • [SPARK-39889] Meningkatkan pesan kesalahan pembagian dengan 0
    • [SPARK-39795] [SQL] Fungsi SQL baru: try_to_timestamp
    • [SPARK-39749] Selalu menggunakan representasi string biasa saat mentransmisikan desimal sebagai string berdasarkan mode ANSI
    • [SPARK-39625] Mengganti nama df.as menjadi df.to
    • [SPARK-39787] [SQL] Menggunakan kelas kesalahan dalam kesalahan penguraian fungsi to_timestamp
    • [SPARK-39625][SQL] Menambahkan Dataset.as(StructType)
    • [SPARK-39689] Mendukung lineSep 2 karakter dalam sumber data CSV
    • [SPARK-39579] [SQL][PYTHON][R] Membuat ListFunctions/getFunction/functionExists kompatibel dengan namespace 3 lapisan
    • [SPARK-39702][CORE] Mengurangi overhead memori TransportCipher$EncryptedMessage menggunakan byteRawChannel bersama
    • [SPARK-39575][AVRO] Menambahkan ByteBuffer#rewind setelah ByteBuffer#get di AvroDeserializer
    • [SPARK-39265] [SQL] Memperbaiki kegagalan pengujian saat SPARK_ANSI_SQL_MODE diaktifkan
    • [SPARK-39441][SQL] Mempercepat DeduplicateRelations
    • [SPARK-39497][SQL] Meningkatkan pengecualian analisis kolom kunci peta yang hilang
    • [SPARK-39476][SQL] Menonaktifkan pengoptimalan transmisi Unwrap saat melakukan transmisi dari Long ke Float/Double atau dari Bilangan Bulat ke Float
    • [SPARK-39434][SQL] Menyediakan konteks kueri kesalahan runtime saat indeks array berada di luar batas

Databricks Runtime 11.0 (tidak didukung)

Lihat Databricks Runtime 11.0 (tidak didukung).

  • 29 November 2022
    • Pengguna dapat mengonfigurasi perilaku spasi putih terkemuka dan berikutnya saat menulis data menggunakan konektor Redshift. Opsi berikut telah ditambahkan untuk mengontrol penanganan spasi kosong:
      • csvignoreleadingwhitespace, ketika diatur ke true, menghapus spasi kosong di depan dari nilai selama penulisan ketika tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan saat konfigurasi diatur ke false. Secara default, nilainya adalah true.
      • csvignoretrailingwhitespace, ketika diatur ke true, menghapus spasi kosong berikutnya dari nilai selama penulisan ketika tempformat diatur ke CSV atau CSV GZIP. Spasi kosong dipertahankan saat konfigurasi diatur ke false. Secara default, nilainya adalah true.
    • Memperbaiki bug dengan penguraian JSON di Auto Loader ketika semua kolom dibiarkan sebagai string (cloudFiles.inferColumnTypes tidak diatur atau diatur ke false) dan JSON berisi objek berlapis.
    • [SPARK-39650][SS] Memperbaiki skema nilai yang salah dalam deduplikasi streaming dengan kompatibilitas mundur
    • Penambal keamanan sistem operasi.
  • 15 November 2022
    • [SPARK-40646] Penguraian JSON untuk struktur, peta, dan array telah diperbaiki sehingga ketika bagian dari rekaman tidak cocok dengan skema, sisa rekaman masih dapat diurai dengan benar alih-alih mengembalikan null. Untuk ikut serta dalam perilaku yang ditingkatkan, atur spark.sql.json.enablePartialResults ke true. Bendera dinonaktifkan secara default untuk mempertahankan perilaku asli.
  • 1 November 2022
    • Meningkatkan teks umum Apache ke 1.10.0.
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Umpan data Perubahan dinonaktifkan pada tabel tersebut, data di kolom tersebut akan salah diisi dengan nilai NULL saat menjalankan MERGE.
    • Memperbaiki masalah dengan Auto Loader di mana file dapat diduplikasi dalam batch mikro yang sama saat allowOverwrites diaktifkan
    • [SPARK-40697][SQL] Menambahkan padding karakter sisi baca untuk mencakup file data eksternal
    • [SPARK-40596][CORE] Isi ExecutorDecommission dengan pesan di ExecutorDecommissionInfo
    • Penambal keamanan sistem operasi.
  • 18 Oktober 2022
    • [SPARK-40213][SQL] Mendukung konversi nilai ASCII untuk karakter Latin-1
    • Penambal keamanan sistem operasi.
  • 5 Oktober 2022
    • Pengguna dapat mengatur spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") untuk mengaktifkan kembali daftar asli untuk Auto Loader di ADLS Gen2. Daftar asli sebelumnya dinonaktifkan karena masalah performa, tetapi mungkin menyebabkan peningkatan biaya penyimpanan untuk pelanggan. Perubahan ini diluncurkan ke DBR 10.4 dan 9.1 dalam pembaruan pemeliharaan sebelumnya.
    • [SPARK-40169] Jangan pushdown filter Parquet tanpa referensi ke skema data
    • [SPARK-40460][SS] Memperbaiki metrik streaming saat memilih _metadata
    • [SPARK-40468][SQL] Memperbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih
    • Penambal keamanan sistem operasi.
  • 22 September 2022
    • [SPARK-40315][SQL] Menambahkan hashCode() untuk Literal ArrayBasedMapData
    • [SPARK-40380][SQL] Perbaiki pelipatan konstanta InvokeLike untuk menghindari literal yang tidak dapat diserialisasikan yang disematkan dalam rencana
    • [SPARK-40089][SQL] Memperbaiki pengurutan untuk beberapa jenis Desimal
    • [SPARK-39887][SQL] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
    • [SPARK-40152][SQL] Memperbaiki masalah kompilasi codegen split_part
  • 6 September 2022
    • [SPARK-40235][CORE] Menggunakan kunci yang dapat diinterupsi alih-alih disinkronkan dalam Executor.updateDependencies()
    • [SPARK-40212][SQL] SparkSQL castPartValue tidak menangani byte, short, atau float dengan benar
    • [SPARK-40218][SQL] GROUPING SETS harus mempertahankan kolom pengelompokan
    • [SPARK-39976][SQL] ArrayIntersect harus menangani null dalam ekspresi kiri dengan benar
    • [SPARK-40053][CORE][SQL][TESTS] Menambahkan assume ke kasus pembatalan dinamis yang memerlukan lingkungan runtime Python
    • [SPARK-35542][CORE][ML] Perbaikan: Bucketizer dibuat untuk beberapa kolom dengan parameter splitsArray, inputCols, dan outputCols yang tidak dapat dimuat setelah menyimpannya
    • [SPARK-40079][CORE] Menambahkan validasi inputCols Imputer untuk kasus input kosong
  • 24 Agustus 2022
    • [SPARK-39983][CORE][SQL] Jangan menyimpan cache relasi siaran yang tidak diserialisasi di driver
    • [SPARK-39775][CORE][AVRO] Menonaktifkan validasi nilai default saat mengurai skema Avro
    • [SPARK-39806] Memperbaiki masalah pada kueri yang mengakses crash struct METADATA pada tabel berpartisi
    • [SPARK-39867][SQL] Batas global tidak boleh mewarisi OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL] Menerapkan proyeksi saat atribut grup kosong
    • Penambal keamanan sistem operasi.
  • 9 Agustus 2022
    • [SPARK-39713][SQL] Mode ANSI: menambahkan saran menggunakan try_element_at untuk kesalahan INVALID_ARRAY_INDEX
    • [SPARK-39847] Memperbaiki kondisi race di RocksDBLoader.loadLibrary() jika utas pemanggil terganggu
    • [SPARK-39731][SQL] Memperbaiki masalah di sumber data CSV dan JSON saat mengurai tanggal dalam format "yyyyMMdd" dengan kebijakan pengurai waktu CORRECTED
    • [SPARK-39889] Meningkatkan pesan kesalahan pembagian dengan 0
    • [SPARK-39795][SQL] Fungsi SQL baru: try_to_timestamp
    • [SPARK-39749] Selalu menggunakan representasi string biasa saat mentransmisikan desimal sebagai string berdasarkan mode ANSI
    • [SPARK-39625][SQL] Menambahkan Dataset.to(StructType)
    • [SPARK-39787][SQL] Menggunakan kelas kesalahan dalam kesalahan penguraian fungsi to_timestamp
    • Penambal keamanan sistem operasi.
  • 27 Juli 2022
    • [SPARK-39689] Mendukung 2 karakter lineSep dalam sumber data CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded harus aman untuk thread
    • [SPARK-39702][CORE] Mengurangi overhead memori TransportCipher$EncryptedMessage menggunakan byteRawChannel bersama
    • [SPARK-39575][AVRO] Menambahkan ByteBuffer#rewind setelah ByteBuffer#get di AvroDeserializer
    • [SPARK-39497][SQL] Meningkatkan pengecualian analisis kolom kunci peta yang hilang
    • [SPARK-39441][SQL] Mempercepat DeduplicateRelations
    • [SPARK-39476][SQL] Menonaktifkan pengoptimalan transmisi Unwrap saat melakukan transmisi dari Long to Float/Double atau dari Bilangan Bulat ke Float
    • [SPARK-39434][SQL] Menyediakan konteks kueri kesalahan runtime saat indeks array berada di luar batas
    • [SPARK-39570][SQL] Tabel sebaris harus mengizinkan ekspresi dengan alias
    • Penambal keamanan sistem operasi.
  • 13 Juli 2022
    • Membuat hasil operasi Delta MERGE konsisten ketika sumber tidak deterministik.
    • Memperbaiki masalah untuk TVF cloud_files_state saat berjalan di jalur non-DBFS.
    • Menonaktifkan penggunaan API cloud asli Auto Loader untuk daftar direktori di Azure.
    • [SPARK-38796][SQL] Memperbarui fungsi to_number dan try_to_number untuk memungkinkan permintaan pull dengan angka positif
    • [SPARK-39272][SQL] Meningkatkan posisi awal konteks kueri sebesar 1
    • [SPARK-39419][SQL] Memperbaiki ArraySort untuk memberikan pengecualian saat pembanding mengembalikan null
    • Penambal keamanan sistem operasi.
  • 5 Juli 2022
    • Penyempurnaan terhadap pesan kesalahan untuk berbagai kelas kesalahan.
    • [SPARK-39451][SQL] Mendukung transmisi interval ke integral dalam mode ANSI
    • [SPARK-39361] Jangan menggunakan pola konversi throwable yang diperluas dari Log4J2 dalam konfigurasi pengelogan
    • [SPARK-39354][SQL] Memastikan untuk menampilkan Table or view not found meskipun ada dataTypeMismatchError yang terkait dengan Filter pada saat yang sama
    • [SPARK-38675][CORE] Memperbaiki persaingan selama membuka kunci di BlockInfoManager
    • [SPARK-39392][SQL] Memperbaiki pesan kesalahan ANSI untuk petunjuk fungsi try_*
    • [SPARK-39214][SQL][3.3] Memperbaiki kesalahan yang terkait dengan CAST
    • [SPARK-37939][SQL] Menggunakan kelas kesalahan dalam kesalahan penguraian properti
    • [SPARK-39085][SQL] Memindahkan pesan kesalahan INCONSISTENT_BEHAVIOR_CROSS_VERSION ke error-classes.json
    • [SPARK-39376][SQL] Menyembunyikan kolom duplikat dalam ekspansi bintang alias subkueri dari NATURAL/USING JOIN
    • [SPARK-39283][CORE] Perbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark tidak boleh memeriksa nama bidang saat membaca file
    • Penambal keamanan sistem operasi.

Databricks Runtime 10.5 (tidak didukung)

Lihat Databricks Runtime 10.5 (tidak didukung).

  • 1 November 2022
    • Memperbaiki masalah di mana jika tabel Delta memiliki kolom yang ditentukan pengguna bernama _change_type, tetapi Umpan data Perubahan dinonaktifkan pada tabel tersebut, data di kolom tersebut akan salah diisi dengan nilai NULL saat menjalankan MERGE.
    • [SPARK-40697][SQL] Menambahkan padding karakter sisi baca untuk mencakup file data eksternal
    • [SPARK-40596][CORE] Isi ExecutorDecommission dengan pesan di ExecutorDecommissionInfo
    • Penambal keamanan sistem operasi.
  • 18 Oktober 2022
    • Penambal keamanan sistem operasi.
  • 5 Oktober 2022
    • Pengguna dapat mengatur spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") untuk mengaktifkan kembali daftar asli untuk Auto Loader di ADLS Gen2. Daftar asli sebelumnya dinonaktifkan karena masalah performa, tetapi mungkin menyebabkan peningkatan biaya penyimpanan untuk pelanggan. Perubahan ini diluncurkan ke DBR 10.4 dan 9.1 dalam pembaruan pemeliharaan sebelumnya.
    • reload4j telah ditingkatkan ke 1.2.19 untuk memperbaiki kerentanan.
    • [SPARK-40460][SS] Memperbaiki metrik streaming saat memilih _metadata
    • [SPARK-40468][SQL] Memperbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih
    • Penambal keamanan sistem operasi.
  • 22 September 2022
    • [SPARK-40315][SQL] Menambahkan hashCode() untuk Literal ArrayBasedMapData
    • [SPARK-40213][SQL] Mendukung konversi nilai ASCII untuk karakter Latin-1
    • [SPARK-40380][SQL] Perbaiki pelipatan konstanta InvokeLike untuk menghindari literal yang tidak dapat diserialisasikan yang disematkan dalam rencana
    • [SPARK-38404][SQL] Meningkatkan resolusi CTE saat CTE berlapis mereferensikan CTE luar
    • [SPARK-40089][SQL] Memperbaiki pengurutan untuk beberapa jenis Desimal
    • [SPARK-39887][SQL] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
    • Penambal keamanan sistem operasi.
  • 6 September 2022
    • [SPARK-40235][CORE] Menggunakan kunci yang dapat diinterupsi alih-alih disinkronkan dalam Executor.updateDependencies()
    • [SPARK-39976][SQL] ArrayIntersect harus menangani null dalam ekspresi kiri dengan benar
    • [SPARK-40053][CORE][SQL][TESTS] Menambahkan assume ke kasus pembatalan dinamis yang memerlukan lingkungan runtime Python
    • [SPARK-35542][CORE][ML] Perbaikan: Bucketizer dibuat untuk beberapa kolom dengan parameter splitsArray, inputCols, dan outputCols yang tidak dapat dimuat setelah menyimpannya
    • [SPARK-40079][CORE] Menambahkan validasi inputCols Imputer untuk kasus input kosong
  • 24 Agustus 2022
    • [SPARK-39983][CORE][SQL] Jangan menyimpan cache relasi siaran yang tidak diserialisasi di driver
    • [SPARK-39775][CORE][AVRO] Menonaktifkan validasi nilai default saat mengurai skema Avro
    • [SPARK-39806] Memperbaiki masalah pada kueri yang mengakses crash struct METADATA pada tabel berpartisi
    • [SPARK-39962][PYTHON][SQL] Menerapkan proyeksi saat atribut grup kosong
    • [SPARK-37643][SQL] ketika charVarcharAsString benar, untuk kueri predikat jenis data karakter harus melewati aturan rpadding
    • Penambal keamanan sistem operasi.
  • 9 Agustus 2022
    • [SPARK-39847] Memperbaiki kondisi race di RocksDBLoader.loadLibrary() jika utas pemanggil terganggu
    • [SPARK-39731][SQL] Memperbaiki masalah di sumber data CSV dan JSON saat mengurai tanggal dalam format "yyyyMMdd" dengan kebijakan pengurai waktu CORRECTED
    • Penambal keamanan sistem operasi.
  • 27 Juli 2022
    • [SPARK-39625][SQL] Menambahkan Dataset.as(StructType)
    • [SPARK-39689] Mendukung 2 karakter lineSep dalam sumber data CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded harus aman untuk thread
    • [SPARK-39570][SQL] Tabel sebaris harus mengizinkan ekspresi dengan alias
    • [SPARK-39702][CORE] Mengurangi overhead memori TransportCipher$EncryptedMessage menggunakan byteRawChannel bersama
    • [SPARK-39575][AVRO] Menambahkan ByteBuffer#rewind setelah ByteBuffer#get di AvroDeserializer
    • [SPARK-39476][SQL] Menonaktifkan pengoptimalan transmisi Unwrap saat melakukan transmisi dari Long to Float/Double atau dari Bilangan Bulat ke Float
    • Penambal keamanan sistem operasi.
  • 13 Juli 2022
    • Membuat hasil operasi Delta MERGE konsisten ketika sumber tidak deterministik.
    • [SPARK-39355][SQL] Kolom tunggal menggunakan kuotasi untuk membangun UnresolvedAttribute
    • [SPARK-39548][SQL] Perintah CreateView dengan kueri klausul jendela mencapai definisi jendela yang salah tidak menemukan masalah
    • [SPARK-39419][SQL] Memperbaiki ArraySort untuk memberikan pengecualian saat pembanding mengembalikan null
    • Menonaktifkan penggunaan API cloud asli Auto Loader untuk daftar direktori di Azure.
    • Penambal keamanan sistem operasi.
  • 5 Juli 2022
    • [SPARK-39376][SQL] Menyembunyikan kolom duplikat dalam ekspansi bintang alias subkueri dari NATURAL/USING JOIN
    • Penambal keamanan sistem operasi.
  • 15 Juni 2022
    • [SPARK-39283][CORE] Perbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark tidak boleh memeriksa nama bidang saat membaca file
    • [SPARK-34096][SQL] Meningkatkan performa untuk nth_value mengabaikan null melalui jendela offset
    • [SPARK-36718][SQL][FOLLOWUP] Perbaiki isExtractOnly pemeriksaan di CollapseProject
  • 2 Juni 2022
    • [SPARK-39166][SQL] Berikan konteks kueri kesalahan runtime untuk aritmatika biner saat WSCG nonaktif
    • [SPARK-39093][SQL] Hindari kesalahan kompilasi codegen saat membagi interval bulan-tahun atau interval hari-waktu dengan integral
    • [SPARK-38990][SQL] Hindari NullPointerException saat mengevaluasi format date_trunc/trunc sebagai referensi terikat
    • Penambal keamanan sistem operasi.
  • Mei 18, 2022
    • Memperbaiki potensi kebocoran memori asli di Auto Loader.
    • [SPARK-38868][SQL]Jangan menyebarkan pengecualian dari predikat filter saat mengoptimalkan gabungan luar
    • [SPARK-38796][SQL] Menerapkan fungsi SQL to_number dan try_to_number sesuai dengan spesifikasi baru
    • [SPARK-38918][SQL] Pemangkasan kolom bertumpuk harus memfilter atribut yang bukan milik relasi saat ini
    • [SPARK-38929][SQL] Tingkatkan pesan kesalahan untuk kegagalan transmisikan di ANSI
    • [SPARK-38926][SQL] Jenis output dalam pesan galat dalam gaya SQL
    • [SPARK-39084][PYSPARK] Perbaiki df.rdd.isEmpty() dengan menggunakan TaskContext untuk menghentikan iterator pada penyelesaian tugas
    • [SPARK-32268][SQL] Tambahkan ColumnPruning di injectBloomFilter
    • [SPARK-38908][SQL] Memberikan konteks kueri dalam kesalahan runtime Transmisikan dari String ke Number/Date/Timestamp/Boolean
    • [SPARK-39046][SQL] Mengembalikan string konteks kosong jika TreeNode.origin salah diatur
    • [SPARK-38974][SQL] Filter fungsi terdaftar dengan nama database tertentu dalam fungsi daftar
    • [SPARK-38762][SQL] Berikan konteks kueri dalam kesalahan Desimal luapan
    • [SPARK-38931][SS] Buat direktori akar dfs untuk RocksDBFileManager dengan jumlah kunci yang tidak diketahui pada titik pemeriksaan pertama
    • [SPARK-38992][CORE] Hindari penggunaan bash -c di ShellBasedGroupsMappingProvider
    • [SPARK-38716][SQL] Berikan konteks kueri dalam kunci peta kesalahan tidak ada
    • [SPARK-38889][SQL] Mengkompilasi filter kolom boolean untuk menggunakan jenis bit untuk sumber data MSSQL
    • [SPARK-38698][SQL] Memberikan konteks kueri dalam kesalahan runtime Divide/Div/Reminder/Pmod
    • [SPARK-38823][SQL] Jadikan NewInstance tidak dapat dilipat untuk memperbaiki masalah kerusakan buffer agregasi
    • [SPARK-38809][SS] Menerapkan opsi untuk melewati nilai null dalam implementasi hash simetris dari gabungan aliran-aliran
    • [SPARK-38676][SQL] Menyediakan konteks kueri SQL dalam pesan kesalahan runtime Add/Subtract/Multiply
    • [SPARK-38677][PYSPARK] Python MonitorThread seharusnya mendeteksi kebuntuan karena memblokir I/O
    • Penambal keamanan sistem operasi.

Databricks Runtime 10.3 (Tidak Didukung)

Lihat Databricks Runtime 10.3 (tidak didukung).

  • 27 Juli 2022
    • [SPARK-39689] Mendukung 2 karakter lineSep dalam sumber data CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded harus aman untuk thread
    • [SPARK-39702][CORE] Mengurangi overhead memori TransportCipher$EncryptedMessage menggunakan byteRawChannel bersama
    • Penambal keamanan sistem operasi.
  • 20 Juli 2022
    • Membuat hasil operasi Delta MERGE konsisten ketika sumber tidak deterministik.
    • [SPARK-39476][SQL] Menonaktifkan pengoptimalan transmisi Unwrap saat melakukan transmisi dari Long to Float/Double atau dari Bilangan Bulat ke Float
    • [SPARK-39548][SQL] Perintah CreateView dengan kueri klausul jendela mencapai definisi jendela yang salah tidak menemukan masalah
    • [SPARK-39419][SQL] Memperbaiki ArraySort untuk memberikan pengecualian saat pembanding mengembalikan null
    • Penambal keamanan sistem operasi.
  • 5 Juli 2022
    • [SPARK-39376][SQL] Menyembunyikan kolom duplikat dalam ekspansi bintang alias subkueri dari NATURAL/USING JOIN
    • Penambal keamanan sistem operasi.
  • 15 Juni 2022
    • [SPARK-39283][CORE] Perbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark tidak boleh memeriksa nama bidang saat membaca file
    • [SPARK-34096][SQL] Meningkatkan performa untuk nth_value mengabaikan null melalui jendela offset
    • [SPARK-36718][SQL][FOLLOWUP] Perbaiki isExtractOnly pemeriksaan di CollapseProject
  • 2 Juni 2022
    • [SPARK-38990][SQL] Hindari NullPointerException saat mengevaluasi format date_trunc/trunc sebagai referensi terikat
    • Penambal keamanan sistem operasi.
  • Mei 18, 2022
    • Memperbaiki potensi kebocoran memori asli di Auto Loader.
    • [SPARK-38918][SQL] Pemangkasan kolom bertumpuk harus memfilter atribut yang bukan milik relasi saat ini
    • [SPARK-37593][CORE] Kurangi ukuran halaman default sebesar LONG_ARRAY_OFFSET jika G1GC dan ON_HEAP digunakan
    • [SPARK-39084][PYSPARK] Perbaiki df.rdd.isEmpty() dengan menggunakan TaskContext untuk menghentikan iterator pada penyelesaian tugas
    • [SPARK-32268][SQL] Tambahkan ColumnPruning di injectBloomFilter
    • [SPARK-38974][SQL] Filter fungsi terdaftar dengan nama database tertentu dalam fungsi daftar
    • [SPARK-38889][SQL] Mengkompilasi filter kolom boolean untuk menggunakan jenis bit untuk sumber data MSSQL
    • Penambal keamanan sistem operasi.
  • 4 Mei 2022
    • Java AWS SDK yang ditingkatkan dari versi 1.11.655 menjadi 1.12.1899.
  • 19 April 2022
    • [SPARK-38616][SQL] Melacak teks kueri SQL di Catalyst TreeNode
    • Penambal keamanan sistem operasi.
  • 6 April 2022
    • [SPARK-38631][CORE] Menggunakan implementasi berbasis Java untuk un-tarring di Utils.unpack
    • Penambal keamanan sistem operasi.
  • 22 Maret 2022
    • Mengubah direktori buku catatan yang berfungsi saat ini pada kluster Konkurensi Tinggi dengan kontrol akses tabel atau passthrough info masuk yang diaktifkan untuk direktori beranda pengguna. Sebelumnya, direktori kerja adalah /databricks/driver.
    • [SPARK-38437][SQL] Serialisasi tanggalwaktu yang toleran dari sumber data
    • [SPARK-38180][SQL] Mengizinkan ekspresi up-cast yang aman dalam predikat kesetaraan yang berkorelasi
    • [SPARK-38155][SQL] Melarang agregat berbeda dalam subkueri lateral dengan predikat yang tidak didukung
    • [SPARK-38325][SQL] mode ANSI: menghindari potensi kesalahan runtime dalam HashJoin.extractKeyExprAt()
  • 14 Maret 2022
    • Peningkatan deteksi konflik transaksi untuk transaksi kosong di Delta Lake.
    • [SPARK-38185][SQL] Perbaikan data salah jika fungsi agregat kosong
    • [SPARK-38318][SQL] regresi saat mengganti tampilan himpunan data
    • [SPARK-38236][SQL] Jalur file absolut yang ditentukan dalam tabel buat/ubah diperlakukan sebagai jalur relatif
    • [SPARK-35937][SQL] Bidang ekstraksi tanggal dari stempel waktu harus berfungsi dalam mode ANSI
    • [SPARK-34069][SQL] Mematikan tugas penghalang harus dihormatiSPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Mengizinkan penugasan penyimpanan antara TimestampNTZ dan Date/Timestamp
  • 23 Februari 2022
    • [SPARK-27442][SQL] Hapus nama bidang cek saat membaca/menulis data dalam parket

Databricks Runtime 10.2 (tidak didukung)

Lihat Databricks Runtime 10.2 (tidak didukung).

  • 15 Juni 2022
    • [SPARK-39283][CORE] Perbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark tidak boleh memeriksa nama bidang saat membaca file
    • [SPARK-34096][SQL] Meningkatkan performa untuk nth_value mengabaikan null melalui jendela offset
  • 2 Juni 2022
    • [SPARK-38918][SQL] Pemangkasan kolom bertumpuk harus memfilter atribut yang bukan milik relasi saat ini
    • [SPARK-38990][SQL] Hindari NullPointerException saat mengevaluasi format date_trunc/trunc sebagai referensi terikat
    • Penambal keamanan sistem operasi.
  • Mei 18, 2022
    • Memperbaiki potensi kebocoran memori asli di Auto Loader.
    • [SPARK-39084][PYSPARK] Perbaiki df.rdd.isEmpty() dengan menggunakan TaskContext untuk menghentikan iterator pada penyelesaian tugas
    • [SPARK-38889][SQL] Mengkompilasi filter kolom boolean untuk menggunakan jenis bit untuk sumber data MSSQL
    • [SPARK-38931][SS] Buat direktori akar dfs untuk RocksDBFileManager dengan jumlah kunci yang tidak diketahui pada titik pemeriksaan pertama
    • Penambal keamanan sistem operasi.
  • 4 Mei 2022
    • Java AWS SDK yang ditingkatkan dari versi 1.11.655 menjadi 1.12.1899.
  • 19 April 2022
    • Penambal keamanan sistem operasi.
    • Beberapa macam perbaikan bug.
  • 6 April 2022
    • [SPARK-38631][CORE] Menggunakan implementasi berbasis Java untuk un-tarring di Utils.unpack
    • Penambal keamanan sistem operasi.
  • 22 Maret 2022
    • Mengubah direktori buku catatan yang berfungsi saat ini pada kluster Konkurensi Tinggi dengan kontrol akses tabel atau passthrough info masuk yang diaktifkan untuk direktori beranda pengguna. Sebelumnya, direktori kerja adalah /databricks/driver.
    • [SPARK-38437][SQL] Serialisasi tanggalwaktu yang toleran dari sumber data
    • [SPARK-38180][SQL] Mengizinkan ekspresi up-cast yang aman dalam predikat kesetaraan yang berkorelasi
    • [SPARK-38155][SQL] Melarang agregat berbeda dalam subkueri lateral dengan predikat yang tidak didukung
    • [SPARK-38325][SQL] mode ANSI: menghindari potensi kesalahan runtime dalam HashJoin.extractKeyExprAt()
  • 14 Maret 2022
    • Peningkatan deteksi konflik transaksi untuk transaksi kosong di Delta Lake.
    • [SPARK-38185][SQL] Perbaikan data salah jika fungsi agregat kosong
    • [SPARK-38318][SQL] regresi saat mengganti tampilan himpunan data
    • [SPARK-38236][SQL] Jalur file absolut yang ditentukan dalam tabel buat/ubah diperlakukan sebagai jalur relatif
    • [SPARK-35937][SQL] Bidang ekstraksi tanggal dari stempel waktu harus berfungsi dalam mode ANSI
    • [SPARK-34069][SQL] Mematikan tugas penghalang harus dihormatiSPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Mengizinkan penugasan penyimpanan antara TimestampNTZ dan Date/Timestamp
  • 23 Februari 2022
    • [SPARK-37577][SQL] Fix ClassCastException: ArrayType tidak dapat transmisikan ke StructType untuk Menghasilkan Pemangkasan
  • 8 Februari 2022
    • [SPARK-27442][SQL] Hapus nama bidang cek saat membaca/menulis data dalam parket.
    • Penambal keamanan sistem operasi.
  • 1 Februari 2022
    • Penambal keamanan sistem operasi.
  • 26 Januari 2022
    • Memperbaiki bug di mana transaksi bersamaan pada tabel Delta dapat diterapkan dalam urutan yang tidak dapat serial dalam kondisi langka tertentu.
    • Memperbaiki bug di mana perintah OPTIMIZE dapat gagal saat dialek SQL ANSI diaktifkan.
  • 19 Januari 2022
    • Memperkenalkan dukungan untuk menguraikan kredensial sementara ke COPY INTO untuk memuat data sumber tanpa memerlukan izin SQL ANY_FILE
    • Perbaikan bug dan peningkatan keamanan.
  • 20 Desember 2021
    • Memperbaiki bug langka dengan pemfilteran berbasis indeks kolom Parket.

Databricks Runtime 10.1 (tidak didukung)

Lihat Databricks Runtime 10.1 (tidak didukung).

  • 15 Juni 2022
    • [SPARK-39283][CORE] Perbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark tidak boleh memeriksa nama bidang saat membaca file
    • [SPARK-34096][SQL] Meningkatkan performa untuk nth_value mengabaikan null melalui jendela offset
  • 2 Juni 2022
    • Penambal keamanan sistem operasi.
  • Mei 18, 2022
    • Memperbaiki potensi kebocoran memori asli di Auto Loader.
    • [SPARK-39084][PYSPARK] Perbaiki df.rdd.isEmpty() dengan menggunakan TaskContext untuk menghentikan iterator pada penyelesaian tugas
    • [SPARK-38889][SQL] Mengkompilasi filter kolom boolean untuk menggunakan jenis bit untuk sumber data MSSQL
    • Penambal keamanan sistem operasi.
  • 19 April 2022
    • [SPARK-37270][SQL] Perbaiki push foldable ke cabang CaseWhen jika cabang lainValue kosong
    • Penambal keamanan sistem operasi.
  • 6 April 2022
    • [SPARK-38631][CORE] Menggunakan implementasi berbasis Java untuk un-tarring di Utils.unpack
    • Penambal keamanan sistem operasi.
  • 22 Maret 2022
    • [SPARK-38437][SQL] Serialisasi tanggalwaktu yang toleran dari sumber data
    • [SPARK-38180][SQL] Mengizinkan ekspresi up-cast yang aman dalam predikat kesetaraan yang berkorelasi
    • [SPARK-38155][SQL] Melarang agregat berbeda dalam subkueri lateral dengan predikat yang tidak didukung
    • [SPARK-38325][SQL] mode ANSI: menghindari potensi kesalahan runtime dalam HashJoin.extractKeyExprAt()
  • 14 Maret 2022
    • Peningkatan deteksi konflik transaksi untuk transaksi kosong di Delta Lake.
    • [SPARK-38185][SQL] Perbaikan data salah jika fungsi agregat kosong
    • [SPARK-38318][SQL] regresi saat mengganti tampilan himpunan data
    • [SPARK-38236][SQL] Jalur file absolut yang ditentukan dalam tabel buat/ubah diperlakukan sebagai jalur relatif
    • [SPARK-35937][SQL] Bidang ekstraksi tanggal dari stempel waktu harus berfungsi dalam mode ANSI
    • [SPARK-34069][SQL] Mematikan tugas penghalang harus dihormatiSPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Mengizinkan penugasan penyimpanan antara TimestampNTZ dan Date/Timestamp
  • 23 Februari 2022
    • [SPARK-37577][SQL] Fix ClassCastException: ArrayType tidak dapat transmisikan ke StructType untuk Menghasilkan Pemangkasan
  • 8 Februari 2022
    • [SPARK-27442][SQL] Hapus nama bidang cek saat membaca/menulis data dalam parket.
    • Penambal keamanan sistem operasi.
  • 1 Februari 2022
    • Penambal keamanan sistem operasi.
  • 26 Januari 2022
    • Memperbaiki bug di mana transaksi bersamaan pada tabel Delta dapat diterapkan dalam urutan yang tidak dapat serial dalam kondisi langka tertentu.
    • Memperbaiki bug di mana perintah OPTIMIZE dapat gagal saat dialek SQL ANSI diaktifkan.
  • 19 Januari 2022
    • Memperkenalkan dukungan untuk menguraikan kredensial sementara ke COPY INTO untuk memuat data sumber tanpa memerlukan izin SQL ANY_FILE
    • Memperbaiki masalah di luar memori dengan penembolokan hasil kueri dalam kondisi tertentu.
    • Memperbaiki masalah saat USE DATABASE pengguna mengalihkan katalog saat ini ke katalog non-default.
    • Perbaikan bug dan peningkatan keamanan.
    • Penambal keamanan sistem operasi.
  • 20 Desember 2021
    • Memperbaiki bug langka dengan pemfilteran berbasis indeks kolom Parket.

Databricks Runtime 10.0 (tidak didukung)

Lihat Databricks Runtime 10.0 (tidak didukung).

  • 19 April 2022
    • [SPARK-37270][SQL] Perbaiki push foldable ke cabang CaseWhen jika cabang lainValue kosong
    • Penambal keamanan sistem operasi.
  • 6 April 2022
    • [SPARK-38631][CORE] Menggunakan implementasi berbasis Java untuk un-tarring di Utils.unpack
    • Penambal keamanan sistem operasi.
  • 22 Maret 2022
    • [SPARK-38437][SQL] Serialisasi tanggalwaktu yang toleran dari sumber data
    • [SPARK-38180][SQL] Mengizinkan ekspresi up-cast yang aman dalam predikat kesetaraan yang berkorelasi
    • [SPARK-38155][SQL] Melarang agregat berbeda dalam subkueri lateral dengan predikat yang tidak didukung
    • [SPARK-38325][SQL] mode ANSI: menghindari potensi kesalahan runtime dalam HashJoin.extractKeyExprAt()
  • 14 Maret 2022
    • Peningkatan deteksi konflik transaksi untuk transaksi kosong di Delta Lake.
    • [SPARK-38185][SQL] Perbaikan data salah jika fungsi agregat kosong
    • [SPARK-38318][SQL] regresi saat mengganti tampilan himpunan data
    • [SPARK-38236][SQL] Jalur file absolut yang ditentukan dalam tabel buat/ubah diperlakukan sebagai jalur relatif
    • [SPARK-35937][SQL] Bidang ekstraksi tanggal dari stempel waktu harus berfungsi dalam mode ANSI
    • [SPARK-34069][SQL] Mematikan tugas penghalang harus dihormatiSPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Mengizinkan penugasan penyimpanan antara TimestampNTZ dan Date/Timestamp
  • 23 Februari 2022
    • [SPARK-37577][SQL] Fix ClassCastException: ArrayType tidak dapat transmisikan ke StructType untuk Menghasilkan Pemangkasan
  • 8 Februari 2022
    • [SPARK-27442][SQL] Hapus nama bidang cek saat membaca/menulis data dalam parket.
    • [SPARK-36905][SQL] Memperbaiki tampilan sarang baca tanpa nama kolom eksplisit
    • [SPARK-37859][SQL] Memperbaiki masalah yang SQL tabel yang dibuat dengan JDBC dengan Spark 3.1 tidak dapat dibaca dengan 3.2
    • Penambal keamanan sistem operasi.
  • 1 Februari 2022
    • Penambal keamanan sistem operasi.
  • 26 Januari 2022
    • Memperbaiki bug di mana transaksi bersamaan pada tabel Delta dapat diterapkan dalam urutan yang tidak dapat serial dalam kondisi langka tertentu.
    • Memperbaiki bug di mana perintah OPTIMIZE dapat gagal saat dialek SQL ANSI diaktifkan.
  • 19 Januari 2022
    • Perbaikan bug dan peningkatan keamanan.
    • Penambal keamanan sistem operasi.
  • 20 Desember 2021
    • Memperbaiki bug langka dengan pemfilteran berbasis indeks kolom Parket.
  • 9 November 2021
    • Memperkenalkan bendera konfigurasi tambahan untuk memungkinkan kontrol berbutir halus dari perilaku ANSI.
  • 4 November 2021
    • Memperbaiki bug yang dapat menyebabkan aliran Streaming Terstruktur gagal dengan ArrayIndexOutOfBoundsException
    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: No FileSystem for scheme atau yang dapat menyebabkan modifikasi sparkContext.hadoopConfiguration tidak berlaku dalam kueri.
    • Konektor Apache Spark untuk Delta Sharing ditingkatkan menjadi 0.2.0.
  • 30 November 2021
    • Memperbaiki masalah dengan penguraian stempel waktu di mana untai (karakter) zona waktu tanpa titik dua dianggap tidak valid.
    • Memperbaiki masalah di luar memori dengan penembolokan hasil kueri dalam kondisi tertentu.
    • Memperbaiki masalah saat USE DATABASE pengguna mengalihkan katalog saat ini ke katalog non-default.

Databricks Runtime 9.0 (tidak didukung)

Lihat Databricks Runtime 9.0 (tidak didukung).

  • 8 Februari 2022
    • Penambal keamanan sistem operasi.
  • 1 Februari 2022
    • Penambal keamanan sistem operasi.
  • 26 Januari 2022
    • Memperbaiki bug di mana perintah OPTIMIZE dapat gagal saat dialek SQL ANSI diaktifkan.
  • 19 Januari 2022
    • Perbaikan bug dan peningkatan keamanan.
    • Penambal keamanan sistem operasi.
  • 4 November 2021
    • Memperbaiki bug yang dapat menyebabkan aliran Streaming Terstruktur gagal dengan ArrayIndexOutOfBoundsException
    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: No FileSystem for scheme atau yang dapat menyebabkan modifikasi sparkContext.hadoopConfiguration tidak berlaku dalam kueri.
    • Konektor Apache Spark untuk Delta Sharing ditingkatkan menjadi 0.2.0.
  • 22 September 2021
    • Memperbaiki bug di array Cast Spark dengan null ke string
  • 15 September 2021
    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • 8 September 2021
    • Menambahkan dukungan untuk nama skema (databaseName.schemaName.tableName format) sebagai nama tabel target untuk Azure Synapse Connector.
    • Menambahkan geometri dan geografi JDBC jenis dukungan untuk Spark SQL.
    • [SPARK-33527][SQL] Memperluas fungsi decode agar konsisten dengan database mainstream.
    • [SPARK-36532][CORE][3.1] Menemui kebuntuan di CoarseGrainedExecutorBackend.onDisconnected untuk menghindari executorsconnected mencegah penonaktifan eksekutor hang.
  • 25 Agustus 2021
    • SQL Server pustaka driver ditingkatkan menjadi 9.2.1.jre8.
    • Konektor Snowflake ditingkatkan menjadi 2.9.0.
    • Memperbaiki hyperlink rusak ke notebook uji coba terbaik di halaman eksperimen AutoML.

Databricks Runtime 8.4 (tidak didukung)

Lihat Databricks Runtime 8.4 (tidak didukung).

  • 19 Januari 2022
    • Penambal keamanan sistem operasi.
  • 4 November 2021
    • Memperbaiki bug yang dapat menyebabkan aliran Streaming Terstruktur gagal dengan ArrayIndexOutOfBoundsException
    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: No FileSystem for scheme atau yang dapat menyebabkan modifikasi sparkContext.hadoopConfiguration tidak berlaku dalam kueri.
    • Konektor Apache Spark untuk Delta Sharing ditingkatkan menjadi 0.2.0.
  • 22 September 2021
    • Driver Spark JDBC ditingkatkan menjadi 2.6.19.1030
    • [SPARK-36734][SQL] Tingkatkan ORC ke 1.5.1
  • 15 September 2021
    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Penambal keamanan sistem operasi.
  • 8 September 2021
    • [SPARK-36532][CORE][3.1] Menemui kebuntuan di CoarseGrainedExecutorBackend.onDisconnected untuk menghindari executorsconnected mencegah penonaktifan eksekutor hang.
  • 25 Agustus 2021
    • SQL Server pustaka driver ditingkatkan menjadi 9.2.1.jre8.
    • Konektor Snowflake ditingkatkan menjadi 2.9.0.
    • Memperbaiki bug dalam passthrough informasi masuk yang disebabkan oleh pengoptimalan prefetch Parquet baru, di mana kredensial passthrough pengguna mungkin tidak ditemukan selama akses file.
  • 11 Agustus 2021
    • Memperbaiki masalah ketidakcocokan RocksDB yang mencegah Runtime Databricks 8.4 yang lebih lama. Ini memperbaiki kompatibilitas ke depan untuk Auto Loader, COPY INTO, dan aplikasi streaming stateful.
    • Memperbaiki bug saat menggunakan Auto Loader untuk membaca file CSV dengan file header yang tidak cocok. Jika nama kolom tidak cocok, kolom akan diisi dengan null. Sekarang, jika skema disediakan, ia mengasumsikan skemanya sama dan hanya akan menyimpan ketidakcocokan kolom jika kolom data yang diselamatkan diaktifkan.
    • Menambahkan opsi baru yang dipanggil externalDataSource ke konektor Azure Synapse untuk menghapus CONTROL persyaratan izin pada database untuk pembacaan PolyBase.
  • 29 Juli 2021
    • [SPARK-36034][BUILD] Rebase tanggalwaktu dalam menekan filter ke Parquet
    • [SPARK-36163][BUILD] Menyebarkan properti JDBC yang benar di penyedia konektor JDBC dan menambahkan connectionProvider opsi

Databricks Runtime 8.3 (tidak didukung)

Lihat Databricks Runtime 8.3 (tidak didukung).

  • 19 Januari 2022
    • Penambal keamanan sistem operasi.
  • 4 November 2021
    • Memperbaiki bug yang dapat menyebabkan aliran Streaming Terstruktur gagal dengan ArrayIndexOutOfBoundsException
    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: No FileSystem for scheme atau yang dapat menyebabkan modifikasi sparkContext.hadoopConfiguration tidak berlaku dalam kueri.
  • 22 September 2021
    • Driver Spark JDBC ditingkatkan menjadi 2.6.19.1030
  • 15 September 2021
    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Penambal keamanan sistem operasi.
  • 8 September 2021
    • [SPARK-35700][SQL][WARMFIX] Baca tabel orc char/varchar saat dibuat dan ditulis oleh sistem eksternal.
    • [SPARK-36532][CORE][3.1] Menemui kebuntuan di CoarseGrainedExecutorBackend.onDisconnected untuk menghindari executorsconnected mencegah penonaktifan eksekutor hang.
  • 25 Agustus 2021
    • SQL Server pustaka driver ditingkatkan menjadi 9.2.1.jre8.
    • Konektor Snowflake ditingkatkan menjadi 2.9.0.
    • Memperbaiki bug dalam passthrough informasi masuk yang disebabkan oleh pengoptimalan prefetch Parquet baru, di mana kredensial passthrough pengguna mungkin tidak ditemukan selama akses file.
  • 11 Agustus 2021
    • Memperbaiki bug saat menggunakan Auto Loader untuk membaca file CSV dengan file header yang tidak cocok. Jika nama kolom tidak cocok, kolom akan diisi dengan null. Sekarang, jika skema disediakan, ia mengasumsikan skemanya sama dan hanya akan menyimpan ketidakcocokan kolom jika kolom data yang diselamatkan diaktifkan.
  • 29 Juli 2021
    • Tingkatkan konektor Databricks Snowflake Spark ke 2.9.0-spark-3.1
    • [SPARK-36034][BUILD] Rebase tanggalwaktu dalam menekan filter ke Parquet
    • [SPARK-36163][BUILD] Menyebarkan properti JDBC yang benar di penyedia konektor JDBC dan menambahkan connectionProvider opsi
  • 14 Juli 2021
    • Memperbaiki masalah saat menggunakan nama kolom dengan titik di konektor Azure Synapse.
    • Memperkenalkan database.schema.table format untuk Konektor Synapse.
    • Menambahkan dukungan untuk menyediakan databaseName.schemaName.tableName format sebagai tabel target, bukan hanya schemaName.tableName atau tableName.
  • 15 Juni 2021
    • Memperbaiki NoSuchElementException bug di Delta Lake yang dioptimalkan menulis yang dapat terjadi ketika menulis data dalam jumlah besar dan menghadapi kerugian eksekutor
    • Menambahkan SQL CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPS, dan SHOW USERS perintah. Untuk mengetahui detailnya, lihat Pernyataan keamanan dan Perlihatkan pernyataan.

Databricks Runtime 8.2 (tidak didukung)

Lihat Databricks Runtime 8.2 (tidak didukung).

  • Tanggal 22 September 2021

    • Penambal keamanan sistem operasi.

  • 15 September 2021

    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • Tanggal 8 September 2021

    • [SPARK-35700][SQL][WARMFIX] Baca tabel orc char/varchar saat dibuat dan ditulis oleh sistem eksternal.
    • [SPARK-36532][CORE][3.1] Menemui kebuntuan di CoarseGrainedExecutorBackend.onDisconnected untuk menghindari executorsconnected mencegah penonaktifan eksekutor hang.

  • 25 Agustus 2021

    • Konektor Snowflake ditingkatkan menjadi 2.9.0.

  • 11 Agustus 2021

    • [SPARK-36034][SQL] Rebase tanggalwaktu di menekan filter ke parket.

  • 29 Juli 2021

    • Tingkatkan konektor Databricks Snowflake Spark ke 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Menyebarkan properti JDBC yang benar di penyedia konektor JDBC dan menambahkan connectionProvider opsi

  • 14 Juli 2021

    • Memperbaiki masalah saat menggunakan nama kolom dengan titik di konektor Azure Synapse.
    • Memperkenalkan database.schema.table format untuk Konektor Synapse.
    • Menambahkan dukungan untuk menyediakan databaseName.schemaName.tableName format sebagai tabel target, bukan hanya schemaName.tableName atau tableName.
    • Memperbaiki bug yang mencegah pengguna melakukan perjalan waktu ke versi lama yang tersedia dengan tabel Delta.

  • 15 Juni 2021

    • Memperbaiki NoSuchElementException bug di Delta Lake yang dioptimalkan menulis yang dapat terjadi saat menulis data dalam jumlah besar dan menghadapi kerugian eksekutor

  • 26 Mei 2021

    • Python yang diperbarui dengan patch keamanan untuk memperbaiki kerentanan keamanan Python (CVE-2021-3177).

  • 30 April 2021

    • Penambal keamanan sistem operasi.
    • [SPARK-35227][BUILD] Perbarui resolver untuk paket percikan di SparkSubmit
    • [SPARK-34245][CORE] Pastikan Master menghapus eksekutor yang gagal mengirim status jadi
    • Memperbaiki masalah OOM saat Auto Loader melaporkan metrik kemajuan Streaming Terstruktur.

Databricks Runtime 8.1 (tidak didukung)

Lihat Databricks Runtime 8.1 (tidak didukung).

  • Tanggal 22 September 2021

    • Penambal keamanan sistem operasi.

  • 15 September 2021

    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • Tanggal 8 September 2021

    • [SPARK-35700][SQL][WARMFIX] Baca tabel orc char/varchar saat dibuat dan ditulis oleh sistem eksternal.
    • [SPARK-36532][CORE][3.1] Menemui kebuntuan di CoarseGrainedExecutorBackend.onDisconnected untuk menghindari executorsconnected mencegah penonaktifan eksekutor hang.

  • 25 Agustus 2021

    • Konektor Snowflake ditingkatkan menjadi 2.9.0.

  • 11 Agustus 2021

    • [SPARK-36034][SQL] Rebase tanggalwaktu di menekan filter ke parket.

  • 29 Juli 2021

    • Tingkatkan konektor Databricks Snowflake Spark ke 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Menyebarkan properti JDBC yang benar di penyedia konektor JDBC dan menambahkan connectionProvider opsi

  • 14 Juli 2021

    • Memperbaiki masalah saat menggunakan nama kolom dengan titik di konektor Azure Synapse.
    • Memperbaiki bug yang mencegah pengguna melakukan perjalan waktu ke versi lama yang tersedia dengan tabel Delta.

  • 15 Juni 2021

    • Memperbaiki NoSuchElementException bug di Delta Lake yang dioptimalkan menulis yang dapat terjadi saat menulis data dalam jumlah besar dan menghadapi kerugian eksekutor

  • 26 Mei 2021

    • Python yang diperbarui dengan patch keamanan untuk memperbaiki kerentanan keamanan Python (CVE-2021-3177).

  • 30 April 2021

    • Penambal keamanan sistem operasi.
    • [SPARK-35227][BUILD] Perbarui resolver untuk paket percikan di SparkSubmit
    • Memperbaiki masalah OOM saat Auto Loader melaporkan metrik kemajuan Streaming Terstruktur.

  • 27 April 2021

    • [SPARK-34245][CORE] Pastikan Master menghapus eksekutor yang gagal mengirim status jadi
    • [SPARK-34856][SQL] Mode ANSI: Izinkan penstransmisian tipe kompleks sebagai tipe string
    • [SPARK-35014] Perbaiki pola PhysicalAggregation untuk tidak menulis ulang ekspresi yang dapat dilipat
    • [SPARK-34769][SQL] AnsiTypeCoercion: mengembalikan jenis konvertibel tersempit di antara TypeCollection
    • [SPARK-34614][SQL] Mode ANSI: Casting String ke Boolean akan memberikan pengecualian pada kesalahan urai
    • [SPARK-33794][SQL] Mode ANSI: Perbaiki ekspresi NextDay untuk membuang runtime IllegalArgumentException saat menerima input yang tidak valid di bawah

Databricks Runtime 8.0 (tidak didukung)

Lihat Databricks Runtime 8.0 (tidak didukung).

  • 15 September 2021

    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 25 Agustus 2021

    • Konektor Snowflake ditingkatkan menjadi 2.9.0.

  • 11 Agustus 2021

    • [SPARK-36034][SQL] Rebase tanggalwaktu di menekan filter ke parket.

  • 29 Juli 2021

    • [SPARK-36163][BUILD] Menyebarkan properti JDBC yang benar di penyedia konektor JDBC dan menambahkan connectionProvider opsi

  • 14 Juli 2021

    • Memperbaiki masalah saat menggunakan nama kolom dengan titik di konektor Azure Synapse.
    • Memperbaiki bug yang mencegah pengguna melakukan perjalan waktu ke versi lama yang tersedia dengan tabel Delta.

  • 26 Mei 2021

    • Python yang diperbarui dengan patch keamanan untuk memperbaiki kerentanan keamanan Python (CVE-2021-3177).

  • 30 April 2021

    • Penambal keamanan sistem operasi.
    • [SPARK-35227][BUILD] Perbarui resolver untuk paket percikan di SparkSubmit
    • [SPARK-34245][CORE] Pastikan Master menghapus eksekutor yang gagal mengirim status jadi

  • 24 Maret 2021

    • [SPARK-34681][SQL] Perbaiki bug untuk hash dikocok luar penuh bergabung saat membangun sisi kiri dengan kondisi yang tidak sama
    • [SPARK-34534] Perbaiki urutan blockIds saat menggunakan FetchShuffleBlocks untuk mengambil blok
    • [SPARK-34613][SQL] Tampilan perbaikan tidak menangkap konfigurasi petunjuk yang dinonaktifkan

  • 9 Maret 2021

    • [SPARK-34543] [SQL] Hargai konfigurasi spark.sql.caseSensitive saat menyelesaikan spesifikasi partisi di v1 SET LOCATION
    • [SPARK-34392][SQL] Support ZoneOffset +h:mm di DateTimeUtils. getZoneId
    • [UI] Perbaiki tautan href Visualisasi Spark DAG
    • [SPARK-34436][SQL] Dukungan DPP SEPERTI ekspresi APA PUN/SEMUA

Databricks Runtime 7.6 (tidak didukung)

Lihat Databricks Runtime 7.6 (tidak didukung).

  • 11 Agustus 2021
    • [SPARK-36034][SQL] Rebase tanggalwaktu di menekan filter ke parket.
  • 29 Juli 2021
    • [SPARK-32998][BUILD] Tambahkan kemampuan untuk mengganti repositori jarak jauh default hanya dengan repositori internal
  • 14 Juli 2021
    • Memperbaiki bug yang mencegah pengguna melakukan perjalan waktu ke versi lama yang tersedia dengan tabel Delta.
  • Mei 26, 2021
    • Python yang diperbarui dengan patch keamanan untuk memperbaiki kerentanan keamanan Python (CVE-2021-3177).
  • 30 April 2021
    • Penambal keamanan sistem operasi.
    • [SPARK-35227][BUILD] Perbarui resolver untuk paket percikan di SparkSubmit
    • [SPARK-34245][CORE] Pastikan Master menghapus eksekutor yang gagal mengirim status jadi
  • 24 Maret 2021
    • [SPARK-34768][SQL] Hormati ukuran buffer input default di Univocity
    • [SPARK-34534] Perbaiki urutan blockIds saat menggunakan FetchShuffleBlocks untuk mengambil blok
  • 9 Maret 2021
    • (Hanya Azure) Memperbaiki bug Auto Loader yang dapat menyebabkan NullPointerException saat menggunakan Runtime Databricks 7.6 untuk menjalankan aliran Auto Loader lama yang dibuat di Runtime Databricks 7.2
    • [UI] Perbaiki tautan href Visualisasi Spark DAG
    • SparkPlan node leaf yang tidak diketahui tidak dihandel dengan benar di SizeInBytesOnlyStatsSparkPlanVisitor
    • Mengembalikan skema output dari SHOW DATABASES
    • [Delta] [8.0, 7.6] Memperbaiki bug perhitungan dalam logika penyetelan otomatis ukuran file
    • Nonaktifkan pemeriksaan kadaluarsa untuk file tabel Delta di cache disk
    • [SQL] Gunakan kunci build pemangkasan dinamis yang benar saat petunjuk gabungan rentang hadir
    • Nonaktifkan dukungan jenis char di jalur kode non-SQL
    • Hindari NPE dalam DataFrameReader.schema
    • Perbaiki NPE saat respons EventGridClient tidak memiliki entitas
    • Memperbaiki bug aliran tertutup baca di Azure Auto Loader
    • [SQL] Jangan membuat saran nomor partisi acak saat AOS diaktifkan
  • 24 Februari 2021
    • Meningkatkan konektor Spark BigQuery ke v0.18, yang memperkenalkan berbagai perbaikan bug dan dukungan untuk iterator Arrow dan Avro.
    • Memperbaiki masalah kebenaran yang menyebabkan Spark mengembalikan hasil yang salah saat presisi dan skala desimal file Parquet berbeda dari skema Spark.
    • Memperbaiki masalah kegagalan pembacaan pada tabel Microsoft SQL Server yang berisi tipe data spasial, dengan menambahkan geometri dan geografi JDBC jenis dukungan untuk Spark SQL.
    • Memperkenalkan konfigurasi spark.databricks.hive.metastore.init.reloadFunctions.enabledbaru. Konfigurasi ini mengontrol inisialisasi Apache Hive bawaan. Saat diset ke true, Azure Databricks memuat ulang semua fungsi dari semua database yang dimiliki pengguna.FunctionRegistry Ini adalah perilaku default di Apache Hive Metastore. Saat diset ke false, Azure Databricks menonaktifkan proses ini untuk pengoptimalan.
    • [SPARK-34212] Memperbaiki masalah yang terkait dengan membaca data desimal dari file Parquet.
    • [SPARK-34260][SQL] Perbaiki Hasil yang Belum Terselesaikan saat membuat tampilan temp dua kali.

Databricks Runtime 7.5 (tidak didukung)

Lihat Databricks Runtime 7.5 (tidak didukung).

  • Mei 26, 2021
    • Python yang diperbarui dengan patch keamanan untuk memperbaiki kerentanan keamanan Python (CVE-2021-3177).
  • 30 April 2021
    • Penambal keamanan sistem operasi.
    • [SPARK-35227][BUILD] Perbarui resolver untuk paket percikan di SparkSubmit
    • [SPARK-34245][CORE] Pastikan Master menghapus eksekutor yang gagal mengirim status jadi
  • 24 Maret 2021
    • [SPARK-34768][SQL] Hormati ukuran buffer input default di Univocity
    • [SPARK-34534] Perbaiki urutan blockIds saat menggunakan FetchShuffleBlocks untuk mengambil blok
  • 9 Maret 2021
    • (Hanya Azure) Memperbaiki bug Auto Loader yang dapat menyebabkan NullPointerException saat menggunakan Runtime Databricks 7.5 untuk menjalankan aliran Auto Loader lama yang dibuat di Runtime Databricks 7.2.
    • [UI] Perbaiki tautan href Visualisasi Spark DAG
    • SparkPlan node leaf yang tidak diketahui tidak dihandel dengan benar di SizeInBytesOnlyStatsSparkPlanVisitor
    • Mengembalikan skema output dari SHOW DATABASES
    • Nonaktifkan pemeriksaan kadaluarsa untuk file tabel Delta di cache disk
    • [SQL] Gunakan kunci build pemangkasan dinamis yang benar saat petunjuk gabungan rentang hadir
    • Nonaktifkan dukungan jenis char di jalur kode non-SQL
    • Hindari NPE dalam DataFrameReader.schema
    • Perbaiki NPE saat respons EventGridClient tidak memiliki entitas
    • Memperbaiki bug aliran tertutup baca di Azure Auto Loader
  • 24 Februari 2021
    • Meningkatkan konektor Spark BigQuery ke v0.18, yang memperkenalkan berbagai perbaikan bug dan dukungan untuk iterator Arrow dan Avro.
    • Memperbaiki masalah kebenaran yang menyebabkan Spark mengembalikan hasil yang salah saat presisi dan skala desimal file Parquet berbeda dari skema Spark.
    • Memperbaiki masalah kegagalan pembacaan pada tabel Microsoft SQL Server yang berisi tipe data spasial, dengan menambahkan geometri dan geografi JDBC jenis dukungan untuk Spark SQL.
    • Memperkenalkan konfigurasi spark.databricks.hive.metastore.init.reloadFunctions.enabledbaru. Konfigurasi ini mengontrol inisialisasi Apache Hive bawaan. Saat diset ke true, Azure Databricks memuat ulang semua fungsi dari semua database yang dimiliki pengguna.FunctionRegistry Ini adalah perilaku default di Apache Hive Metastore. Saat diset ke false, Azure Databricks menonaktifkan proses ini untuk pengoptimalan.
    • [SPARK-34212] Memperbaiki masalah yang terkait dengan membaca data desimal dari file Parquet.
    • [SPARK-34260][SQL] Perbaiki Hasil yang Belum Terselesaikan saat membuat tampilan temp dua kali.
  • 4 Februari 2021
    • Memperbaiki regresi yang mencegah eksekusi bertambah bertahap kueri yang menetapkan batas global seperti SELECT * FROM table LIMIT nrows. Regresi dialami oleh pengguna yang menjalankan kueri melalui ODBC / JDBC dengan serialisasi Arrow diaktifkan.
    • Memperkenalkan pemeriksaan waktu tulis ke klien Apache Hive untuk mencegah korupsi metadata di metastore Apache Hive untuk tabel Delta.
    • Memperbaiki regresi yang menyebabkan DBFS FUSE gagal dimulai ketika konfigurasi variabel lingkungan kluster berisi sintaks bash yang tidak valid.
  • 20 Januari 2021
    • Memperbaiki regresi dalam rilis pemeliharaan 12 Januari 2021 yang dapat menyebabkan AnalysisException yang salah dan mengatakan bahwa kolom tersebut ambigu dalam bergabung sendiri. Regresi ini terjadi ketika pengguna menggabungkan DataFrame dengan DataFrame turunannya (yang disebut self-join) dengan kondisi berikut:
      • Kedua DataFrames ini memiliki kolom umum, tetapi output dari self join tidak memiliki kolom umum. Misalnya, df.join(df.select($"col" as "new_col"), cond)
      • DataFrame turunan mengecualikan beberapa kolom melalui pilih, groupBy, atau jendela.
      • Kondisi gabungan atau transformasi berikut setelah Dataframe yang digabungkan mengacu pada kolom yang tidak umum. Misalnya, df.join(df.drop("a"), df("a") === 1)
  • 12 Januari 2021
    • Tingkatkan SDK Azure Storage dari 2.3.8 ke 2.3.9.
    • [SPARK-33593] [SQL] Pembaca vektor mendapatkan data yang salah dengan nilai partisi biner
    • [SPARK-33480][SQL] memperbarui pesan kesalahan pemeriksaan panjang penyisipan tabel char/varchar

Databricks Runtime 7.3 LTS (tidak didukung)

Lihat Databricks Runtime 7.3 LTS (tidak didukung).

  • 10 September 2023

    • Beberapa macam perbaikan bug.

  • 30 Agustus 2023

    • Penambal keamanan sistem operasi.

  • 15 Agustus 2023

    • Penambal keamanan sistem operasi.

  • 23 Juni 2023

    • Pustaka Snowflake-jdbc ditingkatkan ke 3.13.29 untuk mengatasi masalah keamanan.
    • Penambal keamanan sistem operasi.

  • 15 Juni 2023

    • [SPARK-43413][SQL] Perbaiki IN nullability subkueri ListQuery .
    • Penambal keamanan sistem operasi.

  • 2 Juni 2023

    • Memperbaiki masalah di Auto Loader di mana format file sumber yang berbeda tidak konsisten ketika skema yang disediakan tidak menyertakan partisi yang disimpulkan. Masalah ini dapat menyebabkan kegagalan tak terduga saat membaca file dengan kolom yang hilang dalam skema partisi yang disimpulkan.

  • Mei 17, 2023

    • Penambal keamanan sistem operasi.

  • 25 April 2023

    • Penambal keamanan sistem operasi.

  • Selasa, 11 April 2023

    • [SPARK-42967][CORE] Perbaiki SparkListenerTaskStart.stageAttemptId saat tugas dimulai setelah tahap dibatalkan.
    • Beberapa macam perbaikan bug.

  • 29 Maret 2023

    • Penambal keamanan sistem operasi.

  • 14 Maret 2023

    • Beberapa macam perbaikan bug.

  • 28 Februari 2023

    • Penambal keamanan sistem operasi.

  • 16 Februari 2023

    • Penambal keamanan sistem operasi.

  • 31 Januari 2023

    • Jenis tabel tabel JDBC sekarang EKSTERNAL secara default.

  • 18 Januari 2023

    • Penambal keamanan sistem operasi.

  • 29 November 2022

    • Beberapa macam perbaikan bug.

  • 15 November 2022

    • Meningkatkan teks umum Apache ke 1.10.0.
    • Penambal keamanan sistem operasi.
    • Beberapa macam perbaikan bug.

  • 1 November 2022

    • [SPARK-38542][SQL] UnsafeHashedRelation harus menserialisasikan numKeys keluar

  • 18 Oktober 2022

    • Penambal keamanan sistem operasi.

  • Rabu, 05 Oktober 2022

    • Beberapa macam perbaikan bug.
    • Penambal keamanan sistem operasi.

  • Tanggal 22 September 2022

    • [SPARK-40089][SQL] Memperbaiki pengurutan untuk beberapa jenis Desimal

  • 6 September 2022

    • [SPARK-35542][CORE][ML] Perbaikan: Bucketizer dibuat untuk beberapa kolom dengan parameter splitsArray, inputCols, dan outputCols yang tidak dapat dimuat setelah menyimpannya
    • [SPARK-40079][CORE] Menambahkan validasi inputCols Imputer untuk kasus input kosong

  • 24 Agustus 2022

    • [SPARK-39962][PYTHON][SQL] Menerapkan proyeksi saat atribut grup kosong
    • Penambal keamanan sistem operasi.

  • Selasa, 09 Agustus 2022

    • Penambal keamanan sistem operasi.

  • 27 Juli 2022

    • Membuat hasil operasi Delta MERGE konsisten ketika sumber tidak deterministik.
    • Penambal keamanan sistem operasi.
    • Beberapa macam perbaikan bug.

  • 13 Juli 2022

    • [SPARK-32680][SQL] Jangan Memproses CTAS V2 dengan Kueri yang Belum Terselesaikan
    • Menonaktifkan penggunaan API cloud asli Auto Loader untuk daftar direktori di Azure.
    • Penambal keamanan sistem operasi.

  • 5 Juli 2022

    • Penambal keamanan sistem operasi.
    • Beberapa macam perbaikan bug.

  • 2 Juni 2022

    • [SPARK-38918][SQL] Pemangkasan kolom bertumpuk harus memfilter atribut yang bukan milik relasi saat ini
    • Penambal keamanan sistem operasi.

  • May 18, 2022

    • Tingkatkan versi AWS SDK dari 1.11.655 ke 1.11.678.
    • Penambal keamanan sistem operasi.
    • Beberapa macam perbaikan bug.

  • 19 April 2022

    • Penambal keamanan sistem operasi.
    • Beberapa macam perbaikan bug.

  • 6 April 2022

    • Penambal keamanan sistem operasi.
    • Beberapa macam perbaikan bug.

  • 14 Maret 2022

    • Hapus kelas rentan dari toples log4j 1.2.17
    • Beberapa macam perbaikan bug.

  • 23 Februari 2022

    • [SPARK-37859][SQL] Jangan periksa metadata selama perbandingan skema

  • 8 Februari 2022

    • Tingkatkan Ubuntu JDK ke 1.8.0.312.
    • Penambal keamanan sistem operasi.

  • 1 Februari 2022

    • Penambal keamanan sistem operasi.

  • 26 Januari 2022

    • Memperbaiki bug di mana perintah OPTIMIZE dapat gagal saat dialek SQL ANSI diaktifkan.

  • 19 Januari 2022

    • Saluran default Conda dihapus dari 7,3 ML LTS
    • Penambal keamanan sistem operasi.

  • 7 Desember 2021

    • Penambal keamanan sistem operasi.

  • 4 November 2021

    • Memperbaiki bug yang dapat menyebabkan aliran Streaming Terstruktur gagal dengan ArrayIndexOutOfBoundsException
    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: No FileSystem for scheme atau yang dapat menyebabkan modifikasi sparkContext.hadoopConfiguration tidak berlaku dalam kueri.

  • 15 September 2021

    • Memperbaiki kondisi pacu yang dapat menyebabkan kegagalan kueri dengan IOException seperti java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Penambal keamanan sistem operasi.

  • Tanggal 8 September 2021

    • [SPARK-35700][SQL][WARMFIX] Baca tabel orc char/varchar saat dibuat dan ditulis oleh sistem eksternal.
    • [SPARK-36532][CORE][3.1] Menemui kebuntuan di CoarseGrainedExecutorBackend.onDisconnected untuk menghindari executorsconnected mencegah penonaktifan eksekutor hang.

  • 25 Agustus 2021

    • Konektor Snowflake ditingkatkan menjadi 2.9.0.

  • 29 Juli 2021

    • [SPARK-36034][BUILD] Rebase tanggalwaktu dalam menekan filter ke Parquet
    • [SPARK-34508][BUILD] Lewati HiveExternalCatalogVersionsSuite jika jaringan mati

  • 14 Juli 2021

    • Format yang diperkenalkan database.schema.table untuk konektor Azure Synapse.
    • Menambahkan dukungan untuk menyediakan databaseName.schemaName.tableName format sebagai tabel target, bukan hanya schemaName.tableName atau tableName.
    • Memperbaiki bug yang mencegah pengguna melakukan perjalan waktu ke versi lama yang tersedia dengan tabel Delta.

  • 15 Juni 2021

    • Memperbaiki NoSuchElementException bug di Delta Lake yang dioptimalkan menulis yang dapat terjadi saat menulis data dalam jumlah besar dan menghadapi kerugian eksekutor
    • Python yang diperbarui dengan patch keamanan untuk memperbaiki kerentanan keamanan Python (CVE-2021-3177).

  • 30 April 2021

    • Penambal keamanan sistem operasi.
    • [SPARK-35227][BUILD] Perbarui resolver untuk paket percikan di SparkSubmit
    • [SPARK-34245][CORE] Pastikan Master menghapus eksekutor yang gagal mengirim status jadi
    • [SPARK-35045][SQL] Tambahkan opsi internal untuk mengontrol buffer input dalam univocity

  • 24 Maret 2021

    • [SPARK-34768][SQL] Hormati ukuran buffer input default di Univocity
    • [SPARK-34534] Perbaiki urutan blockIds saat menggunakan FetchShuffleBlocks untuk mengambil blok
    • [SPARK-33118][SQL]BUAT TABEL SEMENTARA gagal disertai lokasi

  • 9 Maret 2021

    • Driver Azure Blob File System yang diperbarui untuk Azure Data Lake Storage Gen2 sekarang diaktifkan secara default. Ini membawa beberapa peningkatan stabilitas.
    • Perbaiki pemisah jalur di Windows untukdatabricks-connect get-jar-dir
    • [UI] Perbaiki tautan href Visualisasi Spark DAG
    • [DBCONNECT] Menambahkan dukungan untuk FlatMapCoGroupsInPandas di Databricks Koneksi 7.3
    • Mengembalikan skema output dari SHOW DATABASES
    • [SQL] Gunakan kunci build pemangkasan dinamis yang benar saat petunjuk gabungan rentang hadir
    • Nonaktifkan pemeriksaan kadaluarsa untuk file tabel Delta di cache disk
    • [SQL] Jangan membuat saran nomor partisi acak saat AOS diaktifkan

  • 24 Februari 2021

    • Meningkatkan konektor Spark BigQuery ke v0.18, yang memperkenalkan berbagai perbaikan bug dan dukungan untuk iterator Arrow dan Avro.
    • Memperbaiki masalah kebenaran yang menyebabkan Spark mengembalikan hasil yang salah saat presisi dan skala desimal file Parquet berbeda dari skema Spark.
    • Memperbaiki masalah kegagalan pembacaan pada tabel Microsoft SQL Server yang berisi tipe data spasial, dengan menambahkan geometri dan geografi JDBC jenis dukungan untuk Spark SQL.
    • Memperkenalkan konfigurasi spark.databricks.hive.metastore.init.reloadFunctions.enabledbaru. Konfigurasi ini mengontrol inisialisasi Apache Hive bawaan. Saat diset ke true, Azure Databricks memuat ulang semua fungsi dari semua database yang dimiliki pengguna.FunctionRegistry Ini adalah perilaku default di Apache Hive Metastore. Saat diset ke false, Azure Databricks menonaktifkan proses ini untuk pengoptimalan.
    • [SPARK-34212] Memperbaiki masalah yang terkait dengan membaca data desimal dari file Parquet.
    • [SPARK-33579][UI] Perbaiki halaman kosong eksekutor di belakang proksi.
    • [SPARK-20044][UI] Mendukung Spark UI di belakang proksi terbalik front-end menggunakan awalan jalur.
    • [SPARK-33277][PYSPARK][SQL] Gunakan ContextAwareIterator untuk berhenti mengonsumsi setelah tugas berakhir.

  • 4 Februari 2021

    • Memperbaiki regresi yang mencegah eksekusi bertambah bertahap kueri yang menetapkan batas global seperti SELECT * FROM table LIMIT nrows. Regresi dialami oleh pengguna yang menjalankan kueri melalui ODBC / JDBC dengan serialisasi Arrow diaktifkan.
    • Memperbaiki regresi yang menyebabkan DBFS FUSE gagal dimulai ketika konfigurasi variabel lingkungan kluster berisi sintaks bash yang tidak valid.

  • 20 Januari 2021

    • Memperbaiki regresi dalam rilis pemeliharaan 12 Januari 2021 yang dapat menyebabkan AnalysisException yang salah dan mengatakan bahwa kolom tersebut ambigu dalam bergabung sendiri. Regresi ini terjadi ketika pengguna menggabungkan DataFrame dengan DataFrame turunannya (yang disebut self-join) dengan kondisi berikut:
      • Kedua DataFrames ini memiliki kolom umum, tetapi output dari self join tidak memiliki kolom umum. Misalnya, df.join(df.select($"col" as "new_col"), cond)
      • DataFrame turunan mengecualikan beberapa kolom melalui pilih, groupBy, atau jendela.
      • Kondisi gabungan atau transformasi berikut setelah Dataframe yang digabungkan mengacu pada kolom yang tidak umum. Misalnya, df.join(df.drop("a"), df("a") === 1)

  • Januari 12, 2021

    • Penambal keamanan sistem operasi.
    • [SPARK-33593] [SQL] Pembaca vektor mendapatkan data yang salah dengan nilai partisi biner
    • [SPARK-33677][SQL] Lewati aturan Penyederhanaan Suka jika pola berisi escapeChar
    • [SPARK-33592] [ML][PYTHON]Pyspark ML Validator params di estimatorParamMaps mungkin hilang setelah disimpan dan dimuat ulang
    • [SPARK-33071][SPARK-33536] [SQL] Jangan mengubah dataset_id LogicalPlan di join() agar tidak merusak DetectAmbiguousSelfJoin

  • 8 Desember 2020

    • [SPARK-33587][CORE] Bunuh eksekutor pada kesalahan fatal berlapis
    • [SPARK-27421][SQL] Perbaiki filter untuk kolom int dan kelas nilai java.lang.String saat memangkas kolom partisi
    • [SPARK-33316][SQL] Pengguna dukungan menyediakan skema Avro yang dapat diubah ke null untuk skema katalis yang tidak dapat diubah ke null dalam penulisan Avro
    • Spark Jobs diluncurkan menggunakan Databricks Koneksi dapat bertahan tanpa batas waktu dengan Executor$TaskRunner.$anonfun$copySessionState jejak tumpukan eksekutor
    • Penambal keamanan sistem operasi.

  • 1 Desember 2020

    • [SPARK-33404][SQL][3.0] Perbaiki hasil yang salah dalam date_trunc ekspresi
    • [SPARK-33339][PYTHON] Aplikasi Pyspark akan hang karena kesalahan bukan pengecualian
    • [SPARK-33183][SQL][HOTFIX] Perbaiki aturan Pengoptimal HilangkanSorts dan tambahkan aturan fisik untuk menghapus jenis yang berlebihan
    • [SPARK-33371][PYTHON][3.0] Perbarui setup.py dan tes untuk Python 3.9
    • [SPARK-33391][SQL] element_at dengan CreateArray tidak melihat satu indeks berbasis.
    • [SPARK-33306][SQL]Zona waktu diperlukan saat tanggal pentransmisian ke string
    • [SPARK-33260][SQL] Perbaiki hasil yang salah dari SortExec saat sortOrder adalah Stream

  • 5 November 2020

    • Perbaiki penguncian ABFS dan WASB sehubungan dengan UserGroupInformation.getCurrentUser().
    • Perbaiki bug perulangan tak terbatas saat pembaca Avro membaca byte MAGIC.
    • Tambahkan dukungan untuk hak istimewa PENGGUNAAN.
    • Peningkatan performa untuk pemeriksaan hak istimewa dalam kontrol akses tabel.

  • 13 Oktober 2020

    • Penambal keamanan sistem operasi.
    • Anda dapat membaca dan menulis dari DBFS menggunakan dudukan FUSE di /dbfs/ saat berada di kluster passthrough informasi masuk konkurensi tinggi yang diaktifkan. Dudukan reguler didukung tetapi dudukan yang memerlukan kredensial passthrough belum didukung.
    • [SPARK-32999][SQL] Gunakan Utils.getSimpleName untuk menghindari memukul nama kelas Malformed di TreeNode
    • [SPARK-32585][SQL] Dukung enumerasi skalaf di ScalaReflection
    • Memperbaiki direktori listing di dudukan FUSE yang berisi nama file dengan karakter XML yang tidak valid
    • Dudukan FUSE tidak lagi menggunakan ListMultipartUploads

  • 29 September 2020

    • [SPARK-32718][SQL] Hapus kata kunci yang tidak perlu untuk unit interval
    • [SPARK-32635][SQL] Perbaiki propagasi yang dapat dilipat
    • Tambahkan konfigurasi spark.shuffle.io.decoder.consolidateThresholdbaru. Atur nilai konfigurasi untuk Long.MAX_VALUE melewati konsolidasi netty FrameBuffers, yang mencegah java.lang.IndexOutOfBoundsException dalam kasus sudut.

  • 25 April 2023

    • Penambal keamanan sistem operasi.

  • Selasa, 11 April 2023

    • Beberapa macam perbaikan bug.

  • 29 Maret 2023

    • Beberapa macam perbaikan bug.

  • 14 Maret 2023

    • Penambal keamanan sistem operasi.

  • 28 Februari 2023

    • Penambal keamanan sistem operasi.

  • 16 Februari 2023

    • Penambal keamanan sistem operasi.

  • 31 Januari 2023

    • Beberapa macam perbaikan bug.

  • 18 Januari 2023

    • Penambal keamanan sistem operasi.

  • 29 November 2022

    • Penambal keamanan sistem operasi.

  • 15 November 2022

    • Penambal keamanan sistem operasi.
    • Beberapa macam perbaikan bug.

  • 1 November 2022

    • Penambal keamanan sistem operasi.

  • 18 Oktober 2022

    • Penambal keamanan sistem operasi.
    • 5 Oktober 2022
      • Penambal keamanan sistem operasi.
    • 24 Agustus 2022
      • Penambal keamanan sistem operasi.
    • 9 Agustus 2022
      • Penambal keamanan sistem operasi.
    • 27 Juli 2022
      • Penambal keamanan sistem operasi.
    • 5 Juli 2022
      • Penambal keamanan sistem operasi.
    • 2 Juni 2022
      • Penambal keamanan sistem operasi.
    • Mei 18, 2022
      • Penambal keamanan sistem operasi.
    • 19 April 2022
      • Penambal keamanan sistem operasi.
      • Beberapa macam perbaikan bug.
    • 6 April 2022
      • Penambal keamanan sistem operasi.
      • Beberapa macam perbaikan bug.
    • 14 Maret 2022
      • Beberapa macam perbaikan bug.
    • 23 Februari 2022
      • Beberapa macam perbaikan bug.
    • 8 Februari 2022
      • Tingkatkan Ubuntu JDK ke 1.8.0.312.
      • Penambal keamanan sistem operasi.
    • 1 Februari 2022
      • Penambal keamanan sistem operasi.
    • 19 Januari 2022
      • Penambal keamanan sistem operasi.
    • 22 September 2021
      • Penambal keamanan sistem operasi.
    • 30 April 2021
      • Penambal keamanan sistem operasi.
      • [SPARK-35227][BUILD] Perbarui resolver untuk paket percikan di SparkSubmit
    • 12 Januari 2021
      • Penambal keamanan sistem operasi.
    • 8 Desember 2020
      • [SPARK-27421][SQL] Perbaiki filter untuk kolom int dan kelas nilai java.lang.String saat memangkas kolom partisi
      • Penambal keamanan sistem operasi.
    • 1 Desember 2020
    • [SPARK-33260][SQL] Perbaiki hasil yang salah dari SortExec saat sortOrder adalah Stream
    • 3 November 2020
      • Tingkatkan versi Java dari 1.8.0_252 ke 1.8.0_265.
      • Perbaiki penguncian ABFS dan WASB sehubungan dengan UserGroupInformation.getCurrentUser()
    • 13 Oktober 2020
      • Penambal keamanan sistem operasi.

Dukungan Diperpanjang Databricks Runtime 6.4 (tidak didukung)

Lihat Databricks Runtime 6.4 (tidak didukung) dan Databricks Runtime 6.4 Extended Support (tidak didukung).

  • 5 Juli 2022

    • Penambal keamanan sistem operasi.
    • Beberapa macam perbaikan bug.

  • 2 Juni 2022

    • Penambal keamanan sistem operasi.

  • May 18, 2022

    • Penambal keamanan sistem operasi.

  • 19 April 2022

    • Penambal keamanan sistem operasi.
    • Beberapa macam perbaikan bug.

  • 6 April 2022

    • Penambal keamanan sistem operasi.
    • Beberapa macam perbaikan bug.

  • 14 Maret 2022

    • Hapus kelas rentan dari toples log4j 1.2.17
    • Beberapa macam perbaikan bug.

  • 23 Februari 2022

    • Beberapa macam perbaikan bug.

  • 8 Februari 2022

    • Tingkatkan Ubuntu JDK ke 1.8.0.312.
    • Penambal keamanan sistem operasi.

  • 1 Februari 2022

    • Penambal keamanan sistem operasi.

  • 26 Januari 2022

    • Memperbaiki bug di mana perintah OPTIMIZE dapat gagal saat dialek SQL ANSI diaktifkan.

  • 19 Januari 2022

    • Penambal keamanan sistem operasi.

  • 8 Desember 2021

    • Penambal keamanan sistem operasi.

  • Tanggal 22 September 2021

    • Penambal keamanan sistem operasi.

  • 15 Juni 2021

    • [SPARK-35576][SQL] Edit ulang info sensitif dalam hasil perintah Set

  • 7 Juni 2021

    • Tambahkan konfigurasi baru yang disebut spark.sql.maven.additionalRemoteRepositories, konfigurasi untai (karakter) yang dibatasi koma dari cermin maven jarak jauh tambahan opsional. Nilai default ke https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 April 2021

    • Penambal keamanan sistem operasi.
    • [SPARK-35227][BUILD] Perbarui resolver untuk paket percikan di SparkSubmit

  • 9 Maret 2021

    • Port HADOOP-17215 ke driver Azure Blob File System (Dukungan untuk menimpa bersyarat).
    • Perbaiki pemisah jalur di Windows untukdatabricks-connect get-jar-dir
    • Menambahkan dukungan untuk Apache Hive metastore versi 2.3.5, 2.3.6, dan 2.3.7
    • Panah "totalResultsCollected" dilaporkan salah setelah tumpahan

  • 24 Februari 2021

    • Memperkenalkan konfigurasi spark.databricks.hive.metastore.init.reloadFunctions.enabledbaru. Konfigurasi ini mengontrol inisialisasi Apache Hive bawaan. Saat diset ke true, Azure Databricks memuat ulang semua fungsi dari semua database yang dimiliki pengguna.FunctionRegistry Ini adalah perilaku default di Apache Hive Metastore. Saat diset ke false, Azure Databricks menonaktifkan proses ini untuk pengoptimalan.

  • 4 Februari 2021

    • Memperbaiki regresi yang mencegah eksekusi bertambah bertahap kueri yang menetapkan batas global seperti SELECT * FROM table LIMIT nrows. Regresi dialami oleh pengguna yang menjalankan kueri melalui ODBC / JDBC dengan serialisasi Arrow diaktifkan.
    • Memperbaiki regresi yang menyebabkan DBFS FUSE gagal dimulai ketika konfigurasi variabel lingkungan kluster berisi sintaks bash yang tidak valid.

  • Januari 12, 2021

    • Penambal keamanan sistem operasi.

  • 8 Desember 2020

    • [SPARK-27421][SQL] Perbaiki filter untuk kolom int dan kelas nilai java.lang.String saat memangkas kolom partisi
    • [SPARK-33183][SQL] Perbaiki aturan Pengoptimal HilangkanSorts dan tambahkan aturan fisik untuk menghapus jenis yang berlebihan
    • [Runtime 6.4 ML GPU] Kami sebelumnya memasang versi NCCL yang salah (2.7.8-1+cuda11.1) dari NCCL. Rilis ini mengoreksinya menjadi 2.4.8-1 + cuda10.0 yang kompatibel dengan CUDA 10.0.
    • Penambal keamanan sistem operasi.

  • 1 Desember 2020

    • [SPARK-33260][SQL] Perbaiki hasil yang salah dari SortExec saat sortOrder adalah Stream
    • [SPARK-32635][SQL] Perbaiki propagasi yang dapat dilipat

  • 3 November 2020

    • Tingkatkan versi Java dari 1.8.0_252 ke 1.8.0_265.
    • Perbaiki penguncian ABFS dan WASB sehubungan dengan UserGroupInformation.getCurrentUser()
    • Perbaiki bug perulangan tak terbatas dari pembaca Avro saat membaca byte MAGIC.

  • 13 Oktober 2020

    • Penambal keamanan sistem operasi.
    • [SPARK-32999][SQL][2.4] Gunakan Utils.getSimpleName untuk menghindari memukul nama kelas Malformed di TreeNode
    • Memperbaiki direktori listing di dudukan FUSE yang berisi nama file dengan karakter XML yang tidak valid
    • Dudukan FUSE tidak lagi menggunakan ListMultipartUploads

  • 24 September, 2020

    • Memperbaiki batasan sebelumnya di mana passthrough pada kluster standar masih akan membatasi penerapan sistem file yang digunakan pengguna. Sekarang pengguna akan dapat mengakses sistem file lokal tanpa batasan.
    • Penambal keamanan sistem operasi.

  • 8 September 2020

    • Parameter baru dibuat untuk Azure Synapse Analytics, maxbinlength. Parameter ini digunakan untuk mengontrol panjang kolom BinaryType, dan diterjemahkan sebagai VARBINARY(maxbinlength). Ini dapat diatur menggunakan .option("maxbinlength", n), di mana 0 < n <= 8000.
    • Perbarui SDK Azure Storage ke 8.6.4 dan aktifkan TCP tetap hidup pada koneksi yang dibuat oleh driver WASB

  • 25 Agustus 2020

    • Memperbaiki resolusi atribut ambigu dalam penggabungan sendiri

  • 18 Agustus 2020

    • [SPARK-32431][SQL] Periksa kolom bersarang duplikat yang dibaca dari sumber data bawaan
    • Memperbaiki kondisi pacu di konektor AQS saat menggunakan Trigger.Once.

  • 11 Agustus 2020

    • [SPARK-28676][CORE] Hindari pencatatan berlebihan dari ContextCleaner

  • 3 Agustus 2020

    • Anda sekarang dapat menggunakan fungsi transformasi LDA pada kluster passthrough-teraktivasi
    • Penambal keamanan sistem operasi.

  • 7 Juli 2020

    • Versi Java yang ditingkatkan dari 1.8.0_232 ke 1.8.0_252.

  • 21 April 2020

    • [SPARK-31312][SQL] Instans Kelas Cache untuk instans UDF di HiveFunctionWrapper

  • 7 April 2020

    • Untuk mengatasi masalah dengan panda udf yang tidak berfungsi dengan PyArrow 0.15.0 ke atas, kami menambahkan variabel lingkungan (ARROW_PRE_0_15_IPC_FORMAT=1) untuk mengaktifkan dukungan untuk versi PyArrow tersebut. Lihat petunjuknya di [SPARK-29367].

  • 10 Maret 2020

    • Autoscaling yang dioptimalkan sekarang digunakan secara default pada kluster interaktif pada paket Keamanan.
    • Konektor Snowflake (spark-snowflake_2.11) yang termasuk dalam Runtime Databricks diperbarui ke versi 2.5.9. snowflake-jdbc diperbarui ke versi 3.12.0.

Databricks Runtime 5.5 LTS (tidak didukung)

Lihat Databricks Runtime 5.5 LTS (tidak didukung) dan Databricks Runtime 5.5 Extended Support (tidak didukung).

  • 8 Desember 2021

    • Penambal keamanan sistem operasi.

  • Tanggal 22 September 2021

    • Penambal keamanan sistem operasi.

  • 25 Agustus 2021

    • Menurunkan beberapa paket python yang ditingkatkan sebelumnya dalam 5,5 ML Rilis Dukungan Perpanjangan untuk mempertahankan paritas yang lebih baik dengan 5,5 ML LTS (sekarang tidak digunakan lagi). Lihat [_]/release-notes/runtime/5.5xml.md) untuk perbedaan yang diperbarui antara kedua versi.

  • 15 Juni 2021

    • [SPARK-35576][SQL] Edit ulang info sensitif dalam hasil perintah Set

  • 7 Juni 2021

    • Tambahkan konfigurasi baru yang disebut spark.sql.maven.additionalRemoteRepositories, konfigurasi untai (karakter) yang dibatasi koma dari cermin maven jarak jauh tambahan opsional. Nilai default ke https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 April 2021

    • Penambal keamanan sistem operasi.
    • [SPARK-35227][BUILD] Perbarui resolver untuk paket percikan di SparkSubmit

  • 9 Maret 2021

    • Port HADOOP-17215 ke driver Azure Blob File System (Dukungan untuk menimpa bersyarat).

  • 24 Februari 2021

    • Memperkenalkan konfigurasi spark.databricks.hive.metastore.init.reloadFunctions.enabledbaru. Konfigurasi ini mengontrol inisialisasi Apache Hive bawaan. Saat diset ke true, Azure Databricks memuat ulang semua fungsi dari semua database yang dimiliki pengguna.FunctionRegistry Ini adalah perilaku default di Apache Hive Metastore. Saat diset ke false, Azure Databricks menonaktifkan proses ini untuk pengoptimalan.

  • Januari 12, 2021

  • 8 Desember 2020

    • [SPARK-27421][SQL] Perbaiki filter untuk kolom int dan kelas nilai java.lang.String saat memangkas kolom partisi
    • Penambal keamanan sistem operasi.

  • 1 Desember 2020

    • [SPARK-33260][SQL] Perbaiki hasil yang salah dari SortExec saat sortOrder adalah Stream
    • [SPARK-32635][SQL] Perbaiki propagasi yang dapat dilipat

  • 29 Oktober 2020

    • Tingkatkan versi Java dari 1.8.0_252 ke 1.8.0_265.
    • Perbaiki penguncian ABFS dan WASB sehubungan dengan UserGroupInformation.getCurrentUser()
    • Perbaiki bug perulangan tak terbatas dari pembaca Avro saat membaca byte MAGIC.

  • 13 Oktober 2020

    • Penambal keamanan sistem operasi.
    • [SPARK-32999][SQL][2.4] Gunakan Utils.getSimpleName untuk menghindari memukul nama kelas Malformed di TreeNode

  • 24 September, 2020

    • Penambal keamanan sistem operasi.

  • 8 September 2020

    • Parameter baru dibuat untuk Azure Synapse Analytics, maxbinlength. Parameter ini digunakan untuk mengontrol panjang kolom BinaryType, dan diterjemahkan sebagai VARBINARY(maxbinlength). Ini dapat diatur menggunakan .option("maxbinlength", n), di mana 0 < n <= 8000.

  • 18 Agustus 2020

    • [SPARK-32431][SQL] Periksa kolom bersarang duplikat yang dibaca dari sumber data bawaan
    • Memperbaiki kondisi pacu di konektor AQS saat menggunakan Trigger.Once.

  • 11 Agustus 2020

    • [SPARK-28676][CORE] Hindari pencatatan berlebihan dari ContextCleaner

  • 3 Agustus 2020

    • Penambal keamanan sistem operasi

  • 7 Juli 2020

    • Versi Java yang ditingkatkan dari 1.8.0_232 ke 1.8.0_252.

  • 21 April 2020

    • [SPARK-31312][SQL] Instans Kelas Cache untuk instans UDF di HiveFunctionWrapper

  • 7 April 2020

    • Untuk mengatasi masalah dengan panda udf yang tidak berfungsi dengan PyArrow 0.15.0 ke atas, kami menambahkan variabel lingkungan (ARROW_PRE_0_15_IPC_FORMAT=1) untuk mengaktifkan dukungan untuk versi PyArrow tersebut. Lihat petunjuknya di [SPARK-29367].

  • 25 Maret 2020

    • Konektor Snowflake (spark-snowflake_2.11) yang termasuk dalam Runtime Databricks diperbarui ke versi 2.5.9. snowflake-jdbc diperbarui ke versi 3.12.0.

  • 10 Maret 2020

    • Output pekerjaan, seperti output log yang dipancarkan ke stdout, tunduk pada batas ukuran 20MB. Jika total output memiliki ukuran yang lebih besar, run akan dibatalkan dan ditandai sebagai gagal. Untuk menghindari menghadapi batas ini, Anda dapat mencegah stdout dikembalikan dari driver ke dengan mengatur spark.databricks.driver.disableScalaOutput konfigurasi Spark ke true. Secara default nilai bendera adalah false. Bendera mengontrol output sel untuk pekerjaan Scala JAR dan notebook Scala. Jika bendera diaktifkan, Spark tidak mengembalikan hasil eksekusi pekerjaan kepada klien. Bendera tidak memengaruhi data yang ditulis dalam file log kluster. Pengaturan bendera ini direkomendasikan hanya untuk kluster otomatis untuk pekerjaan JAR, karena akan menonaktifkan hasil notebook.

  • 18 Februari 2020

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 harus memberikan pengecualian
    • Passthrough mandat dengan ADLS Gen2 mengalami penurunan kinerja karena penanganan lokal rangkaian yang salah saat prefetching klien ADLS diaktifkan. Rilis ini menonaktifkan prefetching ADLS Gen2 ketika passthrough mandat diaktifkan sampai kita memiliki perbaikan yang tepat.

  • 28 Januari 2020

  • 14 Januari 2020

    • Versi Java yang ditingkatkan dari 1.8.0_222 ke 1.8.0_232.

  • 19 November 2019

    • [SPARK-29743] [SQL] sampel harus mengatur needCopyResult ke true jika kebutuhan anaknyaCopyResult benar
    • Versi R tidak sengaja ditingkatkan menjadi 3.6.1 dari 3.6.0. Kami menurunkannya kembali ke 3.6.0.

  • 5 November 2019

    • Peningkatan versi Java dari 1.8.0_212 ke 1.8.0_222.

  • 23 Oktober 2019

    • [SPARK-29244][CORE] Mencegah halaman yang dibebaskan di BytesToBytesMap gratis lagi

  • 8 Oktober 2019

    • Perubahan sisi server untuk memungkinkan driver Simba Apache Spark ODBC terhubung kembali dan melanjutkan setelah kegagalan koneksi selama mengambil hasil (memerlukan driver Simba Apache Spark ODBC versi 2.6.10).
    • Memperbaiki masalah yang memengaruhi penggunaan Optimize perintah dengan kluster yang diaktifkan ACL tabel.
    • Memperbaiki masalah di mana pyspark.ml pustaka akan gagal karena kesalahan terlarang Scala UDF pada tabel ACL dan kluster yang diaktifkan passthrough mandat.
    • Metode SerDe dan SerDeUtil yang diizinkan untuk passthrough mandat.
    • Memperbaiki NullPointerException saat memeriksa kode kesalahan di klien WASB.

  • 24 September 2019

    • Peningkatan stabilitas penulis Parket.
    • Memperbaiki masalah bahwa kueri Thrift dibatalkan sebelum mulai dieksekusi mungkin macet dalam status MULAI.

  • ########

    • Menambahkan iterator aman utas ke BytesToBytesMap
    • [SPARK-27992][SPARK-28881]Memperbolehkan Python untuk bergabung dengan utas sambungan untuk menyebarkan kesalahan
    • Memperbaiki bug yang memengaruhi kueri agregasi global tertentu.
    • Peningkatan redaksi mandat.
    • [SPARK-27330][SS] mendukung pembatalan tugas di penulis foreach
    • [SPARK-28642] Menyembunyikan mandat di PERLIHATKAN BUAT TABEL
    • [SPARK-28699][SQL] Nonaktifkan menggunakan jenis radix untuk ShuffleExchangeExec dalam kasus repartisi

  • 27 Agustus 2019

    • [SPARK-20906][SQL]Izinkan skema yang ditentukan pengguna di API to_avro dengan registri skema
    • [SPARK-27838][SQL] Pengguna dukungan menyediakan skema avro yang tidak dapat dibatalkan untuk skema katalis dapat diubah ke null tanpa catatan null
    • Peningkatan perjalanan waktu Delta Lake
    • Memperbaiki masalah yang memengaruhi ekspresi tertentu transform
    • Mendukung variabel siaran saat Isolasi Proses diaktifkan

  • 13 Agustus 2019

    • Sumber streaming Delta harus memeriksa protokol terbaru tabel
    • [SPARK-28260] Menambahkan status TUTUP ke ExecutionState
    • [SPARK-28489][SS]Perbaiki bug yang kafkaOffsetRangeCalculator.getRanges dapat menghilangkan offset

  • 30 Juli 2019

    • [SPARK-28015][SQL] Centang stringToDate() mengonsumsi seluruh input untuk format yyyy dan yyyy-[m]m
    • [SPARK-28308][CORE] Bagian sub-kedua CalendarInterval harus dilapisi sebelum diurai
    • [SPARK-27485] EnsureRequirements.reorder harus menghandel ekspresi duplikat dengan anggun
    • [SPARK-28355][CORE][PYTHON] Gunakan Spark conf untuk ambang batas di mana UDF dikompresi oleh siaran

Databricks Light 2.4 Dukungan Perpanjangan

Lihat Databricks Light 2.4 (tidak didukung) dan Dukungan Yang Diperluas Databricks Light 2.4 (tidak didukung).

Databricks Runtime 7.4 (tidak didukung)

Lihat Databricks Runtime 7.4 (tidak didukung).

  • 30 April 2021

    • Penambal keamanan sistem operasi.
    • [SPARK-35227][BUILD] Perbarui resolver untuk paket percikan di SparkSubmit
    • [SPARK-34245][CORE] Pastikan Master menghapus eksekutor yang gagal mengirim status jadi
    • [SPARK-35045][SQL] Tambahkan opsi internal untuk mengontrol buffer input dalam univocity dan konfigurasi untuk ukuran buffer input CSV

  • 24 Maret 2021

    • [SPARK-34768][SQL] Hormati ukuran buffer input default di Univocity
    • [SPARK-34534] Perbaiki urutan blockIds saat menggunakan FetchShuffleBlocks untuk mengambil blok

  • 9 Maret 2021

    • Driver Azure Blob File System yang diperbarui untuk Azure Data Lake Storage Gen2 sekarang diaktifkan secara default. Ini membawa beberapa peningkatan stabilitas.
    • [ES-67926] [UI] Perbaiki tautan href Visualisasi Spark DAG
    • [ES-65064] Mengembalikan skema output dari SHOW DATABASES
    • [SC-70522] [SQL] Gunakan kunci build pemangkasan dinamis yang benar saat petunjuk gabungan rentang hadir
    • [SC-35081] Nonaktifkan pemeriksaan kadaluarsa untuk file tabel Delta di cache disk
    • [SC-70640] Perbaiki NPE saat respons EventGridClient tidak memiliki entitas
    • [SC-70220] [SQL] Jangan membuat saran nomor partisi acak saat AOS diaktifkan

  • 24 Februari 2021

    • Meningkatkan konektor Spark BigQuery ke v0.18, yang memperkenalkan berbagai perbaikan bug dan dukungan untuk iterator Arrow dan Avro.
    • Memperbaiki masalah kebenaran yang menyebabkan Spark mengembalikan hasil yang salah saat presisi dan skala desimal file Parquet berbeda dari skema Spark.
    • Memperbaiki masalah kegagalan pembacaan pada tabel Microsoft SQL Server yang berisi tipe data spasial, dengan menambahkan geometri dan geografi JDBC jenis dukungan untuk Spark SQL.
    • Memperkenalkan konfigurasi spark.databricks.hive.metastore.init.reloadFunctions.enabledbaru. Konfigurasi ini mengontrol inisialisasi Apache Hive bawaan. Saat diset ke true, Azure Databricks memuat ulang semua fungsi dari semua database yang dimiliki pengguna.FunctionRegistry Ini adalah perilaku default di Apache Hive Metastore. Saat diset ke false, Azure Databricks menonaktifkan proses ini untuk pengoptimalan.
    • [SPARK-34212] Memperbaiki masalah yang terkait dengan membaca data desimal dari file Parquet.
    • [SPARK-33579][UI] Perbaiki halaman kosong eksekutor di belakang proksi.
    • [SPARK-20044][UI] Mendukung Spark UI di belakang proksi terbalik front-end menggunakan awalan jalur.
    • [SPARK-33277][PYSPARK][SQL] Gunakan ContextAwareIterator untuk berhenti mengonsumsi setelah tugas berakhir.

  • 4 Februari 2021

    • Memperbaiki regresi yang mencegah eksekusi bertambah bertahap kueri yang menetapkan batas global seperti SELECT * FROM table LIMIT nrows. Regresi dialami oleh pengguna yang menjalankan kueri melalui ODBC / JDBC dengan serialisasi Arrow diaktifkan.
    • Memperbaiki regresi yang menyebabkan DBFS FUSE gagal dimulai ketika konfigurasi variabel lingkungan kluster berisi sintaks bash yang tidak valid.

  • 20 Januari 2021

    • Memperbaiki regresi dalam rilis pemeliharaan 12 Januari 2021 yang dapat menyebabkan AnalysisException yang salah dan mengatakan bahwa kolom tersebut ambigu dalam bergabung sendiri. Regresi ini terjadi ketika pengguna menggabungkan DataFrame dengan DataFrame turunannya (yang disebut self-join) dengan kondisi berikut:
      • Kedua DataFrames ini memiliki kolom umum, tetapi output dari self join tidak memiliki kolom umum. Misalnya, df.join(df.select($"col" as "new_col"), cond)
      • DataFrame turunan mengecualikan beberapa kolom melalui pilih, groupBy, atau jendela.
      • Kondisi gabungan atau transformasi berikut setelah Dataframe yang digabungkan mengacu pada kolom yang tidak umum. Misalnya, df.join(df.drop("a"), df("a") === 1)

  • Januari 12, 2021

    • Penambal keamanan sistem operasi.
    • [SPARK-33593] [SQL] Pembaca vektor mendapatkan data yang salah dengan nilai partisi biner
    • [SPARK-33677][SQL] Lewati aturan Penyederhanaan Suka jika pola berisi escapeChar
    • [SPARK-33071][SPARK-33536] [SQL] Jangan mengubah dataset_id LogicalPlan di join() agar tidak merusak DetectAmbiguousSelfJoin

  • 8 Desember 2020

    • [SPARK-33587][CORE] Bunuh eksekutor pada kesalahan fatal berlapis
    • [SPARK-27421][SQL] Perbaiki filter untuk kolom int dan kelas nilai java.lang.String saat memangkas kolom partisi
    • [SPARK-33316][SQL] Pengguna dukungan menyediakan skema Avro yang dapat diubah ke null untuk skema katalis yang tidak dapat diubah ke null dalam penulisan Avro
    • Penambal keamanan sistem operasi.

  • 1 Desember 2020

    • [SPARK-33404][SQL][3.0] Perbaiki hasil yang salah dalam date_trunc ekspresi
    • [SPARK-33339][PYTHON] Aplikasi Pyspark akan hang karena kesalahan bukan pengecualian
    • [SPARK-33183][SQL][HOTFIX] Perbaiki aturan Pengoptimal HilangkanSorts dan tambahkan aturan fisik untuk menghapus jenis yang berlebihan
    • [SPARK-33371][PYTHON][3.0] Perbarui setup.py dan tes untuk Python 3.9
    • [SPARK-33391][SQL] element_at dengan CreateArray tidak melihat satu indeks berbasis.
    • [SPARK-33306][SQL]Zona waktu diperlukan saat tanggal pentransmisian ke string
    • [SPARK-33260][SQL] Perbaiki hasil yang salah dari SortExec saat sortOrder adalah Stream
    • [SPARK-33272][SQL] memangkas pemetaan atribut di QueryPlan.transformUpWithNewOutput

Databricks Runtime 7.2 (tidak didukung)

Lihat Databricks Runtime 7.2 (tidak didukung).

  • 4 Februari 2021

    • Memperbaiki regresi yang mencegah eksekusi bertambah bertahap kueri yang menetapkan batas global seperti SELECT * FROM table LIMIT nrows. Regresi dialami oleh pengguna yang menjalankan kueri melalui ODBC / JDBC dengan serialisasi Arrow diaktifkan.
    • Memperbaiki regresi yang menyebabkan DBFS FUSE gagal dimulai ketika konfigurasi variabel lingkungan kluster berisi sintaks bash yang tidak valid.

  • 20 Januari 2021

    • Memperbaiki regresi dalam rilis pemeliharaan 12 Januari 2021 yang dapat menyebabkan AnalysisException yang salah dan mengatakan bahwa kolom tersebut ambigu dalam bergabung sendiri. Regresi ini terjadi ketika pengguna menggabungkan DataFrame dengan DataFrame turunannya (yang disebut self-join) dengan kondisi berikut:
      • Kedua DataFrames ini memiliki kolom umum, tetapi output dari self join tidak memiliki kolom umum. Misalnya, df.join(df.select($"col" as "new_col"), cond)
      • DataFrame turunan mengecualikan beberapa kolom melalui pilih, groupBy, atau jendela.
      • Kondisi gabungan atau transformasi berikut setelah Dataframe yang digabungkan mengacu pada kolom yang tidak umum. Misalnya, df.join(df.drop("a"), df("a") === 1)

  • Januari 12, 2021

    • Penambal keamanan sistem operasi.
    • [SPARK-33593] [SQL] Pembaca vektor mendapatkan data yang salah dengan nilai partisi biner
    • [SPARK-33677][SQL] Lewati aturan Penyederhanaan Suka jika pola berisi escapeChar
    • [SPARK-33071][SPARK-33536] [SQL] Jangan mengubah dataset_id LogicalPlan di join() agar tidak merusak DetectAmbiguousSelfJoin

  • 8 Desember 2020

    • [SPARK-27421][SQL] Perbaiki filter untuk kolom int dan kelas nilai java.lang.String saat memangkas kolom partisi
    • [SPARK-33404][SQL] Perbaiki hasil yang salah dalam date_trunc ekspresi
    • [SPARK-33339][PYTHON] Aplikasi Pyspark akan hang karena kesalahan bukan pengecualian
    • [SPARK-33183][SQL] Perbaiki aturan Pengoptimal HilangkanSorts dan tambahkan aturan fisik untuk menghapus jenis yang berlebihan
    • [SPARK-33391][SQL] element_at dengan CreateArray tidak melihat satu indeks berbasis.
    • Penambal keamanan sistem operasi.

  • 1 Desember 2020

    • [SPARK-33306][SQL]Zona waktu diperlukan saat tanggal pentransmisian ke string
    • [SPARK-33260][SQL] Perbaiki hasil yang salah dari SortExec saat sortOrder adalah Stream

  • 3 November 2020

    • Tingkatkan versi Java dari 1.8.0_252 ke 1.8.0_265.
    • Perbaiki penguncian ABFS dan WASB sehubungan dengan UserGroupInformation.getCurrentUser()
    • Perbaiki bug perulangan tak terbatas dari pembaca Avro saat membaca byte MAGIC.

  • 13 Oktober 2020

    • Penambal keamanan sistem operasi.
    • [SPARK-32999][SQL] Gunakan Utils.getSimpleName untuk menghindari memukul nama kelas Malformed di TreeNode
    • Memperbaiki direktori listing di dudukan FUSE yang berisi nama file dengan karakter XML yang tidak valid
    • Dudukan FUSE tidak lagi menggunakan ListMultipartUploads

  • 29 September 2020

    • [SPARK-28863][SQL][WARMFIX] Mengenalkan AlreadyOptimized untuk mencegah analisis ulang V1FallbackWriters
    • [SPARK-32635][SQL] Perbaiki propagasi yang dapat dilipat
    • Tambahkan konfigurasi spark.shuffle.io.decoder.consolidateThresholdbaru. Atur nilai konfigurasi untuk Long.MAX_VALUE melewati konsolidasi netty FrameBuffers, yang mencegah java.lang.IndexOutOfBoundsException dalam kasus sudut.

  • 24 September, 2020

    • [SPARK-32764][SQL] -0.0 harus sama dengan 0.0
    • [SPARK-32753][SQL] Hanya salin tag ke node tanpa tag saat mengubah rencana
    • [SPARK-32659][SQL] Perbaiki masalah data Pemangkasan Partisi Dinamis yang disisipkan pada tipe non-atom
    • Penambal keamanan sistem operasi.

  • 8 September 2020

    • Parameter baru dibuat untuk Azure Synapse Analytics, maxbinlength. Parameter ini digunakan untuk mengontrol panjang kolom BinaryType, dan diterjemahkan sebagai VARBINARY(maxbinlength). Ini dapat diatur menggunakan .option("maxbinlength", n), di mana 0 < n <= 8000.

Databricks Runtime 7.1 (tidak didukung)

Lihat Databricks Runtime 7.1 (tidak didukung).

  • 4 Februari 2021

    • Memperbaiki regresi yang menyebabkan DBFS FUSE gagal dimulai ketika konfigurasi variabel lingkungan kluster berisi sintaks bash yang tidak valid.

  • 20 Januari 2021

    • Memperbaiki regresi dalam rilis pemeliharaan 12 Januari 2021 yang dapat menyebabkan AnalysisException yang salah dan mengatakan bahwa kolom tersebut ambigu dalam bergabung sendiri. Regresi ini terjadi ketika pengguna menggabungkan DataFrame dengan DataFrame turunannya (yang disebut self-join) dengan kondisi berikut:
      • Kedua DataFrames ini memiliki kolom umum, tetapi output dari self join tidak memiliki kolom umum. Misalnya, df.join(df.select($"col" as "new_col"), cond)
      • DataFrame turunan mengecualikan beberapa kolom melalui pilih, groupBy, atau jendela.
      • Kondisi gabungan atau transformasi berikut setelah Dataframe yang digabungkan mengacu pada kolom yang tidak umum. Misalnya, df.join(df.drop("a"), df("a") === 1)

  • Januari 12, 2021

    • Penambal keamanan sistem operasi.
    • [SPARK-33593] [SQL] Pembaca vektor mendapatkan data yang salah dengan nilai partisi biner
    • [SPARK-33677][SQL] Lewati aturan Penyederhanaan Suka jika pola berisi escapeChar
    • [SPARK-33071][SPARK-33536] [SQL] Jangan mengubah dataset_id LogicalPlan di join() agar tidak merusak DetectAmbiguousSelfJoin

  • 8 Desember 2020

    • [SPARK-27421][SQL] Perbaiki filter untuk kolom int dan kelas nilai java.lang.String saat memangkas kolom partisi
    • Spark Jobs diluncurkan menggunakan Databricks Koneksi dapat bertahan tanpa batas waktu dengan Executor$TaskRunner.$anonfun$copySessionState jejak tumpukan eksekutor
    • Penambal keamanan sistem operasi.

  • 1 Desember 2020

    • [SPARK-33404][SQL][3.0] Perbaiki hasil yang salah dalam date_trunc ekspresi
    • [SPARK-33339][PYTHON] Aplikasi Pyspark akan hang karena kesalahan bukan pengecualian
    • [SPARK-33183][SQL][HOTFIX] Perbaiki aturan Pengoptimal HilangkanSorts dan tambahkan aturan fisik untuk menghapus jenis yang berlebihan
    • [SPARK-33371][PYTHON][3.0] Perbarui setup.py dan tes untuk Python 3.9
    • [SPARK-33391][SQL] element_at dengan CreateArray tidak melihat satu indeks berbasis.
    • [SPARK-33306][SQL]Zona waktu diperlukan saat tanggal pentransmisian ke string

  • 3 November 2020

    • Tingkatkan versi Java dari 1.8.0_252 ke 1.8.0_265.
    • Perbaiki penguncian ABFS dan WASB sehubungan dengan UserGroupInformation.getCurrentUser()
    • Perbaiki bug perulangan tak terbatas dari pembaca Avro saat membaca byte MAGIC.

  • 13 Oktober 2020

    • Penambal keamanan sistem operasi.
    • [SPARK-32999][SQL] Gunakan Utils.getSimpleName untuk menghindari memukul nama kelas Malformed di TreeNode
    • Memperbaiki direktori listing di dudukan FUSE yang berisi nama file dengan karakter XML yang tidak valid
    • Dudukan FUSE tidak lagi menggunakan ListMultipartUploads

  • 29 September 2020

    • [SPARK-28863][SQL][WARMFIX] Mengenalkan AlreadyOptimized untuk mencegah analisis ulang V1FallbackWriters
    • [SPARK-32635][SQL] Perbaiki propagasi yang dapat dilipat
    • Tambahkan konfigurasi spark.shuffle.io.decoder.consolidateThresholdbaru. Atur nilai konfigurasi untuk Long.MAX_VALUE melewati konsolidasi netty FrameBuffers, yang mencegah java.lang.IndexOutOfBoundsException dalam kasus sudut.

  • 24 September, 2020

    • [SPARK-32764][SQL] -0.0 harus sama dengan 0.0
    • [SPARK-32753][SQL] Hanya salin tag ke node tanpa tag saat mengubah rencana
    • [SPARK-32659][SQL] Perbaiki masalah data Pemangkasan Partisi Dinamis yang disisipkan pada tipe non-atom
    • Penambal keamanan sistem operasi.

  • 8 September 2020

    • Parameter baru dibuat untuk Azure Synapse Analytics, maxbinlength. Parameter ini digunakan untuk mengontrol panjang kolom BinaryType, dan diterjemahkan sebagai VARBINARY(maxbinlength). Ini dapat diatur menggunakan .option("maxbinlength", n), di mana 0 < n <= 8000.

  • 25 Agustus 2020

    • [SPARK-32159][SQL] Memperbaiki integrasi antara Aggregator[Array[_], _, _] dan UnresolvedMapObjects
    • [SPARK-32559][SQL] Perbaiki logika pangkas, UTF8String.toInt/toLongyang tidak menghandel karakter non-ASCII dengan benar
    • [SPARK-32543][R] Hapus arrow::as_tibble penggunaan di SparkR
    • [SPARK-32091][CORE] Abaikan kesalahan batas waktu saat menghapus blok pada eksekutor yang hilang
    • Memperbaiki masalah yang memengaruhi konektor Azure Synapse dengan informasi masuk MSI
    • Memperbaiki resolusi atribut ambigu dalam penggabungan sendiri

  • 18 Agustus 2020

    • [SPARK-32594][SQL] Memperbaiki serialisasi tanggal yang dimasukkan ke tabel Apache Hive
    • [SPARK-32237][SQL] Selesaikan petunjuk di CTE
    • [SPARK-32431][SQL] Periksa kolom bersarang duplikat yang dibaca dari sumber data bawaan
    • [SPARK-32467][UI] Hindari pengodean URL dua kali pada pengalihan https
    • Memperbaiki kondisi pacu di konektor AQS saat menggunakan Trigger.Once.

  • 11 Agustus 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight hanya boleh menulis ulang atribut untuk node leluhur dari rencana konflik
    • [SPARK-32234][SQL] Perintah SQL Spark gagal memilih tabel ORC

  • 3 Agustus 2020

    • Anda sekarang dapat menggunakan fungsi transformasi LDA pada kluster passthrough-teraktivasi

Databricks Runtime 7.0 (tidak didukung)

Lihat Databricks Runtime 7.0 (tidak didukung).

  • 4 Februari 2021

    • Memperbaiki regresi yang menyebabkan DBFS FUSE gagal dimulai ketika konfigurasi variabel lingkungan kluster berisi sintaks bash yang tidak valid.

  • 20 Januari 2021

    • Memperbaiki regresi dalam rilis pemeliharaan 12 Januari 2021 yang dapat menyebabkan AnalysisException yang salah dan mengatakan bahwa kolom tersebut ambigu dalam bergabung sendiri. Regresi ini terjadi ketika pengguna menggabungkan DataFrame dengan DataFrame turunannya (yang disebut self-join) dengan kondisi berikut:
      • Kedua DataFrames ini memiliki kolom umum, tetapi output dari self join tidak memiliki kolom umum. Misalnya, df.join(df.select($"col" as "new_col"), cond)
      • DataFrame turunan mengecualikan beberapa kolom melalui pilih, groupBy, atau jendela.
      • Kondisi gabungan atau transformasi berikut setelah Dataframe yang digabungkan mengacu pada kolom yang tidak umum. Misalnya, df.join(df.drop("a"), df("a") === 1)

  • Januari 12, 2021

    • Penambal keamanan sistem operasi.
    • [SPARK-33593] [SQL] Pembaca vektor mendapatkan data yang salah dengan nilai partisi biner
    • [SPARK-33677][SQL] Lewati aturan Penyederhanaan Suka jika pola berisi escapeChar
    • [SPARK-33071][SPARK-33536] [SQL] Jangan mengubah dataset_id LogicalPlan di join() agar tidak merusak DetectAmbiguousSelfJoin

  • 8 Desember 2020

    • [SPARK-27421][SQL] Perbaiki filter untuk kolom int dan kelas nilai java.lang.String saat memangkas kolom partisi
    • [SPARK-33404][SQL] Perbaiki hasil yang salah dalam date_trunc ekspresi
    • [SPARK-33339][PYTHON] Aplikasi Pyspark akan hang karena kesalahan bukan pengecualian
    • [SPARK-33183][SQL] Perbaiki aturan Pengoptimal HilangkanSorts dan tambahkan aturan fisik untuk menghapus jenis yang berlebihan
    • [SPARK-33391][SQL] element_at dengan CreateArray tidak melihat satu indeks berbasis.
    • Penambal keamanan sistem operasi.

  • 1 Desember 2020

    • [SPARK-33306][SQL]Zona waktu diperlukan saat tanggal pentransmisian ke string

  • 3 November 2020

    • Tingkatkan versi Java dari 1.8.0_252 ke 1.8.0_265.
    • Perbaiki penguncian ABFS dan WASB sehubungan dengan UserGroupInformation.getCurrentUser()
    • Perbaiki bug perulangan tak terbatas dari pembaca Avro saat membaca byte MAGIC.

  • 13 Oktober 2020

    • Penambal keamanan sistem operasi.
    • [SPARK-32999][SQL] Gunakan Utils.getSimpleName untuk menghindari memukul nama kelas Malformed di TreeNode
    • Memperbaiki direktori listing di dudukan FUSE yang berisi nama file dengan karakter XML yang tidak valid
    • Dudukan FUSE tidak lagi menggunakan ListMultipartUploads

  • 29 September 2020

    • [SPARK-28863][SQL][WARMFIX] Mengenalkan AlreadyOptimized untuk mencegah analisis ulang V1FallbackWriters
    • [SPARK-32635][SQL] Perbaiki propagasi yang dapat dilipat
    • Tambahkan konfigurasi spark.shuffle.io.decoder.consolidateThresholdbaru. Atur nilai konfigurasi untuk Long.MAX_VALUE melewati konsolidasi netty FrameBuffers, yang mencegah java.lang.IndexOutOfBoundsException dalam kasus sudut.

  • 24 September, 2020

    • [SPARK-32764][SQL] -0.0 harus sama dengan 0.0
    • [SPARK-32753][SQL] Hanya salin tag ke node tanpa tag saat mengubah rencana
    • [SPARK-32659][SQL] Perbaiki masalah data Pemangkasan Partisi Dinamis yang disisipkan pada tipe non-atom
    • Penambal keamanan sistem operasi.

  • 8 September 2020

    • Parameter baru dibuat untuk Azure Synapse Analytics, maxbinlength. Parameter ini digunakan untuk mengontrol panjang kolom BinaryType, dan diterjemahkan sebagai VARBINARY(maxbinlength). Ini dapat diatur menggunakan .option("maxbinlength", n), di mana 0 < n <= 8000.

  • 25 Agustus 2020

    • [SPARK-32159][SQL] Memperbaiki integrasi antara Aggregator[Array[_], _, _] dan UnresolvedMapObjects
    • [SPARK-32559][SQL] Perbaiki logika pangkas, UTF8String.toInt/toLongyang tidak menghandel karakter non-ASCII dengan benar
    • [SPARK-32543][R] Hapus arrow::as_tibble penggunaan di SparkR
    • [SPARK-32091][CORE] Abaikan kesalahan batas waktu saat menghapus blok pada eksekutor yang hilang
    • Memperbaiki masalah yang memengaruhi konektor Azure Synapse dengan informasi masuk MSI
    • Memperbaiki resolusi atribut ambigu dalam penggabungan sendiri

  • 18 Agustus 2020

    • [SPARK-32594][SQL] Memperbaiki serialisasi tanggal yang dimasukkan ke tabel Apache Hive
    • [SPARK-32237][SQL] Selesaikan petunjuk di CTE
    • [SPARK-32431][SQL] Periksa kolom bersarang duplikat yang dibaca dari sumber data bawaan
    • [SPARK-32467][UI] Hindari pengodean URL dua kali pada pengalihan https
    • Memperbaiki kondisi pacu di konektor AQS saat menggunakan Trigger.Once.

  • 11 Agustus 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight hanya boleh menulis ulang atribut untuk node leluhur dari rencana konflik
    • [SPARK-32234][SQL] Perintah SQL Spark gagal memilih tabel ORC
    • Anda sekarang dapat menggunakan fungsi transformasi LDA pada kluster passthrough-teraktivasi

Databricks Runtime 6.6 (tidak didukung)

Lihat Databricks Runtime 6.6 (tidak didukung).

  • 1 Desember 2020

    • [SPARK-33260][SQL] Perbaiki hasil yang salah dari SortExec saat sortOrder adalah Stream
    • [SPARK-32635][SQL] Perbaiki propagasi yang dapat dilipat

  • 3 November 2020

    • Tingkatkan versi Java dari 1.8.0_252 ke 1.8.0_265.
    • Perbaiki penguncian ABFS dan WASB sehubungan dengan UserGroupInformation.getCurrentUser()
    • Perbaiki bug perulangan tak terbatas dari pembaca Avro saat membaca byte MAGIC.

  • 13 Oktober 2020

    • Penambal keamanan sistem operasi.
    • [SPARK-32999][SQL][2.4] Gunakan Utils.getSimpleName untuk menghindari memukul nama kelas Malformed di TreeNode
    • Memperbaiki direktori listing di dudukan FUSE yang berisi nama file dengan karakter XML yang tidak valid
    • Dudukan FUSE tidak lagi menggunakan ListMultipartUploads

  • 24 September, 2020

    • Penambal keamanan sistem operasi.

  • 8 September 2020

    • Parameter baru dibuat untuk Azure Synapse Analytics, maxbinlength. Parameter ini digunakan untuk mengontrol panjang kolom BinaryType, dan diterjemahkan sebagai VARBINARY(maxbinlength). Ini dapat diatur menggunakan .option("maxbinlength", n), di mana 0 < n <= 8000.
    • Perbarui SDK Azure Storage ke 8.6.4 dan aktifkan TCP tetap hidup pada koneksi yang dibuat oleh driver WASB

  • 25 Agustus 2020

    • Memperbaiki resolusi atribut ambigu dalam penggabungan sendiri

  • 18 Agustus 2020

    • [SPARK-32431][SQL] Periksa kolom bersarang duplikat yang dibaca dari sumber data bawaan
    • Memperbaiki kondisi pacu di konektor AQS saat menggunakan Trigger.Once.

  • 11 Agustus 2020

    • [SPARK-28676][CORE] Hindari pencatatan berlebihan dari ContextCleaner
    • [SPARK-31967][UI] Penurunan tingkat ke vis.js 4.21.0 untuk memperbaiki regresi waktu pemuatan JOBS UI

  • 3 Agustus 2020

    • Anda sekarang dapat menggunakan fungsi transformasi LDA pada kluster passthrough-teraktivasi
    • Penambal keamanan sistem operasi.

Databricks Runtime 6.5 (tidak didukung)

Lihat Databricks Runtime 6.5 (tidak didukung).

  • 24 September 2020
    • Memperbaiki batasan sebelumnya di mana passthrough pada kluster standar masih akan membatasi penerapan sistem file yang digunakan pengguna. Sekarang pengguna akan dapat mengakses sistem file lokal tanpa batasan.
    • Penambal keamanan sistem operasi.
  • 8 September 2020
    • Parameter baru dibuat untuk Azure Synapse Analytics, maxbinlength. Parameter ini digunakan untuk mengontrol panjang kolom BinaryType, dan diterjemahkan sebagai VARBINARY(maxbinlength). Ini dapat diatur menggunakan .option("maxbinlength", n), di mana 0 < n <= 8000.
    • Perbarui SDK Azure Storage ke 8.6.4 dan aktifkan TCP tetap hidup pada koneksi yang dibuat oleh driver WASB
  • 25 Agustus 2020
    • Memperbaiki resolusi atribut ambigu dalam penggabungan sendiri
  • 18 Agustus 2020
    • [SPARK-32431][SQL] Periksa kolom bersarang duplikat yang dibaca dari sumber data bawaan
    • Memperbaiki kondisi pacu di konektor AQS saat menggunakan Trigger.Once.
  • 11 Agustus 2020
    • [SPARK-28676][CORE] Hindari pencatatan berlebihan dari ContextCleaner
  • 3 Agustus 2020
    • Anda sekarang dapat menggunakan fungsi transformasi LDA pada kluster passthrough-teraktivasi
    • Penambal keamanan sistem operasi.
  • 7 Juli 2020
    • Peningkatan versi Java dari 1.8.0_242 ke 1.8.0_252.
  • 21 April 2020
    • [SPARK-31312][SQL] Instans Kelas Cache untuk instans UDF di HiveFunctionWrapper

Databricks Runtime 6.3 (tidak didukung)

Lihat Databricks Runtime 6.3 (tidak didukung).

  • 7 Juli 2020
    • Versi Java yang ditingkatkan dari 1.8.0_232 ke 1.8.0_252.
  • 21 April 2020
    • [SPARK-31312][SQL] Instans Kelas Cache untuk instans UDF di HiveFunctionWrapper
  • 7 April 2020
    • Untuk mengatasi masalah dengan panda udf yang tidak berfungsi dengan PyArrow 0.15.0 ke atas, kami menambahkan variabel lingkungan (ARROW_PRE_0_15_IPC_FORMAT=1) untuk mengaktifkan dukungan untuk versi PyArrow tersebut. Lihat petunjuknya di [SPARK-29367].
  • 10 Maret 2020
    • Konektor Snowflake (spark-snowflake_2.11) yang termasuk dalam Runtime Databricks diperbarui ke versi 2.5.9. snowflake-jdbc diperbarui ke versi 3.12.0.
  • 18 Februari 2020
    • Passthrough mandat dengan ADLS Gen2 mengalami penurunan kinerja karena penanganan lokal rangkaian yang salah saat prefetching klien ADLS diaktifkan. Rilis ini menonaktifkan prefetching ADLS Gen2 ketika passthrough mandat diaktifkan sampai kita memiliki perbaikan yang tepat.
  • 11 Februari 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 harus memberikan pengecualian
    • [SPARK-30447][SQL] Masalah nullability propagasi konstanta
    • [SPARK-28152][SQL] Tambahkan conf lama untuk memetakan numerik MsSqlServerDialect lama
    • Allowlisted fungsi menimpa sehingga MLModels memperluas MLWriter bisa memanggil fungsi.

Databricks Runtime 6.2 (tidak didukung)

Lihat Databricks Runtime 6.2 (tidak didukung).

  • 21 April 2020
    • [SPARK-31312][SQL] Instans Kelas Cache untuk instans UDF di HiveFunctionWrapper
  • 7 April 2020
    • Untuk mengatasi masalah dengan panda udf yang tidak berfungsi dengan PyArrow 0.15.0 ke atas, kami menambahkan variabel lingkungan (ARROW_PRE_0_15_IPC_FORMAT=1) untuk mengaktifkan dukungan untuk versi PyArrow tersebut. Lihat petunjuknya di [SPARK-29367].
  • 25 Maret 2020
    • Output pekerjaan, seperti output log yang dipancarkan ke stdout, tunduk pada batas ukuran 20MB. Jika total output memiliki ukuran yang lebih besar, run akan dibatalkan dan ditandai sebagai gagal. Untuk menghindari menghadapi batas ini, Anda dapat mencegah stdout dikembalikan dari driver ke dengan mengatur spark.databricks.driver.disableScalaOutput konfigurasi Spark ke true. Secara default nilai bendera adalah false. Bendera mengontrol output sel untuk pekerjaan Scala JAR dan notebook Scala. Jika bendera diaktifkan, Spark tidak mengembalikan hasil eksekusi pekerjaan kepada klien. Bendera tidak memengaruhi data yang ditulis dalam file log kluster. Pengaturan bendera ini direkomendasikan hanya untuk kluster otomatis untuk pekerjaan JAR, karena akan menonaktifkan hasil notebook.
  • 10 Maret 2020
    • Konektor Snowflake (spark-snowflake_2.11) yang termasuk dalam Runtime Databricks diperbarui ke versi 2.5.9. snowflake-jdbc diperbarui ke versi 3.12.0.
  • 18 Februari 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 harus memberikan pengecualian
    • Passthrough mandat dengan ADLS Gen2 mengalami penurunan kinerja karena penanganan lokal rangkaian yang salah saat prefetching klien ADLS diaktifkan. Rilis ini menonaktifkan prefetching ADLS Gen2 ketika passthrough mandat diaktifkan sampai kita memiliki perbaikan yang tepat.
  • 28 Januari 2020
    • Allowlisted ML fungsi menimpa Model Writers untuk kluster yang diaktifkan untuk passthrough kredensial, sehingga penyimpanan model dapat menggunakan mode menimpa pada kluster passthrough mandat.
    • [SPARK-30447][SQL] Masalah nullability propagasi konstan.
    • [SPARK-28152][SQL] Tambahkan conf lama untuk memetakan numerik MsSqlServerDialect lama.
  • 14 Januari 2020
    • Versi Java yang ditingkatkan dari 1.8.0_222 ke 1.8.0_232.
  • 10 Desember 2019
    • [SPARK-29904][SQL] Mengurai stempel waktu dalam presisi mikrodetik oleh sumber data JSON/CSV.

Databricks Runtime 6.1 (tidak didukung)

Lihat Databricks Runtime 6.1 (tidak didukung).

  • 7 April 2020
    • Untuk mengatasi masalah dengan panda udf yang tidak berfungsi dengan PyArrow 0.15.0 ke atas, kami menambahkan variabel lingkungan (ARROW_PRE_0_15_IPC_FORMAT=1) untuk mengaktifkan dukungan untuk versi PyArrow tersebut. Lihat petunjuknya di [SPARK-29367].
  • 25 Maret 2020
    • Output pekerjaan, seperti output log yang dipancarkan ke stdout, tunduk pada batas ukuran 20MB. Jika total output memiliki ukuran yang lebih besar, run akan dibatalkan dan ditandai sebagai gagal. Untuk menghindari menghadapi batas ini, Anda dapat mencegah stdout dikembalikan dari driver ke dengan mengatur spark.databricks.driver.disableScalaOutput konfigurasi Spark ke true. Secara default nilai bendera adalah false. Bendera mengontrol output sel untuk pekerjaan Scala JAR dan notebook Scala. Jika bendera diaktifkan, Spark tidak mengembalikan hasil eksekusi pekerjaan kepada klien. Bendera tidak memengaruhi data yang ditulis dalam file log kluster. Pengaturan bendera ini direkomendasikan hanya untuk kluster otomatis untuk pekerjaan JAR, karena akan menonaktifkan hasil notebook.
  • 10 Maret 2020
    • Konektor Snowflake (spark-snowflake_2.11) yang termasuk dalam Runtime Databricks diperbarui ke versi 2.5.9. snowflake-jdbc diperbarui ke versi 3.12.0.
  • 18 Februari 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 harus memberikan pengecualian
    • Passthrough mandat dengan ADLS Gen2 mengalami penurunan kinerja karena penanganan lokal rangkaian yang salah saat prefetching klien ADLS diaktifkan. Rilis ini menonaktifkan prefetching ADLS Gen2 ketika passthrough mandat diaktifkan sampai kita memiliki perbaikan yang tepat.
  • 28 Januari 2020
    • [SPARK-30447][SQL] Masalah nullability propagasi konstan.
    • [SPARK-28152][SQL] Tambahkan conf lama untuk memetakan numerik MsSqlServerDialect lama.
  • 14 Januari 2020
    • Versi Java yang ditingkatkan dari 1.8.0_222 ke 1.8.0_232.
  • 7 November 2019
  • 5 November 2019
    • Memperbaiki bug di DBFS FUSE untuk menangani titik pemasangan yang ada // di jalurnya.
    • [SPARK-29081] Ganti panggilan ke SerializationUtils.clone pada properti dengan implementasi yang lebih cepat
    • [SPARK-29244][CORE] Mencegah halaman yang dibebaskan di BytesToBytesMap gratis lagi
    • (6.1 ML) Library mkl versi 2019.4 dipasang secara tidak sengaja. Kami menurunkannya ke MKL versi 2019.3 agar sesuai dengan Anaconda Distribution 2019.03.

Databricks Runtime 6.0 (tidak didukung)

Lihat Databricks Runtime 6.0 (tidak didukung).

  • 25 Maret 2020
    • Output pekerjaan, seperti output log yang dipancarkan ke stdout, tunduk pada batas ukuran 20MB. Jika total output memiliki ukuran yang lebih besar, run akan dibatalkan dan ditandai sebagai gagal. Untuk menghindari menghadapi batas ini, Anda dapat mencegah stdout dikembalikan dari driver ke dengan mengatur spark.databricks.driver.disableScalaOutput konfigurasi Spark ke true. Secara default nilai bendera adalah false. Bendera mengontrol output sel untuk pekerjaan Scala JAR dan notebook Scala. Jika bendera diaktifkan, Spark tidak mengembalikan hasil eksekusi pekerjaan kepada klien. Bendera tidak memengaruhi data yang ditulis dalam file log kluster. Pengaturan bendera ini direkomendasikan hanya untuk kluster otomatis untuk pekerjaan JAR, karena akan menonaktifkan hasil notebook.
  • 18 Februari 2020
    • Passthrough mandat dengan ADLS Gen2 mengalami penurunan kinerja karena penanganan lokal rangkaian yang salah saat prefetching klien ADLS diaktifkan. Rilis ini menonaktifkan prefetching ADLS Gen2 ketika passthrough mandat diaktifkan sampai kita memiliki perbaikan yang tepat.
  • 11 Februari 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 harus memberikan pengecualian
  • 28 Januari 2020
    • [SPARK-30447][SQL] Masalah nullability propagasi konstan.
    • [SPARK-28152][SQL] Tambahkan conf lama untuk memetakan numerik MsSqlServerDialect lama.
  • 14 Januari 2020
    • Versi Java yang ditingkatkan dari 1.8.0_222 ke 1.8.0_232.
  • 19 November 2019
    • [SPARK-29743] [SQL] sampel harus mengatur needCopyResult ke true jika kebutuhan anaknyaCopyResult benar
  • 5 November 2019
    • dbutils.tensorboard.start() sekarang mendukung TensorBoard 2.0 (jika dipasang secara manual).
    • Memperbaiki bug di DBFS FUSE untuk menangani titik pemasangan yang ada // di jalurnya.
    • [SPARK-29081] Ganti panggilan ke SerializationUtils.clone pada properti dengan implementasi yang lebih cepat
  • 23 Oktober 2019
    • [SPARK-29244][CORE] Mencegah halaman yang dibebaskan di BytesToBytesMap gratis lagi
  • 8 Oktober 2019
    • Perubahan sisi server untuk memungkinkan driver Simba Apache Spark ODBC terhubung kembali dan melanjutkan setelah kegagalan koneksi selama mengambil hasil (memerlukan driver Simba Apache Spark ODBC versi 2.6.10).
    • Memperbaiki masalah yang memengaruhi penggunaan Optimize perintah dengan kluster yang diaktifkan ACL tabel.
    • Memperbaiki masalah di mana pyspark.ml pustaka akan gagal karena kesalahan terlarang Scala UDF pada tabel ACL dan kluster yang diaktifkan passthrough mandat.
    • Metode SerDe/SerDeUtil yang diizinkan untuk passthrough mandat.
    • Memperbaiki NullPointerException saat memeriksa kode kesalahan di klien WASB.
    • Memperbaiki masalah di mana kredensial pengguna tidak diteruskan ke pekerjaan yang dibuat oleh dbutils.notebook.run().

Databricks Runtime 5.4 ML (tidak didukung)

Lihat Databricks Runtime 5.4 untuk ML (tidak didukung).

  • 18 Juni 2019
    • Peningkatan penanganan aktif MLflow berjalan dalam integrasi Hyperopt
    • Pesan yang ditingkatkan di Hyperopt
    • Paket yang diperbarui Marchkdown dari 3.1 ke 3.1.1

Databricks Runtime 5.4 (tidak didukung)

Lihat Databricks Runtime 5.4 (tidak didukung).

  • 19 November 2019
    • [SPARK-29743] [SQL] sampel harus mengatur needCopyResult ke true jika kebutuhan anaknyaCopyResult benar
  • 8 Oktober 2019
    • Perubahan sisi server untuk memungkinkan driver Simba Apache Spark ODBC terhubung kembali dan melanjutkan setelah kegagalan koneksi selama mengambil hasil (memerlukan pembaruan driver Simba Apache Spark ODBC ke versi 2.6.10).
    • Memperbaiki NullPointerException saat memeriksa kode kesalahan di klien WASB.
  • 10 September 2019
    • Menambahkan iterator aman utas ke BytesToBytesMap
    • Memperbaiki bug yang memengaruhi kueri agregasi global tertentu.
    • [SPARK-27330][SS] mendukung pembatalan tugas di penulis foreach
    • [SPARK-28642] Menyembunyikan mandat di PERLIHATKAN BUAT TABEL
    • [SPARK-28699][SQL] Nonaktifkan menggunakan jenis radix untuk ShuffleExchangeExec dalam kasus repartisi
    • [SPARK-28699][CORE] Memperbaiki kasus sudut untuk membatalkan tahap yang tidak pasti
  • 27 Agustus 2019
    • Memperbaiki masalah yang memengaruhitransform ekspresi tertentu
  • 13 Agustus 2019
    • Sumber streaming Delta harus memeriksa protokol terbaru tabel
    • [SPARK-28489][SS]Perbaiki bug yang kafkaOffsetRangeCalculator.getRanges dapat menghilangkan offset
  • 30 Juli 2019
    • [SPARK-28015][SQL] Centang stringToDate() mengonsumsi seluruh input untuk format yyyy dan yyyy-[m]m
    • [SPARK-28308][CORE] Bagian sub-kedua CalendarInterval harus dilapisi sebelum diurai
    • [SPARK-27485] EnsureRequirements.reorder harus menghandel ekspresi duplikat dengan anggun
  • 2 Juli 2019
    • Snappy-java yang ditingkatkan dari 1.1.7.1 menjadi 1.1.7.3.
  • 18 Juni 2019
    • Peningkatan penghandel aktif MLflow berjalan dalam integrasi MLlib
    • Pesan Databricks Advisor yang ditingkatkan terkait dengan penggunaan penembolokan disk
    • Memperbaiki bug yang memengaruhi penggunaan fungsi urutan yang lebih tinggi
    • Memperbaiki bug yang memengaruhi kueri metadata Delta

Databricks Runtime 5.3 (tidak didukung)

Lihat Databricks Runtime 5.3 (tidak didukung).

  • 7 November 2019
    • [SPARK-29743][SQL] sampel harus mengatur needCopyResult ke true jika kebutuhan anaknyaCopyResult benar
  • 8 Oktober 2019
    • Perubahan sisi server untuk memungkinkan driver Simba Apache Spark ODBC terhubung kembali dan melanjutkan setelah kegagalan koneksi selama mengambil hasil (memerlukan pembaruan driver Simba Apache Spark ODBC ke versi 2.6.10).
    • Memperbaiki NullPointerException saat memeriksa kode kesalahan di klien WASB.
  • 10 September 2019
    • Menambahkan iterator aman utas ke BytesToBytesMap
    • Memperbaiki bug yang memengaruhi kueri agregasi global tertentu.
    • [SPARK-27330][SS] mendukung pembatalan tugas di penulis foreach
    • [SPARK-28642] Menyembunyikan mandat di PERLIHATKAN BUAT TABEL
    • [SPARK-28699][SQL] Nonaktifkan menggunakan jenis radix untuk ShuffleExchangeExec dalam kasus repartisi
    • [SPARK-28699][CORE] Memperbaiki kasus sudut untuk membatalkan tahap yang tidak pasti
  • 27 Agustus 2019
    • Memperbaiki masalah yang memengaruhitransform ekspresi tertentu
  • 13 Agustus 2019
    • Sumber streaming Delta harus memeriksa protokol terbaru tabel
    • [SPARK-28489][SS]Perbaiki bug yang kafkaOffsetRangeCalculator.getRanges dapat menghilangkan offset
  • 30 Juli 2019
    • [SPARK-28015][SQL] Centang stringToDate() mengonsumsi seluruh input untuk format yyyy dan yyyy-[m]m
    • [SPARK-28308][CORE] Bagian sub-kedua CalendarInterval harus dilapisi sebelum diurai
    • [SPARK-27485] EnsureRequirements.reorder harus menghandel ekspresi duplikat dengan anggun
  • 18 Juni 2019
    • Pesan Databricks Advisor yang ditingkatkan terkait dengan penggunaan penembolokan disk
    • Memperbaiki bug yang memengaruhi penggunaan fungsi urutan yang lebih tinggi
    • Memperbaiki bug yang memengaruhi kueri metadata Delta
  • Mei 28, 2019
    • Meningkatkan stabilitas Delta
    • Mentolerir IOExceptions saat membaca file delta LAST_CHECKPOINT
      • Menambahkan pemulihan ke penginstalan pustaka yang gagal
  • Mei 7, 2019
    • Port HADOOP-15778 (ABFS: Perbaiki pembatasan sisi klien untuk dibaca) ke konektor Azure Data Lake Storage Gen2
    • Port HADOOP-16040 (ABFS: Perbaikan bug untuk konfigurasi tolerateOobAppends) ke konektor Azure Data Lake Storage Gen2
    • Memperbaiki bug yang memengaruhi ACL tabel
    • Memperbaiki kondisi pacu saat memuat file checksum log Delta
    • Memperbaiki logika deteksi konflik Delta untuk tidak mengidentifikasi "sisipkan + menimpa" sebagai operasi "tambahkan" murni
    • Pastikan penembolokan disk tidak dinonaktifkan saat ACL tabel diaktifkan
    • [SPARK-27494] [SS] Kunci/nilai nol tidak berfungsi di sumber Kafka v2
    • [SPARK-27446] [R] Gunakan spark conf yang ada jika tersedia.
    • [SPARK-27454] [SPARK-27454] [ML][SQL] Sumber data gambar Spark gagal saat menemukan beberapa gambar ilegal
    • [SPARK-27160] [SQL] Perbaiki DecimalType saat membuat filter orc
    • [SPARK-27338] [INTI] Memperbaiki kebuntuan antara UnsafeExternalSorter dan TaskMemoryManager

Databricks Runtime 5.2 (tidak didukung)

Lihat Databricks Runtime 5.2 (tidak didukung).

  • 10 September 2019
    • Menambahkan iterator aman utas ke BytesToBytesMap
    • Memperbaiki bug yang memengaruhi kueri agregasi global tertentu.
    • [SPARK-27330][SS] mendukung pembatalan tugas di penulis foreach
    • [SPARK-28642] Menyembunyikan mandat di PERLIHATKAN BUAT TABEL
    • [SPARK-28699][SQL] Nonaktifkan menggunakan jenis radix untuk ShuffleExchangeExec dalam kasus repartisi
    • [SPARK-28699][CORE] Memperbaiki kasus sudut untuk membatalkan tahap yang tidak pasti
  • 27 Agustus 2019
    • Memperbaiki masalah yang memengaruhitransform ekspresi tertentu
  • 13 Agustus 2019
    • Sumber streaming Delta harus memeriksa protokol terbaru tabel
    • [SPARK-28489][SS]Perbaiki bug yang kafkaOffsetRangeCalculator.getRanges dapat menghilangkan offset
  • 30 Juli 2019
    • [SPARK-28015][SQL] Centang stringToDate() mengonsumsi seluruh input untuk format yyyy dan yyyy-[m]m
    • [SPARK-28308][CORE] Bagian sub-kedua CalendarInterval harus dilapisi sebelum diurai
    • [SPARK-27485] EnsureRequirements.reorder harus menghandel ekspresi duplikat dengan anggun
  • 2 Juli 2019
    • Mentolerir IOExceptions saat membaca file Delta LAST_CHECKPOINT
  • 18 Juni 2019
    • Pesan Databricks Advisor yang ditingkatkan terkait dengan penggunaan cache disk
    • Memperbaiki bug yang memengaruhi penggunaan fungsi urutan yang lebih tinggi
    • Memperbaiki bug yang memengaruhi kueri metadata Delta
  • Mei 28, 2019
    • Menambahkan pemulihan ke penginstalan pustaka yang gagal
  • Mei 7, 2019
    • Port HADOOP-15778 (ABFS: Perbaiki pembatasan sisi klien untuk dibaca) ke konektor Azure Data Lake Storage Gen2
    • Port HADOOP-16040 (ABFS: Perbaikan bug untuk konfigurasi tolerateOobAppends) ke konektor Azure Data Lake Storage Gen2
    • Memperbaiki kondisi pacu saat memuat file checksum log Delta
    • Memperbaiki logika deteksi konflik Delta untuk tidak mengidentifikasi "sisipkan + menimpa" sebagai operasi "tambahkan" murni
    • Pastikan penembolokan disk tidak dinonaktifkan saat ACL tabel diaktifkan
    • [SPARK-27494] [SS] Kunci/nilai nol tidak berfungsi di sumber Kafka v2
    • [SPARK-27454] [SPARK-27454] [ML][SQL] Sumber data gambar Spark gagal saat menemukan beberapa gambar ilegal
    • [SPARK-27160] [SQL] Perbaiki DecimalType saat membuat filter orc
    • [SPARK-27338] [INTI] Memperbaiki kebuntuan antara UnsafeExternalSorter dan TaskMemoryManager
  • 26 Maret 2019
    • Hindari menyematkan offset yang bergantung pada platform secara harfiah dalam kode yang dihasilkan seluruh tahap
    • [SPARK-26665][CORE] Perbaiki bug yang blocktransferService.fetchBlockSync dapat menggantung selamanya.
    • [SPARK-27134][SQL] array_distinct fungsi tidak berfungsi dengan benar dengan kolom yang berisi array-array.
    • [SPARK-24669][SQL] Batalkan tabel dalam kasus DROP DATABASE CASCADE.
    • [SPARK-26572][SQL] perbaiki evaluasi hasil codegen agregat.
    • Memperbaiki bug yang memengaruhi PythonUDFs tertentu.
  • 26 Februari 2019
    • [SPARK-26864][SQL] Kueri dapat mengembalikan hasil yang salah ketika python udf digunakan sebagai kondisi gabungan semi kiri.
    • [SPARK-26887][PYTHON] Buat datetime.date secara langsung alih-alih membuat datetime64 sebagai data perantara.
    • Memperbaiki bug yang memengaruhi server JDBC/ODBC.
    • Memperbaiki bug yang memengaruhi PySpark.
    • Kecualikan file tersembunyi saat membangun HadoopRDD.
    • Memperbaiki bug di Delta yang menyebabkan masalah serialisasi.
  • 12 Februari 2019
    • Memperbaiki masalah yang memengaruhi penggunaan Delta dengan titik pemasangan Azure ADLS Gen2.
    • Memperbaiki masalah bahwa protokol jaringan tingkat rendah Spark mungkin rusak saat mengirim pesan kesalahan RPC besar dengan enkripsi diaktifkan (kapan spark.network.crypto.enabled diatur ke true).
  • 30 Januari 2019
    • Memperbaiki StackOverflowError saat menempatkan petunjuk tanda miring pada relasi yang di-tembolokkan.
    • Memperbaiki inkonsistensi antara RDD cache SQL dan rencana fisiknya, yang menyebabkan hasil yang salah.
    • [SPARK-26706][SQL] Perbaiki illegalNumericPrecedence untuk ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery tidak menghandel rekaman kosong dengan benar.
    • Sumber data CSV/JSON harus menghindari jalur globbing saat menyimpulkan skema.
    • Memperbaiki inferensi batasan pada operator Jendela.
    • Memperbaiki masalah yang memengaruhi penginstalan pustaka telur dengan kluster yang mengaktifkan ACL tabel.

Databricks Runtime 5.1 (tidak didukung)

Lihat Databricks Runtime 5.1 (tidak didukung).

  • 13 Agustus 2019
    • Sumber streaming Delta harus memeriksa protokol terbaru tabel
    • [SPARK-28489][SS]Perbaiki bug yang kafkaOffsetRangeCalculator.getRanges dapat menghilangkan offset
  • 30 Juli 2019
    • [SPARK-28015][SQL] Centang stringToDate() mengonsumsi seluruh input untuk format yyyy dan yyyy-[m]m
    • [SPARK-28308][CORE] Bagian sub-kedua CalendarInterval harus dilapisi sebelum diurai
    • [SPARK-27485] EnsureRequirements.reorder harus menghandel ekspresi duplikat dengan anggun
  • 2 Juli 2019
    • Mentolerir IOExceptions saat membaca file Delta LAST_CHECKPOINT
  • 18 Juni 2019
    • Memperbaiki bug yang memengaruhi penggunaan fungsi urutan yang lebih tinggi
    • Memperbaiki bug yang memengaruhi kueri metadata Delta
  • Mei 28, 2019
    • Menambahkan pemulihan ke penginstalan pustaka yang gagal
  • Mei 7, 2019
    • Port HADOOP-15778 (ABFS: Perbaiki pembatasan sisi klien untuk dibaca) ke konektor Azure Data Lake Storage Gen2
    • Port HADOOP-16040 (ABFS: Perbaikan bug untuk konfigurasi tolerateOobAppends) ke konektor Azure Data Lake Storage Gen2
    • Memperbaiki kondisi pacu saat memuat file checksum log Delta
    • Memperbaiki logika deteksi konflik Delta untuk tidak mengidentifikasi "sisipkan + menimpa" sebagai operasi "tambahkan" murni
    • [SPARK-27494] [SS] Kunci/nilai nol tidak berfungsi di sumber Kafka v2
    • [SPARK-27454] [SPARK-27454] [ML][SQL] Sumber data gambar Spark gagal saat menemukan beberapa gambar ilegal
    • [SPARK-27160] [SQL] Perbaiki DecimalType saat membuat filter orc
    • [SPARK-27338] [INTI] Memperbaiki kebuntuan antara UnsafeExternalSorter dan TaskMemoryManager
  • 26 Maret 2019
    • Hindari menyematkan offset yang bergantung pada platform secara harfiah dalam kode yang dihasilkan seluruh tahap
    • Memperbaiki bug yang memengaruhi PythonUDFs tertentu.
  • 26 Februari 2019
    • [SPARK-26864][SQL] Kueri dapat mengembalikan hasil yang salah ketika python udf digunakan sebagai kondisi gabungan semi kiri.
    • Memperbaiki bug yang memengaruhi server JDBC/ODBC.
    • Kecualikan file tersembunyi saat membangun HadoopRDD.
  • 12 Februari 2019
    • Memperbaiki masalah yang memengaruhi penginstalan pustaka telur dengan kluster yang mengaktifkan ACL tabel.
    • Memperbaiki inkonsistensi antara RDD cache SQL dan rencana fisiknya, yang menyebabkan hasil yang salah.
    • [SPARK-26706][SQL] Perbaiki illegalNumericPrecedence untuk ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery tidak menghandel rekaman kosong dengan benar.
    • Memperbaiki inferensi batasan pada operator Jendela.
    • Memperbaiki masalah bahwa protokol jaringan tingkat rendah Spark mungkin rusak saat mengirim pesan kesalahan RPC besar dengan enkripsi diaktifkan (kapan spark.network.crypto.enabled diatur ke true).
  • 30 Januari 2019
    • Memperbaiki masalah yang dapat menyebabkan df.rdd.count() UDT mengembalikan jawaban yang salah untuk kasus-kasus tertentu.
    • Memperbaiki masalah yang memengaruhi pemasangan rumah roda.
    • [SPARK-26267] Coba lagi saat mendeteksi offset yang salah dari Kafka.
    • Memperbaiki bug yang memengaruhi beberapa sumber aliran file dalam kueri streaming.
    • Memperbaiki StackOverflowError saat menempatkan petunjuk tanda miring pada relasi yang di-tembolokkan.
    • Memperbaiki inkonsistensi antara RDD cache SQL dan rencana fisiknya, yang menyebabkan hasil yang salah.
  • 8 Januari 2019
    • Memperbaiki masalah yang menyebabkan kesalahan org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]bergabung dengan penyusunan ulang tidak boleh mengubah urutan atribut output.
    • [SPARK-26366] ReplaceExceptWithFilter harus menganggap NULL sebagai False.
    • Peningkatan stabilitas untuk Delta Lake
    • Delta Lake diaktifkan.
    • Memperbaiki masalah yang menyebabkan akses Azure Data Lake Storage Gen2 gagal saat Passthrough Kredensial MICROSOFT Entra ID diaktifkan untuk Azure Data Lake Storage Gen1.
    • Cache IO Databricks sekarang diaktifkan untuk jenis instans pekerja seri Ls untuk semua tingkatan harga.

Databricks Runtime 5.0 (tidak didukung)

Lihat Databricks Runtime 5.0 (tidak didukung).

  • 18 Juni 2019
    • Memperbaiki bug yang memengaruhi penggunaan fungsi urutan yang lebih tinggi
  • Mei 7, 2019
    • Memperbaiki kondisi pacu saat memuat file checksum log Delta
    • Memperbaiki logika deteksi konflik Delta untuk tidak mengidentifikasi "sisipkan + menimpa" sebagai operasi "tambahkan" murni
    • [SPARK-27494] [SS] Kunci/nilai nol tidak berfungsi di sumber Kafka v2
    • [SPARK-27454] [SPARK-27454] [ML][SQL] Sumber data gambar Spark gagal saat menemukan beberapa gambar ilegal
    • [SPARK-27160] [SQL] Memperbaiki DecimalType saat membuat filter orc
      • [SPARK-27338] [INTI] Memperbaiki kebuntuan antara UnsafeExternalSorter dan TaskMemoryManager
  • 26 Maret 2019
    • Hindari menyematkan offset yang bergantung pada platform secara harfiah dalam kode yang dihasilkan seluruh tahap
    • Memperbaiki bug yang memengaruhi PythonUDFs tertentu.
  • 12 Maret 2019
    • [SPARK-26864][SQL] Kueri dapat mengembalikan hasil yang salah ketika python udf digunakan sebagai kondisi gabungan semi kiri.
  • 26 Februari 2019
    • Memperbaiki bug yang memengaruhi server JDBC/ODBC.
    • Kecualikan file tersembunyi saat membangun HadoopRDD.
  • 12 Februari 2019
    • Memperbaiki inkonsistensi antara RDD cache SQL dan rencana fisiknya, yang menyebabkan hasil yang salah.
    • [SPARK-26706][SQL] Perbaiki illegalNumericPrecedence untuk ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery tidak menghandel rekaman kosong dengan benar.
    • Memperbaiki inferensi batasan pada operator Jendela.
    • Memperbaiki masalah bahwa protokol jaringan tingkat rendah Spark mungkin rusak saat mengirim pesan kesalahan RPC besar dengan enkripsi diaktifkan (kapan spark.network.crypto.enabled diatur ke true).
  • 30 Januari 2019
    • Memperbaiki masalah yang dapat menyebabkan df.rdd.count() UDT mengembalikan jawaban yang salah untuk kasus-kasus tertentu.
    • [SPARK-26267] Coba lagi saat mendeteksi offset yang salah dari Kafka.
    • Memperbaiki bug yang memengaruhi beberapa sumber aliran file dalam kueri streaming.
    • Memperbaiki StackOverflowError saat menempatkan petunjuk tanda miring pada relasi yang di-tembolokkan.
    • Memperbaiki inkonsistensi antara RDD cache SQL dan rencana fisiknya, yang menyebabkan hasil yang salah.
  • 8 Januari 2019
    • Memperbaiki masalah yang menyebabkan kesalahan org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]bergabung dengan penyusunan ulang tidak boleh mengubah urutan atribut output.
    • [SPARK-26366] ReplaceExceptWithFilter harus menganggap NULL sebagai False.
    • Peningkatan stabilitas untuk Delta Lake
    • Delta Lake diaktifkan.
    • Cache IO Databricks sekarang diaktifkan untuk jenis instans pekerja seri Ls untuk semua tingkatan harga.
  • 18 Desember 2018
    • [SPARK-26293] Pengecualian pemeran saat memiliki Python UDF di kueri bertumpuk
    • Memperbaiki masalah yang memengaruhi kueri tertentu menggunakan Gabung dan Batasi.
    • Kredensial yang disunting dari nama RDD di Spark UI
  • 6 Desember 2018
    • Memperbaiki masalah yang menyebabkan hasil kueri salah saat menggunakan orderBy segera diikuti oleh groupBy dengan tombol group-by sebagai bagian utama dari kunci sort-by.
    • Konektor Snowflake yang ditingkatkan untuk Spark dari 2.4.9.2-spark_2.4_pre_release ke 2.4.10.
    • Abaikan saja file yang rusak setelah satu atau beberapa muncul kembali saat spark.sql.files.ignoreCorruptFiles atau spark.sql.files.ignoreMissingFiles bendera diaktifkan.
    • Memperbaiki masalah yang memengaruhi kueri serikat diri tertentu.
    • Memperbaiki bug dengan server thrift di mana sesi terkadang bocor saat dibatalkan.
    • [SPARK-26307] Memperbaiki CTAS saat MENYISIPKAN tabel yang tabel berpartisi menggunakan Apache Hive SerDe.
    • [SPARK-26147] Python UDFs dalam kondisi bergabung gagal bahkan ketika menggunakan kolom dari hanya satu sisi bergabung
    • [SPARK-26211] Perbaiki InSet untuk biner, dan struct dan array dengan null.
    • [SPARK-26181]hasMinMaxStats dari ColumnStatsMap metode tidak benar.
    • Memperbaiki masalah yang memengaruhi pemasangan Roda Python di lingkungan tanpa akses Internet.
  • 20 November 2018
    • Memperbaiki masalah yang menyebabkan notebook tidak dapat digunakan setelah membatalkan kueri streaming.
    • Memperbaiki masalah yang memengaruhi kueri tertentu menggunakan fungsi jendela.
    • Memperbaiki masalah yang memengaruhi aliran dari Delta dengan beberapa perubahan skema.
    • Memperbaiki masalah yang memengaruhi kueri agregasi tertentu dengan Left Semi/Anti joins.

Databricks Runtime 4.3 (tidak didukung)

Lihat Databricks Runtime 4.3 (tidak didukung).

  • 9 April 2019

    • [SPARK-26665][CORE] Perbaiki bug yang dapat menyebabkan BlockTransferService.fetchBlockSync menggantung selamanya.
    • [SPARK-24669][SQL] Batalkan tabel dalam kasus DROP DATABASE CASCADE.

  • 12 Maret 2019

    • Memperbaiki bug yang memengaruhi pembuatan kode.
    • Memperbaiki bug yang memengaruhi Delta.

  • 26 Februari 2019

    • Memperbaiki bug yang memengaruhi server JDBC/ODBC.

  • 12 Februari 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery tidak menghandel rekaman kosong dengan benar.
    • Tidak termasuk file tersembunyi saat membangun HadoopRDD.
    • Konversi Filter Parket Tetap untuk predikat IN saat nilainya kosong.
    • Memperbaiki masalah bahwa protokol jaringan tingkat rendah Spark mungkin rusak saat mengirim pesan kesalahan RPC besar dengan enkripsi diaktifkan (kapan spark.network.crypto.enabled diatur ke true).

  • 30 Januari 2019

    • Memperbaiki masalah yang dapat menyebabkan df.rdd.count() UDT mengembalikan jawaban yang salah untuk kasus-kasus tertentu.
    • Memperbaiki inkonsistensi antara RDD cache SQL dan rencana fisiknya, yang menyebabkan hasil yang salah.

  • 8 Januari 2019

    • Memperbaiki masalah yang menyebabkan kesalahan org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Kredensial yang disunting dari nama RDD di Spark UI
    • [SPARK-26352]bergabung dengan penyusunan ulang tidak boleh mengubah urutan atribut output.
    • [SPARK-26366] ReplaceExceptWithFilter harus menganggap NULL sebagai False.
    • Delta Lake diaktifkan.
    • Cache IO Databricks sekarang diaktifkan untuk jenis instans pekerja seri Ls untuk semua tingkatan harga.

  • 18 Desember 2018

    • [SPARK-25002] Avro: merevisi namespace catatan output.
    • Memperbaiki masalah yang memengaruhi kueri tertentu menggunakan Gabung dan Batasi.
    • [SPARK-26307] Memperbaiki CTAS saat MENYISIPKAN tabel yang tabel berpartisi menggunakan Apache Hive SerDe.
    • Abaikan saja file yang rusak setelah satu atau beberapa muncul kembali saat spark.sql.files.ignoreCorruptFiles atau spark.sql.files.ignoreMissingFiles bendera diaktifkan.
    • [SPARK-26181]hasMinMaxStats dari ColumnStatsMap metode tidak benar.
    • Memperbaiki masalah yang memengaruhi pemasangan Roda Python di lingkungan tanpa akses Internet.
    • Memperbaiki masalah performa dalam penganalisis kueri.
    • Memperbaiki masalah di PySpark yang menyebabkan tindakan DataFrame gagal dengan kesalahan "koneksi ditolak".
    • Memperbaiki masalah yang memengaruhi kueri serikat diri tertentu.

  • ########

    • [SPARK-17916][SPARK-25241]Perbaiki string kosong yang diurai sebagai null saat nullValue diatur.
    • [SPARK-25387] Perbaiki untuk NPE yang disebabkan oleh input CSV yang buruk.
    • Memperbaiki masalah yang memengaruhi kueri agregasi tertentu dengan Left Semi/Anti joins.

  • 6 November 2018

    • [SPARK-25741] URL panjang tidak dirender dengan benar di UI web.
    • [SPARK-25714] Perbaiki Penanganan Null di aturan Optimizer BooleanSimplification.
    • Memperbaiki masalah yang memengaruhi pembersihan objek sementara di konektor Synapse Analytics.
    • [SPARK-25816] Perbaiki resolusi atribut di ekstraktor bertumpuk.

  • 16 Oktober 2018

    • Memperbaiki bug yang memengaruhi output berjalan SHOW CREATE TABLE pada tabel Delta.
    • Memperbaiki bug yang memengaruhi Union operasi.

  • 25 September 2018

    • [SPARK-25368][SQL] Inferensi kendala yang salah mengembalikan hasil yang salah.
    • [SPARK-25402][SQL] Penanganan nol di BooleanSimplification.
    • Diperbaiki NotSerializableException di sumber data Avro.

  • 11 September 2018

    • [SPARK-25214][SS] Perbaiki masalah bahwa sumber Kafka v2 dapat mengembalikan rekaman duplikat saat failOnDataLoss=false.
    • [SPARK-24987][SS] Perbaiki kebocoran konsumen Kafka ketika tidak ada offset baru untuk articlePartition.
    • Pengurangan filter harus menangani nilai nol dengan benar.
    • Meningkatkan stabilitas mesin eksekusi.

  • 28 Agustus 2018

    • Memperbaiki bug di perintah Delta Lake Delete yang dengan keliru menghapus baris tempat kondisi dievaluasi menjadi nol.
    • [SPARK-25142] Tambahkan pesan kesalahan saat pekerja Python tidak dapat membuka soket di _load_from_socket.

  • 23 Agustus 2018

    • [SPARK-23935]mapEntry melempar org.codehaus.commons.compiler.CompileException.
    • Memperbaiki masalah peta yang dapat diubah ke null di pembaca Parquet.
    • [SPARK-25051][SQL] FixNullability tidak boleh berhenti pada AnalysisBarrier.
    • [SPARK-25081] Memperbaiki bug di mana ShuffleExternalSorter dapat mengakses halaman memori yang dirilis saat tumpahan gagal mengalokasikan memori.
    • Memperbaiki interaksi antara Databricks Delta dan Pyspark yang dapat menyebabkan kegagalan baca sementara.
    • [SPARK-25084]"distribusikan oleh" pada beberapa kolom (bungkus dalam tanda kurung) dapat menyebabkan masalah kodegen.
    • [SPARK-25096] Longgarkan nullability jika cast adalah force-nullable.
    • Menurunkan jumlah utas default yang digunakan oleh perintah Delta Lake Optimize, mengurangi overhead memori dan melakukan data lebih cepat.
    • [SPARK-25114] Perbaiki RecordBinaryComparator saat pengurangan antara dua kata dapat dibagi dengan Integer.MAX_VALUE.
    • Memperbaiki redaksi manajer rahasia ketika perintah berhasil sebagian.

Databricks Runtime 4.2 (tidak didukung)

Lihat Databricks Runtime 4.2 (tidak didukung).

  • 26 Februari 2019

    • Memperbaiki bug yang memengaruhi server JDBC/ODBC.

  • 12 Februari 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery tidak menghandel rekaman kosong dengan benar.
    • Tidak termasuk file tersembunyi saat membangun HadoopRDD.
    • Konversi Filter Parket Tetap untuk predikat IN saat nilainya kosong.
    • Memperbaiki masalah bahwa protokol jaringan tingkat rendah Spark mungkin rusak saat mengirim pesan kesalahan RPC besar dengan enkripsi diaktifkan (kapan spark.network.crypto.enabled diatur ke true).

  • 30 Januari 2019

    • Memperbaiki masalah yang dapat menyebabkan df.rdd.count() UDT mengembalikan jawaban yang salah untuk kasus-kasus tertentu.

  • 8 Januari 2019

    • Memperbaiki masalah yang menyebabkan kesalahan org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Kredensial yang disunting dari nama RDD di Spark UI
    • [SPARK-26352]bergabung dengan penyusunan ulang tidak boleh mengubah urutan atribut output.
    • [SPARK-26366] ReplaceExceptWithFilter harus menganggap NULL sebagai False.
    • Delta Lake diaktifkan.
    • Cache IO Databricks sekarang diaktifkan untuk jenis instans pekerja seri Ls untuk semua tingkatan harga.

  • 18 Desember 2018

    • [SPARK-25002] Avro: merevisi namespace catatan output.
    • Memperbaiki masalah yang memengaruhi kueri tertentu menggunakan Gabung dan Batasi.
    • [SPARK-26307] Memperbaiki CTAS saat MENYISIPKAN tabel yang tabel berpartisi menggunakan Apache Hive SerDe.
    • Abaikan saja file yang rusak setelah satu atau beberapa muncul kembali saat spark.sql.files.ignoreCorruptFiles atau spark.sql.files.ignoreMissingFiles bendera diaktifkan.
    • [SPARK-26181]hasMinMaxStats dari ColumnStatsMap metode tidak benar.
    • Memperbaiki masalah yang memengaruhi pemasangan Roda Python di lingkungan tanpa akses Internet.
    • Memperbaiki masalah performa dalam penganalisis kueri.
    • Memperbaiki masalah di PySpark yang menyebabkan tindakan DataFrame gagal dengan kesalahan "koneksi ditolak".
    • Memperbaiki masalah yang memengaruhi kueri serikat diri tertentu.

  • ########

    • [SPARK-17916][SPARK-25241]Perbaiki string kosong yang diurai sebagai null saat nullValue diatur.
    • Memperbaiki masalah yang memengaruhi kueri agregasi tertentu dengan Left Semi/Anti joins.

  • 6 November 2018

    • [SPARK-25741] URL panjang tidak dirender dengan benar di UI web.
    • [SPARK-25714] Perbaiki Penanganan Null di aturan Optimizer BooleanSimplification.

  • 16 Oktober 2018

    • Memperbaiki bug yang memengaruhi output berjalan SHOW CREATE TABLE pada tabel Delta.
    • Memperbaiki bug yang memengaruhi Union operasi.

  • 25 September 2018

    • [SPARK-25368][SQL] Inferensi kendala yang salah mengembalikan hasil yang salah.
    • [SPARK-25402][SQL] Penanganan nol di BooleanSimplification.
    • Diperbaiki NotSerializableException di sumber data Avro.

  • 11 September 2018

    • [SPARK-25214][SS] Perbaiki masalah bahwa sumber Kafka v2 dapat mengembalikan rekaman duplikat saat failOnDataLoss=false.
    • [SPARK-24987][SS] Perbaiki kebocoran konsumen Kafka ketika tidak ada offset baru untuk articlePartition.
    • Pengurangan filter harus menangani nilai nol dengan benar.

  • 28 Agustus 2018

    • Memperbaiki bug di perintah Delta Lake Delete yang dengan keliru menghapus baris tempat kondisi dievaluasi menjadi nol.

  • 23 Agustus 2018

    • Memperbaiki NoClassDefError untuk Snapshot Delta
    • [SPARK-23935]mapEntry melempar org.codehaus.commons.compiler.CompileException.
    • [SPARK-24957][SQL] Rata-rata dengan desimal diikuti dengan agregasi mengembalikan hasil yang salah. Hasil rata-rata yang salah dapat dikembalikan. CAST yang ditambahkan di operator Rata-rata akan dilewati jika hasil Divide adalah jenis yang sama dengan yang ditransmisikan.
    • [SPARK-25081] Memperbaiki bug di mana ShuffleExternalSorter dapat mengakses halaman memori yang dirilis saat tumpahan gagal mengalokasikan memori.
    • Memperbaiki interaksi antara Databricks Delta dan Pyspark yang dapat menyebabkan kegagalan baca sementara.
    • [SPARK-25114] Perbaiki RecordBinaryComparator saat pengurangan antara dua kata dapat dibagi dengan Integer.MAX_VALUE.
    • [SPARK-25084]"distribusikan oleh" pada beberapa kolom (bungkus dalam tanda kurung) dapat menyebabkan masalah kodegen.
    • [SPARK-24934][SQL] Secara eksplisit memungkinkan daftar yang didukung jenis di batas atas / bawah untuk pemangkasan partisi dalam memori. Ketika jenis data kompleks digunakan dalam filter kueri terhadap data yang di-tembolokkan, Spark selalu mengembalikan himpunan hasil kosong. Pemangkasan berbasis statistik dalam memori menghasilkan hasil yang salah, karena null diatur untuk batas atas/bawah untuk jenis yang kompleks. Perbaikannya tidak menggunakan pemangkasan berbasis statistik dalam memori untuk jenis yang kompleks.
    • Memperbaiki redaksi manajer rahasia ketika perintah berhasil sebagian.
    • Memperbaiki masalah peta yang dapat diubah ke null di pembaca Parquet.

  • 2 Agustus 2018

    • Menambahkan writeStream.table API di Python.
    • Memperbaiki masalah yang memengaruhi pemeriksaan Delta.
    • [SPARK-24867][SQL] Tambahkan AnalysisBarrier ke DataFrameWriter. SQL cache tidak digunakan saat menggunakan DataFrameWriter untuk menulis DataFrame dengan UDF. Ini adalah regresi yang disebabkan oleh perubahan yang kami buat di AnalysisBarrier, karena tidak semua aturan Analyzer adalah idempotent.
    • Memperbaiki masalah yang dapat menyebabkan mergeInto perintah menghasilkan hasil yang salah.
    • Peningkatan stabilitas dalam mengakses Azure Data Lake Storage Gen1.
    • [SPARK-24809] Serialisasi LongHashedRelation di eksekutor dapat mengakibatkan kesalahan data.
    • [SPARK-24878][SQL] Perbaiki fungsi terbalik untuk jenis array tipe primitif yang mengandung null.

  • 11 Juli 2018

    • Memperbaiki bug dalam eksekusi kueri yang akan menyebabkan agregasi pada kolom desimal dengan presisi berbeda untuk mengembalikan hasil yang salah dalam beberapa kasus.
    • Memperbaiki bug yang NullPointerException dilemparkan selama operasi agregasi lanjutan seperti himpunan pengelompokan.

Databricks Runtime 4.1 ML (tidak didukung)

Lihat Databricks Runtime 4.1 ML (tidak didukung).

  • 31 Juli 2018
    • Menambahkan Azure Synapse Analytics ke ML Runtime 4.1
    • Memperbaiki bug yang dapat menyebabkan hasil kueri yang salah ketika nama kolom partisi yang digunakan dalam predikat berbeda dari kasus kolom tersebut dalam skema tabel.
    • Memperbaiki bug yang memengaruhi mesin eksekusi Spark SQL.
    • Memperbaiki bug yang memengaruhi pembuatan kode.
    • Memperbaiki bug (java.lang.NoClassDefFoundError) yang mempengaruhi Delta Lake.
    • Peningkatan penanganan kesalahan di Delta Lake.
    • Memperbaiki bug yang menyebabkan statistik melewatkan data yang salah dikumpulkan untuk kolom string 32 karakter atau lebih besar.

Databricks Runtime 4.1 (tidak didukung)

Lihat Databricks Runtime 4.1 (tidak didukung).

  • 8 Januari 2019

    • [SPARK-26366] ReplaceExceptWithFilter harus menganggap NULL sebagai False.
    • Delta Lake diaktifkan.

  • 18 Desember 2018

    • [SPARK-25002] Avro: merevisi namespace catatan output.
    • Memperbaiki masalah yang memengaruhi kueri tertentu menggunakan Gabung dan Batasi.
    • [SPARK-26307] Memperbaiki CTAS saat MENYISIPKAN tabel yang tabel berpartisi menggunakan Apache Hive SerDe.
    • Abaikan saja file yang rusak setelah satu atau beberapa muncul kembali saat spark.sql.files.ignoreCorruptFiles atau spark.sql.files.ignoreMissingFiles bendera diaktifkan.
    • Memperbaiki masalah yang memengaruhi pemasangan Roda Python di lingkungan tanpa akses Internet.
    • Memperbaiki masalah di PySpark yang menyebabkan tindakan DataFrame gagal dengan kesalahan "koneksi ditolak".
    • Memperbaiki masalah yang memengaruhi kueri serikat diri tertentu.

  • ########

    • [SPARK-17916][SPARK-25241]Perbaiki string kosong yang diurai sebagai null saat nullValue diatur.
    • Memperbaiki masalah yang memengaruhi kueri agregasi tertentu dengan Left Semi/Anti joins.

  • 6 November 2018

    • [SPARK-25741] URL panjang tidak dirender dengan benar di UI web.
    • [SPARK-25714] Perbaiki Penanganan Null di aturan Optimizer BooleanSimplification.

  • 16 Oktober 2018

    • Memperbaiki bug yang memengaruhi output berjalan SHOW CREATE TABLE pada tabel Delta.
    • Memperbaiki bug yang memengaruhi Union operasi.

  • 25 September 2018

    • [SPARK-25368][SQL] Inferensi kendala yang salah mengembalikan hasil yang salah.
    • [SPARK-25402][SQL] Penanganan nol di BooleanSimplification.
    • Diperbaiki NotSerializableException di sumber data Avro.

  • 11 September 2018

    • [SPARK-25214][SS] Perbaiki masalah bahwa sumber Kafka v2 dapat mengembalikan rekaman duplikat saat failOnDataLoss=false.
    • [SPARK-24987][SS] Perbaiki kebocoran konsumen Kafka ketika tidak ada offset baru untuk articlePartition.
    • Pengurangan filter harus menangani nilai nol dengan benar.

  • 28 Agustus 2018

    • Memperbaiki bug di perintah Delta Lake Delete yang dengan keliru menghapus baris tempat kondisi dievaluasi menjadi nol.
    • [SPARK-25084]"distribusikan oleh" pada beberapa kolom (bungkus dalam tanda kurung) dapat menyebabkan masalah kodegen.
    • [SPARK-25114] Perbaiki RecordBinaryComparator saat pengurangan antara dua kata dapat dibagi dengan Integer.MAX_VALUE.

  • 23 Agustus 2018

    • Memperbaiki NoClassDefError untuk Delta Snapshot.
    • [SPARK-24957][SQL] Rata-rata dengan desimal diikuti dengan agregasi mengembalikan hasil yang salah. Hasil rata-rata yang salah dapat dikembalikan. CAST yang ditambahkan di operator Rata-rata akan dilewati jika hasil Divide adalah jenis yang sama dengan yang ditransmisikan.
    • Memperbaiki masalah peta yang dapat diubah ke null di pembaca Parquet.
    • [SPARK-24934][SQL] Secara eksplisit memungkinkan daftar yang didukung jenis di batas atas / bawah untuk pemangkasan partisi dalam memori. Ketika jenis data kompleks digunakan dalam filter kueri terhadap data yang di-tembolokkan, Spark selalu mengembalikan himpunan hasil kosong. Pemangkasan berbasis statistik dalam memori menghasilkan hasil yang salah, karena null diatur untuk batas atas/bawah untuk jenis yang kompleks. Perbaikannya tidak menggunakan pemangkasan berbasis statistik dalam memori untuk jenis yang kompleks.
    • [SPARK-25081] Memperbaiki bug di mana ShuffleExternalSorter dapat mengakses halaman memori yang dirilis saat tumpahan gagal mengalokasikan memori.
    • Memperbaiki interaksi antara Databricks Delta dan Pyspark yang dapat menyebabkan kegagalan baca sementara.
    • Memperbaiki redaksi manajer rahasia ketika perintah berhasil sebagian

  • 2 Agustus 2018

    • [SPARK-24613][SQL] Cache dengan UDF tidak dapat dicocokkan dengan cache dependen berikutnya. Membungkus rencana logis dengan kompilasi AnalysisBarrier untuk rencana eksekusi di CacheManager, untuk menghindari rencana dianalisis lagi. Ini juga merupakan regresi dari Spark 2.3.
    • Memperbaiki masalah konektor Synapse Analytics yang memengaruhi konversi zona waktu untuk menulis data DateType.
    • Memperbaiki masalah yang memengaruhi pemeriksaan Delta.
    • Memperbaiki masalah yang dapat menyebabkan mergeInto perintah menghasilkan hasil yang salah.
    • [SPARK-24867][SQL] Tambahkan AnalysisBarrier ke DataFrameWriter. SQL cache tidak digunakan saat menggunakan DataFrameWriter untuk menulis DataFrame dengan UDF. Ini adalah regresi yang disebabkan oleh perubahan yang kami buat di AnalysisBarrier, karena tidak semua aturan Analyzer adalah idempotent.
    • [SPARK-24809] Serialisasi LongHashedRelation di eksekutor dapat mengakibatkan kesalahan data.

  • 11 Juli 2018

    • Memperbaiki bug dalam eksekusi kueri yang akan menyebabkan agregasi pada kolom desimal dengan presisi berbeda untuk mengembalikan hasil yang salah dalam beberapa kasus.
    • Memperbaiki bug yang NullPointerException dilemparkan selama operasi agregasi lanjutan seperti himpunan pengelompokan.

  • 28 Juni 2018

    • Memperbaiki bug yang dapat menyebabkan hasil kueri yang salah ketika nama kolom partisi yang digunakan dalam predikat berbeda dari kasus kolom tersebut dalam skema tabel.

  • 7 Juni 2018

    • Memperbaiki bug yang memengaruhi mesin eksekusi Spark SQL.
    • Memperbaiki bug yang memengaruhi pembuatan kode.
    • Memperbaiki bug (java.lang.NoClassDefFoundError) yang mempengaruhi Delta Lake.
    • Peningkatan penanganan kesalahan di Delta Lake.

  • 17 Mei 2018

    • Memperbaiki bug yang menyebabkan statistik melewatkan data yang salah dikumpulkan untuk kolom string 32 karakter atau lebih besar.

Databricks Runtime 4.0 (tidak didukung)

Lihat Databricks Runtime 4.0 (tidak didukung).

  • 6 November 2018

    • [SPARK-25714] Perbaiki Penanganan Null di aturan Optimizer BooleanSimplification.

  • 16 Oktober 2018

    • Memperbaiki bug yang memengaruhi Union operasi.

  • 25 September 2018

    • [SPARK-25368][SQL] Inferensi kendala yang salah mengembalikan hasil yang salah.
    • [SPARK-25402][SQL] Penanganan nol di BooleanSimplification.
    • Diperbaiki NotSerializableException di sumber data Avro.

  • 11 September 2018

    • Pengurangan filter harus menangani nilai nol dengan benar.

  • 28 Agustus 2018

    • Memperbaiki bug di perintah Delta Lake Delete yang dengan keliru menghapus baris tempat kondisi dievaluasi menjadi nol.

  • 23 Agustus 2018

    • Memperbaiki masalah peta yang dapat diubah ke null di pembaca Parquet.
    • Memperbaiki redaksi manajer rahasia ketika perintah berhasil sebagian
    • Memperbaiki interaksi antara Databricks Delta dan Pyspark yang dapat menyebabkan kegagalan baca sementara.
    • [SPARK-25081] Memperbaiki bug di mana ShuffleExternalSorter dapat mengakses halaman memori yang dirilis saat tumpahan gagal mengalokasikan memori.
    • [SPARK-25114] Perbaiki RecordBinaryComparator saat pengurangan antara dua kata dapat dibagi dengan Integer.MAX_VALUE.

  • 2 Agustus 2018

    • [SPARK-24452] Hindari kemungkinan luapan dalam int add atau multiple.
    • [SPARK-24588] Streaming gabung harus memerlukan HashClusteredPartitioning dari anak-anak.
    • Memperbaiki masalah yang dapat menyebabkan mergeInto perintah menghasilkan hasil yang salah.
    • [SPARK-24867][SQL] Tambahkan AnalysisBarrier ke DataFrameWriter. SQL cache tidak digunakan saat menggunakan DataFrameWriter untuk menulis DataFrame dengan UDF. Ini adalah regresi yang disebabkan oleh perubahan yang kami buat di AnalysisBarrier, karena tidak semua aturan Analyzer adalah idempotent.
    • [SPARK-24809] Serialisasi LongHashedRelation di eksekutor dapat mengakibatkan kesalahan data.

  • 28 Juni 2018

    • Memperbaiki bug yang dapat menyebabkan hasil kueri yang salah ketika nama kolom partisi yang digunakan dalam predikat berbeda dari kasus kolom tersebut dalam skema tabel.

  • 7 Juni 2018

    • Memperbaiki bug yang memengaruhi mesin eksekusi Spark SQL.
    • Peningkatan penanganan kesalahan di Delta Lake.

  • 17 Mei 2018

    • Perbaikan bug untuk manajemen rahasia Databricks.
    • Peningkatan stabilitas dalam membaca data yang disimpan di Azure Data Lake Store.
    • Memperbaiki bug yang memengaruhi penembolokan RDD.
    • Memperbaiki bug yang memengaruhi Null-safe Equal di Spark SQL.

  • 24 April 2018

    • Azure Data Lake Store SDK yang ditingkatkan dari 2.0.11 ke 2.2.8 untuk meningkatkan stabilitas akses ke Azure Data Lake Store.
    • Memperbaiki bug yang memengaruhi penyisipan timpa ke tabel Apache Hive yang dipartisi saat spark.databricks.io.hive.fastwriter.enabled adalah false.
    • Memperbaiki masalah yang gagal serialisasi tugas.
    • Meningkatkan stabilitas Delta Lake

  • 14 Marert 2018

    • Mencegah pembaruan metadata yang tidak perlu saat menulis ke Delta Lake.
    • Memperbaiki masalah yang disebabkan oleh kondisi pacu yang dapat, dalam keadaan langka, menyebabkan hilangnya beberapa file output.

Databricks Runtime 3.5 LTS (tidak didukung)

Lihat Databricks Runtime 3.5 LTS (tidak didukung).

  • 7 November 2019

    • [SPARK-29743][SQL] sampel harus mengatur needCopyResult ke true jika kebutuhan anaknyaCopyResult benar

  • 8 Oktober 2019

    • Perubahan sisi server untuk memungkinkan driver Simba Apache Spark ODBC terhubung kembali dan melanjutkan setelah kegagalan koneksi selama mengambil hasil (memerlukan pembaruan driver Simba Apache Spark ODBC ke versi 2.6.10).

  • ########

    • [SPARK-28699][SQL] Nonaktifkan menggunakan jenis radix untuk ShuffleExchangeExec dalam kasus repartisi

  • 9 April 2019

    • [SPARK-26665][CORE] Perbaiki bug yang dapat menyebabkan BlockTransferService.fetchBlockSync menggantung selamanya.

  • 12 Februari 2019

    • Memperbaiki masalah bahwa protokol jaringan tingkat rendah Spark mungkin rusak saat mengirim pesan kesalahan RPC besar dengan enkripsi diaktifkan (kapan spark.network.crypto.enabled diatur ke true).

  • 30 Januari 2019

    • Memperbaiki masalah yang dapat menyebabkan df.rdd.count() UDT mengembalikan jawaban yang salah untuk kasus-kasus tertentu.

  • 18 Desember 2018

    • Abaikan saja file yang rusak setelah satu atau beberapa muncul kembali saat spark.sql.files.ignoreCorruptFiles atau spark.sql.files.ignoreMissingFiles bendera diaktifkan.
    • Memperbaiki masalah yang memengaruhi kueri serikat diri tertentu.

  • ########

    • [SPARK-25816] Memperbaiki resolusi atribut di ekstraktor bertumpuk.

  • 6 November 2018

    • [SPARK-25714] Perbaiki Penanganan Null di aturan Optimizer BooleanSimplification.

  • 16 Oktober 2018

    • Memperbaiki bug yang memengaruhi Union operasi.

  • 25 September 2018

    • [SPARK-25402][SQL] Penanganan nol di BooleanSimplification.
    • Diperbaiki NotSerializableException di sumber data Avro.

  • 11 September 2018

    • Pengurangan filter harus menangani nilai nol dengan benar.

  • 28 Agustus 2018

    • Memperbaiki bug di perintah Delta Lake Delete yang dengan keliru menghapus baris tempat kondisi dievaluasi menjadi nol.
    • [SPARK-25114] Perbaiki RecordBinaryComparator saat pengurangan antara dua kata dapat dibagi dengan Integer.MAX_VALUE.

  • 23 Agustus 2018

    • [SPARK-24809] Serialisasi LongHashedRelation di eksekutor dapat mengakibatkan kesalahan data.
    • Memperbaiki masalah peta yang dapat diubah ke null di pembaca Parquet.
    • [SPARK-25081] Memperbaiki bug di mana ShuffleExternalSorter dapat mengakses halaman memori yang dirilis saat tumpahan gagal mengalokasikan memori.
    • Memperbaiki interaksi antara Databricks Delta dan Pyspark yang dapat menyebabkan kegagalan baca sementara.

  • 28 Juni 2018

    • Memperbaiki bug yang dapat menyebabkan hasil kueri yang salah ketika nama kolom partisi yang digunakan dalam predikat berbeda dari kasus kolom tersebut dalam skema tabel.

  • 28 Juni 2018

    • Memperbaiki bug yang dapat menyebabkan hasil kueri yang salah ketika nama kolom partisi yang digunakan dalam predikat berbeda dari kasus kolom tersebut dalam skema tabel.

  • 7 Juni 2018

    • Memperbaiki bug yang memengaruhi mesin eksekusi Spark SQL.
    • Peningkatan penanganan kesalahan di Delta Lake.

  • 17 Mei 2018

    • Peningkatan stabilitas dalam membaca data yang disimpan di Azure Data Lake Store.
    • Memperbaiki bug yang memengaruhi penembolokan RDD.
    • Memperbaiki bug yang memengaruhi Null-safe Equal di Spark SQL.
    • Memperbaiki bug yang memengaruhi agregasi tertentu dalam kueri streaming.

  • 24 April 2018

    • Azure Data Lake Store SDK yang ditingkatkan dari 2.0.11 ke 2.2.8 untuk meningkatkan stabilitas akses ke Azure Data Lake Store.
    • Memperbaiki bug yang memengaruhi penyisipan timpa ke tabel Apache Hive yang dipartisi saat spark.databricks.io.hive.fastwriter.enabled adalah false.
    • Memperbaiki masalah yang gagal serialisasi tugas.

  • 9 Maret 2018

    • Memperbaiki masalah yang disebabkan oleh kondisi pacu yang dapat, dalam keadaan langka, menyebabkan hilangnya beberapa file output.

  • 1 Maret 2018

    • Meningkatkan efisiensi penanganan aliran yang bisa memakan waktu lama untuk berhenti.
    • Memperbaiki masalah yang memengaruhi pelengkapan otomatis Python.
    • Patch keamanan Ubuntu yang diterapkan.
    • Memperbaiki masalah yang memengaruhi kueri tertentu menggunakan ADF Python dan fungsi jendela.
    • Memperbaiki masalah yang memengaruhi penggunaan AFF pada kluster dengan kontrol akses tabel diaktifkan.

  • 29 Januari 2018

    • Memperbaiki masalah yang memengaruhi manipulasi tabel yang disimpan di penyimpanan Azure Blob.
    • Memperbaiki agregasi setelah dropDuplicates pada DataFrame kosong.

Databricks Runtime 3.4 (tidak didukung)

Lihat Databricks Runtime 3.4 (tidak didukung).

  • 7 Juni 2018

    • Memperbaiki bug yang memengaruhi mesin eksekusi Spark SQL.
    • Peningkatan penanganan kesalahan di Delta Lake.

  • 17 Mei 2018

    • Peningkatan stabilitas dalam membaca data yang disimpan di Azure Data Lake Store.
    • Memperbaiki bug yang memengaruhi penembolokan RDD.
    • Memperbaiki bug yang memengaruhi Null-safe Equal di Spark SQL.

  • 24 April 2018

    • Memperbaiki bug yang memengaruhi penyisipan timpa ke tabel Apache Hive yang dipartisi saat spark.databricks.io.hive.fastwriter.enabled adalah false.

  • 9 Maret 2018

    • Memperbaiki masalah yang disebabkan oleh kondisi pacu yang dapat, dalam keadaan langka, menyebabkan hilangnya beberapa file output.

  • 13 Desember 2017

    • Memperbaiki masalah yang memengaruhi UDFs di Scala.
    • Memperbaiki masalah yang memengaruhi penggunaan Indeks Lewati Data pada tabel sumber data yang disimpan di jalur non-DBFS.

  • 7 Desember 2017

    • Stabilitas shuffle yang lebih baik.

Rilis Runtime Databricks yang tidak didukung

Untuk catatan rilis asli, ikuti tautan di bawah subpos.