Bagikan melalui

Databricks Runtime 18.0

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 18.0, didukung oleh Apache Spark 4.1.0.

Azure Databricks merilis versi ini pada Januari 2026.

Fitur dan peningkatan baru

Pembuatan skrip SQL sekarang tersedia secara umum

Fitur pembuatan skrip SQL sekarang tersedia secara umum.

Driver Redshift JDBC ditingkatkan ke 2.1.0.28

Driver Redshift JDBC telah ditingkatkan ke versi 2.1.0.28.

Lingkungan eksekusi isolasi bersama untuk Unity Catalog Python UDFs

Unity Catalog Python UDFs dengan pemilik yang sama sekarang dapat berbagi lingkungan isolasi secara default. Ini dapat meningkatkan performa dan mengurangi penggunaan memori dengan mengurangi jumlah lingkungan terpisah yang perlu diluncurkan.

Untuk memastikan UDF selalu berjalan di lingkungan yang sepenuhnya terisolasi, tambahkan STRICT ISOLATION klausa karakteristik. Lihat Isolasi lingkungan.

Fungsi jendela SQL dalam tampilan metrik

Anda sekarang dapat menggunakan fungsi jendela SQL dalam tampilan metrik untuk menghitung total yang berjalan, peringkat, dan perhitungan berbasis jendela lainnya.

Mematikan dengan baik untuk aplikasi Spark

Aplikasi Spark sekarang mendukung penonaktifan yang anggun, memungkinkan tugas yang sedang berlangsung selesai sebelum aplikasi berakhir.

Penyesuaian partisi acak dinamis dalam kueri streaming tanpa status

Sekarang Anda dapat mengubah jumlah partisi shuffle dalam kueri streaming stateless tanpa harus memulai ulang kueri.

Eksekusi Kueri Adaptif dan pengacakan yang dioptimalkan secara otomatis dalam kueri streaming stateless

Eksekusi Kueri Adaptif (AQE) dan pengacakan teroptimalkan otomatis (AOS) kini didukung dalam kueri streaming stateless.

FILTER klausa untuk mengukur fungsi agregat dalam tampilan metrik

Anda sekarang dapat menggunakan FILTER klausul dengan mengukur fungsi agregat dalam tampilan metrik untuk menentukan filter per agregat saat mereferensikan pengukuran tampilan metrik.

String literal menyaring di mana-mana

Kemampuan untuk menyatukan literal string berurutan seperti 'Hello' ' World''Hello World' telah diperluas dari ekspresi ke literal string tempat apa pun diizinkan. Contohnya, COMMENT 'This' ' is a ' 'comment'. Lihat STRING jenis untuk detailnya.

Penanda parameter di seluruh tempat

Anda sekarang dapat menggunakan penanda parameter bernama (:param) dan yang tidak disebutkan namanya (?) hampir di mana saja nilai harfiah dari jenis yang sesuai dapat digunakan. Ini termasuk penanda parameter dalam pernyataan DDL seperti CREATE VIEW v AS SELECT ? AS c1, DECIMAL(:p, :s) jenis kolom, atau COMMENT ON t IS :comment. Dengan kemampuan ini Anda dapat membuat parameter berbagai pernyataan SQL tanpa mengekspos kode Anda ke serangan injeksi SQL. Lihat Penanda parameter untuk detailnya.

IDENTIFIER klausul di manapun

Jangkauan IDENTIFIER klausa, yang mengubah string menjadi nama objek SQL, telah diperluas ke hampir semua tempat pengidentifikasi diizinkan. Seiring dengan peningkatan penggabungan string literal dan penanda parameter, Anda sekarang dapat membuat parameter apapun mulai dari alias kolom (AS IDENTIFIER(:name)) hingga definisi kolom (IDENTIFIER(:pk) BIGINT NOT NULL). Lihat klausa IDENTIFIER untuk detailnya.

Fungsi BITMAP_AND_AGG baru

Pustaka BITMAP fungsi yang ada telah dibulatkan dengan fungsi BITMAP_AND_AGG baru.

Pustaka fungsi KLL_Sketch baru

Anda sekarang dapat menggunakan koleksi fungsi baru yang membangun Sketsa KLL untuk pendekatan komputasi kuantil.

Perpustakaan Apache Parquet ditingkatkan ke 1.16.0

Pustaka Apache Parquet telah ditingkatkan ke versi 1.16.0.

Perubahan perilaku

JDK 21 sekarang menjadi Java Development Kit default

Databricks Runtime 18.0 menggunakan JDK 21 sebagai Java Development Kit default. JDK 21 umumnya tersedia dan merupakan rilis dukungan jangka panjang (LTS). Sebelumnya, defaultnya adalah JDK 17.

Perubahan penting dalam JDK 21:

  • Double.toString() dan Float.toString() sekarang menghasilkan representasi string unik terpendek, yang mungkin berbeda dari output JDK 17 dalam beberapa kasus tepi.
  • Thread.stop(), Thread.suspend(), dan Thread.resume() sekarang melemparkan UnsupportedOperationException.
  • Data lokal yang diperbarui (CLDR v42) mungkin memengaruhi pemformatan tanggal, waktu, dan angka.

Jika Anda mengalami masalah kompatibilitas, kembali ke JDK 17. Untuk informasi tentang mengonfigurasi versi JDK, lihat Membuat kluster dengan versi JDK tertentu. Untuk daftar lengkap perubahan antara JDK 17 dan JDK 21, lihat catatan rilis resmi vendor JDK.

FSCK REPAIR TABLE menyertakan perbaikan metadata secara default

Perintah FSCK REPAIR TABLE sekarang menyertakan langkah perbaikan metadata awal sebelum memeriksa file data yang hilang. Perintah dapat bekerja pada tabel dengan titik pemeriksaan yang rusak atau nilai partisi yang tidak valid.

Nullability dipertahankan untuk jenis array dan peta di klien Spark Connect Scala

Sekarang, nullability dari tipe array dan tipe peta dijaga untuk literal bertipe di klien Spark Connect Scala. Sebelumnya, elemen array dan nilai dari peta selalu bisa bernilai null.

FSCK REPAIR TABLE DRY RUN skema output diperbarui

Kolom dataFilePath dalam FSCK REPAIR TABLE DRY RUN skema output sekarang dapat diubah ke null untuk mendukung pelaporan jenis masalah baru di mana jalur file data tidak berlaku.

SHOW TABLES DROPPEDmenghormati klausul LIMIT

Sekarang, perintah SHOW TABLES DROPPED benar-benar menjalankan klausul LIMIT dengan tepat.

Faktor prorasi yang selaras antara bacaan dan penulisan yang dioptimalkan secara otomatis

Faktor prorasi untuk ukuran partisi sekarang menggunakan nilai pecahan secara konsisten di seluruh operasi baca dan penulisan yang dioptimalkan secara otomatis. Perubahan ini dapat mengakibatkan jumlah tugas yang berbeda untuk operasi baca.

Eksekusi UDF Python terpadu di seluruh Katalog PySpark dan Unity

Sekarang, Unity Catalog Python UDF menggunakan Apache Arrow sebagai format pertukaran default, yang meningkatkan performa keseluruhan dan menyelaraskan dengan perilaku UDF Python yang dioptimalkan oleh Apache Arrow di Apache Spark. Sebagai bagian dari perubahan ini, TIMESTAMP nilai yang diteruskan ke UDF Python tidak lagi menyertakan informasi zona waktu dalam datetime atribut objek tzinfo . Nilai tanda waktu itu sendiri tetap dalam UTC, tetapi metadata zona waktu sekarang dihilangkan.

Jika UDF Anda bergantung pada informasi zona waktu, Anda perlu memulihkannya dengan date = date.replace(tzinfo=timezone.utc). Untuk informasi selengkapnya, lihat Perilaku zona waktu tanda waktu untuk input.

Pesan kesalahan yang disempurnakan untuk masalah modul masuk konektor Kafka

Saat menggunakan konektor Kafka dengan kelas modul login yang tidak disertakan dengan awalan, Azure Databricks sekarang menyediakan pesan kesalahan yang menyarankan penggunaan awalan kelas yang dibayangkan yang benar (kafkashaded.org.apache.kafka atau kafkashaded.software.amazon.msk.auth.iam).

Pembatasan perjalanan waktu dan VACUUM perilaku retensi

Azure Databricks sekarang memblokir kueri perjalanan waktu di luar deletedFileRetentionDuration ambang batas untuk semua tabel. Perintah VACUUM mengabaikan argumen durasi retensi kecuali ketika nilainya adalah 0 jam. Anda tidak dapat mengatur deletedFileRetentionDuration lebih besar dari logRetentionDuration atau sebaliknya.

BinaryType memetakan ke bytes secara default di PySpark

Di PySpark, BinaryType sekarang secara konsisten memetakan ke Python bytes. PySpark sebelumnya memetakan BinaryType ke bytes atau bytearray tergantung pada konteksnya. Untuk memulihkan perilaku lama, atur spark.sql.execution.pyspark.binaryAsBytes ke false.

Struktur NULL dipertahankan dalam operasi penulisan Delta MERGE, UPDATE, dan streaming

Struct NULL sekarang dipertahankan sebagai NULL di Delta MERGE, UPDATE, dan operasi penulisan streaming yang mencakup jenis struct cast. Sebelumnya, struktur NULL diperluas ke struktur dengan bidang NULL. Struct NULL sekarang tetap NULL alih-alih diperluas ke struct dengan semua nilai bidang NULL.

Kolom partisi terwujud dalam file Parquet

Tabel Delta yang dipartisi sekarang mewujudkan kolom partisi dalam file data Parquet yang baru ditulis. Sebelumnya, nilai partisi disimpan dalam metadata log transaksi Delta dan tercermin dalam jalur direktori, tetapi tidak ditulis sebagai kolom dalam file Parquet itu sendiri. Perubahan ini selaras dengan perilaku Apache Iceberg dan UniForm dan dapat memengaruhi beban kerja yang langsung membaca file Parquet yang ditulis oleh Delta Lake, karena file yang baru ditulis menyertakan kolom partisi tambahan.

Nilai partisi tanda waktu sekarang menghormati zona waktu sesi Spark

Sebelumnya, nilai partisi tanda waktu salah dikonversi ke UTC menggunakan zona waktu JVM alih-alih mengikuti spark.sql.session.timeZone konfigurasi. Nilai partisi tanda waktu sekarang disesuaikan dengan benar menggunakan pengaturan zona waktu sesi Spark.

DESCRIBE TABLE output mencakup kolom metadata

Output DESCRIBE TABLE [EXTENDED] sekarang menyertakan kolom baru metadata untuk semua jenis tabel. Kolom ini berisi metadata semantik (nama tampilan, format, dan sinonim) yang ditentukan pada tabel sebagai string JSON.

Peningkatan pustaka

Pustaka Python yang ditingkatkan:

  • anyio dari 4.6.2 hingga 4.7.0
  • asttokens versi 2.0.5 hingga 3.0.0
  • azure-core dari 1.34.0 hingga 1.37.0
  • azure-mgmt-core dari 1.5.0 hingga 1.6.0
  • azure-storage-blob dari 12.23.0 hingga 12.28.0
  • azure-storage-file-datalake dari 12.17.0 hingga 12.22.0
  • boto3 dari 1.36.2 ke 1.40.45
  • botocore dari 1.36.3 ke 1.40.45
  • certifi dari 2025.1.31 hingga 2025.4.26
  • klik dari 8.1.7 ke 8.1.8
  • kriptografi dari 43.0.3 ke 44.0.1
  • Cython dari 3.0.12 ke 3.1.5
  • databricks-sdk dari 0.49.0 hingga 0.67.0
  • Tidak digunakan lagi dari 1.2.13 menjadi 1.2.18
  • menjalankan dari 0.8.3 ke 1.2.0
  • fastapi dari 0.115.12 ke 0.128.0
  • filelock dari 3.18.0 ke 3.17.0
  • google-api-core dari 2.20.0 hingga 2.28.1
  • google-auth dari 2.40.0 hingga 2.47.0
  • google-cloud-core dari 2.4.3 hingga 2.5.0
  • google-cloud-storage dari 3.1.0 hingga 3.7.0
  • google-crc32c dari 1.7.1 hingga 1.8.0
  • google-resumable-media dari 2.7.2 hingga 2.8.0
  • h11 dari 0,14,0 ke 0,16,0
  • httpcore dari 1.0.2 hingga 1.0.9
  • httpx dari 0.27.0 hingga 0.28.1
  • isodate dari 0.6.1 hingga 0.7.2
  • Jinja2 dari 3.1.5 hingga 3.1.6
  • jupyter-events dari 0.10.0 hingga 0.12.0
  • jupyter-lsp dari 2.2.0 ke 2.2.5
  • jupyter_server dari 2.14.1 ke 2.15.0
  • jupyter_server_terminals dari 0.4.4 ke 0.5.3
  • mistune dari 2.0.4 menjadi 3.1.2
  • mlflow-skinny dari 3.0.1 hingga 3.8.1
  • mmh3 dari 5.1.0 hingga 5.2.0
  • msal dari 1.32.3 hingga 1.34.0
  • nbclient dari 0.8.0 ke 0.10.2
  • nbconvert dari 7.16.4 ke 7.16.6
  • nodeenv dari 1.9.1 hingga 1.10.0
  • notebook_shim dari 0.2.3 hingga 0.2.4
  • opentelemetry-api dari 1.32.1 hingga 1.39.1
  • opentelemetry-sdk dari 1.32.1 hingga 1.39.1
  • opentelemetry-semantic-conventions dari 0.53b1 hingga 0.60b1
  • platformdirs dari 3.10.0 hingga 4.3.7
  • prometheus_client dari 0.21.0 hingga 0.21.1
  • proto-plus dari 1.26.1 hingga 1.27.0
  • psycopg2 dari 2.9.3 ke 2.9.11
  • pyarrow dari 19.0.1 hingga 21.0.0
  • Pygments dari 2.15.1 hingga 2.19.1
  • pyiceberg dari 0,9,0 hingga 0,10,0
  • python-lsp-server dari 1.12.0 ke 1.12.2
  • tali dari 1.12.0 hingga 1.13.0
  • s3transfer dari 0.11.3 ke 0.14.0
  • scipy dari 1.15.1 hingga 1.15.3
  • setuptools dari 74.0.0 hingga 78.1.1
  • enam versi dari 1.16.0 hingga 1.17.0
  • sqlparse dari 0.5.3 ke 0.5.5
  • stack-data dari 0.2.0 hingga 0.6.3
  • starlette dari versi 0.46.2 hingga versi 0.50.0
  • tornado dari 6.4.2 ke 6.5.1
  • types-python-dateutil dari 2.9.0.20241206 ke 2.9.0.20251115
  • uvicorn dari 0.34.2 ke versi 0.40.0
  • webcolors dari 24.11.1 hingga 25.10.0

Pustaka R yang ditingkatkan:

  • panah dari 19.0.1 hingga 22.0.0
  • Dasar dari 4.4.2 ke 4.5.1
  • bigD dari 0.3.0 hingga 0.3.1
  • broom dari 1.0.7 ke 1.0.10
  • jam dari 0.7.2 hingga 0.7.3
  • commonmark dari 1.9.5 hingga 2.0.0
  • compiler dari 4.4.2 ke 4.5.1
  • kredensial dari 2.0.2 hingga 2.0.3
  • curl dari 6.4.0 ke 7.0.0
  • data.table dari 1.17.0 hingga 1.17.8
  • himpunan data dari 4.4.2 hingga 4.5.1
  • dbplyr dari 2.5.0 ke 2.5.1
  • devtools dari 2.4.5 hingga 2.4.6
  • diffobj dari 0.3.5 hingga 0.3.6
  • digest dari versi 0.6.37 ke versi 0.6.39
  • downlit dari 0.4.4 ke 0.4.5
  • dtplyr dari 1.3.1 ke 1.3.2
  • evaluasi dari 1.0.3 ke 1.0.5
  • fansi dari 1.0.6 hingga 1.0.7
  • forcats dari 1.0.0 hingga 1.0.1
  • fs dari 1.6.5 hingga 1.6.6
  • versi di masa depan dari 1.34.0 ke 1.68.0
  • future.apply dari 1.11.3 ke 1.20.0
  • gargle dari 1.5.2 ke 1.6.0
  • gert dari 2.1.4 ke 2.2.0
  • ggplot2 dari 3.5.1 ke 4.0.1
  • gh dari 1.4.1 ke 1.5.0
  • git2r dari 0.35.0 ke 0.36.2
  • glmnet dari 4,1-8 hingga 4,1-10
  • googledrive dari 2.1.1 hingga 2.1.2
  • googlesheets4 dari 1.1.1 hingga 1.1.2
  • grafik dari 4.4.2 hingga 4.5.1
  • grDevices dari 4.4.2 ke 4.5.1
  • kisi dari 4.4.2 hingga 4.5.1
  • gt dari 0.11.1 ke 1.1.0
  • hardhat dari 1.4.1 ke 1.4.2
  • pembaruan haven dari 2.5.4 ke 2.5.5
  • hms dari 1.1.3 hingga 1.1.4
  • httpuv dari 1.6.15 ke 1.6.16
  • httr2 dari 1.1.1 hingga 1.2.1
  • jsonlite dari 1.9.1 ke 2.0.0
  • kemudian dari 1.4.1 hingga 1.4.4
  • lava dari 1.8.1 hingga 1.8.2
  • listenv dari 0.9.1 hingga 0.10.0
  • magrittr dari 2.0.3 hingga 2.0.4
  • Pembaruan markdown dari versi 1.13 ke versi 2.0
  • metode dari 4.4.2 hingga 4.5.1
  • miniUI dari 0.1.1.1 ke 0.1.2
  • mlflow dari 2.20.4 ke 3.6.0
  • openssl dari 2.3.3 hingga 2.3.4
  • paralel dari 4.4.2 hingga 4.5.1
  • secara paralel dari 1.42.0 hingga 1.45.1
  • pilar dari 1.11.0 hingga 1.11.1
  • pkgbuild dari 1.4.6 ke 1.4.8
  • pkgdown dari 2.1.1 ke 2.2.0
  • pkgload dari 1.4.0 ke 1.4.1
  • pROC dari 1.18.5 ke 1.19.0.1
  • prodlim dari 2024.06.25 hingga 2025.04.28
  • progressr dari 0.15.1 ke 0.18.0
  • janji dari 1.3.2 hingga 1.5.0
  • ps dari 1.9.0 ke 1.9.1
  • purrr dari 1.0.4 hingga 1.2.0
  • ragg dari 1.3.3 ke 1.5.0
  • Rcpp dari 1.0.14 hingga 1.1.0
  • readr dari 2.1.5 hingga 2.1.6
  • resep dari 1.2.0 hingga 1.3.1
  • Pembaruan reshape2 dari versi 1.4.4 ke versi 1.4.5
  • rmarkdown dari 2,29 ke 2,30
  • roxygen2 dari 7.3.2 ke 7.3.3
  • rprojroot dari 2.0.4 ke 2.1.1
  • RSQLite dari 2.3.9 ke 2.4.4
  • versi R dari 2.1.2 sampai dengan 3.0.0
  • rvest dari 1.0.4 hingga 1.0.5
  • sass dari 0.4.9 ke 0.4.10
  • skala dari 1.3.0 ke 1.4.0
  • mengkilap dari 1.10.0 hingga 1.11.1
  • sparklyr dari 1.9.1 hingga 1.9.3
  • SparkR dari 4.0.0 hingga 4.1.0
  • sparsevctrs versi 0.3.1 hingga versi 0.3.4
  • spline dari 4.4.2 ke 4.5.1
  • statistik dari 4.4.2 hingga 4.5.1
  • stats4 dari 4.4.2 hingga 4.5.1
  • stringr dari 1.5.1 hingga 1.6.0
  • "systemfonts" dari 1.2.1 hingga 1.3.1
  • tcltk dari 4.4.2 ke 4.5.1
  • testthat dari 3.2.3 ke 3.3.0
  • textshaping dari 1.0.0 ke 1.0.4
  • timeDate dari 4041.110 hingga 4051.111
  • tinytex dari 0,56 hingga 0,58
  • perangkat dari versi 4.4.2 hingga versi 4.5.1
  • usethis dari 3.1.0 ke 3.2.1
  • utils dari 4.4.2 ke 4.5.1
  • V8 dari 6.0.2 hingga 8.0.1
  • vroom dari 1.6.5 hingga 1.6.6
  • waldo dari 0.6.1 hingga 0.6.2
  • xfun dari 0,51 hingga 0,54
  • xml2 dari 1.3.8 hingga 1.5.0
  • zeallot dari 0.1.0 hingga 0.2.0
  • zip dari 2.3.2 hingga 2.3.3

Pustaka Java yang ditingkatkan:

  • com.amazonaws.amazon-kinesis-client dari 1.12.0 hingga 1.15.3
  • com.amazonaws.aws-java-sdk-autoscaling dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-cloudformation dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-cloudfront dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-cloudhsm dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-cloudsearch dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-cloudtrail dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatch dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-codedeploy dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-cognitoidentity dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-cognitosync dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-config dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-core dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-datapipeline dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-directconnect dari 1.12.638 ke 1.12.681
  • com.amazonaws.aws-java-sdk-directory dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-dynamodb dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-ec2 dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-ecs dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-efs dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-elasticache dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-elasticbeanstalk dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-elasticloadbalancing dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-elastictranscoder dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-emr dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-glacier dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-glue dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-iam dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-importexport dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-kinesis dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-kms dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-lambda dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-logs dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-machinelearning dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-opsworks dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-rds dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-redshift dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-route53 dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-s3 dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-ses dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-simpledb dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-simpleworkflow dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-sns dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-sqs dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-ssm dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-storagegateway dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-sts dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-support dari 1.12.638 hingga 1.12.681
  • com.amazonaws.aws-java-sdk-workspaces dari 1.12.638 hingga 1.12.681
  • com.amazonaws.jmespath-java dari 1.12.638 hingga 1.12.681
  • com.databricks.databricks-sdk-java dari 0.27.0 hingga 0.53.0
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 dari 2.18.2 hingga 2.18.3
  • com.github.luben.zstd-jni dari 1.5.6-10 menjadi 1.5.7-6
  • com.google.flatbuffers.flatbuffers-java dari 24.3.25 hingga 25.2.10
  • com.google.guava.failureaccess dari 1.0.2 hingga 1.0.3
  • com.google.guava.guava dari 33.4.0-jre ke 33.4.8-jre
  • com.microsoft.sqlserver.mssql-jdbc dari 11.2.3.jre8 ke 12.8.0.jre8
  • commons-cli.commons-cli dari 1.9.0 hingga 1.10.0
  • commons-codec.commons-codec dari 1.17.2 hingga 1.19.0
  • commons-fileupload.commons-fileupload dari 1.5 ke 1.6.0
  • commons-io.commons-io dari 2.18.0 hingga 2.21.0
  • dev.ludovic.netlib.arpack dari 3.0.3 hingga 3.0.4
  • dev.ludovic.netlib.blas dari 3.0.3 hingga 3.0.4
  • dev.ludovic.netlib.lapack dari 3.0.3 hingga 3.0.4
  • io.dropwizard.metrics.metrics-annotation dari 4.2.30 hingga 4.2.37
  • io.dropwizard.metrics.metrics-core dari 4.2.30 menjadi 4.2.37
  • io.dropwizard.metrics.metrics-graphite dari 4.2.30 hingga 4.2.37
  • io.dropwizard.metrics.metrics-healthchecks dari 4.2.30 hingga 4.2.37
  • io.dropwizard.metrics.metrics-jmx dari 4.2.30 ke 4.2.37
  • io.dropwizard.metrics.metrics-json dari 4.2.30 ke 4.2.37
  • io.dropwizard.metrics.metrics-jvm dari 4.2.30 ke 4.2.37
  • io.dropwizard.metrics.metrics-servlets dari 4.2.30 hingga 4.2.37
  • io.netty.netty-all dari 4.1.118.Final ke 4.2.7.Final
  • io.netty.netty-buffer dari 4.1.118.Final ke 4.2.7.Final
  • io.netty.netty-codec dari 4.1.118.Final ke 4.2.7.Final
  • io.netty.netty-codec-http dari 4.1.118.Final ke 4.2.7.Final
  • io.netty.netty-codec-http2 dari 4.1.118.Final ke 4.2.7.Final
  • io.netty.netty-codec-socks dari 4.1.118.Final ke 4.2.7.Final
  • io.netty.netty-common dari 4.1.118.Final hingga 4.2.7.Final
  • io.netty.netty-handler dari 4.1.118.Final ke 4.2.7.Final
  • io.netty.netty-handler-proxy dari 4.1.118.Final ke 4.2.7.Final
  • io.netty.netty-resolver dari 4.1.118.Final ke 4.2.7.Final
  • io.netty.netty-tcnative-boringssl-static dari 2.0.70.Final-db-r0-windows-x86_64 ke 2.0.74.Final-db-r0-windows-x86_64
  • kelas io.netty.netty-tcnative dari 2.0.70.Final hingga 2.0.74.Final
  • io.netty.netty-transport dari 4.1.118.Final ke 4.2.7.Final
  • io.netty.netty-transport-classes-epoll dari 4.1.118.Final ke 4.2.7.Final
  • io.netty.netty-transport-classes-kqueue dari 4.1.118.Final ke 4.2.7.Final
  • io.netty.netty-transport-native-epoll diperbarui dari 4.1.118.Final-linux-x86_64 menjadi 4.2.7.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue dari 4.1.118.Final-osx-x86_64 ke 4.2.7.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common dari 4.1.118.Final hingga 4.2.7.Final
  • joda-time.joda-time dari 2.13.0 hingga 2.14.0
  • org.apache.arrow.arrow-format dari 18.2.0 hingga 18.3.0
  • org.apache.arrow.arrow-memory-core dari 18.2.0 hingga 18.3.0
  • org.apache.arrow.arrow-memory-netty dari 18.2.0 hingga 18.3.0
  • org.apache.arrow.arrow-memory-netty-buffer-patch dari 18.2.0 hingga 18.3.0
  • org.apache.arrow.arrow-vector dari 18.2.0 hingga 18.3.0
  • org.apache.avro.avro dari 1.12.0 ke 1.12.1
  • org.apache.avro.avro-ipc dari 1.12.0 hingga 1.12.1
  • org.apache.avro.avro-mapred dari 1.12.0 ke 1.12.1
  • org.apache.commons.commons-collections4 dari 4.4 hingga 4.5.0
  • org.apache.commons.commons-compress dari 1.27.1 hingga 1.28.0
  • org.apache.commons.commons-lang3 dari 3.17.0 hingga 3.19.0
  • org.apache.commons.commons-text dari 1.13.0 hingga 1.14.0
  • org.apache.curator.curator-client dari 5.7.1 hingga 5.9.0
  • org.apache.curator.curator-framework dari 5.7.1 hingga 5.9.0
  • org.apache.curator.curator-recipes dari 5.7.1 hingga 5.9.0
  • org.apache.datasketches.datasketches-java dari 6.1.1 hingga 6.2.0
  • org.apache.hadoop.hadoop-client-runtime dari 3.4.1 hingga 3.4.2
  • org.apache.orc.orc-core dari 2.1.1-shaded-protobuf ke 2.2.0-shaded-protobuf
  • org.apache.orc.orc-format dari 1.1.0-shaded-protobuf ke 1.1.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce dari 2.1.1-shaded-protobuf ke 2.2.0-shaded-protobuf
  • org.apache.orc.orc-shims dari 2.1.1 hingga 2.2.0
  • org.apache.xbean.xbean-asm9-shaded dari 4.26 hingga 4.28
  • org.apache.zookeeper.zookeeper dari 3.9.3 ke 3.9.4
  • org.apache.zookeeper.zookeeper-jute dari 3.9.3 hingga 3.9.4
  • org.eclipse.jetty.jetty-client dari 9.4.53.v20231009 hingga 10.0.26
  • org.eclipse.jetty.jetty-http dari 9.4.53.v20231009 hingga 10.0.26
  • org.eclipse.jetty.jetty-io dari 9.4.53.v20231009 menjadi 10.0.26
  • org.eclipse.jetty.jetty-jndi dari 9.4.53.v20231009 menjadi 10.0.26
  • org.eclipse.jetty.jetty-plus dari 9.4.53.v20231009 hingga 10.0.26
  • org.eclipse.jetty.jetty-proxy dari 9.4.53.v20231009 hingga 10.0.26
  • org.eclipse.jetty.jetty-security dari 9.4.53.v20231009 hingga 10.0.26
  • org.eclipse.jetty.jetty-server dari 9.4.53.v20231009 hingga 10.0.26
  • org.eclipse.jetty.jetty-servlet dari 9.4.53.v20231009 menjadi 10.0.26
  • org.eclipse.jetty.jetty-servlets dari 9.4.53.v20231009 hingga 10.0.26
  • org.eclipse.jetty.jetty-util dari 9.4.53.v20231009 menjadi 10.0.26
  • org.eclipse.jetty.jetty-webapp dari 9.4.53.v20231009 hingga 10.0.26
  • org.eclipse.jetty.jetty-xml dari 9.4.53.v20231009 hingga 10.0.26
  • org.mlflow.mlflow-spark_2.13 dari 2.9.1 ke 2.22.1
  • org.objenesis.objenesis dari 3.3 hingga 3.4
  • org.scala-lang.modules.scala-xml_2.13 dari 2.3.0 hingga 2.4.0

Apache Spark

Databricks Runtime 18.0 menyertakan Apache Spark 4.1.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam versi sebelumnya, serta yang berikut ini:

  • SPARK-54182 Kembalikan "[SQL][python] Optimalkan konversi non-panah df.toPandas'"
  • SPARK-54134 Optimalkan penggunaan memori Arrow
  • SPARK-54536 Shuffle FetchWaitTime kehilangan waktu tunggu dalam mengumpulkan biaya pembuatan klien/tunggu
  • SPARK-54534 Memigrasikan kode kesalahan lama terkait Hive ke kondisi kesalahan yang tepat
  • SPARK-54565 SparkBuildInfo seharusnya memuat spark-version-info.properties dari class loader-nya sendiri
  • SPARK-54533 Mengatur ExecutorSource.METRIC_RESULT_SIZE metrik dengan nilai yang benar
  • SPARK-54478 Mengaktifkan kembali pengujian streaming untuk connect compat test CI
  • SPARK-54552 Perbaiki SparkConnectResultSet.getString untuk menangani jenis data BINER dengan UTF_8
  • SPARK-54501 Meningkatkan penanganan kesalahan untuk kegagalan filter partisi penyimpanan metadata Apache Hive
  • SPARK-54550 Menangani ConnectException dengan lancar di SparkConnectStatement.close()
  • SPARK-54020 Mendukung spark.sql(...) Python API di dalam fungsi kueri untuk Alur Deklaratif Spark
  • SPARK-53127 Memperbaiki LIMIT ALL untuk rekursi yang tidak di-limasi dengan normalisasi CTE
  • SPARK-50072 Menangani AritmeticException dalam penguraian interval dengan nilai besar
  • SPARK-54299 Memperbaiki kueri contoh yang salah di WindowGroupLimit
  • SPARK-54505 Memperbaiki urutan argumen panggilan createMetrics di makeNegative
  • SPARK-54462 Tambahkan SupportsV1OverwriteWithSaveAsTable mixin untuk TableProvider
  • SPARK-54540 Beberapa perbaikan kecil untuk driver Connect JDBC
  • SPARK-54508 Memperbaiki spark-pipelines untuk mengatasi spec jalur file dengan lebih andal
  • SPARK-54087 Tugas peluncuran dari Spark Executor yang gagal harus mengembalikan pesan bahwa tugas tersebut telah dihentikan.
  • SPARK-53797 Memperbaiki FileStreamSource.takeFilesUntilMax untuk menggunakan zipWithIndex guna menghindari penggunaan indices
  • SPARK-54418 Memperbaiki pesan kesalahan dan pemformatan kode
  • SPARK-54114 Mendukung getColumns untuk SparkConnectDatabaseMetaData
  • SPARK-54209 Mendukung jenis TIMESTAMP di SparkConnectResultSet
  • SPARK-54208 Mendukung jenis TIME di SparkConnectResultSet
  • SPARK-54528 Tutup URLClassLoader dengan bersemangat untuk menghindari OOM
  • SPARK-54464 Menghapus panggilan duplikat output.reserve di assembleVariantBatch
  • SPARK-53635 Mendukung UDF Scala dengan argumen input bertipe Seq[Row]
  • SPARK-54493 Memperbaiki assertSchemaEqual untuk MapType
  • SPARK-52515 Menguji approx_top_k dengan bendera aktif dan nonaktif
  • SPARK-54413 Tingkatkan Bootstrap v4.4.1 ke v4.6.2
  • SPARK-54497 Terapkan functools.lru_cache dalam pencaching konverter
  • SPARK-54306 Anotasi kolom Varian dengan anotasi jenis logis Varian
  • SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITION harus mulai dari 1
  • SPARK-54130 Menambahkan pesan kesalahan terperinci untuk kegagalan pernyataan katalog
  • SPARK-54220 Dukungan Tipe NullType/VOID/UNKNOWN di Parquet
  • SPARK-54163 Memindai kanonisisasi untuk mempartisi dan mengurutkan info
  • SPARK-54377 Perbaiki COMMENT ONTABLE IS NULL untuk menghapus komentar tabel dengan benar
  • SPARK-52767 Mengoptimalkan maxRows dan maxRowsPerPartition untuk join dan union
  • SPARK-54063 Memicu rekaman jepret untuk batch berikutnya ketika terdapat penundaan unggahan
  • SPARK-54384 Memodernisasi metode _batched untuk BatchedSerializer
  • SPARK-54378 Hapus CreateXmlParser.scala dari catalyst modul
  • SPARK-53103 Kembalikan "[SC-204946][ss] Lempar kesalahan jika direktori status tidak kosong saat kueri dimulai"
  • SPARK-53103 Melemparkan kesalahan jika direktori status tidak kosong saat kueri dimulai
  • SPARK-54397 Jadikan UserDefinedType dapat di-hash
  • SPARK-54440 Beri file spesifikasi alur default nama yang lebih idiomatik, spark-pipeline.yml
  • SPARK-54324 Menambahkan pengujian untuk client-user-context-extensions
  • SPARK-54456 Mengimpor modul pekerja setelah fork untuk menghindari kebuntuan
  • SPARK-54427 Perbolehkan ColumnarRow untuk memanggil copy dengan jenis varian
  • SPARK-54136 Ekstrak logika penggabungan paket dari MergeScalarSubqueries ke PlanMerger
  • SPARK-54389 Perbaiki kesalahan Stempel RocksDB State Store Tidak Valid saat tugas ditandai sebagai gagal selama inisialisasi
  • SPARK-54346 Memperkenalkan API partisi ulang status dan runner partisi ulang
  • SPARK-53809 Menambahkan kanonisisasi untuk DataSourceV2ScanRelation
  • SPARK-54280 Mengharuskan dir penyimpanan titik pemeriksaan alur menjadi jalur absolut
  • SPARK-54206 Mendukung data jenis BINARY di SparkConnectResultSet
  • SPARK-54319 Perbaikan BHJ LeftAnti pada numOutputRows tidak tepat ketika kodegen dinonaktifkan
  • SPARK-54355 Membuat spark.connect.session.planCompression.defaultAlgorithm untuk mendukung NONE
  • SPARK-54341 Ingat TimeTravelSpec untuk tabel yang dimuat melalui TableProvider
  • SPARK-54280 Batalkan "[SC-212148][sdp] Memerlukan direktori penyimpanan titik pemeriksaan pipeline menjadi path absolut"
  • SPARK-54354 Perbaiki Spark yang menggantung ketika memori heap JVM tidak cukup untuk relasi hash siaran.
  • SPARK-54439 KeyGroupedPartitioning dan ukuran kunci gabungan tidak cocok
  • SPARK-54280 Mengharuskan dir penyimpanan titik pemeriksaan alur menjadi jalur absolut
  • SPARK-54395 Kelas RemoteBlockPushResolver berulang kali menginisialisasi ObjectMapper
  • SPARK-54207 Mendukung data tipe tanggal di SparkConnectResultSet
  • SPARK-54182 Mengoptimalkan konversi non-arrow dari df.toPandas
  • SPARK-54312 Hindari penjadwalan tugas berulang kali untuk SendHeartbeat/WorkDirClean di pekerja mandiri
  • SPARK-54394 Pindahkan isJavaVersionAtMost17 dan isJavaVersionAtLeast21 dari core ke common/utils
  • SPARK-53927 Upgrade Kinesis Client
  • SPARK-54358 Direktori checkpoint bertabrakan ketika tabel streaming dengan nama yang sama berada dalam skema yang berbeda.
  • SPARK-54310 Kembalikan "[SC-212003][sql] Tambahkan numSourceRows metrik untuk MergeIntoExec"
  • SPARK-54310 Menambahkan numSourceRows metrik untuk MergeIntoExec
  • SPARK-53322 Pilih KeyGroupedShuffleSpec hanya ketika posisi kunci gabungan dapat sepenuhnya didorong ke bawah
  • SPARK-54270 Metode SparkConnectResultSet get* harus memanggil checkOpen dan memeriksa batas indeks
  • SPARK-53849 Memperbarui netty dan netty tc native
  • SPARK-54205 Mendukung data jenis desimal di SparkConnectResultSet
  • SPARK-54417 Memperbaiki pesan kesalahan untuk subkueri skalar dalam IDENTIFIER klausa
  • SPARK-54113 Mendukung getTables untuk SparkConnectDatabaseMetaData
  • SPARK-54303 Standarisasi kondisi kesalahan MISSING_CATALOG_ABILITY
  • SPARK-54153 Mendukung pembuatan profil UDF Python berbasis iterator
  • SPARK-54349 Sedikit refaktorisasi kode untuk menyederhanakan ekstensi integrasi faulthandler.
  • SPARK-54317 Menyatukan logika konversi Arrow untuk Classic dan Menghubungkan ke Pandas
  • SPARK-54339 Perbaikan Ketidakdeterminan AttributeMap
  • SPARK-54112 Dukungan getSchemas untuk SparkConnectDatabaseMetaData
  • SPARK-54180 Mengambil alih toString dari BinaryFileFormat
  • SPARK-54213 Menghapus Python 3.9 dari Spark Connect
  • SPARK-54215 Menambahkan sifat SessionStateHelper ke FilePartition
  • SPARK-54115 Meningkatkan prioritas pengurutan tampilan dari utas operasi server koneksi pada halaman penelusuran utas
  • SPARK-54193 Spark.shuffle.server.finalizeShuffleMergeThreadsPercent tidak digunakan lagi
  • SPARK-54149 Mengaktifkan rekursi ekor sedapat mungkin
  • SPARK-54185 Spark.shuffle.server.chunkFetchHandlerThreadsPercent yang tidak digunakan lagi
  • SPARK-54056 mengatasi substitusi untuk pengaturan SQLConf di Katalog
  • SPARK-54147 Atur OMP_NUM_THREADS ke spark.task.cpus secara default di BaseScriptTransformationExec
  • SPARK-54229 Membuat PySparkLogger di UDF menyimpan satu entri log per panggilan fungsi log
  • SPARK-53337 XSS: Pastikan nama aplikasi dalam halaman riwayat lolos
  • SPARK-54229 Kembalikan "[SC-211321][python] Buat PySparkLogger di UDF menyimpan satu entri log per panggilan fungsi log"
  • SPARK-54373 Memperbesar atribut SVG viewBox dari inisialisasi JOB DAG
  • SPARK-54323 Mengubah metode akses log ke TVF daripada tampilan sistem
  • SPARK-54229 Membuat PySparkLogger di UDF menyimpan satu entri log per panggilan fungsi log
  • SPARK-53978 Mendukung pencatatan log pada pekerja di sisi pengemudi
  • SPARK-54146 Membersihkan penggunaan JACKSON API yang tidak digunakan lagi
  • SPARK-54383 Menambahkan varian skema yang telah dikomputasi untuk util InternalRowComparableWrapper
  • SPARK-54030 Menambahkan pesan pernyataan yang mudah digunakan untuk melihat kerusakan metadata
  • SPARK-54144 Inferensi Jenis Evaluasi Sirkuit Pendek
  • SPARK-54030 Kembalikan "[SC-210301][sql] Tambahkan pesan pernyataan yang mudah digunakan untuk melihat kerusakan metadata"
  • SPARK-54028 Gunakan skema kosong saat mengubah tampilan yang tidak kompatibel dengan Apache Hive
  • SPARK-54030 Menambahkan pesan pernyataan yang mudah digunakan untuk melihat kerusakan metadata
  • SPARK-54085 Perbaiki initialize untuk menambahkan CREATE opsi tambahan di DriverRunner
  • SPARK-53482MERGE INTO dukungan ketika sumber memiliki bidang berlapis lebih sedikit dari target
  • SPARK-53905 Refaktorisasi RelationResolution untuk mengaktifkan penggunaan kembali kode
  • SPARK-53732 Ingat TimeTravelSpec di DataSourceV2Relation
  • SPARK-54014 Mendukung baris maks untuk SparkConnectStatement
  • SPARK-50906 Memperbaiki pemeriksaan ketidakberadaan nilai Avro untuk bidang struktur yang diurutkan ulang
  • SPARK-54396 Mengoptimalkan panggilan Py4J di Dataframe.toArrow
  • SPARK-54344 Bunuh pekerja jika flush gagal di daemon.py
  • SPARK-53977 Mendukung pengelogan di UDTF
  • SPARK-52515 Terapkan kembali "[SC-199815][sql] Tambahkan fungsi approx_top_k"
  • SPARK-54340 Menambahkan kemampuan untuk menggunakan viztracer pada daemon/pekerja pyspark
  • SPARK-54379 Memindahkan pengikatan lambda ke objek terpisah LambdaBinder
  • SPARK-54029 Menambahkan pesan kesalahan terperinci untuk kerusakan metadata tabel untuk memudahkan penelusuran kesalahan
  • SPARK-54002 Dukungan mengintegrasikan BeeLine dengan driver Connect JDBC
  • SPARK-54336 Perbaiki BloomFilterMightContain pemeriksaan jenis input dengan ScalarSubqueryReference
  • SPARK-53406 Hindari gabungan acak yang tidak perlu dalam id acak passthrough langsung
  • SPARK-54347 Mengoptimalkan panggilan Py4J dalam dataframe klasik
  • SPARK-54062 Pembersihan kode MergeScalarSubqueries
  • SPARK-54054 Mendukung posisi baris untuk SparkConnectResultSet
  • SPARK-54330 Mengoptimalkan panggilan Py4J di spark.createDataFrame
  • SPARK-54332 Tidak perlu melampirkan PlanId dalam mengelompokkan nama kolom di rollup/cube/groupingSets
  • SPARK-53976 Mendukung pengelogan di Pandas/Arrow UDFs
  • SPARK-54123 Menambahkan zona waktu untuk membuat tanda waktu menjadi waktu absolut
  • SPARK-54356 Memperbaiki EndToEndAPISuite yang disebabkan oleh skema akar penyimpanan yang hilang
  • SPARK-54292 Mendukung fungsi agregat dan GROUP BY di |>SELECT operator pipa (#180106) (#180368)
  • SPARK-54376 Menandai sebagian besar opsi konfigurasi alur sebagai internal
  • SPARK-53975 Menambahkan dukungan pengelogan pekerja Python dasar
  • SPARK-54361 Perbaiki versi Spark ke nilai yang dimaksudkan 4.2.0 untuk spark.sql.parser.singleCharacterPipeOperator.enabled
  • SPARK-51518 Dukungan | sebagai alternatif untuk |> untuk token operator pipa SQL
  • SPARK-53535 Memperbaiki struct yang hilang selalu diasumsikan sebagai null
  • SPARK-54294 Menormalkan alamat IP yang ditampilkan oleh server Connect
  • SPARK-52439 Batasan pemeriksaan dukungan dengan nilai null
  • SPARK-54352 Memperkenalkan SQLConf.canonicalize untuk mempusatkan normalisasi string
  • SPARK-54183 Batalkan Batalkan "[SC-211824][python][CONNECT] Hindari satu bingkai data sementara sebagai perantara selama spark connect toPandas()"
  • SPARK-53573IDENTIFIER mana-mana
  • SPARK-53573 Mengizinkan penggabungan literal string di mana-mana
  • SPARK-54240 Menerjemahkan dapatkan ekspresi katalis item array ke ekspresi konektor
  • SPARK-54334 Memindahkan validasi ekspresi subkueri di bawah fungsi lambda dan urutan yang lebih tinggi ke SubqueryExpressionInLambdaOrHigherOrderFunctionValidator
  • SPARK-54183 Batalkan "[SC-211824][python][CONNECT] Hindari satu bingkai data sementara perantara selama Spark connect toPandas()"
  • SPARK-54183 Hindari satu perantara frame data sementara selama spark connect toPandas()
  • SPARK-54264 Operator DeDup dapat menggunakan keyExists() RocksDB
  • SPARK-54269 Tingkatkan cloudpickle ke 3.1.2 untuk Python 3.14
  • SPARK-54300 Mengoptimalkan panggilan Py4J di df.toPandas
  • SPARK-54307 Lemparkan kesalahan jika kueri streaming memulai ulang dengan operasi stateful tetapi direktori status kosong
  • SPARK-54117 Berikan pesan kesalahan yang lebih jelas untuk menunjukkan bahwa TWS hanya didukung dengan penyedia penyimpanan status RocksDB
  • SPARK-53917 Mendukung hubungan lokal besar - tindak lanjut
  • SPARK-54275 Membersihkan kode yang tidak digunakan dari pipeline modul
  • SPARK-54287 Menambahkan dukungan Python 3.14 di pyspark-client dan pyspark-connect
  • SPARK-53614 Menambahkan Iterator[pandas.DataFrame] dukungan ke applyInPandas
  • SPARK-54191 Tambahkan sekali ke Defineflow Proto
  • SPARK-54234 Tidak perlu melampirkan PlanId dalam nama kolom pengelompokan di df.groupBy
  • SPARK-54231 Mengisi kesenjangan dalam dokumen SDP
  • SPARK-54199 Menambahkan dukungan DATAFrame API untuk fungsi sketsa kuantil KLL baru (#178526)
  • SPARK-52463 Terapkan kembali "[SC-211221][sdp] Tambahkan dukungan untuk cluster_by di Python Pipelines API"
  • SPARK-52463 Kembalikan "[SC-211221][sdp] Tambahkan dukungan untuk cluster_by di API Alur Python"
  • SPARK-53786 Nilai default dengan nama kolom khusus tidak boleh berkonflik dengan kolom nyata
  • SPARK-54200 Perbarui KafkaConsumerPoolRealTimeModeSuite untuk menggunakan groupIdPrefix untuk keamanan eksekusi bersamaan
  • SPARK-52463 Menambahkan dukungan untuk cluster_by di API Alur Python
  • SPARK-52509 Membersihkan pengocokan individual dari penyimpanan fallback pada RemoveShuffle kejadian
  • SPARK-54187 Terapkan ulang "[SC-211150][python][CONNECT] Ambil semua konfigurasi secara bersamaan ke dalam toPandas"
  • SPARK-53942 Mendukung perubahan partisi shuffle tanpa status ketika memulai ulang kueri streaming
  • SPARK-52515 Kembalikan "[SC-199815][sql] Tambahkan fungsi approx_top_k"
  • SPARK-52515 Menambahkan fungsi approx_top_k
  • SPARK-54078 Pengujian baru untuk StateStoreSuite SPARK-40492: maintenance before unload dan menghapus infra dari pengujian lama
  • SPARK-54178 Meningkatkan penanganan kesalahan untuk ResolveSQLOnFile
  • SPARK-53455 Tambahkan CloneSession RPC
  • SPARK-54178 Batalkan "[SC-211111][sql] Perbaiki pesan kesalahan untuk ResolveSQLOnFile"
  • SPARK-53489 Menghapus menggunakan v2ColumnsToStructType di ApplyDefaultCollationToStringType
  • SPARK-54178 Meningkatkan penanganan kesalahan untuk ResolveSQLOnFile
  • SPARK-54187 Mengembalikan "[SC-211150][python][CONNECT] Memperoleh semua konfigurasi dalam satu batch ke toPandas"
  • SPARK-53942 Kembalikan "[SC-209873][ss] Dukungan mengubah partisi acak tanpa status saat memulai ulang kueri streaming"
  • SPARK-54187 Mendapatkan semua konfigurasi dalam batch di toPandas
  • SPARK-54145 Memperbaiki pemeriksaan kolom jenis berlapis dalam agregasi numerik
  • SPARK-53942 Mendukung perubahan partisi shuffle tanpa status ketika memulai ulang kueri streaming
  • SPARK-53991 Menambahkan dukungan SQL untuk fungsi kuantil KLL berdasarkan DataSketches (#178089) (#178234)
  • SPARK-53128 Sertakan byte memori tidak terkelola dalam log penggunaan sebelum terjadinya kegagalan memori saat eksekusi (OOM)
  • SPARK-53731 Memperbarui petunjuk jenis API iterator
  • SPARK-53967 Hindari pembuatan dataframe pandas perantara di df.toPandas
  • SPARK-53455 Batalkan perubahan "[SC-208758][connect] Add CloneSession RPC"
  • SPARK-54108 Merevisi metode eksekusi* SparkConnectStatement
  • SPARK-54052 Menambahkan objek bridge untuk mengatasi batasan Py4J
  • SPARK-54128 Mengonversi IllegalArgumentException ke SparkException dengan kelas kesalahan yang tepat di server Spark Connect
  • SPARK-53880 Perbaiki DSv2 di PushVariantIntoScan dengan menambahkan SupportsPushDownVariants
  • SPARK-54111 Dukungan getCatalogs untuk SparkConnectDatabaseMetaData
  • SPARK-53455 Tambahkan CloneSession RPC
  • SPARK-54118 Meningkatkan operasi put/merge di ListState saat ada beberapa nilai
  • SPARK-54038 Dukungan getSQLKeywords untuk SparkConnectDatabaseMetaData
  • SPARK-54013 Menerapkan metode sederhana SparkConnectDatabaseMetaData
  • SPARK-53934 Implementasi awal driver Connect JDBC
  • SPARK-53959 Memunculkan kesalahan di sisi klien saat membuat dataframe dari dataframe pandas dengan indeks tetapi tidak ada data
  • SPARK-53573 Membatalkan "[SC-210255][sql] Izinkan string literal di mana-mana"
  • SPARK-54094 Ekstrak metode umum ke KafkaOffsetReaderBase
  • SPARK-53573 Mengizinkan penggabungan literal string di mana-mana
  • SPARK-54039 Menambahkan informasi TaskContext ke log rilis KafkaDataConsumer() untuk penelusuran kesalahan yang lebih baik
  • SPARK-54031 Menambahkan pengujian file emas baru untuk kasus tepi analisis
  • SPARK-54067 Tingkatkan SparkSubmit untuk memanggil exitFn dengan akar penyebab alih-alih SparkUserAppException
  • SPARK-54047 Gunakan kesalahan perbedaan saat kill-on-idle-timeout
  • SPARK-54078 Deflake StateStoreSuite SPARK-40492: maintenance before unload
  • SPARK-54061 Bungkus IllegalArgumentException dengan kode kesalahan yang sesuai untuk pola tanggal waktu yang tidak valid
  • SPARK-54031 Kembalikan perubahan "[SC-210084][sql] Tambahkan tes file acuan baru untuk analisis kasus batas"
  • SPARK-54075 Membuat ResolvedCollation dapat dievaluasi
  • SPARK-54001 Optimalkan penggunaan memori dalam kloning sesi dengan relasi lokal cache yang dihitung referensinya.
  • SPARK-54031 Menambahkan pengujian file emas baru untuk kasus tepi analisis
  • SPARK-53923 Ubah nama spark.executor.(log -> logs).redirectConsoleOutputs
  • SPARK-54007 Gunakan Java Set.of alih-alih Collections.emptySet
  • SPARK-53755 Menambahkan dukungan log di BlockManager
  • SPARK-54041 Validasi argumen ParameterizedQuery dirombak
  • SPARK-53696 Menggunakan byte sebagai standar untuk BinaryType di PySpark
  • SPARK-53921 Memperkenalkan GeometryType dan GeographyType ke PySpark API
  • SPARK-53788 Pindahkan VersionUtils ke common modul
  • SPARK-53999 Dukungan Native KQueue Transport untuk BSD/MacOS
  • SPARK-54021 Menerapkan pengakses Geografi dan Geometri pada seluruh platform Katalis
  • SPARK-53921 Kembalikan "[SC-209482][geo][PYTHON] Perkenalkan GeometryType dan GeographyType ke PySpark API"
  • SPARK-53920 Memperkenalkan GeometryType dan GeographyType ke Java API
  • SPARK-53610 Batasi ukuran batch Arrow dalam CoGrouped applyInPandas dan applyInArrow
  • SPARK-53659 Menentukan Skema Penguraian Varian ketika menulis ke Parquet
  • SPARK-53922 Memperkenalkan jenis Geometri dan Geografi fisik
  • SPARK-54059 Kurangi ukuran halaman default dengan LONG_ARRAY_OFFSET jika ZGC atau ShenandoahGC dan ON_HEAP digunakan
  • SPARK-53921 Memperkenalkan GeometryType dan GeographyType ke PySpark API
  • SPARK-54048 Pembaruan dev/requirements.txt untuk diinstal torch(vision) di Python 3.14
  • SPARK-53917 Mendukung hubungan lokal besar
  • SPARK-53760 Memperkenalkan GeometryType dan GeographyType
  • SPARK-53530 Membersihkan kode yang tidak berguna yang terkait dengan TransformWithStateInPySparkStateServer
  • SPARK-53636 Memperbaiki masalah keamanan thread di SortShuffleManager.unregisterShuffle
  • SPARK-52762 Menambahkan pesan PipelineAnalysisContext untuk mendukung analisis alur selama eksekusi kueri Spark Connect
  • SPARK-53631 Mengoptimalkan memori dan perf pada bootstrap SHS
  • SPARK-53857 Mengaktifkan penyebaran messageTemplate ke SparkThrowable
  • SPARK-53891 Api Ringkasan Tulis Penerapan Model DSV2
  • SPARK-53966 Menambahkan fungsi utilitas untuk mendeteksi GC JVM
  • SPARK-53149 Memperbaiki pengujian apakah proses BeeLine berjalan di latar belakang
  • SPARK-53738 Memperbaiki penulisan terencana saat output kueri berisi urutan yang dapat dilipat
  • SPARK-53949 Gunakan Utils.getRootCause alih-alih Throwables.getRootCause
  • SPARK-53696 Kembalikan "[SC-209330][python][CONNECT][sql] Default ke byte untuk BinaryType di PySpark"
  • SPARK-53804 Mendukung pengurutan radix untuk TIME
  • SPARK-54004 Perbaiki penghapusan cache tabel menurut nama tanpa mengubah berantai
  • SPARK-53261 Gunakan Java String.join|StringJoiner alih-alih Jambu Biji Joiner
  • SPARK-53319 Mendukung jenis waktu berdasarkan try_make_timestamp_ltz()
  • SPARK-53280 Gunakan Java sebagai gantinya instanceof metode
  • SPARK-53696 Menggunakan byte sebagai standar untuk BinaryType di PySpark
  • SPARK-53258 Gunakan JavaUtils milik check(Argument|State)
  • SPARK-53773 Memulihkan urutan aturan alfabet di RuleIdCollection
  • SPARK-53256 Promosikan check(Argument|State) ke JavaUtils
  • SPARK-54008 Lewati QO untuk DESCRIBE QUERY
  • SPARK-53573 Gunakan Pra-prosesor untuk penanganan penanda parameter umum
  • SPARK-53980 Tambahkan SparkConf.getAllWithPrefix(String, String => K) API
  • SPARK-54009 Dukung spark.io.mode.default
  • SPARK-51903 Memvalidasi data tentang menambahkan batasan CHECK
  • SPARK-53573 Kembalikan "[SC-209126][sql] Gunakan Pra-prosesor untuk penanganan penanda parameter umum"
  • SPARK-53573 Gunakan Pra-prosesor untuk penanganan penanda parameter umum
  • SPARK-53573 Kembalikan "[SC-209126][sql] Gunakan Pra-prosesor untuk penanganan penanda parameter umum"
  • SPARK-53956 Mendukung TIME dalam fungsi try_make_timestamp di PySpark
  • SPARK-53930 Mendukung TIME dalam fungsi make_timestamp di PySpark
  • SPARK-53573 Gunakan Pra-prosesor untuk penanganan penanda parameter umum
  • SPARK-53564 Hindari keluarnya DAGScheduler karena timeout RPC BlockManager di DAGSchedulerEventProcessLoop
  • SPARK-53879 Tingkatkan Ammonite ke 3.0.3
  • SPARK-53938 Memperbaiki penskalaan ulang desimal di LocalDataToArrowConversion
  • SPARK-53845 Sink SDP
  • SPARK-53908 Memperbaiki pengamatan pada Spark Connect dengan cache paket
  • SPARK-53841 Terapkan transform() di COLUMN API
  • SPARK-53929 Mendukung TIME dalam fungsi make_timestamp dan try_make_timestamp di Scala
  • SPARK-53902 Menambahkan bit pola simpul pohon untuk ekspresi yang didukung dalam ParameterizedQuery daftar argumen
  • SPARK-53064 Menulis ulang MDC LogKey di Java
  • SPARK-53762 Menambahkan aturan penyederhanaan konversi tanggal dan waktu ke pengoptimal
  • SPARK-53916 Deduplikasi variabel di PythonArrowInput
  • SPARK-53690 Memperbaiki pemformatan eksponensial avgOffsetsBehindLatest dan estimatedTotalBytesBehindLatest dalam objek JSON sumber Kafka yang sedang diproses.
  • SPARK-53789 Menstandardisasi kondisi error CANNOT_MODIFY_STATIC_CONFIG
  • SPARK-53720 Menyederhanakan mengekstrak Tabel dari DataSourceV2Relation (#52460)
  • SPARK-45530 Gunakan java.lang.ref.Cleaner alih-alih finalize untuk NioBufferedFileInputStream
  • SPARK-53789 Batalkan perubahan "[SC-208902][sql][CONNECT] Canonicalize error condition CANNOT_MODIFY_STATIC_CONFIG"
  • SPARK-53789 Menstandardisasi kondisi error CANNOT_MODIFY_STATIC_CONFIG
  • SPARK-53111 Menerapkan fungsi time_diff di PySpark
  • SPARK-53896 Aktifkan spark.io.compression.lzf.parallel.enabled secara default
  • SPARK-53856 Menghapus nama konfigurasi alternatif
  • SPARK-53611 Batasi ukuran batch Arrow dalam UDF jendela agregasi
  • SPARK-53575 Coba ulang seluruh tahapan konsumen ketika ketidakcocokan checksum terdeteksi untuk tugas peta acak yang dicoba ulang
  • SPARK-53867 Batasi ukuran batch Arrow dalam SQL_GROUPED_AGG_ARROW_UDF
  • SPARK-53877 Memperkenalkan fungsi BITMAP_AND_AGG
  • SPARK-51426 Perbaiki 'Mengatur metadata ke dict kosong tidak berfungsi'
  • SPARK-53868 Gunakan pemeriksaan panjang array alih-alih pemeriksaan referensi langsung di V2ExpressionBuilder
  • SPARK-53609 Membatasi ukuran batch Arrow dalam SQL_GROUPED_AGG_PANDAS_UDF
  • SPARK-53892 Gunakan DescribeTopicsResult.allTopicNames alih-alih API yang tidak digunakan all lagi
  • SPARK-53878 Memperbaiki masalah kondisi balapan yang terkait dengan ObservedMetrics
  • SPARK-53796 Menambahkan extension bidang ke beberapa protokol buffer pipa untuk mendukung kompatibilitas maju
  • SPARK-53850 Tentukan proto untuk Sink dan Ganti Nama DefineDataset menjadi DefineOutput
  • SPARK-53812 Refaktor ulang protos DefineDataset dan DefineFlow untuk mengelompokkan properti terkait dan membuatnya tahan terhadap perubahan di masa depan
  • SPARK-53870 Memperbaiki bug pembacaan parsial untuk pesan proto yang besar di TransformWithStateInPySparkStateServer
  • SPARK-53751 Lokasi Titik Pemeriksaan Versi Eksplisit
  • SPARK-52407 Menambahkan dukungan untuk Sketsa Theta (#171135)
  • SPARK-53779 Terapkan transform() di COLUMN API
  • SPARK-49547 Menambahkan iterator RecordBatch API ke applyInArrow
  • SPARK-53802 Mendukung nilai string untuk skema yang ditentukan pengguna dalam tabel SDP
  • SPARK-53865 Mengekstrak logika umum dari aturan ResolveGenerate
  • SPARK-53113 Mendukung tipe waktu dengan try_make_timestamp()
  • SPARK-53868 Hanya gunakan tanda tangan dengan Ekspresi[] dari visitAggregateFunction dalam V2ExpressionSQBuilder
  • SPARK-53792 Perbaiki rocksdbPinnedBlocksMemoryUsage ketika memori terikat ...
  • SPARK-53248 Dukungan checkedCast di JavaUtils
  • SPARK-52640 Menyebarluaskan Lokasi Kode Sumber Python
  • SPARK-52924 Mendukung ZSTD_strategy untuk kompresi
  • SPARK-53562 Terapkan kembali "[SC-207233][python] Batasi ukuran batch Arrow dalam applyInArrow dan applyInPandas"
  • SPARK-51272 Membatalkan bukannya melanjutkan tahap hasil yang tidak pasti sebagian di ResubmitFailedStages
  • SPARK-53795 Menghapus parameter yang tidak digunakan di LiteralValueProtoConverter
  • SPARK-53808 Izinkan untuk meneruskan args JVM opsional ke spark-connect-scala-client
  • SPARK-52614 Mendukung RowEncoder di dalam Product Encoder
  • SPARK-53833 Memperbarui dev/requirements.txt untuk mengabaikan torch/torchvision di Python 3.14
  • SPARK-53715 Refaktorisasi getWritePrivileges untuk MergeIntoTable
  • SPARK-53516 Memperbaiki spark.api.mode proses arg di SparkPipelines
  • SPARK-53507 Jangan gunakan kelas kasus untuk BreakingChangeInfo
  • SPARK-53645 Terapkan skipna parameter untuk ps. DataFrame any()
  • SPARK-53717 Merevisi MapType.valueContainsNull komentar parameter dengan lebih benar
  • SPARK-53700 Hapus redundansi di DataSourceV2RelationBase.simpleString
  • SPARK-53667 Memperbaiki EXPLAIN untuk PANGGILAN dengan IDENTIFIER
  • SPARK-53562 Membatalkan "[SC-207233][python] Batasi ukuran batch Arrow dalam applyInArrow dan applyInPandas"
  • SPARK-51169 Menambahkan dukungan Python 3.14 di Spark Classic
  • SPARK-53562 Batasi ukuran batch Arrow dalam applyInArrow dan applyInPandas
  • SPARK-53806 Izinkan input kosong pada dekripsi AES memiliki kelas kesalahan
  • SPARK-51756 Menghitung RowBasedChecksum di ShuffleWriters
  • SPARK-52807 Perubahan proto untuk mendukung analisis di dalam fungsi kueri Alur Deklaratif
  • SPARK-53728 Cetak Pesan PipelineEvent dengan Kesalahan Dalam Pengujian
  • SPARK-53207 Mengirim Peristiwa Pipeline ke Klien Secara Asinkron
  • SPARK-53829 Dukungan datetime.time pada operator kolom
  • SPARK-53638 Batasi ukuran byte batch arrow untuk TWS guna menghindari OOM
  • SPARK-53593 Perbaikan: Gunakan tanpa tanda kutip untuk bidang respons
  • SPARK-53734 Memilih kolom tabel daripada LCA saat menentukan indeks array
  • SPARK-53593 Tambahkan bidang respons untuk DefineDataset dan DefineFlow RPC
  • SPARK-53734 Kembalikan "[SC-207697][sql] Lebih suka kolom tabel daripada LCA saat menyelesaikan indeks array"
  • SPARK-53621 Menambahkan Dukungan untuk Menjalankan CONTINUE HANDLER
  • SPARK-53734 Memilih kolom tabel daripada LCA saat menentukan indeks array
  • SPARK-53507 Menambahkan info perubahan yang signifikan ke pesan kesalahan
  • SPARK-53707 Meningkatkan penanganan metadata atribut.
  • SPARK-53629 Menerapkan perluasan tipe untuk MERGE INTO DENGAN SCHEMA EVOLUTION
  • SPARK-53719 Meningkatkan fungsi pemeriksaan _to_col jenis
  • SPARK-53735 Sembunyikan jejak tumpukan JVM sisi server secara default dalam output spark-pipelines
  • SPARK-53651 Menambahkan dukungan untuk tampilan persisten dalam alur
  • SPARK-53678 Perbaiki NPE saat subkelas ColumnVector dibuat dengan DataType null
  • SPARK-46679 Perbaikan untuk SparkUnsupportedOperationException Tidak menemukan encoder jenis T, saat menggunakan kelas Berparameter
  • SPARK-53444 Pengerjaan ulang jalankan pengerjaan ulang segera jalankan segera
  • SPARK-53578 Menyederhanakan penanganan jenis data di LiteralValueProtoConverter
  • SPARK-53438 Gunakan CatalystConverter dalam LiteralExpressionProtoConverter
  • SPARK-53444 Kembalikan "[SC-206535][sql][CORE] Pengerjaan ulang menjalankan eksekusi ulang segera"
  • SPARK-53444 Pengerjaan ulang jalankan pengerjaan ulang segera jalankan segera
  • SPARK-53112 Mendukung fitur TIME dalam fungsi make_timestamp_ntz dan try_make_timestamp_ntz di PySpark
  • SPARK-53492 Tolak ExecutePlan kedua dengan id operasi yang telah selesai
  • SPARK-52772 Meneruskan memperbaiki file emas
  • SPARK-53591 Menyederhanakan Pencocokan Glob Pola Spesifikasi Alur
  • SPARK-53553 Memperbaiki penanganan nilai null di LiteralValueProtoConverter
  • SPARK-52772 Penanganan atribut tabel yang tidak konsisten selama pembaruan
  • SPARK-53544 Mendukung jenis kompleks pada pengamatan
  • SPARK-53357 Pembaruan pandas ke 2.3.2
  • SPARK-53402 Mendukung API Himpunan Data Partisi Passthrough Langsung di Spark Connect di Scala
  • SPARK-53372 SDP End to End Testing Suite
  • SPARK-53402 Kembalikan "[SC-206163][connect] Mendukung API Himpunan Data Partisi Passthrough Langsung di Spark Connect di Scala"
  • SPARK-53402 Mendukung API Himpunan Data Partisi Passthrough Langsung di Spark Connect di Scala
  • SPARK-53233 Buat kode yang terkait dengan streaming menggunakan nama paket yang benar
  • SPARK-53233 Kembalikan "[SC-203716][sql][SS][mllib][CONNECT] Membuat kode yang terkait dengan streaming menggunakan nama paket yang benar"
  • SPARK-53233 Buat kode yang terkait dengan streaming menggunakan nama paket yang benar
  • SPARK-53561 Menangkap Pengecualian Interupsi di TransformWithStateInPySparkStateServer saat outputStream.flush untuk menghindari kerusakan pekerja
  • SPARK-53486 Hindari pengaturan weights_only=False dalam beban model obor
  • SPARK-53391 Hapus PrimitiveKeyOpenHashMap yang tidak digunakan
  • SPARK-52431 Menyelesaikan sentuhan pada runner Deklaratif Pipelines
  • SPARK-52980 Dukungan untuk Arrow Python UDTFs
  • SPARK-53453 Membuka blokir 'torch<2.6.0'
  • SPARK-52582 Remerge "[SC-199314][sc-204581][SQL] Meningkatkan penggunaan memori pengurai XML"
  • SPARK-52582 Kembalikan "[SC-199314][sc-204581][SQL] Tingkatkan penggunaan memori pengurai XML"
  • SPARK-52582 Meningkatkan penggunaan memori pengurai XML
  • SPARK-51906 Ekspresi Dsv2 dalam perintah SQL "ALTER TABLE" untuk penambahan kolom
  • SPARK-53150 Meningkatkan list(File|Path)s untuk menangani input yang tidak ada, bukan direktori, dan symlink.
  • SPARK-53091 Blokir org.apache.commons.lang3.Strings
  • SPARK-52844 Memperbarui numpy ke 1.22
  • SPARK-52912 Tingkatkan SparkStringUtils untuk mendukung is(Not)?(Blank|Empty)
  • SPARK-52877 Meningkatkan Performa Serializer Arrow UDF Python
  • SPARK-52877 Ubah kembali "[SC-201914][python] Improve Python UDF Arrow Serializer Performance"
  • SPARK-52238 Klien Python untuk Alur Deklaratif
  • SPARK-52877 Meningkatkan Performa Serializer Arrow UDF Python
  • SPARK-53287 Menambahkan Panduan Migrasi ANSI
  • SPARK-52110 Menerapkan dukungan sintaks SQL untuk alur
  • SPARK-52897 Perbarui pandas ke 2.3.1
  • SPARK-52451 Pulihkan "[SC-202894][connect][SQL] Buat WriteOperation dalam SparkConnectPlanner bebas efek samping"
  • SPARK-52976 Perbaiki UDF Python tidak menerima string terkolasi sebagai jenis parameter atau tipe pengembalian.
  • SPARK-52904 Aktifkan convertToArrowArraySafely secara default
  • SPARK-52821 tambahkan koersi tipe pengembalian pyspark pyspark udf int-DecimalType>
  • SPARK-52971 Batasi ukuran antrean pekerja Python diam
  • SPARK-53013 Perbaiki Python UDTF yang dioptimalkan panah yang tidak mengembalikan baris pada gabungan lateral
  • SPARK-51834 Sinkronkan OSS: mendukung batasan tabel end-to-end mengubah batasan tambahkan/letakkan
  • SPARK-52675 Mengganggu penghandel ML yang menggantung dalam pengujian
  • SPARK-52959 Mendukung UDT dalam UDTF Python yang dioptimalkan Panah
  • SPARK-52961 Perbaiki Python UDTF yang dioptimalkan dengan Arrow dengan evaluasi 0-arg dalam gabungan lateral
  • SPARK-52949 Hindari konversi bolak-balik antara RecordBatch dan Table pada Python UDTF yang dioptimalkan oleh Arrow.
  • SPARK-52946 Memperbaiki Python UDTF yang dioptimalkan dengan Apache Arrow untuk mendukung tipe variabel besar
  • SPARK-52934 Perbolehkan hasilkan nilai skalar dengan Python UDTF yang dioptimalkan dengan Arrow
  • SPARK-52861 Lewati pembuatan objek Baris dalam eksekusi UDTF yang dioptimalkan oleh Arrow
  • SPARK-51834 Menyinkronkan tabel buat/ganti dukungan OSS end-to-end dengan batasan
  • SPARK-44856 Meningkatkan performa serializer panah UDTF Python
  • SPARK-51834 Kembalikan "[SQL] Perbaiki TableSpec dengan menambahkan konstruktor"
  • SPARK-51834 Perbaiki TableSpec dengan menambahkan konstruktor
  • SPARK-51834 Mengembalikan "[SQL] Sync OSS (parsial): Mendukung batasan tabel end-to-end dalam membuat/mengganti tabel"
  • SPARK-51834 Menyinkronkan OSS (parsial): Mendukung batasan end-to-end dalam pembuatan/penggantian tabel.
  • SPARK-52885 Menerapkan fungsi jam, menit, dan kedua di Scala untuk jenis TIME
  • SPARK-51834 Menyinkronkan pembaruan OSS ResolvedIdentifier panggilan tidak terapkan
  • SPARK-44856 Kembalikan "[SC-195808][python] Tingkatkan performa serializer panah Python UDTF"
  • SPARK-51834 Kembalikan "[SQL] Sinkronisasi pembaruan OSS ResolvedIdentifier panggilan tidak terapkan"
  • SPARK-44856 Meningkatkan performa serializer panah UDTF Python
  • SPARK-51834 Menyinkronkan pembaruan OSS ResolvedIdentifier panggilan tidak terapkan
  • SPARK-52787 Mengatur ulang dir eksekusi streaming di sekitar area runtime dan titik pemeriksaan
  • SPARK-51695 Menyinkronkan tabel create/replace/alter OSS untuk batasan unik melalui DSv2
  • SPARK-51695 Menyinkronkan batasan penurunan OSS melalui DSv2
  • SPARK-51695 Memperkenalkan Perubahan Pengurai untuk Batasan Tabel (CHECK, PK, FK)
  • SPARK-51695 Kembalikan "[SQL] Perkenalkan Perubahan Parser untuk Batasan Tabel (CEK, PK, FK)"
  • SPARK-51695 Memperkenalkan Perubahan Pengurai untuk Batasan Tabel (CHECK, PK, FK)
  • SPARK-49428 Pindahkan Klien Scala Connect dari Konektor ke SQL
  • SPARK-52422 Perbarui pandas ke 2.3.0
  • SPARK-52228 Mengintegrasikan microbenchmark interaksi status sistem ke dalam Quicksilver (TCP)
  • SPARK-52300 Membuat resolusi SQL UDTVF menggunakan konfigurasi yang konsisten dengan resolusi tampilan
  • SPARK-52228 Bangun server keadaan TWS yang ditujukan untuk tolok ukur dengan implementasi keadaan dalam memori dan kode tolok ukurnya dalam Python
  • SPARK-52174 Aktifkan spark.checkpoint.compress secara default
  • SPARK-52224 Memperkenalkan pyyaml sebagai dependensi untuk klien Python
  • SPARK-52122 Memperbaiki kerentanan RCE DefaultParamsReader
  • SPARK-51147 Refaktor kelas terkait streaming ke direktori streaming khusus
  • SPARK-51789 Pastikan untuk menghormati spark.api.mode dan spark.remote secara tepat saat melakukan penguraian argumen dalam Pengiriman Spark
  • SPARK-51212 Menambahkan paket PySpark terpisah untuk Spark Connect secara default
  • SPARK-50762 Menambahkan aturan Analyzer untuk menyelesaikan UDF skalar SQL
  • SPARK-49748 Menambahkan getCondition dan mendepresiasi getErrorClass di SparkThrowable
  • SPARK-50605 Mendukung mode SQL API untuk migrasi yang lebih mudah ke Spark Connect
  • SPARK-50458 Penanganan kesalahan yang tepat untuk sistem file yang tidak didukung saat membaca file
  • SPARK-49700 Antarmuka Scala Terpadu untuk Connect dan Classic
  • SPARK-51779 Gunakan keluarga kolom virtual untuk penggabungan aliran
  • SPARK-51820 Pindahkan konstruksi sebelum analisis untuk menghindari masalah dengan pengelompokan berdasarkan ordinal
  • SPARK-51814 Memperkenalkan API transformWithState baru di PySpark
  • SPARK-51635 Gabungkan PushProjectionThroughLimit dan PushProjectionThroughOffset
  • SPARK-51165 Aktifkan spark.master.rest.enabled secara default
  • SPARK-51688 Menggunakan Unix Domain Socket antara komunikasi Python dan JVM
  • SPARK-51503 Dukungan untuk Tipe Varian dalam pemindaian XML
  • SPARK-50564 Tingkatkan protobuf paket Python ke 5.29.1
  • SPARK-50359 Tingkatkan PyArrow ke 18.0
  • SPARK-51340 Estimasi ukuran model
  • SPARK-50657 Tingkatkan versi pyarrow minimum menjadi 11.0.0
  • SPARK-49282 Buat antarmuka SparkSessionBuilder bersama.
  • SPARK-51371 Ubah toString ke toPrettySQL saat membuat Alias di ResolveAggregateFunctions
  • SPARK-50694 Mendukung penggantian nama dalam subkueri
  • SPARK-50601 Kembalikan "[SC-186342][sql] Dukungan denganColumns / withColumnsRenamed dalam subkueri"
  • SPARK-50601 Dukungan dengan withColumns / withColumnsRenamed dalam subkueri

Driver ODBC/JDBC Azure Databricks yang didukung

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Runtime Databricks.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 24.04.3 LTS
  • Java: Zulu21.42+19-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.5.1
  • Danau Delta: 4.0.0

Pustaka Python yang diinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anotasi-doc 0.0.3 tipe beranotasi 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 Pengikatan Argon2-cffi 21.2.0 arro3-core 0.6.5
anak panah 1.3.0 asttoken 3.0.0 astunparse 1.6.3
asinkron-lru 2.0.4 atribut 24.3.0 perintah otomatis 2.2.2
azure-common 1.1.28 azure-core 1.37.0 azure-identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 Azure Storage Blob 12.28.0
Azure Storage File Data Lake 12.22.0 babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 hitam 24.10.0 pemutih 6.2.0
blinker 1.7.0 boto3 1.40.45 botocore 1.40.45
cachetools (perangkat untuk caching) 5.5.1 sertifikat 2025.4.26 cffi 1.17.1
chardet 4.0.0 charset-normalizer 3.3.2 klik 8.1.8
cloudpickle (perpustakaan Python untuk serialisasi objek) 3.0.0 Komunikasi 0.2.1 Contourpy 1.3.1
Kriptografi 44.0.1 pengendara sepeda 0.11.0 Cython 3.1.5
databricks-agents 1.4.0 databricks-connect 17.3.1 databricks-sdk 0.67.0
dataclasses-json 0.6.7 dbus-python 1.3.2 debugpy 1.8.11
penghias 5.1.1 defusedxml 0.7.1 deltalake 1.1.4
Deprecated 1.2.18 distlib 0.3.9 konversi docstring ke markdown 0.11
Mengeksekusi 1.2.0 gambaran umum aspek 1.1.1 fastapi 0.128.0
fastjsonschema 2.21.1 filelock 3.17.0 alat pengelola font 4.55.3
Fqdn 1.5.1 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.28.1 google-auth (autentikasi Google) 2.47.0
google-cloud-core 2.5.0 penyimpanan awan Google 3.7.0 google-crc32c 1.8.0
google-resumable-media (layanan media berkelanjutan dari Google) 2.8.0 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.16.0 httpcore 1.0.9
httplib2 0.20.4 httpx 0.28.1 IDNA 3.7
importlib-metadata 6.6.0 memfleksi 7.3.1 iniconfig 1.1.1
ipyflow-core 0.0.209 ipykernel 6.29.5 ipython 8.30.0
ipython-genutils 0.2.0 ipywidgets 7.8.1 isodate 0.7.2
isodurasi 20.11.0 jaraco.collections 5.1.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.teks 3.12.1 Jedi 0.19.2
Jinja2 3.1.6 jiter 0.11.1 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.23.0 Spesifikasi JSON Schema 2023.7.1
peristiwa Jupyter 0.12.0 jupyter-lsp 2.2.5 jupyter_client 8.6.3
jupyter_core 5.7.2 jupyter_server 2.15.0 Terminal Jupyter Server 0.5.3
jupyterlab 4.3.4 jupyterlab_pygments 0.3.0 jupyterlab_server 2.27.3
jupyterlab_widgets 1.1.11 kiwisolver 1.4.8 langchain-core 1.0.3
langchain-openai 1.0.2 langsmith 0.4.41 launchpadlib 1.11.0
lazr.restfulclient (klien layanan web yang menggunakan RESTful) 0.14.6 lazr.uri 1.0.6 markdown-it-py 2.2.0
MarkupSafe 3.0.2 kembang gula (marshmallow) 3.26.1 matplotlib 3.10.0
matplotlib-inline (modul untuk menampilkan grafik secara inline) 0.1.7 Mccabe 0.7.0 mdurl 0.1.0
penyetelan salah 3.1.2 mlflow-skinny (versi ringan) 3.8.1 mmh3 5.2.0
more-itertools 10.3.0 msal 1.34.0 msal-extensions 1.3.1
mypy-extensions 1.0.0 nbclient 0.10.2 nbconvert 7.16.6
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.10.0
notebook 7.3.2 buku_catatan_shim 0.2.4 numpy (perpustakaan Python untuk operasi numerik) 2.1.3
oauthlib 3.2.2 OpenAI 2.7.1 opentelemetry-api 1.39.1
opentelemetry-proto 1.39.1 opentelemetry-sdk 1.38.0 opentelemetry-konvensi-semantik 0.60b1
orjson 3.11.4 Mengabaikan 7.4.0 pengemasan 24,2
Panda 2.2.3 Pandocfilters 1.5.0 pengurai 0.8.4
spesifikasi jalur 0.10.3 kambing hitam 1.0.1 pexpect 4.8.0
bantal 11.1.0 pipa 25.0.1 platformdirs 4.3.7
plotly 5.24.1 pengaya 1.5.0 prometheus_client 0.21.1
prompt-toolkit 3.0.43 proto-plus 1.27.0 protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.11 ptyprocess 0.7.0
pure-eval 0.2.2 py4j 0.10.9.9 pyarrow 21.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.71
pycparser 2.21 pydantic (perpustakaan Python untuk validasi data) 2.10.6 pydantic_core 2.27.2
pyflakes 3.2.0 Pygments 2.19.1 PyGObject 3.48.2
pyiceberg 0.10.0 PyJWT 2.10.1 pyodbc 5.2.0
pyparsing 3.2.0 pyright 1.1.394 pyroaring 1.0.3
pytest 8.3.5 python-dateutil 2.9.0.post0 python-dotenv 1.2.1
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.2
pytoolconfig 1.2.6 pytz 2024.1 PyYAML (paket untuk memproses bahasa YAML dalam Python) 6.0.2
pyzmq 26.2.0 Merujuk 0.30.2 regex 2024.11.6
requests 2.32.3 requests-toolbelt 1.0.0 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 kaya 13.9.4 tali 1.13.0
rpds-py 0.22.3 rsa 4.9.1 s3transfer 0.14.0
scikit-learn 1.6.1 scipy (perpustakaan Python untuk komputasi ilmiah) 1.15.3 Seaborn (perpustakaan Python untuk visualisasi data) 0.13.2
Send2Trash 1.8.2 setuptools 78.1.1 Enam 1.17.0
smmap 5.0.0 Sniffio 1.3.0 sortedcontainers 2.4.0
alat penyaring sup 2.5 sqlparse 0.5.5 ssh-import-id 5.11
stack-data 0.6.3 starlette 0.50.0 strictyaml 1.7.3
kegigihan 9.0.0 selesai 0.17.1 threadpoolctl 3.5.0
tiktoken 0.12.0 tinycss2 1.4.0 tokenize_rt 6.1.0
tomli 2.0.1 Tornado 6.5.1 tqdm 4.67.1
traitlets 5.14.3 typeguard (penjaga tipe) 4.3.0 type-python-dateutil 2.9.0.20251115
mengetik-memeriksa 0.9.0 ekstensi pengetikan (typing_extensions) 4.12.2 tzdata 2024.1
ujson 5.10.0 pembaruan otomatis tanpa pengawasan 0.1 templat URI 1.3.0
urllib3 2.3.0 uvicorn 0.38.0 virtualenv 20.29.3
wadllib 1.3.6 wcwidth 0.2.5 warna web 25.10.0
pengkodean web 0.5.1 websocket-klien 1.8.0 apa itu patch 1.0.2
wheel 0.45.1 Setiap kali 0.7.3 widgetsnbextension 3.6.6
terbungkus 1.17.0 yapf 0.40.2 zipp 3.21.0
zstandard 0.23.0

Perpustakaan R yang terinstal

Pustaka R diinstal dari cuplikan CRAN Posit Package Manager pada 2025-11-20.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anak panah 22.0.0 askpass 1.2.1 pastikanbahwa 0.2.1
pemindahan fitur ke versi lama (backports) 1.5.0 dasar 4.5.1 base64enc 0.1-3
bigD 0.3.1 sedikit 4.6.0 bit-64 4.6.0-1
bitops 1.0-9 blob 1.2.4 sepatu bot 1.3-30
menyeduh 1.0-10 Brio 1.1.5 sapu 1.0.10
bslib 0.9.0 cashmere 1.1.0 layanan panggilan 3.7.6
caret 7.0-1 cellranger 1.1.0 kronogram 2.3-62
kelas 7.3-22 CLI 3.6.5 pemangkas 0.8.0
jam dinding 0.7.3 kluster 2.1.6 codetools 0.2-20
commonmark 2.0.0 pengkompilasi 4.5.1 config 0.3.2
Bimbang 1.2.0 cpp11 0.5.2 kriyon 1.5.3
kredensial 2.0.3 melengkung 7.0.0 data.table (sebuah paket untuk pengolahan data table) 1.17.8
kumpulan data 4.5.1 DBI 1.2.3 dbplyr 2.5.1
deskripsi 1.4.3 devtools 2.4.6 bagan 1.6.5
diffobj 0.3.6 digest 0.6.39 pencahayaan turun 0.4.5
dplyr 1.1.4 dtplyr 1.3.2 e1071 1.7-16
elipsis 0.3.2 menilai 1.0.5 penggemar 1.0.7
warna-warna 2.1.2 pemetaan cepat 1.2.0 fontawesome 0.5.3
untuk kucing 1.0.1 foreach (pengulangan untuk setiap elemen) 1.5.2 asing 0.8-86
fs 1.6.6 masa depan 1.68.0 menerapkan di masa depan 1.20.0
kumur 1.6.0 obat generik 0.1.4 Gert 2.2.0
ggplot2 4.0.1 gh 1.5.0 git2r 0.36.2
gitcreds 0.1.2 glmnet 4.1-10 variabel global 0.18.0
lem 1.8.0 googledrive 2.1.2 googlesheets4 1.1.2
Gower 1.0.2 Grafik 4.5.1 grDevices 4.5.1
kisi 4.5.1 gridExtra 2.3 gsubfn 0.7
gt 1.1.0 gtabel 0.3.6 topi keras 1.4.2
tempat aman 2.5.5 lebih tinggi 0.11 HMS 1.1.4
htmltools 0.5.8.1 htmlwidgets 1.6.4 httpuv 1.6.16
httr 1.4.7 httr2 1.2.1 ids 1.0.1
ini 0.3.1 ipred 0.9-15 isoband 0.2.7
Pengiterasi 1.0.14 jquerylib 0.1.4 jsonlite 2.0.0
JuicyJuice 0.1.0 KernSmooth 2.23-22 knitr 1,50
Pelabelan 0.4.3 nanti 1.4.4 rangka 0.22-5
lahar 1.8.2 siklus hidup 1.0.4 listenv 0.10.0
litedown 0.8 lubridate 1.9.4 magrittr 2.0.4
Markdown 2.0 Massa 7.3-60.0.1 Matrix 1.6-5
memosankan 2.0.1 Metode 4.5.1 mgcv 1.9-1
pantomim 0,13 miniUI 0.1.2 mlflow 3.6.0
ModelMetrics 1.2.2.2 modelr 0.1.11 nlme 3.1-164
nnet 7.3-19 numDeriv Agustus 2016 - Januari 2017 openssl 2.3.4
otel 0.2.0 paralel 4.5.1 secara paralel 1.45.1
pilar 1.11.1 pkgbuild 1.4.8 pkgconfig 2.0.3
pkgdown 2.2.0 pkgload 1.4.1 plogr 0.2.0
plyr 1.8.9 pujian 1.0.0 prettyunits 1.2.0
pROC 1.19.0.1 ProsesX 3.8.6 prodlim 2025.04.28
profvis 0.4.0 Kemajuan 1.2.3 progresr 0.18.0
janji 1.5.0 proto 1.0.0 proksi 0,4-27
P.S. 1.9.1 menggeram lembut 1.2.0 R6 2.6.1
ragg 1.5.0 randomForest (algoritma pembelajaran mesin) 4.7-1.2 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.1.0
RcppEigen 0.3.4.0.2 dapat direaksi 0.4.4 reactR 0.6.1
alat baca 2.1.6 readxl (membaca file Excel) 1.4.5 recipes 1.3.1
pertandingan ulang 2.0.0 pertandingan ulang 2 2.1.2 pengontrol jarak jauh 2.5.0
contoh replikasi 2.1.1 reshape2 1.4.5 rlang 1.1.6
rmarkdown 2.30 RODBC 1.3-26 roxygen2 7.3.3
rpart 4.1.23 rprojroot 2.1.1 Rserve 1.8-15
RSQLite 2.4.4 rstudioapi 0.17.1 rversions 3.0.0
rvest 1.0.5 S7 0.2.1 Sass 0.4.10
timbangan / sisik 1.4.0 selektor 0,4-2 informasi sesi 1.2.3
bentuk 1.4.6.1 mengkilap 1.11.1 sourcetools 0.1.7-1
sparklyr 1.9.3 SparkR 4.1.0 sparsevctrs 0.3.4
spasial 7.3-17 garis lengkung 4.5.1 sqldf 0,4-11
SQUAREM 2021.1 statistik 4.5.1 statistik4 4.5.1
string 1.8.7 stringr 1.6.0 bertahan hidup 3.5-8
gaya berani 5.17.14.1 Sistem 3.4.3 systemfonts 1.3.1
bahasa pemrograman Tcl/Tk 4.5.1 ujiitu 3.3.0 pemformatan teks 1.0.4
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 perubahan jam 0.3.0 TanggalWaktu 4051.111
tinytex 0.58 perangkat 4.5.1 tzdb 0.5.0
urlchecker 1.0.1 gunakan ini 3.2.1 utf8 1.2.6
Utilitas 4.5.1 UUID (Pengidentifikasi Unik Universal) 1.2-1 V8 8.0.1
vctrs 0.6.5 viridisLite 0.4.2 Vroom 1.6.6
Waldo 0.6.2 kumis 0.4.1 dengan 3.0.2
xfun 0.54 xml2 1.5.0 xopen 1.0.1
xtable 1.8-4 yaml 2.3.10 zeallot 0.2.0
zip 2.3.3

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.13)

ID Kelompok Identifikasi Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.15.3
com.amazonaws aws-java-sdk-autoscaling 1.12.681
com.amazonaws aws-java-sdk-cloudformation 1.12.681
com.amazonaws aws-java-sdk-cloudfront 1.12.681
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.681
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.681
com.amazonaws aws-java-sdk-cloudtrail 1.12.681
com.amazonaws aws-java-sdk-cloudwatch 1.12.681
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.681
com.amazonaws aws-java-sdk-codedeploy 1.12.681
com.amazonaws aws-java-sdk-cognitoidentity 1.12.681
com.amazonaws aws-java-sdk-cognitosync 1.12.681
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.681
com.amazonaws aws-java-sdk-core 1.12.681
com.amazonaws aws-java-sdk-datapipeline 1.12.681
com.amazonaws aws-java-sdk-directconnect 1.12.681
com.amazonaws aws-java-sdk-directory 1.12.681
com.amazonaws aws-java-sdk-dynamodb 1.12.681
com.amazonaws aws-java-sdk-ec2 1.12.681
com.amazonaws aws-java-sdk-ecs 1.12.681
com.amazonaws aws-java-sdk-efs 1.12.681
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.681
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.681
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.681
com.amazonaws aws-java-sdk-elastictranscoder 1.12.681
com.amazonaws aws-java-sdk-emr 1.12.681
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.681
com.amazonaws aws-java-sdk-glue 1.12.681
com.amazonaws aws-java-sdk-iam 1.12.681
com.amazonaws aws-java-sdk-impor-ekspor 1.12.681
com.amazonaws aws-java-sdk-kinesis 1.12.681
com.amazonaws aws-java-sdk-kms 1.12.681
com.amazonaws aws-java-sdk-lambda 1.12.681
com.amazonaws aws-java-sdk-logs 1.12.681
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.681
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.681
com.amazonaws aws-java-sdk-rds 1.12.681
com.amazonaws aws-java-sdk-redshift 1.12.681
com.amazonaws aws-java-sdk-route53 1.12.681
com.amazonaws aws-java-sdk-s3 1.12.681
com.amazonaws aws-java-sdk-ses 1.12.681
com.amazonaws aws-java-sdk-simpledb 1.12.681
com.amazonaws aws-java-sdk-simpleworkflow 1.12.681
com.amazonaws aws-java-sdk-sns 1.12.681
com.amazonaws aws-java-sdk-sqs 1.12.681
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.681
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.681
com.amazonaws aws-java-sdk-sts 1.12.681
com.amazonaws AWS Java SDK Dukungan 1.12.681
com.amazonaws aws-java-sdk-workspaces 1.12.681
com.amazonaws jmespath-java 1.12.681
com.clearspring.analytics aliran 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.53.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware bayangan-kriogenik 4.0.3
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.5.1
com.fasterxml.jackson.core Jackson Annotations 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.3
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine kafein 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib referensi_asli-java 1.1-penduduk asli
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib sistem_asli-java 1.1-penduduk asli
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-penduduk asli
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-penduduk asli
com.github.luben zstd-jni 1.5.7-6
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value anotasi nilai otomatis 1.10.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone Annotasi yang rentan terhadap kesalahan 2.36.0
com.google.flatbuffers flatbuffers-java 25.2.10
com.google.guava kegagalan akses 1.0.3
com.google.guava jambu biji 33.4.8-jre
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-anotasi 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger pembuat profil 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.10
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre11
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf (algoritma kompresi) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.10.0
commons-codec commons-codec 1.19.0
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.6.0
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.21.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 3.0.4
dev.ludovic.netlib Tidak peduli 3.0.4
dev.ludovic.netlib LAPACK 3.0.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 2.0.2
io.delta delta-sharing-client_2.13 1.3.6
io.dropwizard.metrics metrik dan anotasi 4.2.37
io.dropwizard.metrics inti metrik 4.2.37
io.dropwizard.metrics metrics-graphite 4.2.37
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.2.37
io.dropwizard.metrics metrik-jetty10 4.2.37
io.dropwizard.metrics metrik-jmx 4.2.37
io.dropwizard.metrics metrik-json 4.2.37
io.dropwizard.metrics metrik-jvm 4.2.37
io.dropwizard.metrics metrik-servlet 4.2.37
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.2.7.Final
io.netty Netty Buffer 4.2.7.Final
io.netty netty-codec 4.2.7.Final
io.netty netty-codec-base 4.2.7.Final
io.netty netty-codec-classes-quic 4.2.7.Final
io.netty netty-codec-compression 4.2.7.Final
io.netty netty-kodek-http 4.2.7.Final
io.netty netty-codec-http2 4.2.7.Final
io.netty netty-codec-http3 4.2.7.Final
io.netty netty-codec-marshalling 4.2.7.Final
io.netty netty-codec-native-quic 4.2.7.Final-linux-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-linux-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-windows-x86_64
io.netty netty-codec-protobuf 4.2.7.Final
io.netty netty-codec-socks 4.2.7.Final
io.netty netty-common 4.2.7.Final
io.netty netty-handler 4.2.7.Final
io.netty netty-handler-proxy 4.2.7.Final
io.netty netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) 4.2.7.Final
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-windows-x86_64
io.netty Kelas netty-tcnative 2.0.74.Final
io.netty netty-transport 4.2.7.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.2.7.Final
io.netty netty-transport-classes-io_uring 4.2.7.Final
io.netty netty-transport-classes-kqueue 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-x86_64
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.2.7.Final
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
io.prometheus simpleclient 0.16.1-databricks
io.prometheus simpleclient_umum 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_pelacakan_otel_agen 0.16.1-databricks
io.prometheus.jmx pengumpul 0.18.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction Transaction-API 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.14.0
net.java.dev.jna jna 5.8.0
net.razorvine mentimun acar 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr StringTemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pemadatan panah 18.3.0
org.apache.arrow format tanda panah 18.3.0
org.apache.arrow inti-memori-panah 18.3.0
org.apache.arrow Arrow-Memory-Netty 18.3.0
org.apache.arrow arrow-memori-netty-penyangga-tambalan 18.3.0
org.apache.arrow arrow-vector 18.3.0
org.apache.avro Avro 1.12.1
org.apache.avro avro-ipc 1.12.1
org.apache.avro avro-mapred 1.12.1
org.apache.commons commons-koleksi4 4.5.0
org.apache.commons commons-compress 1.28.0
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.19.0
org.apache.commons Commons-Math3 3.6.1
org.apache.commons commons-text (teks umum) 1.14.0
org.apache.curator kurator dan klien 5.9.0
org.apache.curator kerangka kerja kurator 5.9.0
org.apache.curator kurasi resep 5.9.0
org.apache.datasketches datasketches-java 6.2.0
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop lingkungan kerja klien Hadoop 3.4.2
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.10
org.apache.hive Hive-shims 2.3.10
org.apache.hive API penyimpanan hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.10
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy tanaman anggur 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json (pola tata letak JSON di log4j) 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.2.0-shaded-protobuf
org.apache.orc orc-format 1.1.1-shaded-protobuf
org.apache.orc orc-mapreduce 2.2.0-shaded-protobuf
org.apache.orc orc-shims 2.2.0
org.apache.poi Poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.28
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus anotasi penonton 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.9.4
org.apache.zookeeper penjaga kebun binatang-jute 3.9.4
org.checkerframework pemeriksa kualitas 3.43.0
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-alpn-client 10.0.26
org.eclipse.jetty jetty-client 10.0.26
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 10.0.26
org.eclipse.jetty jetty-io 10.0.26
org.eclipse.jetty jetty-jndi 10.0.26
org.eclipse.jetty Jetty Plus 10.0.26
org.eclipse.jetty Jetty-Proxy 10.0.26
org.eclipse.jetty keamanan jetty 10.0.26
org.eclipse.jetty Jetty Server 10.0.26
org.eclipse.jetty jetty-servlet 10.0.26
org.eclipse.jetty jetty-servlets 10.0.26
org.eclipse.jetty jetty-util 10.0.26
org.eclipse.jetty Aplikasi web Jetty 10.0.26
org.eclipse.jetty jetty-xml 10.0.26
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utilitas 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.41
org.glassfish.jersey.containers jersey-container-servlet-inti 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey biasa 2.41
org.glassfish.jersey.core Jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator Hibernate Validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jline Jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.locationtech.jts jts-core 1.20.0
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.22.1
org.objenesis objenesis 3.4
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.4.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest kompatibel dengan ScalaTest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
Stax stax-api 1.0.1

Petunjuk / Saran

Untuk melihat catatan rilis untuk versi Databricks Runtime yang telah mencapai akhir masa dukungan (EoS), lihat Catatan rilis Databricks Runtime yang telah mencapai akhir masa dukungan. Versi EoS Databricks Runtime telah dihentikan dan mungkin tidak diperbarui.

  • Last updated on