Databricks Runtime 17.0 (EoS)

Nota

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 17.0, didukung oleh Apache Spark 4.0.0.

Databricks merilis versi ini pada Juni 2025.

Fitur dan peningkatan baru

SparkML sekarang didukung pada kluster standar
Dukungan prosedur SQL
Mengatur kolase default untuk Fungsi SQL
Ekspresi tabel umum rekursif (Pratinjau Umum)
ANSI SQL diaktifkan secara default
PySpark dan Spark Connect sekarang mendukung API DataFrames df.mergeInto
Dukungan ALL CATALOGS dalam SHOW SKEMA
Pengelompokan cairan sekarang memadatkan vektor penghapusan lebih efisien
Perbolehkan ekspresi non-deterministik dalam UPDATE/INSERT nilai kolom untuk MERGE operasi
Mengabaikan dan mengatasi struct kosong untuk penyerapan AutoLoader (terutama Avro)
Ubah API Delta MERGE Python dan Scala untuk mengembalikan DataFrame alih-alih Unit
Mendukung kata kunci VAR untuk mendeklarasikan dan menghilangkan variabel SQL
Meningkatkan pustaka Apache Parquet
Mendukung federasi identitas beban kerja untuk Google Cloud Pub/Sub

SparkML sekarang didukung pada kluster standar

Mode akses standar (sebelumnya mode akses bersama) sekarang mendukung Spark ML di PySpark (pyspark.ml) dan MLflow untuk Spark (mlflow.spark). Untuk penyetelan hiperparameter, Databricks merekomendasikan penggunaan Optuna dan Joblib Spark pada kluster standar.

Batasan berikut berlaku saat menjalankan SparkML pada kluster standar:

Ukuran model maksimum adalah 1GB.
Ukuran cache model maksimum per sesi adalah 10GB.
Pelatihan model pohon berhenti lebih awal jika ukuran model akan melebihi 1GB.
Model SparkML berikut ini tidak didukung:
- DistributedLDAModel
- FPGrowthModel

Dukungan prosedur SQL

Skrip SQL sekarang dapat dienkapsulasi dalam prosedur yang disimpan sebagai aset yang dapat digunakan kembali di Unity Catalog. Anda dapat membuat prosedur menggunakan perintah CREATE PROCEDURE , lalu memanggilnya menggunakan perintah PANGGIL .

Mengatur kolase default untuk Fungsi SQL

Menggunakan klausa baru DEFAULT COLLATION dalam perintah CREATE FUNCTION menentukan pengurutan default yang digunakan untuk parameter STRING, jenis pengembalian, dan literal STRING dalam isi fungsi.

Ekspresi tabel umum rekursif (Uji Coba Publik)

Azure Databricks sekarang mendukung navigasi data hierarkis menggunakan ekspresi tabel umum rekursif (rCTEs). Gunakan CTE referensi mandiri dengan UNION ALL untuk mengikuti hubungan rekursif.

ANSI SQL diaktifkan secara default

Dialek SQL default sekarang adalah ANSI SQL. ANSI SQL adalah standar yang mapan dan akan membantu melindungi pengguna dari hasil yang tidak terduga atau salah. Baca panduan pengaktifan Databricks ANSI untuk informasi selengkapnya.

PySpark dan Spark Connect sekarang mendukung API DataFrames `df.mergeInto`

PySpark dan Spark Connect sekarang mendukung df.mergeInto API, yang sebelumnya hanya tersedia untuk Scala.

Dukungan `ALL CATALOGS` pada `SHOW` SKEMA

Sintaks SHOW SCHEMAS diperbarui untuk menerima sintaks berikut:

SHOW SCHEMAS [ { FROM | IN } { catalog_name | ALL CATALOGS } ] [ [ LIKE ] pattern ]

Ketika ALL CATALOGS ditentukan dalam SHOW kueri, eksekusi berulang melalui semua katalog aktif yang mendukung namespace menggunakan manajer katalog (DsV2). Untuk setiap katalog, katalog menyertakan namespace tingkat atas.

Atribut output dan skema perintah telah dimodifikasi untuk menambahkan kolom yang catalog menunjukkan katalog namespace yang sesuai. Kolom baru ditambahkan ke akhir atribut output, seperti yang ditunjukkan di bawah ini:

Output sebelumnya

| Namespace        |
|------------------|
| test-namespace-1 |
| test-namespace-2 |

Output baru

| Namespace        | Catalog        |
|------------------|----------------|
| test-namespace-1 | test-catalog-1 |
| test-namespace-2 | test-catalog-2 |

Pengelompokan cairan sekarang memadatkan vektor penghapusan dengan lebih efisien

Tabel Delta yang menggunakan pengklusteran Liquid sekarang menerapkan perubahan fisik dari vektor penghapusan dengan lebih efisien saat OPTIMIZE dijalankan. Untuk detail selengkapnya, lihat Menerapkan perubahan pada file data Parquet.

Perbolehkan ekspresi non-deterministik pada nilai kolom `UPDATE`/`INSERT` untuk operasi `MERGE`

Azure Databricks sekarang memungkinkan penggunaan ekspresi non-deterministik dalam nilai-nilai kolom yang diperbarui dan disisipkan melalui operasi MERGE. Namun, ekspresi non-deterministik dalam kondisi pada pernyataan MERGE tidak didukung.

Misalnya, Anda sekarang dapat menghasilkan nilai dinamis atau acak untuk kolom:

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET target.value = source.value + rand()

Ini dapat membantu privasi data untuk mengaburkan data aktual sambil mempertahankan properti data (seperti nilai rata-rata atau kolom komputasi lainnya).

Mengabaikan dan menyelamatkan struct kosong untuk penyerapan AutoLoader (terutama Avro)

Auto Loader sekarang menyelamatkan jenis data Avro dengan skema kosong karena tabel Delta tidak mendukung penyerapan data bertipe kosong struct.

Ubah API Delta MERGE Python dan Scala untuk mengembalikan DataFrame alih-alih Unit

API Scala dan Python MERGE (seperti DeltaMergeBuilder) sekarang juga mengembalikan DataFrame seperti yang dilakukan SQL API, dengan hasil yang sama.

Mendukung kata kunci VAR untuk mendeklarasikan dan menghilangkan variabel SQL

Sintaks SQL untuk mendeklarasikan dan menghilangkan variabel sekarang mendukung VAR kata kunci selain VARIABLE. Perubahan ini menyatukan sintaks di semua operasi terkait variabel, yang meningkatkan konsistensi dan mengurangi kebingungan bagi pengguna yang sudah menggunakan VAR saat mengatur variabel.

Memperbarui pustaka Apache Parquet

Pustaka Apache Parquet telah ditingkatkan dari versi 1.13.1 ke 1.15.1 untuk memastikan kompatibilitas dengan Spark 4.0. Pembaruan ini mencakup peningkatan performa, perbaikan bug, dan dukungan fitur Parquet yang ditingkatkan di seluruh modul berikut:

parquet-column
parquet-common
parquet-encoding
parquet-format-structures
parquet-hadoop
parquet-jackson

Mendukung federasi identitas beban kerja untuk Google Cloud Pub/Sub

Anda sekarang dapat menggunakan federasi identitas beban kerja untuk terhubung dengan aman ke Google Cloud Pub/Sub dari Databricks tanpa memerlukan kunci akun layanan. Ini menyederhanakan autentikasi untuk beban kerja streaming dan penyerapan data yang terintegrasi dengan Pub/Sub.

Perubahan perilaku

Sertifikat CA kustom Databricks File System (DBFS) tidak lagi didukung
Menghapus bagian "True cache misses" pada Spark UI
Menghapus metrik "Cache Metadata Manager Peak Disk Usage" di antarmuka pengguna Spark
Menghapus bagian "Rescheduled cache miss bytes" pada Spark UI
CREATE VIEW klausa tingkat kolom sekarang menghasilkan kesalahan ketika klausul hanya akan berlaku untuk tampilan material

Sertifikat CA kustom Databricks File System (DBFS) tidak lagi didukung

Sebagai bagian dari upaya berkelanjutan untuk menghentikan penyimpanan data di root DBFS dan mounting DBFS, sertifikat CA kustom DBFS tidak didukung di Databricks Runtime 17.0 dan versi yang lebih baru. Untuk rekomendasi tentang bekerja dengan file, lihat Bekerja dengan file di Azure Databricks.

Menghapus bagian "True cache misses" di antarmuka pengguna Spark

Perubahan ini menghapus dukungan untuk metrik "Cache true misses size" (untuk cache terkompresi dan tidak terkompresi). Metrik "Cache writes misses" mengukur informasi yang sama.

numLocalScanTasks Gunakan sebagai proksi yang layak untuk metrik ini, ketika niat Anda adalah untuk melihat performa cache saat file ditetapkan ke pelaksana yang tepat.

Menghapus metrik "Cache Metadata Manager Peak Disk Usage" di antarmuka pengguna Spark

Perubahan ini menghapus dukungan untuk metrik cacheLocalityMgrDiskUsageInBytes dan cacheLocalityMgrTimeMs dari Databricks Runtime dan Spark UI.

Menghapus bagian "Rescheduled cache miss bytes" di UI Spark

Menghapus metrik ukuran cache yang dijadwalkan ulang dan ukuran cache yang dijadwalkan ulang (tidak dikompresi) dari Databricks Runtime. Ini dilakukan karena ini mengukur performa cache ketika file ditetapkan ke pelaksana yang tidak disukai. numNonLocalScanTasks adalah proksi yang baik untuk metrik ini.

`CREATE VIEW` klausa tingkat kolom sekarang menghasilkan kesalahan ketika klausul hanya akan berlaku untuk tampilan materialisasi

CREATE VIEW perintah yang menentukan klausa tingkat kolom yang hanya valid untuk MATERIALIZED VIEWs sekarang menghasilkan kesalahan. Klausa yang terpengaruh untuk CREATE VIEW perintah adalah:

NOT NULL
Jenis data tertentu, seperti FLOAT atau STRING
DEFAULT
COLUMN MASK

Peningkatan pustaka

Pustaka Python yang ditingkatkan:
- azure-core dari 1.31.0 hingga 1.34.0
- hitam dari 24.4.2 hingga 24.10.0
- boto3 dari 1.34.69 ke 1.36.2
- botocore dari 1.34.69 ke 1.36.3
- cachetool dari 5.3.3 hingga 5.5.1
- certifi dari 2024.6.2 hingga 2025.1.31
- cffi dari 1.16.0 hingga 1.17.1
- charset-normalizer dari 2.0.4 hingga 3.3.2
- cloudpickle dari 2.2.1 hingga 3.0.0
- contourpy dari 1.2.0 ke 1.3.1
- kriptografi dari 42.0.5 hingga 43.0.3
- Cython dari 3.0.11 hingga 3.0.12
- databricks-sdk dari 0.30.0 hingga 0.49.0
- debugpy dari 1.6.7 ke 1.8.11
- Tidak digunakan lagi dari 1.2.14 ke 1.2.13
- distlib dari 0.3.8 hingga 0.3.9
- filelock dari 3.15.4 ke 3.18.0
- fonttools dari 4.51.0 hingga 4.55.3
- GitPython dari 3.1.37 ke 3.1.43
- google-auth dari 2.35.0 hingga 2.40.0
- google-cloud-core dari 2.4.1 hingga 2.4.3
- google-cloud-storage dari 2.18.2 hingga 3.1.0
- google-crc32c dari 1.6.0 hingga 1.7.1
- grpcio dari 1.60.0 ke 1.67.0
- grpcio-status dari 1.60.0 ke 1.67.0
- importlib-metadata dari 6.0.0 hingga 6.6.0
- ipyflow-core dari 0.0.201 hingga 0.0.209
- ipykernel dari 6.28.0 ke 6.29.5
- ipython dari 8.25.0 hingga 8.30.0
- ipywidgets dari 7.7.2 ke 7.8.1
- jedi dari 0.19.1 hingga 0.19.2
- jupyter_client dari 8.6.0 hingga 8.6.3
- kiwisolver dari 1.4.4 ke 1.4.8
- matplotlib dari 3.8.4 ke 3.10.0
- matplotlib-inline dari 0.1.6 hingga 0.1.7
- mlflow-skinny dari 2.19.0 hingga 2.22.0
- numpy dari 1.26.4 hingga 2.1.3
- opentelemetry-api dari 1.27.0 hingga 1.32.1
- opentelemetry-sdk dari 1.27.0 hingga 1.32.1
- opentelemetry-semantic-conventions dari 0.48b0 ke 0.53b1
- pandas dari versi 1.5.3 hingga versi 2.2.3
- parso dari 0.8.3 hingga 0.8.4
- patsy dari 0.5.6 ke 1.0.1
- bantal dari 10.3.0 hingga 11.1.0
- plotly diperbarui dari versi 5.22.0 ke 5.24.1
- pluggy dari 1.0.0 hingga 1.5.0
- proto-plus dari 1.24.0 hingga 1.26.1
- protobuf dari 4.24.1 ke 5.29.4
- pyarrow dari 15.0.2 hingga 19.0.1
- pyccolo dari 0.0.65 hingga 0.0.71
- pydantic dari 2.8.2 ke 2.10.6
- pydantic_core dari 2.20.1 ke 2.27.2
- PyJWT dari 2.7.0 ke 2.10.1
- pyodbc dari 5.0.1 ke 5.2.0
- pyparsing dari 3.0.9 ke 3.2.0
- pyright dari 1.1.294 hingga 1.1.394
- python-lsp-server dari 1.10.0 ke 1.12.0
- PyYAML dari 6.0.1 ke 6.0.2
- pyzmq dari 25.1.2 ke 26.2.0
- permintaan dari 2.32.2 hingga 2.32.3
- rsa dari 4,9 ke 4.9.1
- s3transfer dari 0.10.2 ke 0.11.3
- scikit-learn dari 1.4.2 hingga 1.6.1
- scipy dari 1.13.1 ke 1.15.1
- sqlparse dari 0.5.1 hingga 0.5.3
- statsmodels dari 0.14.2 ke 0.14.4
- tenacity mulai dari 8.2.2 hingga 9.0.0
- threadpoolctl dari 2.2.0 ke 3.5.0
- tornado dari 6.4.1 ke 6.4.2
- typing_extensions dari 4.11.0 ke 4.12.2
- urllib3 dari 1.26.16 hingga 2.3.0
- virtualenv dari 20.26.2 hingga 20.29.3
- roda dari 0.43.0 hingga 0.45.1
- Wrapt diperbarui dari 1.14.1 ke 1.17.0
- yapf dari 0.33.0 hingga 0.40.2
- zipp dari 3.17.0 ke 3.21.0
Pustaka R yang ditingkatkan:
- panah dari 16.1.0 hingga 19.0.1
- askpass dari 1.2.0 ke 1.2.1
- dasar dari 4.4.0 ke 4.4.2
- bigD dari 0.2.0 hingga 0.3.0
- bit dari 4.0.5 ke 4.6.0
- bit64 dari 4.0.5 hingga 4.6.0-1
- bitops dari 1.0-8 ke 1.0-9
- broom dari 1.0.6 hingga 1.0.7
- bslib dari 0,8,0 ke 0,9,0
- caret dari 6,0-94 hingga 7,0-1
- chron dari 2.3-61 ke 2.3-62
- cli dari 3.6.3 ke 3.6.4
- jam dari 0.7.1 hingga 0.7.2
- commonmark dari 1.9.1 hingga 1.9.5
- compiler dari 4.4.0 ke 4.4.2
- cpp11 dari 0.4.7 hingga 0.5.2
- kredensial dari 2.0.1 hingga 2.0.2
- curl dari 5.2.1 ke 6.2.1
- data.table dari 1.15.4 hingga 1.17.0
- himpunan data dari 4.4.0 hingga 4.4.2
- digest dari 0.6.36 hingga 0.6.37
- e1071 dari 1,7-14 ke 1,7-16
- evaluasi dari 0.24.0 hingga 1.0.3
- fontawesome dari 0.5.2 hingga 0.5.3
- fs dari 1.6.4 ke 1.6.5
- future.apply dari 1.11.2 ke 1.11.3
- gert dari 2.1.0 hingga 2.1.4
- git2r dari 0.33.0 hingga 0.35.0
- lem dari 1.7.0 hingga 1.8.0
- Gower dari versi 1.0.1 ke versi 1.0.2
- grafik dari 4.4.0 hingga 4.4.2
- grDevices dari 4.4.0 hingga 4.4.2
- kisi dari 4.4.0 hingga 4.4.2
- gt dari 0.11.0 ke 0.11.1
- gtable dari versi 0.3.5 ke 0.3.6
- hardhat dari 1.4.0 hingga 1.4.1
- httr2 dari 1.0.2 hingga 1.1.1
- jsonlite dari 1.8.8 hingga 1.9.1
- knitr dari 1.48 hingga 1.50
- kemudian dari 1.3.2 hingga 1.4.1
- lava dari 1.8.0 hingga 1.8.1
- lubridat dari 1.9.3 hingga 1.9.4
- metode dari 4.4.0 hingga 4.4.2
- mime dari 0,12 hingga 0,13
- mlflow dari 2.14.1 ke 2.20.4
- nlme dari 3,1-165 ke 3,1-164
- openssl dari 2.2.0 ke 2.3.2
- paralel dari 4.4.0 hingga 4.4.2
- secara paralel dari 1.38.0 hingga 1.42.0
- pilar dari 1.9.0 hingga 1.10.1
- pkgbuild dari 1.4.4 ke 1.4.6
- pkgdown dari 2.1.0 ke 2.1.1
- processx dari 3.8.4 hingga 3.8.6
- profvis dari 0.3.8 hingga 0.4.0
- Pembaruan progressr dari versi 0.14.0 ke versi 0.15.1
- janji dari 1.3.0 ke 1.3.2
- ps dari 1.7.7 ke 1.9.0
- purrr dari 1.0.2 hingga 1.0.4
- R6 dari 2.5.1 ke 2.6.1
- ragg dari 1.3.2 ke 1.3.3
- randomForest dari 4.7-1.1 ke 4.7-1.2
- Rcpp dari 1.0.13 ke 1.0.14
- RcppEigen dari 0.3.4.0.0 ke 0.3.4.0.2
- reactR dari 0.6.0 hingga 0.6.1
- readxl dari 1.4.3 ke 1.4.5
- resep dari 1.1.0 hingga 1.2.0
- rlang dari 1.1.4 ke 1.1.5
- rmarkdown dari 2,27 ke 2,29
- RODBC dari 1,3-23 ke 1,3-26
- Rserve dari 1,8-13 ke 1,8-15
- RSQLite dari 2.3.7 ke 2.3.9
- rstudioapi dari 0.16.0 ke 0.17.1
- sessioninfo dari 1.2.2 hingga 1.2.3
- mengkilap dari 1.9.1 hingga 1.10.0
- sparklyr dari 1.8.6 ke 1.9.0
- SparkR dari 3.5.2 ke 4.0.0
- spline dari 4.4.0 hingga 4.4.2
- statistik dari 4.4.0 hingga 4.4.2
- Pembaruan versi stats4 dari 4.4.0 ke 4.4.2
- bertahan hidup dari 3,6-4 hingga 3,5-8
- sys dari 3.4.2 hingga 3.4.3
- systemfonts dari 1.1.0 hingga 1.2.1
- tcltk dari 4.4.0 ke 4.4.2
- testthat dari 3.2.1.1 ke 3.2.3
- textshaping dari 0.4.0 ke 1.0.0
- timeDate dari 4032.109 hingga 4041.110
- tinytex dari 0,52 hingga 0,56
- alat dari 4.4.0 hingga 4.4.2
- tzdb dari 0,4,0 hingga 0,5,0
- usethis dari 3.0.0 hingga 3.1.0
- utils dari 4.4.0 ke 4.4.2
- V8 dari 4.4.2 hingga 6.0.2
- waldo dari 0.5.2 hingga 0.6.1
- withr dari 3.0.1 ke 3.0.2
- xfun dari 0,46 hingga 0,51
- xml2 dari 1.3.6 hingga 1.3.8
- zip dari 2.3.1 ke 2.3.2
Pustaka Java yang ditingkatkan:
- com.clearspring.analytics.stream dari 2.9.6 ke 2.9.8
- com.esotericsoftware.kryo-shaded dari 4.0.2 ke 4.0.3
- com.fasterxml.classmate dari 1.3.4 ke 1.5.1
- com.fasterxml.jackson.core.jackson-annotations dari 2.15.2 hingga 2.18.2
- com.fasterxml.jackson.core.jackson-core dari 2.15.2 ke 2.18.2
- com.fasterxml.jackson.core.jackson-databind dari 2.15.2 ke 2.18.2
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor dari 2.15.2 hingga 2.18.2
- com.fasterxml.jackson.datatype.jackson-datatype-joda dari 2.15.2 hingga 2.18.2
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 dari 2.16.0 hingga 2.18.2
- com.fasterxml.jackson.module.jackson-module-paranamer dari 2.15.2 hingga 2.18.2
- com.github.luben.zstd-jni dari 1.5.5-4 ke 1.5.6-10
- com.google.code.gson.gson dari 2.10.1 ke 2.11.0
- com.google.crypto.tink.tink dari 1.9.0 hingga 1.16.0
- com.google.errorprone.error_prone_annotations dari 2.10.0 hingga 2.36.0
- com.google.flatbuffers.flatbuffers-java dari 23.5.26 hingga 24.3.25
- com.google.guava.guava dari 15.0 ke 33.4.0-jre
- com.google.protobuf.protobuf-java dari 3.25.1 ke 3.25.5
- com.microsoft.azure.azure-data-lake-store-sdk dari 2.3.9 hingga 2.3.10
- com.microsoft.sqlserver.mssql-jdbc dari 11.2.3.jre8 ke 12.8.0.jre8
- commons-cli.commons-cli dari versi 1.5.0 hingga 1.9.0
- commons-codec.commons-codec dari 1.16.0 hingga 1.17.2
- commons-io.commons-io mulai dari 2.13.0 hingga 2.18.0
- io.airlift.aircompressor dari 0.27 hingga 2.0.2
- io.dropwizard.metrics.metrics-annotation dari 4.2.19 hingga 4.2.30
- io.dropwizard.metrics.metrics-core dari 4.2.19 menjadi 4.2.30
- io.dropwizard.metrics.metrics-graphite dari 4.2.19 hingga 4.2.30
- io.dropwizard.metrics.metrics-healthchecks dari 4.2.19 hingga 4.2.30
- io.dropwizard.metrics.metrics-jetty9 dari 4.2.19 menjadi 4.2.30
- io.dropwizard.metrics.metrics-jmx dari 4.2.19 ke 4.2.30
- io.dropwizard.metrics.metrics-json dari 4.2.19 ke 4.2.30
- io.dropwizard.metrics.metrics-jvm dari 4.2.19 ke 4.2.30
- io.dropwizard.metrics.metrics-servlets dari 4.2.19 hingga 4.2.30
- io.netty.netty-all diperbarui dari 4.1.108.Final menjadi 4.1.118.Final
- io.netty.netty-buffer dari 4.1.108.Final ke 4.1.118.Final
- io.netty.netty-codec dari 4.1.108.Final ke 4.1.118.Final
- io.netty.netty-codec-http dari 4.1.108.Final ke 4.1.118.Final
- io.netty.netty-codec-http2 dari 4.1.108.Final ke 4.1.118.Final
- io.netty.netty-codec-socks dari 4.1.108.Final ke 4.1.118.Final
- io.netty.netty-common dari 4.1.108.Final hingga 4.1.118.Final
- io.netty.netty-handler dari 4.1.108.Final ke 4.1.118.Final
- io.netty.netty-handler-proxy dari 4.1.108.Final ke 4.1.118.Final
- io.netty.netty-resolver dari 4.1.108.Final ke 4.1.118.Final
- io.netty.netty-tcnative-boringssl-static dari 2.0.61.Final-db-r16-windows-x86_64 ke 2.0.70.Final-db-r0-windows-x86_64
- io.netty.netty-tcnative-classes dari versi 2.0.61.Final ke 2.0.70.Final
- io.netty.netty-transport dari 4.1.108.Final ke 4.1.118.Final
- io.netty.netty-transport-classes-epoll dari 4.1.108.Final ke 4.1.118.Final
- io.netty.netty-transport-classes-kqueue dari 4.1.108.Final ke 4.1.118.Final
- io.netty.netty-transport-native-epoll dari 4.1.108.Final-linux-x86_64 ke 4.1.118.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue dari 4.1.108.Final-osx-x86_64 ke 4.1.118.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common dari 4.1.108.Final ke 4.1.118.Final
- io.prometheus.jmx.collector dari 0.12.0 hingga 0.18.0
- io.prometheus.simpleclient dari 0.7.0 hingga 0.16.1-databricks
- io.prometheus.simpleclient_common dari 0.7.0 hingga 0.16.1-databricks
- io.prometheus.simpleclient_dropwizard dari 0.7.0 hingga 0.16.1-databricks
- io.prometheus.simpleclient_pushgateway dari 0.7.0 hingga 0.16.1-databricks
- io.prometheus.simpleclient_servlet dari 0.7.0 hingga 0.16.1-databricks
- joda-time.joda-time dari 2.12.1 hingga 2.13.0
- net.razorvine.pickle dari 1.3 hingga 1.5
- org.antlr.antlr4-runtime dari 4.9.3 hingga 4.13.1
- org.apache.arrow.arrow-format dari 15.0.0 hingga 18.2.0
- org.apache.arrow.arrow-memory-core dari 15.0.0 hingga 18.2.0
- org.apache.arrow.arrow-memory-netty dari 15.0.0 ke 18.2.0
- org.apache.arrow.arrow-vector dari 15.0.0 hingga 18.2.0
- org.apache.avro.avro dari 1.11.4 ke 1.12.0
- org.apache.avro.avro-ipc dari 1.11.4 hingga 1.12.0
- org.apache.avro.avro-mapred dari 1.11.4 ke 1.12.0
- org.apache.commons.commons-compress dari 1.23.0 hingga 1.27.1
- org.apache.commons.commons-lang3 dari 3.12.0 hingga 3.17.0
- org.apache.commons.commons-text dari 1.10.0 hingga 1.13.0
- org.apache.curator.curator-client dari 2.13.0 hingga 5.7.1
- org.apache.curator.curator-framework dari 2.13.0 hingga 5.7.1
- org.apache.curator.curator-recipes dari 2.13.0 hingga 5.7.1
- org.apache.datasketches.datasketches-java dari 3.1.0 hingga 6.1.1
- org.apache.datasketches.datasketches-memory dari 2.0.0 ke 3.0.2
- org.apache.hadoop.hadoop-client-runtime dari 3.3.6 hingga 3.4.1
- org.apache.hive.hive-beeline dari versi 2.3.9 ke versi 2.3.10
- org.apache.hive.hive-cli dari 2.3.9 ke 2.3.10
- org.apache.hive.hive-jdbc dari 2.3.9 ke 2.3.10
- org.apache.hive.hive-llap-client dari 2.3.9 hingga 2.3.10
- org.apache.hive.hive-llap-common dari 2.3.9 hingga 2.3.10
- org.apache.hive.hive-serde dari 2.3.9 ke 2.3.10
- org.apache.hive.hive-shims dari 2.3.9 ke 2.3.10
- org.apache.hive.shims.hive-shims-0.23 dari 2.3.9 hingga 2.3.10
- org.apache.hive.shims.hive-shims-common dari 2.3.9 hingga 2.3.10
- org.apache.hive.shims.hive-shims-scheduler dari 2.3.9 hingga 2.3.10
- org.apache.ivy.ivy dari 2.5.2 ke 2.5.3
- org.apache.logging.log4j.log4j-1.2-api dari 2.22.1 ke 2.24.3
- org.apache.logging.log4j.log4j-api dari 2.22.1 ke 2.24.3
- org.apache.logging.log4j.log4j-core dari 2.22.1 ke 2.24.3
- org.apache.logging.log4j.log4j-layout-template-json dari 2.22.1 hingga 2.24.3
- org.apache.logging.log4j.log4j-slf4j2-impl dari 2.22.1 ke 2.24.3
- org.apache.orc.orc-core dari 1.9.2-shaded-protobuf ke 2.1.1-shaded-protobuf
- org.apache.orc.orc-mapreduce dari 1.9.2-shaded-protobuf ke 2.1.1-shaded-protobuf
- org.apache.orc.orc-shims dari 1.9.2 hingga 2.1.1
- org.apache.thrift.libthrift dari 0.12.0 ke 0.16.0
- org.apache.ws.xmlschema.xmlschema-core dari 2.3.0 hingga 2.3.1
- org.apache.xbean.xbean-asm9-shaded dari 4.23 hingga 4.26
- org.apache.zookeeper.zookeeper dari 3.9.2 hingga 3.9.3
- org.apache.zookeeper.zookeeper-jute dari 3.9.2 hingga 3.9.3
- org.checkerframework.checker-qual dari 3.31.0 hingga 3.43.0
- org.eclipse.jetty.jetty-client dari 9.4.52.v20230823 hingga 9.4.53.v20231009
- org.eclipse.jetty.jetty-continuation dari 9.4.52.v20230823 menjadi 9.4.53.v20231009
- org.eclipse.jetty.jetty-http dari 9.4.52.v20230823 hingga 9.4.53.v20231009
- org.eclipse.jetty.jetty-io dari 9.4.52.v20230823 menjadi 9.4.53.v20231009
- org.eclipse.jetty.jetty-jndi dari 9.4.52.v20230823 menjadi 9.4.53.v20231009
- org.eclipse.jetty.jetty-plus dari 9.4.52.v20230823 hingga 9.4.53.v20231009
- org.eclipse.jetty.jetty-proxy dari 9.4.52.v20230823 hingga 9.4.53.v20231009
- org.eclipse.jetty.jetty-security dari 9.4.52.v20230823 hingga 9.4.53.v20231009
- org.eclipse.jetty.jetty-server dari 9.4.52.v20230823 hingga 9.4.53.v20231009
- org.eclipse.jetty.jetty-servlet dari 9.4.52.v20230823 menjadi 9.4.53.v20231009
- org.eclipse.jetty.jetty-servlets dari 9.4.52.v20230823 ke 9.4.53.v20231009
- org.eclipse.jetty.jetty-util dari 9.4.52.v20230823 menjadi 9.4.53.v20231009
- org.eclipse.jetty.jetty-util-ajax dari 9.4.52.v20230823 menjadi 9.4.53.v20231009
- org.eclipse.jetty.jetty-webapp dari 9.4.52.v20230823 ke 9.4.53.v20231009
- org.eclipse.jetty.jetty-xml dari 9.4.52.v20230823 hingga 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-api dari 9.4.52.v20230823 hingga 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-client dari 9.4.52.v20230823 hingga 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-common dari 9.4.52.v20230823 hingga 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-server dari 9.4.52.v20230823 ke 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-servlet dari 9.4.52.v20230823 ke 9.4.53.v20231009
- org.glassfish.jersey.containers.jersey-container-servlet dari versi 2.40 hingga 2.41
- org.glassfish.jersey.containers.jersey-container-servlet-core dari 2.40 hingga 2.41
- org.glassfish.jersey.core.jersey-client dari 2.40 hingga 2.41
- org.glassfish.jersey.core.jersey-common dari 2.40 hingga 2.41
- org.glassfish.jersey.core.jersey-server dari 2.40 hingga 2.41
- org.glassfish.jersey.inject.jersey-hk2 dari 2.40 hingga 2.41
- org.hibernate.validator.hibernate-validator dari 6.1.7.Final ke 6.2.5.Final
- org.jboss.logging.jboss-logging dari versi 3.3.2.Final ke versi 3.4.1.Final
- org.objenesis.objenesis dari 2.5.1 ke 3.3
- org.roaringbitmap.RoaringBitmap dari 0.9.45-databricks ke 1.2.1
- org.rocksdb.rocksdbjni dari 9.2.1 hingga 9.8.4
- org.scalatest.scalatest-compatible dari 3.2.16 hingga 3.2.19
- org.slf4j.jcl-over-slf4j dari 2.0.7 hingga 2.0.16
- org.slf4j.jul-to-slf4j dari 2.0.7 hingga 2.0.16
- org.slf4j.slf4j-api dari 2.0.7 hingga 2.0.16
- org.threeten.threeten-extra dari 1.7.1 ke 1.8.0
- org.tukaani.xz dari 1.9 hingga 1.10

Apache Spark

Banyak fiturnya sudah tersedia di Databricks Runtime 14.x, 15.x, dan 16.x, dan sekarang fitur tersebut sudah termasuk secara default di Runtime 17.0.

SPARK-52311 Tentukan ulang output UnionLoop untuk tidak diduplikasi jika output jangkar diduplikasi
SPARK-50104 Mendukung SparkSession.executeCommand di Connect
SPARK-51085 Pulihkan SQLContext Companion
SPARK-49698 Tambahkan anotasi ClassicOnly untuk metode klasik saja.
SPARK-52026 Blokir API panda pada Spark pada mode ANSI secara default
SPARK-43415 Menerapkan KVGDS.agg dengan fungsi kustom mapValues
SPARK-50979 Menghapus implisit .expr/.typedExpr
SPARK-49961 Tanda tangan jenis transformasi yang benar untuk Scala dan Java
SPARK-51012 Hapus SparkStrategy dari Connect Shims.
SPARK-50915 Menambahkan getCondition dan menghentikan getErrorClass penggunaan PySparkException
SPARK-51821 Memanggil fungsi interrupt() tanpa memegang uninterruptibleLock untuk menghindari kemungkinan kebuntuan
SPARK-52192 Pemeriksaan jalur pemuatan MLCache
SPARK-52122 Memperbaiki kerentanan RCE DefaultParamsReader
SPARK-52191 Menghapus deserializer Java pada pemuat jalur lokal model
SPARK-52051 Backport "Aktifkan ringkasan model saat kontrol memori diaktifkan" dan "Perbaiki pesan kesalahan, dan sembunyikan konfigurasi internal Spark" ke Databricks Runtime 17.0.0
SPARK-51391 Perbaikan SparkConnectClient untuk menghormati SPARK_USER dan user.name
SPARK-51416 Menghapus SPARK_CONNECT_MODE saat memulai server Spark Connect
SPARK-51156 Dukungan autentikasi token statis di Spark Connect
SPARK-51279 Hindari tidur konstan untuk menunggu server Spark Connect di Scala
SPARK-51254 Larang penggunaan --master dengan URL Spark Connect
SPARK-51267 Cocokkan logika server Spark Connect lokal antara Python dan Scala
SPARK-51212 Menambahkan paket PySpark terpisah untuk Spark Connect secara default
SPARK-52017 Mengaktifkan beberapa referensi mandiri dan referensi mandiri dari Subkueri di dalam rCTEs
SPARK-52035 Memisahkan LinearRegressionTrainingSummary dan LinearRegressionModel
SPARK-50511 Hindari membungkus pesan kesalahan sumber data Python
SPARK-51974 Membatasi ukuran model dan ukuran cache model per sesi
SPARK-51947 Pemindahan cache model Spark connect
SPARK-49751 Memperbaiki deserialisasi peristiwa SparkListenerConnectServiceStarted
SPARK-47952 Mendukung mengambil alamat dan port SparkConnectService GRPC secara nyata melalui pemrograman saat berjalan di Yarn.
SPARK-47587 Modul Apache Hive: Memigrasikan logWarn dengan variabel ke kerangka kerja pengelogan terstruktur
SPARK-50768 Memperkenalkan TaskContext.createResourceUninterruptibly untuk menghindari kebocoran stream akibat gangguan tugas
SPARK-51818 Memindahkan pembuatan QueryExecution ke AnalyzeHandler dan jangan Jalankan untuk AnalyzePlanRequests
SPARK-51609 Mengoptimalkan eksekusi CTE Rekursif untuk kueri sederhana
SPARK-49748 Menambahkan getCondition dan mendepresiasi getErrorClass di SparkThrowable
SPARK-51867 Membuat model scala yang mendukung metode simpan / muat terhadap jalur sistem file lokal
SPARK-51856 Memperbarui API ukuran model untuk menghitung ukuran DataFrame terdistribusi
SPARK-51941 Perbaiki masalah presisi untuk convertToCatalyst saat Input adalah BigDecimal antara -1.0 dan 1.0
SPARK-50605 Mendukung mode SQL API untuk migrasi yang lebih mudah ke Spark Connect
SPARK-51849 Pemfaktoran ulang ResolveDDLCommandStringTypes
SPARK-51673 Menerapkan kolase default untuk mengubah kueri tampilan
SPARK-51880 Memperbaiki referensi klien Python pada objek cache ML
SPARK-51873 Untuk algoritma OneVsRest, izinkan menggunakan simpan / muat untuk mengganti cache
SPARK-51072 CallerContext untuk mengatur konteks audit cloud Hadoop
SPARK-51790 Mendaftarkan UTF8String ke KryoSerializer
SPARK-51022 Hapus yang tidak digunakan tableSampleClause dalam build() metode MsSqlServerSQLQueryBuilder dan DB2SQLQueryBuilder
SPARK-51219 Memperbaiki ShowTablesExec.isTempView untuk bekerja dengan yang bukan katalogV2SessionCatalog
SPARK-49700 Antarmuka Scala Terpadu untuk Connect dan Classic
SPARK-50458 Penanganan kesalahan yang tepat untuk sistem file yang tidak didukung saat membaca file
SPARK-50666 Petunjuk bantuan untuk membaca dari sumber data JDBC
SPARK-50131 Terapkan kembali "Tambahkan DataFram Subkueri IN..."
SPARK-51899 Menerapkan aturan penanganan kesalahan untuk spark.catalog.listTables()
SPARK-51820 Menangani permasalahan yang tersisa terkait yang baru group/order dengan pendekatan ordinal
SPARK-48585 Buat built-in metode classifyException JdbcDialect membuang original pengecualian
SPARK-48387 Postgres: Petakan TimestampType ke TIMESTAMP DENGAN ZONA WAKTU
SPARK-51820 Pindahkan konstruksi sebelum analisis untuk menghindari masalah dengan pengelompokan berdasarkan ordinal
SPARK-48337 Memperbaiki kehilangan presisi untuk nilai JDBC TIME
SPARK-51711 Menyebarkan sesi Spark jarak jauh aktif ke utas eksekusi baru untuk memperbaiki CrossValidator
SPARK-47515 Simpan TimestampNTZType sebagai DATETIME di MySQL
SPARK-48439 Derby: Menghitung presisi dan skala yang sesuai untuk jenis Desimal
SPARK-51820 Menyiapkan logika redaksi untuk SPARK-51820 codesync
SPARK-48323 DB2: Petakan BooleanType ke BOOLEAN alih-alih CHAR(1)
SPARK-51635 Gabungkan PushProjectionThroughLimit dan PushProjectionThroughOffset
SPARK-48211 DB2: Baca SMALLINT sebagai ShortType
SPARK-51803 Simpan tipe JDBC dari mesin eksternal ke dalam metadata StructField
SPARK-51845 Menambahkan pesan protoCleanCache dan GetCacheInfo
SPARK-49511 Menerapkan aturan pemformatan ke sql/api
SPARK-47968 MsSQLServer: Memetakan datatimeoffset ke TimestampType
SPARK-51726 Gunakan TableInfo untuk Stage CREATE/REPLACE/CREATE OR REPLACE table
SPARK-47967 Membuat JdbcUtils.makeGetter menangani tipe waktu pembacaan sebagai NTZ dengan benar
SPARK-47989 MsSQLServer: Memperbaiki cakupan spark.sql.legacy.mssqlserver.numericMapping.enabled
SPARK-51193 Tingkatkan Netty ke 4.1.118.Final dan netty-tcnative ke 2.0.70.Final
SPARK-47882 createTableColumnTypes perlu dipetakan ke jenis database alih-alih menggunakan langsung
SPARK-47879 Oracle: Gunakan VARCHAR2 alih-alih VARCHAR untuk pemetaan VarcharType
SPARK-51372 Memperkenalkan TableInfo untuk pembuatan tabel
SPARK-47791 Memotong melebihi desimal dengan skala terlebih dahulu alih-alih presisi dari sumber data JDBC
SPARK-51404 Memparsing time(n) tipe sebagai TimeType(n)
SPARK-50350 Avro: tambahkan fungsi schema_of_avro baru (scala sisi)
SPARK-51136 Atur CallerContext untuk Server Riwayat
SPARK-50641 Pindah GetJsonObjectEvaluator ke JsonExpressionEvalUtils
SPARK-50083 Mengintegrasikan _LEGACY_ERROR_TEMP_1231 ke dalam PARTITIONS_NOT_FOUND
SPARK-51556try_to_time Menambahkan fungsi
SPARK-47684 Postgres: Memetakan panjang tipe bpchar yang tidak ditentukan ke StringType
SPARK-48688 Mengembalikan kesalahan yang wajar saat memanggil fungsi SQL to_avro dan from_avro tetapi Avro tidak dimuat secara default
SPARK-49839 SPJ: Lewati pengocokan jika memungkinkan untuk pengurutan
SPARK-45534 Gunakan java.lang.ref.Cleaner alih-alih finalize untuk RemoteBlockPushResolver
SPARK-51816 Menyederhanakan StatFunctions.multipleApproxQuantiles dengan API dataframe
SPARK-49179 Memperbaiki masalah penggabungan internal multi-bucketed v2 yang memicu AssertionError
SPARK-47456 Dukungan untuk codec ORC Brotli
SPARK-51542 Menambahkan tombol gulir untuk menggulir ke bagian atas dan bawah
SPARK-51541 Mendukung jenis data TIME dalam metode Literal
SPARK-51615 Memfaktorkan ulang ShowNamespaces untuk menggunakan RunnableCommand
SPARK-51191 Memvalidasi penanganan nilai default di DELETE, UPDATE, MERGE
SPARK-51829 Sisi klien harus diperbarui client.thread_local.ml_caches setelah penghapusan
SPARK-51358 Memperkenalkan deteksi jeda pengunggahan rekam jepret melalui StateStoreCoordinator
SPARK-51686 Hubungkan ID eksekusi untuk sub-eksekusi pada eksekusi saat ini jika ada
SPARK-51456to_time Menambahkan fungsi
SPARK-51773 Ubah format file menjadi kelas kasus untuk membandingkannya dengan benar
SPARK-51777 Mendaftarkan kelas sql.columnar.* ke KryoSerializer
SPARK-51432 Melemparkan pengecualian yang tepat ketika skema Arrow tidak cocok
SPARK-51395 Memperbaiki penanganan nilai default dalam prosedur
SPARK-50582 Menambahkan fungsi bawaan 'quote'
SPARK-51684 Memperbaiki kegagalan pengujian di test_pandas_transform_with_state
SPARK-51213 Pertahankan info kelas Ekspresi saat menyelesaikan parameter indikasi
SPARK-51651 Hubungkan ID eksekusi utama dengan eksekusi saat ini jika ada
SPARK-50947 Tetapkan kelas kesalahan yang sesuai dan SparkException untuk artefak duplikat
SPARK-51574 Serialisasi filter untuk dorongan filter pada Sumber Data di Python
SPARK-51608 Mencatat pengecualian saat penghentian runner Python
SPARK-51266 Menghapus definisi yang tidak digunakan private[spark] object TaskDetailsClassNames
SPARK-51011 Menambahkan pengelogan untuk apakah tugas akan terganggu saat dimatikan
SPARK-49646 Menambahkan konfigurasi Spark untuk memperbaiki dekorelasi subkueri
SPARK-51107 Memperbarui CommandBuilderUtils#join untuk menggunakan kembali kode dan mengurangi redundansi
SPARK-51758 Memperbaiki kasus pengujian yang terkait dengan batch tambahan yang menyebabkan df kosong karena marka air
SPARK-51664 Mendukung jenis data TIME dalam ekspresi Hash
SPARK-51819 Memperbarui modul pengujian pyspark-errors untuk menyertakan pengujian yang hilang
SPARK-50751 Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_1305
SPARK-50973 Membersihkan penggunaan api yang sudah usang terkait dengan avro.Schema#toString(boolean)
SPARK-50908 Nonaktifkan pengujian TTL flaky di test_pandas_transform_with_state.py
SPARK-50811 Dukungan mengaktifkan profiler JVM pada driver
SPARK-50808 Memperbaiki isu dalam writeAll dengan tipe data campuran yang tidak ditulis dengan benar
SPARK-51780 Mengimplementasikan Prosedur Deskripsi
SPARK-50370 Dukungan Codegen untuk json_tuple
SPARK-50756 Menggunakan kelas kesalahan untuk pengecualian di SparkConf.validateSettings
SPARK-50805 Pindahkan metode nameForAppAndAttempt ke o.a.s.u.Utils
SPARK-51812 Menghapus parameter redundan dari beberapa metode di QueryExecution
SPARK-50819 Pengubahan modul profiler Spark
SPARK-51547 Tetapkan nama ke kondisi kesalahan: _LEGACY_ERROR_TEMP_2130
SPARK-48538 Hindari kebocoran memori HMS yang disebabkan oleh bonecp
SPARK-51176 Mencapai konsistensi untuk kesalahan tak terduga PySpark Connect <> Classic
SPARK-50773 Nonaktifkan pengelogan terstruktur secara default
SPARK-50616 Tambahkan Opsi Ekstensi File ke CSV DataSource Writer
SPARK-50624 Menambahkan TimestampNTZType ke ColumnarRow/MutableColumnarRow
SPARK-51590 Menonaktifkan TIME di sumber data berbasis file bawaan
SPARK-49886 Uji kegagalan tingkat kueri untuk format rocksDB V2
SPARK-50823 Meningkatkan cloudpickle dari 3.1.0 ke 3.1.1
SPARK-50780 Gunakan overrideStdFeatures alih-alih setFeatureMask di JacksonParser
SPARK-50621 Tingkatkan Cloudpickle ke 3.1.0
SPARK-50719 Dukungan interruptOperation untuk PySpark
SPARK-50545AccessControlException harus dilemparkan bahkan jika ignoreCorruptFiles diaktifkan
SPARK-51517 Mendukung jenis data TIME dalam hasil Hive
SPARK-47856 Pemetaan Dokumen Tipe Data Spark SQL dari Oracle dan tambahkan pengujian
SPARK-46066 Gunakan API Pemisah alih-alih STRING API untuk membangun DefaultPrettyPrinter
SPARK-50718 Dukungan addArtifact(s) untuk PySpark
SPARK-51497 Menambahkan pemformat waktu default
SPARK-51488 Mendukung kata kunci TIME sebagai jenis data
SPARK-51273 Prosedur Panggilan Spark Connect menjalankan prosedur dua kali
SPARK-51092 Lewati pengujian FlatMapGroupsWithState v1 yang memiliki batas waktu pada platform big endian
SPARK-50606 Perbaiki NPE pada SessionHolder yang belum diinisiasi
SPARK-49530 Mendukung subplot diagram lingkaran dalam plot pyspark
SPARK-50357 Mendukung Interupsi API (Tag|Semua) untuk PySpark
SPARK-51290 Mengaktifkan pengisian nilai default dalam penulisan DSv2
SPARK-50485 Menangani SparkThrowable dalam (Unchecked)ExecutionException yang dilemparkan oleh tableRelationCache
SPARK-51513 Memperbaiki aturan RewriteMergeIntoTable menghasilkan rencana yang tidak terselesaikan
SPARK-51482 Dukungan konversi dari string ke waktu
SPARK-51462 Mendukung literal yang ditik dari jenis data TIME
SPARK-51454 Dukungan konversi dari tipe data waktu ke string
SPARK-51447 Tambahkan stringToTime dan stringToTimeAnsi
SPARK-51775 Menormalkan LogicalRelation dan HiveTableRelation oleh NormalizePlan
SPARK-51791ImputerModel menyimpan koefisien dengan array alih-alih dataframe
SPARK-51442 Menambahkan pemformat waktu
SPARK-51384 Mendukung java.time.LocalTime sebagai tipe eksternal dari TimeType
SPARK-51747 Rencana cache sumber data harus menghormati opsi
SPARK-51774 Menambahkan kode Status GRPC ke Pengecualian GRPC Python Connect
SPARK-51660 Menangani dengan baik ketika MDC tidak didukung
SPARK-51296 Mendukung pengumpulan data yang rusak dalam mode singleVariantColumn.
SPARK-45907 Menggunakan API ProcessHandle Java9+ untuk computeProcessTree di ProcfsMetricsGetter
SPARK-51342 Tambah TimeType
SPARK-51769 Menambahkan maxRecordsPerOutputBatch untuk membatasi jumlah rekaman batch output Arrow
SPARK-51350 Menerapkan Prosedur Peragaan
SPARK-51711 Kebijakan pengeluaran MLCache berbasis memori
SPARK-51178 Munculkan kesalahan PySpark yang tepat alih-alih SparkConnectGrpcException
SPARK-51738 Subkueri IN dengan tipe struktur
SPARK-51714 Tambahkan uji Kegagalan Penyerapan untuk menguji format titik pemeriksaan penyimpanan status V2
SPARK-51704 Menghilangkan operasi pengumpulan yang tidak perlu
SPARK-51512 Menyaring MapStatus kosong saat membersihkan data shuffle dengan ExternalShuffleService
SPARK-49308 Menyediakan Dukungan untuk UserDefinedAggregateFunction di Klien Spark Connect Scala
SPARK-50091 Mengatasi kasus agregat dalam operand sebelah kiri subkueri IN
SPARK-50265 Dukungan untuk spark.udf.registerJavaUdf di Connect
SPARK-49273 Dukungan asal untuk klien Spark Connect Scala
SPARK-51187 Menerapkan penghentian bertahap konfigurasi yang salah yang diperkenalkan di SPARK-49699
SPARK-51650 Mendukung penghapusan objek cache ml dalam batch
SPARK-51619 Mendukung input/output UDT dalam UDF Python yang dioptimalkan dengan Arrow
SPARK-51333 Unwrap InvocationTargetException dilemparkan ke dalam MLUtils.loadOperator
SPARK-51566 Peningkatan jejak balik UDF Python
SPARK-51393 Kembali menggunakan UDF Python reguler ketika Arrow tidak ditemukan tetapi UDF Python yang dioptimalkan dengan Arrow diaktifkan
SPARK-49960 Dukungan ExpressionEncoder Kustom dan perbaikan TransformingEncoder
SPARK-51380 Tambahkan visitSQLFunction dan visitAggregateFunction untuk meningkatkan fleksibilitas V2ExpressionSQLBuilder
SPARK-51600 Menambahkan kelas ke depan dari sql/hive dan sql/hive-thriftserver ketika isTesting || isTestingSql benar
SPARK-51070 Gunakan scala.collection.Set alih-alih Atur di ValidateExternalType
SPARK-50759 Menghentikan beberapa API Katalog warisan
SPARK-50994 Melakukan konversi RDD dalam eksekusi yang terlacak
SPARK-51466 Menghilangkan inisialisasi UDF bawaan Hive pada evaluasi UDF di Apache Hive.
SPARK-51491 Menyederhanakan boxplot dengan API subkueri
SPARK-51175 Buat Master menunjukkan waktu yang sudah berlalu ketika menghapus driver
SPARK-50334 Mengekstrak logika umum untuk membaca deskriptor file PB
SPARK-50483 BlockMissingException harus dilemparkan bahkan jika ignoreCorruptFiles diaktifkan
SPARK-50286 Menyebarkan opsi SQL dengan benar ke WriteBuilder
SPARK-51023 Mencatat alamat jarak jauh pada pengecualian RPC
SPARK-47611 Membersihkan kode mati di MySQLDialect.getCatalystType
SPARK-49229 Menghapus duplikasi penanganan Scala UDF dalam perencanaan SparkConnect
SPARK-50557 Mendukung RuntimeConfig.contains(..) di Antarmuka Scala SQL
SPARK-51471 RatePerMicroBatchStream - mengklasifikasikan kesalahan ASSERT ketika offset/tanda waktu di startOffset lebih besar dari endOffset
SPARK-50473 Menyederhanakan penanganan Kolom klasik
SPARK-49286 Memindahkan fungsi Avro/Protobuf ke sql/api
SPARK-49087 Membedakan UnresolvedFunction yang memanggil fungsi internal
SPARK-50422 Menjadikan Parameterized SQL queries dari SparkSession.sql API GA
SPARK-49249 PR Pendamping untuk "Menambahkan konfigurasi baru manajer artefak default di PySpark ke dalam daftar yang diizinkan"
SPARK-50366 Mengisolasi tag yang ditentukan pengguna pada tingkat utas untuk SparkSession dalam mode Klasik
SPARK-49436 Antarmuka umum untuk SQLContext
SPARK-51551 Untuk algoritma penyetelan, izinkan penggunaan simpan/muat untuk mengganti cache
SPARK-51599 Optimalkan ps.read_excel untuk file excel besar
SPARK-51118 Perbaiki ExtractPythonUDFs untuk memeriksa tipe input UDF yang berantai untuk digunakan sebagai fallback
SPARK-50395 Memperbaiki sintaks URI yang salah bentuk di Windows
SPARK-50708 Menghapus sumber daya Artefak pada GC ArtifactManager instans
SPARK-51076 Fallback UDF Python Arrow untuk tipe input dan output UDT
SPARK-50243 Classloader cache untuk ArtifactManager
SPARK-49249 Isolasi artefak di Spark Classic
SPARK-50821 Tingkatkan Py4J dari 0.10.9.8 ke 0.10.9.9
SPARK-51591 Memperbaiki kegagalan ThreadPoolExecutor dalam pengujian harian python 3.13
SPARK-40353 Memperbaiki ketidakcocokan indeks yang dapat bernilai null di ps.read_excel
SPARK-42746 Menerapkan fungsi LISTAGG
SPARK-50102 Tambahkan shim yang diperlukan untuk metode SQL publik yang hilang.
SPARK-50513 Pisahkan EncoderImplicits dari SQLImplicits dan berikan objek pembantu dalam StatefulProcessor
SPARK-51567 Perbaiki DistributedLDAModel.vocabSize
SPARK-49569 Menambahkan shim untuk mendukung SparkContext dan RDD
SPARK-51473 Kerangka data yang diubah ML menyimpan referensi ke model
SPARK-51340 Estimasi ukuran model
SPARK-51474 Jangan sisipkan ColumnarToRowExec yang tidak diperlukan untuk simpul yang mendukung output kolom dan baris.
SPARK-51445 Ubah yang belum pernah diubah var menjadi val
SPARK-50618 Membuat DataFrameReader dan DataStreamReader memanfaatkan penganalisis lebih banyak
SPARK-51097 Memperkenalkan kembali metrik instans versi rekam jepret terakhir penyimpanan status RocksDB yang diunggah
SPARK-49418 Utas Sesi Bersama Lokal
SPARK-50096 Tetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2150: TUPLE_SIZE_EXCEEDS_LIMIT
SPARK-50264 Menambahkan metode yang hilang ke DataStreamWriter
SPARK-49434 Memindahkan agregator ke sql/api
SPARK-51451 Perbaiki ExtractGenerator untuk menunggu UnresolvedStarWithColumns diselesaikan
SPARK-49416 Menambahkan antarmuka Shared DataStreamReader
SPARK-49429 Menambahkan antarmuka Shared DataStreamWriter
SPARK-49282 Buat antarmuka SparkSessionBuilder bersama.
SPARK-49415 Pindahkan SQLImplicits ke sql/api
SPARK-51443 Perbaiki singleVariantColumn di DSv2 dan readStream.
SPARK-49369 Menambahkan konversi Kolom implisit
SPARK-49417 Menambahkan antarmuka Shared StreamingQueryManager
SPARK-51079 Mendukung tipe variabel besar dalam Pandas UDF, createDataFrame, dan toPandas dengan Arrow
SPARK-51277 Menerapkan implementasi tanpa argumen pada Python UDF yang dioptimalkan menggunakan Arrow
SPARK-50601 Dukungan dengan withColumns / withColumnsRenamed dalam subkueri
SPARK-49479 Batalkan utas non-daemon Timer saat menghentikan BarrierCoordinator
SPARK-51379 Memindahkan agregasi akhir treeAggregate dari driver ke eksekutor
SPARK-49712 Menghapus encoderFor dari connect-client-jvm
SPARK-49424 Mengonsolidasikan Encoders.scala
SPARK-49574 Menonaktifkan tes berbagi delta yang mengalami kerusakan di master
SPARK-51409 Menambahkan klasifikasi kesalahan di jalur pembuatan penulis changelog
SPARK-49568 Menghapus self type dari Dataset
SPARK-51433 Mengubah skrip rilis untuk merilis pyspark-client
SPARK-51422 Menghilangkan pertukaran data JVM-Python di CrossValidator
SPARK-51425 Menambahkan API klien untuk mengatur kustom operation_id
SPARK-49284 Membuat antarmuka Katalog bersama
SPARK-50855 Dukungan Spark Connect untuk TransformWithState di Scala
SPARK-50694 Mendukung penggantian nama dalam subkueri
SPARK-50880 Menambahkan metode visitBinaryComparison baru ke V2ExpressionSQLBuilder
SPARK-51282 Mengoptimalkan transformasi OneVsRestModel dengan menghilangkan pertukaran data JVM-Python
SPARK-51079 Mendukung tipe variabel besar dalam Pandas UDF, createDataFrame, dan toPandas dengan Arrow
SPARK-51383 Hindari melakukan panggilan RPC jika klien sudah diketahui telah berhenti
SPARK-51227 Perbaiki PySpark Connect _minimum_grpc_version ke 1.67.0
SPARK-51362 Ubah keJSON untuk menggunakan NextIterator API untuk menghilangkan dependensi rekaman yang berdekatan
SPARK-51375 Menyembunyikan SparkConnect(Execution|Session)Manager.periodicMaintenance pesan log
SPARK-50393 Memperkenalkan TableArg umum untuk Spark Classic dan Spark Connect
SPARK-50133 Mendukung konversi DataFrame menjadi argumen tabel di Klien Spark Connect Python
SPARK-49574 ExpressionEncoder melacak AgnosticEncoder yang membuatnya
SPARK-49422 Menambahkan groupByKey ke sql/api
SPARK-51381 Perlihatkan Session ID di Spark Connect Session halaman
SPARK-51316 Izinkan batch Arrow dalam byte, bukan jumlah baris
SPARK-50134 Mendukung API DataFrame untuk subkueri SCALAR dan EXISTS di Spark Connect
SPARK-50392 Konversi DataFrame ke argumen tabel di Spark Classic
SPARK-50553 Lempar InvalidPlanInput untuk pesan paket yang tidak valid
SPARK-51322 Pesan kesalahan yang lebih baik untuk ekspresi subkueri streaming
SPARK-51281 DataFrameWriterV2 harus menghormati opsi jalur
SPARK-50856 Dukungan Spark Connect untuk TransformWithStateInPandas Di Python
SPARK-51333 Membuka yang dilemparkan oleh InvocationTargetException
SPARK-50134 Mendukung DataFrame API untuk Gabung Lateral di Spark Connect
SPARK-51083 Ubah JavaUtils agar tidak menelan InterruptedExceptions
SPARK-49413 Membuat antarmuka RuntimeConfig bersama (tindak lanjut)
SPARK-49413 Membuat antarmuka RuntimeConfig bersama
SPARK-50993 Memindahkan nullDataSourceOption dari QueryCompilationErrors ke QueryExecutionErrors
SPARK-51329 Tambahkan numFeatures untuk model pengklusteran
SPARK-51305 Memperbaiki SparkConnectPlanExecution.createObservedMetricsResponse
SPARK-51097 Menambahkan metrik instans penyimpanan status untuk versi rekam jepret terakhir yang diunggah di RocksDB
SPARK-49425 Membuat DataFrameWriter terbagi
SPARK-50655 Pindahkan pemetaan terkait keluarga kolom virtual ke lapisan basis data daripada encoder
SPARK-48530 Dukungan untuk variabel lokal dalam SQL Scripting
SPARK-51284 Memperbaiki eksekusi Skrip SQL untuk hasil kosong
SPARK-49085 Menghapus casing khusus untuk fungsi Protobuf di Connect
SPARK-50881 Gunakan skema cache jika memungkinkan dalam menyambungkan dataframe.py
SPARK-51275 Penyebaran sesi dalam Python readwrite
SPARK-51109 CTE dalam ekspresi subkueri sebagai kolom pengelompokan
SPARK-50598 Tambahkan parameter untuk memungkinkan implementasi CTE rekursif di kemudian hari
SPARK-51202 Memasukkan sesi pada penulis algoritma meta python
SPARK-51215 Menambahkan fungsi pembantu untuk memanggil atribut model pembantu
SPARK-51214 Jangan terburu-buru menghapus model yang di-cache untuk fit_transform
SPARK-51237 Menambahkan detail API untuk API pembantu transformWithState baru
SPARK-51192 Mengekspos processWithoutResponseObserverForTesting dalam SparkConnectPlanner
SPARK-51217 Pembersihan pembantu konstruktor model ML
SPARK-51218 Hindari penggunaan map/flatMap dalam NondeterministicExpressionCollection
SPARK-50953 Menambahkan dukungan untuk jalur non-literal di VariantGet
SPARK-50132 Menambahkan DATAFrame API untuk Gabungan Lateral
SPARK-51190 Memperbaiki TreeEnsembleModel.treeWeights
SPARK-50945 Dukung Summarizer dan SummaryBuilder di Connect
SPARK-51142 Pembersihan ML protobufs
SPARK-51139 Menyempurnakan kelas kesalahan MLAttributeNotAllowedException
SPARK-51080 Perbaiki simpan/muat untuk PowerIterationClustering
SPARK-51100 Ganti pembungkus transformator dengan hubungan atribut model pembantu
SPARK-51091 Perbaiki param default StopWordsRemover
SPARK-51089 Dukungan VectorIndexerModel.categoryMaps saat menyambungkan
Dukungan untuk menimpa jalur model sisi klien pada algoritma meta
SPARK-50975 Dukungan CountVectorizerModel.from_vocabulary saat menyambungkan
SPARK-50958 Dukungan Word2VecModel.findSynonymsArray saat menyambungkan
SPARK-50930 Dukungan PowerIterationClustering di Connect
SPARK-51157 Menambahkan anotasi Scala yang hilang @varargs untuk API fungsi Scala
SPARK-51155 Buat SparkContext perlihatkan total runtime setelah berhenti
SPARK-51143 Sematkan plotly<6.0.0 dan torch<2.6.0
SPARK-50949 Memperkenalkan model pembantu untuk didukung StringIndexModel.from_labels_xxx
SPARK-51131 Lempar pengecualian saat Skrip SQL ditemukan di dalam EXECUTE IMMEDIATE perintah
SPARK-51078 Perbaiki panggilan py4j di StopWordsRemover
SPARK-50944 Dukungan KolmogorovSmirnovTest di Connect
SPARK-50602 Perbaiki transpose untuk menampilkan pesan kesalahan yang tepat ketika kolom indeks yang tidak valid ditentukan
SPARK-50943 Dukungan Correlation di Connect
SPARK-50234 Meningkatkan pesan kesalahan dan menguji untuk mentransposisikan DataFrame API
SPARK-50942 Dukungan ChiSquareTest di Connect
SPARK-48353 Pengenalan mekanisme Penanganan Pengecualian dalam SQL Scripting
SPARK-51043 Pencatatan pengguna yang rinci untuk Spark Connect foreachBatch
SPARK-50799 Menyempurnakan docstring rlike, length, octet_length, bit_length, dan transformasi
SPARK-51015 Mendukung RFormulaModel.toString pada Connect
SPARK-50843 Dukungan mengembalikan model baru dari model yang sudah ada
SPARK-50969 Perbaiki GaussianMixtureModel.gaussians saat menyambungkan
SPARK-50899 Mendukung PrefixSpan saat menyambungkan
SPARK-51060 Dukungan QuantileDiscretizer di Connect
SPARK-50974 Menambahkan dukungan foldCol untuk CrossValidator saat menyambungkan
SPARK-50922 Mendukung OneVsRest di Connect
SPARK-50812 Menambahkan dukungan PolynomialExpansion
SPARK-50923 Mendukung FMClassifier dan FMRegressor di Connect
SPARK-50918 Refaktor baca/tulis untuk Pipeline
SPARK-50938 Mendukung VectorSizeHint dan VectorSlicer di Connect
SPARK-51005 Mendukung VectorIndexer dan ElementwiseProduct di Connect
SPARK-51014 Mendukung RFormula saat menyambungkan
SPARK-50941 Menambahkan dukungan untuk TrainValidationSplit
SPARK-51004 Menambahkan dukungan untuk IndexString
SPARK-51003 Dukungan untuk model LSH di Connect
SPARK-50924 Mendukung AFTSurvivalRegression dan IsotonicRegression di Connect
SPARK-50921 Dukungan untuk MultilayerPerceptronClassifier di Connect
SPARK-50995 Dukungan clusterCenters untuk KMeans dan BisectingKMeans
SPARK-50940 Menambahkan dukungan CrossValidator/CrossValidatorModel saat menyambungkan
SPARK-50929 Dukungan LDA di Connect
SPARK-50925 Dukungan untuk Regresi Linear Terumumkan di Connect
SPARK-50988 Memperbaiki inkonsistensi uid untuk estimator dan model
SPARK-50989 Mendukung NGram, Normalizer, dan Interaksi saat tersambung
SPARK-50937 Dukungan Imputer di Connect
SPARK-51049 Menaikkan Ambang Batas Vektor I/O S3A untuk Penggabungan Rentang
SPARK-50812 Mendukung TargetEncoderModel pada Connect
SPARK-50920 Mendukung NaiveBayes untuk Connect
SPARK-50936 Mendukung HashingTF, IDF, dan FeatureHasher saat tersambung
SPARK-50934 Mendukung CountVectorizer dan OneHotEncoder di Connect
SPARK-49287 Memindahkan kelas streaming ke sql/api
SPARK-50932 Dukungan Bucketizer di Connect
SPARK-50933 Dukungan pada Feature Selectors di Connect
SPARK-50931 Mendukung Binarizer saat tersambung
SPARK-50935 Mendukung DCT saat tersambung
SPARK-50963 Mendukung Tokenizer, SQLTransform dan StopWordsRemover di Connect
SPARK-50928 Mendukung GaussianMixture di Connect
SPARK-49383 Mendukung Transpose DataFrame API
SPARK-50939 Mendukung Word2Vec di Connect
SPARK-49249 Menambahkan API terkait tag baru di Connect ke Spark Core
SPARK-50919 Mendukung LinearSVC saat tersambung
SPARK-50883 Dukungan mengubah beberapa kolom dalam perintah yang sama
SPARK-50918 Mendukung Alur saat menyambungkan
SPARK-50826 Refaktor proses penanganan ALLOWED_ATTRIBUTES
SPARK-49427 Membuat antarmuka bersama untuk MergeIntoWriter
SPARK-49414 Menambahkan antarmuka Shared DataFrameReader
SPARK-50948 Menambahkan dukungan untuk StringIndexer/PCA di Connect
SPARK-50901 Dukungan Transformer VectorAssembler
SPARK-50879 Mendukung pengukur penskalaan fitur di Connect
SPARK-50130 Menambahkan API DataFrame untuk skalar dan subkueri yang ada
SPARK-50075 Menambahkan API DataFrame untuk fungsi bernilai tabel
SPARK-49426 Membuat antarmuka bersama untuk DataFrameWriterV2
SPARK-50898 Dukungan FPGrowth saat menyambungkan
SPARK-50844 Buat model dimuat oleh ServiceLoader ketika proses pemuatan
SPARK-50884 Dukungan untuk fitur isLargerBetter di Evaluator
SPARK-50959 Mengabaikan pengecualian JavaWrapper
SPARK-50558 Memperkenalkan simpleString untuk ExpressionSet
SPARK-49422 Membuat antarmuka bersama untuk KeyValueGroupedDataset
SPARK-50878 Mendukung ALS di Connect
SPARK-50897 Menghindari pembuatan instans di ServiceLoader
SPARK-50877 Mendukung KMeans & BisectingKMeans dalam Connect
SPARK-50876 Mendukung Regresi Pohon di Connect
SPARK-50874 Dukungan LinearRegression saat menyambungkan
SPARK-50869 Mendukung evaluator pada ML Connect
SPARK-50851 Parameter ML Ekspresif dengan proto.Expression.Literal
SPARK-50825 Mendukung Pengklasifikasi Pohon di ML Connect
SPARK-50827 Plugin dukungan
SPARK-49907 Dukungan spark.ml pada Connect
SPARK-50968 Memperbaiki penggunaan Column.__new__
SPARK-49028 Membuat SparkSession bersama
SPARK-49421 Membuat antarmuka RelationalGroupedDataset yang dibagikan bersama
SPARK-50804 to_protobuf() tidak boleh melempar MatchError
SPARK-50900 Menambahkan VectorUDT dan MatrixUDT ke ProtoDataTypes
SPARK-50579 Perbaiki truncatedString
SPARK-50875 Menambahkan kolatasi RTRIM ke TVF
SPARK-49420 Menambahkan antarmuka bersama untuk DataFrameNaFunctions
SPARK-50669 Mengubah tanda tangan ekspresi TimestampAdd
SPARK-46615 Dukungan s.c.immutable.ArraySeq di ArrowDeserializers
SPARK-49423 Mengonsolidasikan Observasi dalam sql/api
SPARK-49086 Memindahkan pendaftaran fungsi ML ke SparkSessionExtensions
SPARK-49419 Menciptakan DataFrameStatFunctions bersama
SPARK-50735 Kegagalan dalam ExecuteResponseObserver menghasilkan permintaan pemasangan ulang tak terbatas
SPARK-50522 Dukungan untuk kolaterasi yang tidak ditentukan
SPARK-50893 Tandai UDT.DataType opsional
SPARK-50685 Meningkatkan performa Py4J dengan memanfaatkan getattr
SPARK-50742 Hapus spark.hadoop.fs.s3a.connection.establish.timeout pengaturan
SPARK-50714 Mengaktifkan evolusi skema untuk TransformWithState ketika pengodean Avro digunakan
SPARK-49029 Membuat antarmuka Himpunan Data bersama
SPARK-50263 Ganti System.currentTimeMillis dengan System.nanoTime
SPARK-50525 Tentukan Aturan Pengoptimal InsertMapSortInRepartitionExpressions
SPARK-50561 Meningkatkan koersi jenis dan pemeriksaan batas untuk fungsi UNIFORM SQL
SPARK-50707 Mengaktifkan konversi ke/dari char/varchar
SPARK-49027 Bagikan COLUMN API antara Class dan Connect
SPARK-49632 Hapus saran konfigurasi ANSI di CANNOT_PARSE_TIMESTAMP
SPARK-50529 Mengubah perilaku char/varchar di bawah konfigurasi
SPARK-50600 Set yang dianalisis saat analisis gagal
SPARK-50789 Input untuk agregasi yang ditik harus dianalisis
SPARK-49025 Membuat implementasi Kolom yang agnostik
SPARK-50738 Tingkatkan hitam ke 23.12.1
SPARK-49883 Integrasi State Store Checkpoint Structure V2 dengan RocksDB
SPARK-50778 Menambahkan metadataColumn ke PySpark DataFrame
SPARK-49565 Meningkatkan alias ekspresi yang dihasilkan otomatis dengan operator SQL pipa
SPARK-50772 Pertahankan alias tabel setelah SET, operator EXTEND, DROP
SPARK-50690 Memperbaiki perbedaan dalam DESCRIBE TABLE melihat kutipan output kueri
SPARK-50675 Dukungan kolatasi tingkat tabel dan tampilan
SPARK-50480 Memperluas CharType dan VarcharType menjadi bagian dari StringType
SPARK-50715SparkSession.Builder mengatur konfigurasi dalam batch
SPARK-50693 Input untuk TypedScalaUdf harus dianalisis
SPARK-50710 Menambahkan dukungan untuk koneksi ulang klien opsional ke sesi setelah rilis
SPARK-50596 Tingkatkan Py4J dari 0.10.9.7 ke 0.10.9.8
SPARK-50661 Tambahkan kompatibilitas mundur untuk klien FEB lama.
SPARK-50515 Menambahkan antarmuka baca-saja ke SparkConf
SPARK-50642 Perbaiki skema status untuk FlatMapGroupsWithState di spark connect ketika tidak ada status awal
SPARK-50702 Menyempurnakan docstring regexp_count, regexp_extract, dan regexp_extract_all
SPARK-50692 Menambahkan dukungan pushdown RPAD
SPARK-50699 Mengurai dan menghasilkan string DDL dengan sesi tertentu
SPARK-50573 Menambahkan ID Skema Status ke Baris Status untuk evolusi skema
SPARK-50311 Dukungan API (add|remove|get|clear)Tag(s) untuk PySpark
SPARK-50661 Perbaiki implementasi Spark Connect Scala foreachBatch. untuk mendukung Himpunan Data[T].
SPARK-50696 Mengoptimalkan panggilan Py4J untuk metode penguraian DDL
SPARK-50687 Optimalkan logika untuk mendapatkan stack trace untuk DataFrameQueryContext
SPARK-50681 Cache skema yang diurai untuk MapInXXX dan ApplyInXXX
SPARK-50578 Menambahkan dukungan untuk versi baru metadata status untuk TransformWithStateInPandas
SPARK-50405 Menangani koersi jenis kolase tipe data kompleks dengan benar
SPARK-50615 Masukkan varian ke dalam pemindaian.
SPARK-50599 Membuat DataEncoder trait yang memungkinkan enkoding Avro dan UnsafeRow
SPARK-50076 Memperbaiki logkeys
SPARK-50339 Mengaktifkan changelog untuk menyimpan informasi silsilah data
SPARK-50540 Memperbaiki skema string untuk StatefulProcessorHandle
SPARK-50544 Implementasi StructType.toDDL
SPARK-50528 Pindah InvalidCommandInput ke modul umum
SPARK-50063 Menambahkan dukungan untuk Varian di klien Spark Connect Scala
SPARK-50310 Menambahkan bendera untuk menonaktifkan DataFrameQueryContext for PySpark
SPARK-50310 Menambahkan bendera untuk menonaktifkan DataFrameQueryContext for PySpark
SPARK-50032 Izinkan penggunaan nama pengurutan yang sepenuhnya memenuhi syarat
SPARK-50466 Memperbaiki docstring untuk fungsi string - bagian 1
SPARK-49676 Menambahkan Dukungan untuk Penautan Operator dalam TRANSFORMWithStateInPandas API
SPARK-50081 Dukungan Codegen untuk XPath*(dengan Invoke & RuntimeReplaceable)
SPARK-46725 Menambahkan fungsi DAYNAME
SPARK-50067 Dukungan Codegen untuk SchemaOfCsv (dengan Invoke & RuntimeReplaceable)
SPARK-49873 memperbaiki kegagalan pasca penggabungan pada pengujian kesalahan
SPARK-50270 Menambahkan metrik status kustom untuk TransformWithStateInPandas
SPARK-50381 Dukung spark.master.rest.maxThreads
SPARK-50427 Mengekspos configure_logging sebagai API publik
SPARK-50173 Membuat ekspresi pandas menerima lebih banyak jenis data
SPARK-50169 Meningkatkan performa RegExpReplace
SPARK-50238 Menambahkan Dukungan Varian di PySpark UDFs/UDTFs/UDAF dan Python UC UDFs
SPARK-50190 Menghapus dependensi langsung Numpy dari Histogram
SPARK-50183 Menyatukan fungsi internal untuk Pandas API dan PySpark Plotting
SPARK-50170 Pindah _invoke_internal_function_over_columns ke pyspark.sql.utils
SPARK-50036 Sertakan SPARK_LOG_SCHEMA dalam konteks shell REPL
SPARK-50141 Membuat lpad dan rpad menerima argumen Jenis kolom
SPARK-49954 Dukungan Codegen untuk SchemaOfJson (oleh Invoke & RuntimeReplaceable)
SPARK-50098 Tingkatkan versi googleapis-common-protos minimum menjadi 1.65.0
SPARK-50059 Pemeriksaan kompatibilitas API untuk I/O Streaming Terstruktur
SPARK-50241 Gantikan NullIntolerant Mixin dengan metode Expression.nullIntolerant
SPARK-49849 Pemeriksaan kompatibilitas API untuk Manajemen Kueri Streaming Terstruktur
SPARK-49851 Pemeriksaan kompatibilitas API untuk Protobuf
SPARK-49850 Pemeriksaan kompatibilitas API untuk Avro
SPARK-50039 Pemeriksaan kompatibilitas API untuk Pengelompokan
SPARK-50023 Pemeriksaan kompatibilitas API untuk Functions
SPARK-50030 Pemeriksaan kompatibilitas API untuk Jendela
SPARK-50002 Pemeriksaan kompatibilitas API untuk I/O
SPARK-49848 Pemeriksaan kompatibilitas API untuk Katalog
SPARK-50022 Memperbaiki MasterPage untuk menyembunyikan tautan Antarmuka Pengguna Aplikasi saat UI dinonaktifkan
SPARK-50021 Memperbaiki ApplicationPage untuk menyembunyikan tautan Antarmuka Pengguna Aplikasi saat UI dinonaktifkan
SPARK-49990 Meningkatkan performa randStr
SPARK-50380 ReorderAssociativeOperator harus menghormati kontrak pada ConstantFolding
SPARK-50330 Menambahkan petunjuk ke simpul Urutkan dan Jendela
SPARK-49609 Menambahkan pemeriksaan kompatibilitas API antara Classic dan Connect
SPARK-49773 Pengecualian Java yang tidak tertangkap dari make_timestamp() dengan zona waktu tidak valid
SPARK-49345 Pastikan menggunakan Sesi Spark yang sedang berjalan saat ini
SPARK-49368 Hindari mengakses kelas lite protobuf secara langsung
SPARK-50056 Dukungan Codegen untuk ParseUrl (menggunakan Invoke & RuntimeReplaceable)
SPARK-49119 Memperbaiki inkonsistensi sintaks show columns antara v1 dan v2
SPARK-50144 Mengatasi batasan perhitungan metrik dengan sumber streaming DSv1
SPARK-49962 Menyederhanakan hierarki kelas AbstractStringTypes
SPARK-50327 Memisahkan resolusi fungsi agar dapat digunakan kembali dalam Analisator satu-lintasan
SPARK-48775 Ganti SQLContext dengan SparkSession di STS
SPARK-50325 Memperhitungkan resolusi alias untuk digunakan kembali dalam Penganalisis akses menyeluruh
SPARK-48123 Menyediakan skema tabel konstan untuk mengkueri log terstruktur
SPARK-50055 Tambahkan alternatif TryMakeInterval
SPARK-49312 Meningkatkan pesan kesalahan untuk assertSchemaEqual
SPARK-38912 Menghapus komentar yang terkait dengan classmethod dan properti
SPARK-50112 Mengizinkan operator TransformWithState menggunakan pengodean Avro
SPARK-50260 Refaktor dan optimalkan eksekusi Spark Connect dan manajemen sesi
SPARK-50196 Memperbaiki konteks kesalahan Python untuk menggunakan konteks yang tepat
SPARK-50167 Meningkatkan PySpark memplot pesan kesalahan dan impor
SPARK-50085 Buat lit(ndarray) dengan np.int8 menghormati jenis data numpy
SPARK-50273 Meningkatkan pencatatan untuk kasus pengambilan/pembebasan kunci pada RocksDB
SPARK-50163 Memperbaiki pelepasan acquireLock tambahan RocksDB akibat listener completion.
SPARK-49770 Tingkatkan manajemen pemetaan file RocksDB SST, dan perbaiki masalah dengan memuat ulang versi yang sama dengan rekam jepret yang ada
SPARK-50232 Tambahkan 'protobuf==5.28.3' di dev/requirements.txt
SPARK-50231 Buat fungsi instr menerima Kolom substring
SPARK-50028 Ganti kunci global di pendengar server Spark Connect dengan kunci halus
SPARK-50077 Memperkenalkan objek pola baru untuk LogicalRelation untuk membantu menghindari pola param penuh default
SPARK-50128 Menambahkan API penanganan prosesor stateful menggunakan encoder implisit di Scala
SPARK-49411 Mengomunikasikan ID Pos Pemeriksaan Penyimpanan Status antara driver dan operator berbasis status
SPARK-50054 Mendukung plot histogram
SPARK-49854 Jangan salin pustaka kluster saat mengkloning Manajer Artefak
SPARK-50071 Menambahkan try_make_timestamp(_ltz dan _ntz) dan pengujian terkait
SPARK-50024 Beralih menggunakan pencatat alih-alih modul peringatan di klien
SPARK-50174 Memisahkan UnresolvedCatalogRelation
SPARK-49734 Menambahkan seed argumen untuk fungsi shuffle
SPARK-49943 Hapus timestamp_ntz_to_long dari PythonSQLUtils
SPARK-49945 Tambahkan alias untuk distributed_id
SPARK-49755 Menghapus casing khusus untuk fungsi avro di Connect
SPARK-49805 Menghapus fungsi privat[xxx] dari function.scala
SPARK-49929 Plot kotak dukungan
SPARK-49767 Refaktor pemanggilan fungsi internal
SPARK-49939 Dukungan Codegen untuk json_object_keys (dengan Invoke & RuntimeReplaceable)
SPARK-49854 Mengkloning pengelola artefak saat kloning sesi
SPARK-49766 Dukungan Codegen untuk json_array_length (menurut Invoke & RuntimeReplaceable)
SPARK-49540 Menyatukan penggunaan distributed_sequence_id
SPARK-50046 Gunakan urutan simpul EventTimeWatermark yang stabil untuk menghitung marka air
SPARK-50031TryParseUrl Menambahkan ekspresi
SPARK-49202 Terapkan ArrayBinarySearch untuk histogram
SPARK-49811 Ganti nama StringTypeAnyCollation
SPARK-50106 Tingkatkan protobuf paket Python ke 5.28.3
SPARK-49203 Tambahkan ekspresi untuk java.util.Arrays.binarySearch
SPARK-50090 Refaktor ResolveBinaryArithmetic untuk memisahkan transformasi simpul tunggal
SPARK-49103 Dukung spark.master.rest.filters
SPARK-49222 Menghapus metode yang tidak berguna di QueryCompilationErrors
SPARK-50062 Kolatasi dukungan menurut InSet
SPARK-50035 Menambahkan dukungan untuk fungsi eksplisit handleExpiredTimer sebagai bagian dari prosesor stateful
SPARK-50050 Jadikan lit terima str dan bool tipe numpy ndarray
SPARK-50051 Memastikan lit berfungsi dengan numpy ndarray kosong
SPARK-49857 Menambahkan storageLevel ke Dataset localCheckpoint API
SPARK-48749 Menyederhanakan UnaryPositive dan menghilangkan Aturan Katalisnya dengan RuntimeReplaceable
SPARK-50058 Memisahkan fungsi normalisasi rencana untuk kemudian menggunakannya dalam pengujian Analyzer sekali lewat
SPARK-50042 Meningkatkan numpy 2 untuk linter python
SPARK-50052 Menambahkan dukungan untuk NumpyArrayConverter agar mendukung ndarray dengan str kosong
SPARK-49126 Pindahkan spark.history.ui.maxApplications definisi konfigurasi ke History.scala
SPARK-50044 Menyempurnakan docstring beberapa fungsi matematika
SPARK-48782 Menambahkan dukungan untuk menjalankan prosedur dalam katalog
SPARK-48773 Dokumentasikan konfigurasi "spark.default.parallelism" oleh kerangka kerja pembangun konfigurasi
SPARK-49876 Singkirkan kunci global dari Spark Connect Service
SPARK-48480 StreamingQueryListener tidak boleh dipengaruhi oleh spark.interrupt()
SPARK-49978 Memindahkan peringatan penghentian sparkR ke waktu lampirkan paket
SPARK-48549 Meningkatkan fungsi SQL sentences
SPARK-49956 Kolasi dinonaktifkan dengan ekspresi collect_set
SPARK-49974 Memindahkan resolveRelations(...) dari Analyzer.scala
SPARK-49067 Memindahkan utf-8 literal ke dalam metode internal kelas UrlCodec
SPARK-49393 Gagal secara default di API plugin katalog yang tidak digunakan lagi
SPARK-49918 Gunakan akses hanya-baca untuk konfigurasi di SparkContext sebagaimana sesuai
SPARK-49924 Simpan containsNull setelah ArrayCompact penggantian
SPARK-49895 Memperbaiki kesalahan ketika menemukan koma di akhir dalam SELECT klausa
SPARK-49890 Ekstrak persiapan df.sample ke kelas induk
SPARK-49810 Ekstrak persiapan DataFrame.sort ke kelas induk
SPARK-49405 Membatasi charset di JsonOptions
SPARK-49542 Kesalahan penilaian pengecualian transformasi partisi
SPARK-47172 Menambahkan dukungan untuk AES-GCM untuk enkripsi RPC
SPARK-44914 Perbaiki HadoopConfUtilsSuite setelah menghilangkan xercesImpl
SPARK-47496 Dukungan Java SPI untuk pendaftaran dialek JDBC dinamis
SPARK-48961 Membuat penamaan parameter PySparkException konsisten dengan JVM
SPARK-47390 Menangani pemetaan tanda waktu SQL untuk Postgres dan MySQL
SPARK-49824 Meningkatkan pengelogan di SparkConnectStreamingQueryCache
SPARK-49894 Menyempurnakan representasi string operasi bidang kolom
SPARK-49836 Memperbaiki kueri yang mungkin rusak saat jendela disediakan untuk window/session_window fn
SPARK-49531 Mendukung plot garis dengan backend plotly
SPARK-48780 Membuat penanganan kesalahan di NamedParametersSupport menjadi generik untuk menangani fungsi dan prosedur
SPARK-49026 Menambahkan ColumnNode ke konversi Proto
SPARK-49814 Saat Klien Spark Connect dimulai, tampilkan spark versionconnect server
SPARK-49246 TableCatalog#loadTable harus menunjukkan apakah untuk operasi penulisan
SPARK-49749 Mengubah tingkat log menjadi debug di BlockManagerInfo
SPARK-48303 Mengatur ulang LogKeys
SPARK-48112 Mengekspos sesi di SparkConnectPlanner ke plugin
SPARK-45919 Menggunakan Java 16 record untuk menyederhanakan definisi kelas Java
SPARK-48126 Membuat spark.log.structuredLogging.enabled efektif
SPARK-49656 Menambahkan dukungan untuk variabel status dengan jenis pengumpulan status nilai dan opsi umpan perubahan baca
SPARK-49323 Memindahkan MockObserver dari folder uji Spark Connect Server ke folder utama Server
SPARK-49772 Hapus ColumnFamilyOptions dan tambahkan konfigurasi langsung ke dbOptions di RocksDB
SPARK-49688 Memperbaiki perlombaan data antara rencana interupsi dan eksekusi
SPARK-49585 Gantikan peta eksekusi di SessionHolder dengan sekumpulan operationID
SPARK-49684 Meminimalkan masa pakai kunci pemulihan sesi
SPARK-48857 Membatasi set karakter dalam OpsiCSV
SPARK-48615 Peningkatan kinerja untuk mengurai string hexadecimal
SPARK-49719 Membuat UUID dan SHUFFLE menerima bilangan bulat seed
SPARK-49713 Membuat fungsi count_min_sketch menerima argumen angka
SPARK-48623 Migrasi pengelogan terstruktur [Bagian 3]
SPARK-48541 Menambahkan kode keluar baru untuk pelaksana yang dimatikan oleh TaskReaper
SPARK-48627 Peningkatan kinerja untuk string biner ke HEX_DISCRETE
SPARK-49226 Membersihkan pembuatan kode UDF
SPARK-49673 Tingkatkan CONNECT_GRPC_ARROW_MAX_BATCH_SIZE menjadi 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
SPARK-49307 Menambahkan serialisasi Kryo ke kerangka kerja encoder agnostik
SPARK-48601 Berikan pesan kesalahan yang lebih ramah pengguna saat mengatur nilai null untuk Opsi JDBC
SPARK-42252 Menambahkan spark.shuffle.localDisk.file.output.buffer dan menghentikan spark.shuffle.unsafe.file.output.buffer
SPARK-49505 Buat fungsi SQL baru "randstr" dan "seragam" untuk menghasilkan string atau angka acak dalam rentang
SPARK-48341 Izinkan plugin untuk menggunakan QueryTest dalam pengujian mereka
SPARK-48374 Mendukung jenis kolom Tabel PyArrow tambahan
SPARK-49412 Menghitung semua metrik plot kotak dalam satu pekerjaan
SPARK-49684 Menghapus kunci global dari manajer sesi dan eksekusi
SPARK-49225 Menambahkan ColumnNode SQL dan normalize
SPARK-49274 Mendukung encoder berbasis serialisasi java
SPARK-49089 Memindahkan Ekspresi Katalis yang dikodekan secara permanen ke registri fungsi internal
SPARK-48185 Memperbaiki 'kelas referensi simbolis tidak dapat diakses: kelas sun.util.calendar.ZoneInfo'
SPARK-48037 Memperbaiki SortShuffleWriter yang tidak memiliki metrik terkait penulisan shuffle, yang mengakibatkan data berpotensi tidak akurat.
SPARK-49534 Tidak lagi menambahkan sql/hive dan sql/hive-thriftserver ke depan ketika spark-hive_xxx.jar tidak ada di classpath
SPARK-49502 Hindari NPE dalam SparkEnv.get.shuffleManager.unregisterShuffle
SPARK-49567 Gunakan classic alih-alih vanilla dari basis kode PySpark
SPARK-49582 Memperbaiki utilitas dan docstring "dispatch_window_method"
SPARK-49478 Menangani metrik null di ConnectProgressExecutionListener
SPARK-49525 Peningkatan log minor pada Pendengar Kueri Streaming Sisi Server di ListenerBus
SPARK-49544 Mengganti mekanisme penguncian kasar pada SparkConnectExecutionManager dengan ConcurrentMap
SPARK-49548 Ganti kunci kasar di SparkConnectSessionManager dengan ConcurrentMap
SPARK-49004 Menggunakan registri terpisah untuk fungsi internal Column API
SPARK-49443 Menerapkan ekspresi to_variant_object dan membuat ekspresi schema_of_variant mencetak OBJECT untuk Objek Varian
SPARK-49595 Perbaikan DataFrame.unpivot/melt di Klien Spark Connect Scala
SPARK-49526 Mendukung jalur gaya Windows di ArtifactManager
SPARK-49396 Ubah pengecekan keterjadian null untuk ekspresi CaseWhen
SPARK-49024 Menambahkan dukungan untuk fungsi ke simpul kolom
SPARK-48985 Sambungkan Konstruktor Ekspresi yang Kompatibel
SPARK-49083 Izinkan from_xml dan from_json bekerja secara asli dengan skema json
SPARK-48986 Menambahkan Representasi Perantara ColumnNode
SPARK-48960 Membuat spark-submit berfungsi dengan Spark connect
SPARK-49492 Percobaan penyambungan kembali pada ExecutionHolder yang tidak aktif
SPARK-47307 Menambahkan konfigurasi untuk secara opsional memotong string base64
SPARK-49451 Perbolehkan kunci duplikat dalam parse_json
SPARK-49021 Menambahkan dukungan untuk membaca variabel status nilai transformWithState dengan pembaca sumber data status
SPARK-49249 Menambahkan addArtifact API ke Spark SQL Core
SPARK-48693 Menyederhanakan dan menyatukan `toString` `Invoke` dan `StaticInvoke`
SPARK-41982 Partisi jenis string tidak boleh diperlakukan sebagai jenis numerik
SPARK-49216 Memperbaiki agar tidak mencatat konteks pesan dengan LogEntry yang dibangun secara eksplisit ketika konfigurasi Pengelogan Terstruktur nonaktif.
SPARK-49459 Dukungan CRC32C untuk Shuffle Checksum
SPARK-49409 Sesuaikan nilai default CONNECT_SESSION_PLAN_CACHE_SIZE
SPARK-49164 Memperbaiki ketidaksetaraan Null dalam predikat kueri SQL pada Relasi JDBC
SPARK-48344 Eksekusi Skrip SQL (termasuk Spark Connect)
SPARK-49260 Tidak lagi menambahkan jalur sql/core kelas modul di Spark Connect Shell
SPARK-49041 Memunculkan kesalahan yang tepat ketika dropDuplicates salah subset diberikan
SPARK-49300 Memperbaiki kebocoran token delegasi Hadoop ketika tokenRenewalInterval tidak diatur
SPARK-48796 Muat Id Keluarga Kolom dari RocksDBCheckpointMetadata untuk VCF saat menghidupkan ulang
SPARK-49269 Mengevaluasi daftar () dengan bersemangat VALUESdi AstBuilder
SPARK-49336 Membatasi tingkat perulangan saat mengurangi pesan protobuf
SPARK-49245 Merefaktor beberapa aturan analisis
SPARK-48755 transformWithState implementasi dasar pyspark dan dukungan ValueState
SPARK-48762 Memperkenalkan CLUSTERBy DataFrameWriter API untuk Python
SPARK-48967 Meningkatkan performa dan penggunaan memori "INSERT INTO ... VALUES" pernyataan
SPARK-49195 Menyematkan logika penguraian tingkat skrip ke SparkSubmitCommandBuilder
SPARK-49173 Ubah permintaan shell Spark Connect dari @ ke scala>
SPARK-49198 Pangkas lebih banyak jar yang diperlukan untuk shell Spark Connect
SPARK-48936 Membuat spark-shell berfungsi dengan Spark connect
SPARK-49201hist plot diimplementasikan ulang dengan Spark SQL
SPARK-49111 Pindahkan denganProjectAndFilter ke objek pendamping DataSourceV2Strategy
SPARK-49185 Menerapkan ulang kde grafik dengan Spark SQL
SPARK-48761 Memperkenalkan CLUSTERBy DataFrameWriter API untuk Scala
SPARK-48628 Menambahkan metrik memori puncak tugas untuk on-heap dan off-heap.
SPARK-48900 Tambahkan reason kolom untuk semua panggilan internal untuk pembatalan job/stage
SPARK-49076 Perbaiki yang sudah kedaluarsa logical plan name dalam komentar AstBuilder
SPARK-49059 Pindah SessionHolder.forTesting(...) ke paket pengujian
SPARK-48658 Fungsi Enkode/Dekode melaporkan kesalahan pengodean alih-alih mojibake
SPARK-45891 Menambahkan dukungan untuk jenis interval dalam Spesifikasi Varian
SPARK-49032 Menambahkan jalur skema dalam entri tabel metadata dan pengujian terkait untuk format metadata operator v2
SPARK-49009 Membuat API kolom dan fungsi menerima Enum
SPARK-49035 Menghilangkan TypeVar ColumnOrName_
SPARK-48849 Membuat OperatorStateMetadataV2 untuk operator TransformWithStateExec
SPARK-48974 Gunakan SparkSession.implicits alih-alih SQLContext.implicits
SPARK-48996 Perbolehkan literal kosong untuk __and__ dan __or__ kolom
SPARK-48928 Peringatan Log untuk Memanggil .unpersist() pada RDD yang Dicentang Secara Lokal
SPARK-48972 Menyatukan penanganan string harfiah dalam fungsi
SPARK-48891 Refaktor StateSchemaCompatibilityChecker untuk menyatukan semua format skema status
SPARK-48841 Sertakan collationName ke sql() dari Collate
SPARK-48944 Menyatukan penanganan skema format JSON di Connect Server
SPARK-48945 Menyederhanakan fungsi regex dengan lit
SPARK-48865 Menambahkan fungsi try_url_decode
SPARK-48851 Mengubah nilai dari SCHEMA_NOT_FOUND menjadi namespacecatalog.namespace
SPARK-48510 Perbaikan untuk UDAF toColumn API saat menjalankan pengujian di Maven
SPARK-45190 Menambahkan dukungan untuk skema StructType
SPARK-48900 Tambahkan reason bidang untuk cancelJobGroup dan cancelJobsWithTag
SPARK-48909 Menggunakan SparkSession melalui SparkContext saat menulis metadata
SPARK-48510 Mendukung API UDAF di Spark Connect
SPARK-45155 Menambahkan DOKUMEN API untuk Klien Spark Connect JVM/Scala
Dukungan SPARK-48794 df.mergeInto untuk Spark Connect (Scala dan Python)
SPARK-48714 Menerapkan DataFrame.mergeInto di PySpark
SPARK-48726 Membuat format file StateSchemaV3 untuk operator TransformWithStateExec
SPARK-48834 Menonaktifkan input/output varian ke UDF, UDTF, UDAF Python selama kompilasi kueri
SPARK-48716 Menambahkan jobGroupId ke SparkListenerSQLExecutionStart
SPARK-48888 Menghapus pembuatan rekam jepret berdasarkan ukuran operasi changelog
SPARK-48772 Mode Pembaca Umpan Perubahan Sumber Data Status
SPARK-48742 Keluarga Kolom Virtual di RocksDB
SPARK-48852 Perbaikan fungsi pemangkasan string pada koneksi
SPARK-48343 Pengenalan penerjemah Skrip SQL
SPARK-48118 Mendukung SPARK_SQL_LEGACY_CREATE_HIVE_TABLE variabel env
SPARK-48804 Menambahkan pemeriksaan classIsLoadable & OutputCommitter.isAssignableFrom untuk konfigurasi kelas komitter output
SPARK-47577 Koreksi penggunaan kunci log TASK_ID yang menyesatkan
SPARK-48798 Memperkenalkan spark.profile.render pembuatan profil berbasis SparkSession
SPARK-48686 Meningkatkan performa ParserUtils.unescapeSQLString
SPARK-48611 Log TID untuk pemisahan input di HadoopRDD dan NewHadoopRDD
SPARK-48720 Meratakan perintah ALTER TABLE ... UNSET TBLPROPERTIES ... di v1 dan v2
SPARK-48710 Menggunakan jenis yang kompatibel dengan NumPy 2.0
SPARK-48810 Sesi stop() API harus idempogen
SPARK-48818 Menyederhanakan percentile fungsi
SPARK-48638 Menambahkan dukungan ExecutionInfo untuk DataFrame
SPARK-48799 Versi ulang metadata pengelola untuk membaca/menulis
SPARK-46122 Atur spark.sql.legacy.createHiveTableByDefault ke false secara default
SPARK-48629 Memigrasikan kode residu ke kerangka kerja pengelogan terstruktur
SPARK-48320 Sinkronkan fitur pencatatan log terbaru dan kasus pengujian dari perangkat lunak sumber terbuka Spark
SPARK-48573 Tingkatkan versi ICU
SPARK-48687 Menambahkan validasi dan pembaruan skema status pada driver dalam fase perencanaan untuk kueri stateful
SPARK-47579 Memigrasikan logInfo dengan variabel ke kerangka kerja pengelogan terstruktur (BAGIAN 1–4)
SPARK-48713 Tambahkan pemeriksaan rentang indeks untuk UnsafeRow.pointTo saat baseObject adalah array byte
SPARK-48498 Selalu lakukan padding pada karakter dalam predikat
SPARK-48598 Menyebarkan skema cache dalam operasi dataframe
SPARK-47599 MLLib: Memigrasikan logWarn dengan variabel ke kerangka kerja pengelogan terstruktur
SPARK-48576 Ganti nama UTF8_BINARY_LCASE menjadi UTF8_LCASE
SPARK-48650 Memperlihatkan situs panggilan yang tepat dari IPython Notebook
SPARK-48059 Kerangka kerja log terstruktur di sisi Java
SPARK-48482 dropDuplicates dan dropDuplicatesWithinWatermark harus menerima argumen dengan panjang variabel
SPARK-48620 Memperbaiki kebocoran data mentah internal di YearMonthIntervalType dan CalendarIntervalType
SPARK-48555 Dukungan menggunakan Kolom sebagai parameter untuk beberapa fungsi
SPARK-48591 Menambahkan fungsi pembantu untuk menyederhanakan Column.py
SPARK-48459 Menerapkan DataFrameQueryContext di Spark Connect
SPARK-48610 Refaktor: gunakan idMap tambahan alih-alih OP_ID_TAG
SPARK-47923 Tingkatkan versi arrow minimum paket R ke 10.0.0
SPARK-48593 Memperbaiki representasi string fungsi lambda
SPARK-46947 Tunda inisialisasi manajer memori hingga plugin Driver dimuat
SPARK-48220 Memungkinkan penggunaan Tabel PyArrow untuk createDataFrame()
SPARK-48564 Menyebarkan skema yang di-cache dalam operasi yang ditetapkan
SPARK-48561 Lemparkan PandasNotImplementedError untuk fungsi pemplotan yang tidak didukung
SPARK-48513 Menambahkan kelas kesalahan untuk kompatibilitas skema status
SPARK-48553 Cache properti lainnya
SPARK-48550 Langsung menggunakan kelas Jendela induk
SPARK-48504 Kelas Jendela Induk untuk Spark Connect dan Spark Classic
SPARK-48508 Skema yang ditentukan pengguna cache di DataFrame.{to, mapInPandas, mapInArrow}
SPARK-48496 Menggunakan instans Pola regex statis di JavaUtils
SPARK-47578 Backport manual: memigrasikan logWarning dengan variabel
SPARK-47737 Bump PyArrow ke 10.0.0
SPARK-48159 Memperluas dukungan untuk penyortiran string pada ekspresi tanggal dan waktu
SPARK-48454 Langsung gunakan kelas DataFrame induk
SPARK-48438 Langsung menggunakan kelas Kolom induk
SPARK-47597 Backport secara manual: memigrasikan logInfo dan variabel
SPARK-48434 Memanfaatkan printSchema skema yang di-cache
SPARK-46998 Menghentikan konfigurasi SQL spark.sql.legacy.allowZeroIndexInFormatString
SPARK-46569 Hapus ThreadLocal untuk SecureRandom sejak JDK9
SPARK-46455 Menghapus konversi jenis redundan
SPARK-46270 Menggunakan ekspresi java16 instanceof
SPARK-46479 Gunakan metode utilitas dari commons-lang3 untuk pemeriksaan versi Java
SPARK-45998 Membersihkan cast tipe redundan
SPARK-45533 Gunakan j.l.r.Cleaner alih-alih menyelesaikan RocksDBIterator/LevelDBIterator
SPARK-45309 Hapus semua SystemUtils.isJavaVersionAtLeast dengan JDK 9/11/17
SPARK-48295 Aktifkan compute.ops_on_diff_frames secara default
SPARK-47960 Mengizinkan penautan operator stateful lainnya setelah transformWithState
SPARK-48367 Memperbaiki lint-scala untuk deteksi file scalafmt
SPARK-48247 Gunakan semua nilai dalam dict untuk inferensi skema MapType
SPARK-48370 Titik pemeriksaan dan localCheckpoint di klien Scala Spark Connect
SPARK-48258 Titik pemeriksaan dan localCheckpoint di Spark Connect
SPARK-48293 Tambahkan uji untuk interupsi pembungkus ForeachBatchUserFuncException
SPARK-48031 Menguraikan konfigurasi viewSchemaMode; menambahkan dukungan SHOW CREATE TABLE
SPARK-48288 Tambahkan tipe data sumber untuk ekspresi casting konektor
SPARK-48310 Properti-properti yang di-cache harus mengembalikan salinan
SPARK-48287 Menerapkan metode bawaan timestamp_diff
SPARK-44444 Gunakan mode ANSI SQL secara default
SPARK-48276 Tambahkan yang hilang __repr__ untuk SQLExpression
SPARK-46991 Ganti IllegalArgumentException dengan SparkIllegalArgumentException dalam katalis
SPARK-48031 Evolusi skema tampilan dukungan
SPARK-48113 Izinkan Plugin untuk berintegrasi dengan Spark Connect
SPARK-47158 Menetapkan nama dan sqlState ke kode kesalahan lama
SPARK-47545 Dukungan himpunan observe data untuk klien Scala
SPARK-47993 Hentikan dukungan untuk Python 3.8
SPARK-48260 Menonaktifkan koordinasi penyerahan output di ParquetIOSuite
SPARK-47365 Menambahkan metode dataFrame toArrow() ke PySpark
SPARK-47963 Mengaktifkan pengelogan terstruktur untuk ekosistem Spark eksternal
SPARK-48045 Memperbaiki masalah multi-agg-relabel yang mengabaikan kondisi as_index=False
SPARK-47719 Mengubah default timeParserPolicy menjadi CORRECTED
SPARK-48075 Pemeriksaan tipe untuk fungsi Avro PySpark
SPARK-48102 Memantau durasi metrik dalam perkembangan kueri streaming
SPARK-47858 Konteks kesalahan Refaktor DataFrame
SPARK-48052 Memulihkan pyspark-connect CI berdasarkan kelas induk
SPARK-45284 Memperbarui persyaratan sistem minimum SparkR ke Java 17
SPARK-47933 Kelas Kolom Induk untuk Spark Connect dan Klasik
SPARK-48053 SparkSession.createDataFrame harus memperingatkan untuk opsi yang tidak didukung
SPARK-48044 Tembolok DataFrame.isStreaming
SPARK-47594 Migrasi log terstruktur
SPARK-47764 Membersihkan dependensi shuffle dengan mode ShuffleCleanupMode
SPARK-45501 Menggunakan pencocokan pola untuk pemeriksaan dan konversi jenis
SPARK-45515 Gunakan ekspresi yang disempurnakan switch untuk menggantikan pernyataan reguler switch
SPARK-47417 Dukungan pengurutan: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Kalimat
SPARK-47909 Kelas DataFrame Induk untuk Spark Connect dan Spark Classic
SPARK-47602 Core/MLLib/Resource managers: migrasi pengelogan terstruktur
SPARK-47390 PostgresDialect membedakan TIMESTAMP dari TIMESTAMP_TZ
SPARK-47868 Memperbaiki kesalahan batas rekursi di SparkConnectPlanner dan SparkSession
SPARK-45802 Menghapus check-in Java majorVersion yang tidak lagi diperlukan Platform
SPARK-47818 Memperkenalkan penyimpanan sementara rencana di SparkConnectPlanner untuk meningkatkan performa permintaan analisis
SPARK-46031 Ganti !Optional.isPresent() dengan Optional.isEmpty()
SPARK-45659 Tambahkan since bidang ke Java API yang ditandai sebagai @Deprecated
SPARK-45596 Gunakan java.lang.ref.Cleaner alih-alih org.apache.spark.sql.connect.client.util.Cleaner
SPARK-47807 Membuat pyspark.ml kompatibel dengan pyspark-connect
SPARK-45830 Refaktor StorageUtils#bufferCleaner
SPARK-45578 Menghapus penggunaan InaccessibleObjectException dengan menggantinya menggunakan trySetAccessible
SPARK-44895 Tambahkan 'daemon', 'prioritas' untuk ThreadStackTrace
SPARK-45295 Menghapus solusi Utils.isMemberClass untuk JDK 8
SPARK-47081 Mendukung Kemajuan Eksekusi Kueri
SPARK-45322 Gunakan ProcessHandle untuk mendapatkan pid secara langsung
SPARK-46812 Membuat agar mapInPandas / mapInArrow dapat mendukung ResourceProfile
SPARK-47406 Menangani TIMESTAMP dan DATETIME di MYSQLDialect
SPARK-47712 Izinkan plugin koneksi untuk membuat dan memproses Dataset
SPARK-47720 Perbarui spark.speculation.multiplier ke 3 dan spark.speculation.quantile ke 0,9
SPARK-47665 Gunakan SMALLINT untuk Menulis ShortType ke MYSQL
SPARK-47722 Tunggu hingga pekerjaan latar belakang RocksDB selesai sebelum menutup
SPARK-47610 Selalu atur io.netty.tryReflectionSetAccessible=true
SPARK-47372 Menambahkan dukungan untuk encoder status kunci berbasis pemindaian rentang agar dapat digunakan dengan penyedia penyimpanan status.
SPARK-44708 Migrasikan test_reset_index assert_eq untuk menggunakan assertDataFrameEqual
SPARK-47346 Membuat mode daemon dapat dikonfigurasi saat membuat pekerja perencana Python
SPARK-47419 Pindah log4j2-defaults.properties ke common/utils
SPARK-47380 Pastikan di sisi server bahwa SparkSession sama
SPARK-47055 Tingkatkan MyPy 1.8.0
SPARK-46795 Ganti UnsupportedOperationException dengan SparkUnsupportedOperationException di sql/core
SPARK-46648 Gunakan zstd sebagai kompresi ORC default
SPARK-47322 Membuat withColumnsRenamed penanganan duplikasi nama kolom konsisten dengan withColumnRenamed
SPARK-47011 Hapus tidak digunakan lagi BinaryClassificationMetrics.scoreLabelsWeight
SPARK-46332 Bermigrasi CatalogNotFoundException ke kelas kesalahan CATALOG_NOT_FOUND
SPARK-46975 Mendukung metode fallback khusus
SPARK-47069 Memperkenalkan spark.profile.show/dump pembuatan profil berbasis SparkSession
SPARK-47062 Pindahkan Plugin Connect ke Java untuk Kompatibilitas
SPARK-46833 Kolasi - Memperkenalkan CollationFactory yang menyediakan aturan perbandingan dan hashing untuk kolasi yang didukung
SPARK-46984 Hapus pyspark.copy_func
SPARK-46849 Menjalankan pengoptimal pada CREATE TABLE default kolom
SPARK-46976 Mengimplementasikan DataFrameGroupBy.corr
SPARK-46911 Menambahkan operator deleteIfExists ke StatefulProcessorHandleImpl
SPARK-46955 Menerapkan Frame.to_stata
SPARK-46936 Menerapkan Frame.to_feather
SPARK-46655 Lewati penangkapan konteks kueri dalam DataFrame metode
SPARK-46926 Tambahkan convert_dtypes, infer_objects dan set_axis dalam daftar fallback
SPARK-46683 Menulis generator subkueri yang menghasilkan permutasi subkueri untuk meningkatkan cakupan pengujian
SPARK-46777 Merombak struktur katalis StreamingDataSourceV2Relation agar lebih sebanding dengan versi batch
SPARK-46620 Memperkenalkan mekanisme fallback dasar untuk metode kerangka
SPARK-46808 Memperbaiki kelas kesalahan di Python dengan fungsi pengurutan otomatis
SPARK-46686 Dukungan dasar profiler UDF Python berbasis SparkSession
SPARK-46258 Tambah RocksDBPersistenceEngine
SPARK-46665 Buka assertPandasOnSparkEqual
SPARK-46227 Pindah withSQLConf dari SQLHelper ke SQLConfHelper
SPARK-40876 Memperluas promosi tipe pada pembaca Parquet
SPARK-46101 Kurangi kedalaman tumpukan dengan mengganti (string|array).ukuran dengan (string|array).length
SPARK-46170 Mendukung pengintegrasian aturan strategi perencana pasca-kueri adaptif di SparkSessionExtensions
SPARK-46246EXECUTE IMMEDIATE Dukungan SQL
SPARK-46466 Pembaca parket vektorisasi tidak boleh melakukan rebase untuk tanda waktu ntz
SPARK-46399 Menambahkan status keluar ke peristiwa Akhir Aplikasi untuk penggunaan Spark Listener
SPARK-45506 Menambahkan dukungan URI ivy ke addArtifact SparkConnect
SPARK-45597 Mendukung pembuatan tabel menggunakan sumber data Python di SQL (DSv2 exec)
SPARK-46402 Menambahkan getMessageParameters dan dukungan getQueryContext
SPARK-46213 Memperkenalkan PySparkImportError kerangka kesalahan
SPARK-46226 Migrasikan semua yang tersisa RuntimeError ke dalam kerangka kerja kesalahan PySpark
SPARK-45886 Output log tumpukan lengkap dalam callSite konteks DataFrame
SPARK-46256 Dukungan Kompresi Paralel untuk ZSTD
SPARK-46249 Memerlukan kunci instans untuk memperoleh metrik RocksDB untuk mencegah balapan dengan operasi latar belakang
SPARK-45667 Bersihkan penggunaan API yang tidak digunakan lagi yang terkait dengan IterableOnceExtensionMethods
SPARK-46254 Menghapus pemeriksaan versi Python 3.8/3.7 yang tidak terpakai
SPARK-46213 Memperkenalkan PySparkImportError kerangka kesalahan
SPARK-46188 Memperbaiki CSS tabel yang dihasilkan dokumen Spark
SPARK-45670 SparkSubmit tidak mendukung --total-executor-cores saat menyebarkan di K8s
SPARK-46169 Menetapkan nomor JIRA yang sesuai untuk parameter yang hilang dari DataFrame API
SPARK-45022 Menyediakan konteks untuk kesalahan API himpunan data
SPARK-46062 Sinkronkan bendera isStreaming antara definisi CTE dan referensi
SPARK-45698 Bersihkan penggunaan API yang tidak digunakan lagi yang terkait dengan Buffer
SPARK-45136 Tingkatkan ClosureCleaner dengan dukungan Amonite
SPARK-44442 Menghapus dukungan Mesos
SPARK-45996 Menampilkan pesan persyaratan dependensi yang tepat untuk Spark Connect
SPARK-45767 Hapus TimeStampedHashMap dan UT-nya
SPARK-45912 Peningkatan XSDToSchema API: Ubah ke HDFS API untuk aksesibilitas penyimpanan cloud
SPARK-45338 Ganti scala.collection.JavaConverters ke scala.jdk.CollectionConverters
SPARK-45828 Menghapus metode yang tidak digunakan lagi di dsl
SPARK-45718 Hapus fitur Pandas yang tidak digunakan lagi dari Spark 3.4.0
SPARK-45990 Tingkatkan protobuf ke 4.25.1 untuk mendukung Python 3.11
SPARK-45941 Tingkatkan pandas ke versi 2.1.3
SPARK-45555 Menyertakan objek yang dapat di-debug untuk pernyataan yang gagal
SPARK-45710 Tetapkan nama ke kesalahan _LEGACY_ERROR_TEMP_21[59, 60, 61, 62]
SPARK-45733 Mendukung beberapa kebijakan ulang coba
SPARK-45503 Tambahkan Conf untuk Mengatur Kompresi RocksDB
SPARK-45614 Tetapkan nama untuk kesalahan _LEGACY_ERROR_TEMP_215[6,7,8]
SPARK-45680 Peluncuran sesi
SPARK-45620 Memperbaiki API yang berhubungan dengan pengguna terkait UDTF Python untuk menggunakan camelCase
SPARK-45634 Hapus DataFrame.get_dtype_counts dari Pandas API di Spark
SPARK-44752 XML: Memperbarui Dokumen Spark
SPARK-45523 Mengembalikan pesan kesalahan yang berguna jika UDTF mengembalikan Tidak Ada untuk kolom yang tidak dapat diubah ke null
SPARK-45558 Memperkenalkan file metadata untuk operator stateful streaming
SPARK-45390 Hapus distutils penggunaan
SPARK-45517 Perluas lebih banyak konstruktor pengecualian untuk mendukung parameter kerangka kerja kesalahan
SPARK-45427 Menambahkan pengaturan RPC SSL ke SSLOptions dan SparkTransportConf
SPARK-45581 Jadikan SQLSTATE wajib.
SPARK-44784 Buat pengujian SBT terisolasi.
SPARK-45550 Menghapus API yang tidak digunakan lagi dari Pandas API di Spark
SPARK-45415 Izinkan penonaktifan selektif "fallocate" pada statestore RocksDB
SPARK-45487 Memperbaiki SQLSTATEs dan kesalahan sementara
SPARK-45505 Refaktor analyzeInPython agar lebih dapat digunakan kembali
SPARK-45451 Membuat tingkat penyimpanan default cache himpunan data dapat dikonfigurasi
SPARK-45065 Mendukung Pandas 2.1.0
SPARK-45450 Perbaiki impor sesuai dengan PEP8: pyspark.pandas dan pyspark (inti)
SPARK-43299 Mengonversi StreamingQueryException pada Klien Scala
SPARK-42617 Dukungan isocalendar dari Pandas versi 2.0.0
SPARK-45441 Memperkenalkan lebih banyak fungsi util untuk PythonWorkerUtils
SPARK-43620 Memperbaiki API Pandas tergantung pada fitur yang tidak didukung
SPARK-45330 Tingkatkan amonit ke 2.5.11
SPARK-45267 Ubah nilai default untuk numeric_only.
SPARK-45303 Menghapus solusi JDK 8/11 di KryoSerializerBenchmark
SPARK-43433 Mencocokkan GroupBy.nth perilaku dengan Panda terbaru
SPARK-45166 Bersihkan jalur kode yang tidak digunakan untuk pyarrow<4
SPARK-44823 Perbarui black ke 23.9.1 dan perbaiki pemeriksaan yang salah
SPARK-45165 Menghapus inplace parameter dari CategoricalIndex API
SPARK-45180 Menghapus input boolean untuk inclusive parameter dari Series.between
SPARK-45164 Menghapus API yang tidak digunakan Index lagi
SPARK-45179 Tingkatkan versi minimum Numpy menjadi 1.21
SPARK-45177 Hapus col_space parameter dari to_latex
SPARK-43241MultiIndex.append tidak memeriksa nama untuk kesetaraan
SPARK-43123 Memunculkan TypeError ketika DataFrame.interpolate semua kolom merupakan object-dtype.
SPARK-43295 Mendukung kolom jenis string untuk DataFrameGroupBy.sum
SPARK-42619 Menambahkan show_counts parameter untuk DataFrame.info
SPARK-44863 Menambahkan tombol untuk mengunduh cadangan utas sebagai txt di antarmuka pengguna Spark
SPARK-44713 Memindahkan kelas bersama ke sql/api
SPARK-44692 Pindahkan Pemicu ke sql/api
SPARK-43563 Hapus squeeze dari read_csv & mengaktifkan lebih banyak pengujian.
SPARK-43476 Dukungan StringMethods untuk pandas 2.0.0 ke atas
SPARK-43872 Dukungan (DataFrame|Series).plot dengan panda 2.0.0 ke atas.
SPARK-42620 Menambahkan inclusive parameter untuk (DataFrame|Series).between_time
SPARK-44289 Dukungan indexer_between_time untuk pandas 2.0.0 dan mengaktifkan lebih banyak pengujian.
SPARK-42621 Menambahkan parameter inklusif untuk pd.date_range
SPARK-43709 Hapus closed parameter dari ps.date_range & aktifkan pengujian.
SPARK-43568 Dukung API untuk pandas 2
SPARK-44842 Mendukung fungsi statistik untuk panda 2.0.0 dan mengaktifkan pengujian.
SPARK-43606 Hapus Int64Index & Float64Index
SPARK-43873 Mengaktifkan FrameDescribeTests
SPARK-44841 Dukungan value_counts untuk pandas 2.0.0 ke atas.
SPARK-44686 Tambahkan kemampuan untuk membuat RowEncoder di Encoders.scala.
SPARK-41400 Menghapus Dependensi Katalis Klien Connect
SPARK-44538 Kembalikan Row.jsonValue dan fungsi terkait
SPARK-44507 Pindahkan AnalysisException ke sql/api
SPARK-44531 Memindahkan inferensi encoder ke sql/api
SPARK-43744 Memperbaiki masalah pemuatan kelas yang disebabkan oleh kelas pengguna stub yang tidak ditemukan di classpath server
SPARK-36612 Mendukung membangun gabungan luar kiri atau membangun gabungan luar kanan dalam gabungan hash yang diacak
SPARK-44541 Hapus fungsi hasRangeExprAgainstEventTimeCol yang tidak berguna dari UnsupportedOperationChecker
SPARK-44059 Menambahkan dukungan penganalisis dari argumen bernama untuk fungsi bawaan
SPARK-44216 Membuat API assertSchemaEqual menjadi publik
SPARK-43755 Pindahkan eksekusi dari SparkExecutePlanStreamHandler dan ke utas yang berbeda
SPARK-44201 Menambahkan dukungan untuk Pendengar Streaming di Scala untuk Spark Connect
SPARK-43965 Mendukung UDTF Python di Spark Connect
SPARK-44398 Scala foreachBatch API
SPARK-44044 Meningkatkan pesan Kesalahan untuk fungsi Jendela dengan streaming

Dukungan pada driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 17.0.

Lingkungan sistem

Sistem Operasi : Ubuntu 24.04.2 LTS
Java: Zulu17.54+21-CA
Scala: 2.13.16
Python: 3.12.3
R: 4.4.2
Danau Delta: 4.0.0

Pustaka Python yang diinstal

Perpustakaan	Versi	Perpustakaan	Versi	Perpustakaan	Versi
tipe beranotasi	0.7.0	anyio	4.6.2	argon2-cffi	21.3.0
Pengikatan Argon2-cffi	21.2.0	anak panah	1.3.0	asttoken	2.0.5
astunparse	1.6.3	asinkron-lru	2.0.4	atribut	24.3.0
perintah otomatis	2.2.2	azure-common	1.1.28	azure-core	1.34.0
azure-identity	1.20.0	azure-mgmt-core	1.5.0	azure-mgmt-web	8.0.0
Azure Storage Blob	12.23.0	Azure Storage File Data Lake	12.17.0	babel	2.16.0
backports.tarfile	1.2.0	beautifulsoup4	4.12.3	hitam	24.10.0
pemutih	6.2.0	blinker	1.7.0	boto3	1.36.2
botocore	1.36.3	cachetools (perangkat untuk caching)	5.5.1	sertifikat	31 Januari 2025
cffi	1.17.1	chardet	4.0.0	charset-normalizer	3.3.2
klik	8.1.7	cloudpickle (perpustakaan Python untuk serialisasi objek)	3.0.0	Komunikasi	0.2.1
Contourpy	1.3.1	Kriptografi	43.0.3	pengendara sepeda	0.11.0
Cython	3.0.12	databricks-sdk	0.49.0	dbus-python	1.3.2
debugpy	1.8.11	penghias	5.1.1	defusedxml	0.7.1
Deprecated	1.2.13	distlib	0.3.9	konversi docstring ke markdown	0.11
Mengeksekusi	0.8.3	gambaran umum aspek	1.1.1	fastapi	0.115.12
fastjsonschema	2.21.1	filelock	3.18.0	alat pengelola font	4.55.3
Fqdn	1.5.1	fsspec	2023.5.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.20.0	google-auth (autentikasi Google)	2.40.0
google-cloud-core	2.4.3	penyimpanan awan Google	3.1.0	google-crc32c	1.7.1
google-resumable-media (layanan media berkelanjutan dari Google)	2.7.2	googleapis-common-protos	1.65.0	grpcio	1.67.0
grpcio-status	1.67.0	h11	0.14.0	httpcore	1.0.2
httplib2	0.20.4	httpx	0.27.0	IDNA	3.7
importlib-metadata	6.6.0	importlib_resources	6.4.0	memfleksi	7.3.1
iniconfig	1.1.1	ipyflow-core	0.0.209	ipykernel	6.29.5
ipython	8.30.0	ipython-genutils	0.2.0	ipywidgets	7.8.1
isodate	0.6.1	isodurasi	20.11.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.teks	3.12.1	Jedi	0.19.2
Jinja2	3.1.5	jmespath	1.0.1	joblib	1.4.2
json5	0.9.25	jsonpointer	3.0.0	jsonschema	4.23.0
Spesifikasi JSON Schema	2023.7.1	peristiwa Jupyter	0.10.0	jupyter-lsp	2.2.0
jupyter_client	8.6.3	jupyter_core	5.7.2	jupyter_server	2.14.1
Terminal Jupyter Server	0.4.4	jupyterlab	4.3.4	jupyterlab-pygments	0.1.2
jupyterlab-widgets	1.0.0	jupyterlab_server	2.27.3	kiwisolver	1.4.8
launchpadlib	1.11.0	lazr.restfulclient (klien layanan web yang menggunakan RESTful)	0.14.6	lazr.uri	1.0.6
markdown-it-py	2.2.0	MarkupSafe	3.0.2	matplotlib	3.10.0
matplotlib-inline (modul untuk menampilkan grafik secara inline)	0.1.7	Mccabe	0.7.0	mdurl	0.1.0
penyetelan salah	2.0.4	mlflow-skinny (versi ringan)	2.22.0	mmh3	5.1.0
more-itertools	10.3.0	msal	1.32.3	msal-extensions	1.3.1
mypy-extensions	1.0.0	nbclient	0.8.0	nbconvert	7.16.4
nbformat	5.10.4	nest-asyncio	1.6.0	nodeenv	1.9.1
notebook	7.3.2	buku_catatan_shim	0.2.3	numpy (perpustakaan Python untuk operasi numerik)	2.1.3
oauthlib	3.2.2	opentelemetry-api	1.32.1	opentelemetry-sdk	1.32.1
opentelemetry-konvensi-semantik	0.53b1	Mengabaikan	7.4.0	pengemasan	24.1
Panda	2.2.3	Pandocfilters	1.5.0	pengurai	0.8.4
spesifikasi jalur	0.10.3	kambing hitam	1.0.1	pexpect	4.8.0
bantal	11.1.0	pipa	25.0.1	platformdirs	3.10.0
plotly	5.24.1	pengaya	1.5.0	prometheus_client	0.21.0
prompt-toolkit	3.0.43	proto-plus	1.26.1	protobuf	5.29.4
psutil	5.9.0	psycopg2	2.9.3	ptyprocess	0.7.0
pure-eval	0.2.2	pyarrow	19.0.1	pyasn1	0.4.8
pyasn1-modules	0.2.8	pyccolo	0.0.71	pycparser	2.21
pydantic (perpustakaan Python untuk validasi data)	2.10.6	pydantic_core	2.27.2	pyflakes	3.2.0
Pygments	2.15.1	PyGObject	3.48.2	pyiceberg	0.9.0
PyJWT	2.10.1	pyodbc	5.2.0	pyparsing	3.2.0
pyright	1.1.394	pytest	8.3.5	python-dateutil	2.9.0.post0
python-json-logger	3.2.1	python-lsp-jsonrpc	1.1.2	python-lsp-server	1.12.0
pytoolconfig	1.2.6	pytz	2024.1	PyYAML (paket untuk memproses bahasa YAML dalam Python)	6.0.2
pyzmq	26.2.0	Merujuk	0.30.2	requests	2.32.3
rfc3339-validator	0.1.4	rfc3986-validator	0.1.1	kaya	13.9.4
tali	1.12.0	rpds-py	0.22.3	rsa	4.9.1
s3transfer	0.11.3	scikit-learn	1.6.1	scipy (perpustakaan Python untuk komputasi ilmiah)	1.15.1
Seaborn (perpustakaan Python untuk visualisasi data)	0.13.2	Send2Trash	1.8.2	setuptools	74.0.0
Enam	1.16.0	smmap	5.0.0	Sniffio	1.3.0
sortedcontainers	2.4.0	alat penyaring sup	2.5	sqlparse	0.5.3
ssh-import-id	5.11	stack-data	0.2.0	starlette	0.46.2
statsmodels (paket Python untuk pemodelan statistik)	0.14.4	strictyaml	1.7.3	kegigihan	9.0.0
selesai	0.17.1	threadpoolctl	3.5.0	tinycss2	1.4.0
tokenize_rt	6.1.0	tomli	2.0.1	Tornado	6.4.2
traitlets	5.14.3	typeguard (penjaga tipe)	4.3.0	types-python-dateutil	2.9.0.20241206
ekstensi pengetikan (typing_extensions)	4.12.2	tzdata	2024.1	ujson	5.10.0
pembaruan otomatis tanpa pengawasan	0.1	templat URI	1.3.0	urllib3	2.3.0
uvicorn	0.34.2	virtualenv	20.29.3	wadllib	1.3.6
wcwidth	0.2.5	warna web	24.11.1	pengkodean web	0.5.1
websocket-klien	1.8.0	apa itu patch	1.0.2	wheel	0.45.1
widgetsnbextension	3.6.6	terbungkus	1.17.0	yapf	0.40.2
zipp	3.21.0

Perpustakaan R yang terinstal

Pustaka R diinstal dari cuplikan CRAN Pengelola Paket Posit pada 20-03-2025.

Perpustakaan	Versi	Perpustakaan	Versi	Perpustakaan	Versi
anak panah	19.0.1	askpass	1.2.1	pastikanbahwa	0.2.1
pemindahan fitur ke versi lama (backports)	1.5.0	dasar	4.4.2	base64enc	0.1-3
bigD	0.3.0	sedikit	4.6.0	bit-64	4.6.0-1
bitops	1.0-9	blob	1.2.4	sepatu bot	1.3-30
menyeduh	1.0-10	Brio	1.1.5	sapu	1.0.7
bslib	0.9.0	cashmere	1.1.0	layanan panggilan	3.7.6
caret	7.0-1	cellranger	1.1.0	kronogram	2.3-62
kelas	7.3-22	CLI	3.6.4	pemangkas	0.8.0
jam dinding	0.7.2	kluster	2.1.6	codetools	0.2-20
ruang warna	2.1-1	commonmark	1.9.5	pengkompilasi	4.4.2
config	0.3.2	Bimbang	1.2.0	cpp11	0.5.2
kriyon	1.5.3	kredensial	2.0.2	melengkung	6.2.1
data.table (sebuah paket untuk pengolahan data table)	1.17.0	kumpulan data	4.4.2	DBI	1.2.3
dbplyr	2.5.0	deskripsi	1.4.3	devtools	2.4.5
bagan	1.6.5	diffobj	0.3.5	digest	0.6.37
pencahayaan turun	0.4.4	dplyr	1.1.4	dtplyr	1.3.1
e1071	1.7-16	elipsis	0.3.2	menilai	1.0.3
penggemar	1.0.6	warna-warna	2.1.2	pemetaan cepat	1.2.0
fontawesome	0.5.3	untuk kucing	1.0.0	foreach (pengulangan untuk setiap elemen)	1.5.2
asing	0.8-86	bengkel pandai besi	0.2.0	fs	1.6.5
masa depan	1.34.0	menerapkan di masa depan	1.11.3	kumur	1.5.2
obat generik	0.1.3	Gert	2.1.4	ggplot2	3.5.1
gh	1.4.1	git2r	0.35.0	gitcreds	0.1.2
glmnet	4.1-8	variabel global	0.16.3	lem	1.8.0
googledrive	2.1.1	googlesheets4	1.1.1	Gower	1.0.2
Grafik	4.4.2	grDevices	4.4.2	kisi	4.4.2
gridExtra	2.3	gsubfn	0.7	gt	0.11.1
gtabel	0.3.6	topi keras	1.4.1	tempat aman	2.5.4
lebih tinggi	0.11	HMS	1.1.3	htmltools	0.5.8.1
htmlwidgets	1.6.4	httpuv	1.6.15	httr	1.4.7
httr2	1.1.1	ids	1.0.1	ini	0.3.1
ipred	0.9-15	isoband	0.2.7	Pengiterasi	1.0.14
jquerylib	0.1.4	jsonlite	1.9.1	JuicyJuice	0.1.0
KernSmooth	2.23-22	knitr	1,50	Pelabelan	0.4.3
nanti	1.4.1	rangka	0.22-5	lahar	1.8.1
siklus hidup	1.0.4	listenv	0.9.1	lubridate	1.9.4
magrittr	2.0.3	Markdown	1.13	Massa	7.3-60.0.1
Matrix	1.6-5	memosankan	2.0.1	Metode	4.4.2
mgcv	1.9-1	pantomim	0,13	miniUI	0.1.1.1
mlflow	2.20.4	ModelMetrics	1.2.2.2	modelr	0.1.11
munsell	0.5.1	nlme	3.1-164	nnet	7.3-19
numDeriv	Agustus 2016 - Januari 2017	openssl	2.3.2	paralel	4.4.2
secara paralel	1.42.0	pilar	1.10.1	pkgbuild	1.4.6
pkgconfig	2.0.3	pkgdown	2.1.1	pkgload	1.4.0
plogr	0.2.0	plyr	1.8.9	pujian	1.0.0
prettyunits	1.2.0	pROC	1.18.5	ProsesX	3.8.6
prodlim	2024.06.25	profvis	0.4.0	Kemajuan	1.2.3
progresr	0.15.1	janji	1.3.2	proto	1.0.0
proksi	0,4-27	P.S.	1.9.0	menggeram lembut	1.0.4
R6	2.6.1	ragg	1.3.3	randomForest (algoritma pembelajaran mesin)	4.7-1.2
rappdirs	0.3.3	rcmdcheck	1.4.0	RColorBrewer	1.1-3
Rcpp	1.0.14	RcppEigen	0.3.4.0.2	dapat direaksi	0.4.4
reactR	0.6.1	alat baca	2.1.5	readxl (membaca file Excel)	1.4.5
recipes	1.2.0	pertandingan ulang	2.0.0	pertandingan ulang 2	2.1.2
pengontrol jarak jauh	2.5.0	contoh replikasi	2.1.1	reshape2	1.4.4
rlang	1.1.5	rmarkdown	2.29	RODBC	1.3-26
roxygen2	7.3.2	rpart	4.1.23	rprojroot	2.0.4
Rserve	1.8-15	RSQLite	2.3.9	rstudioapi	0.17.1
rversions	2.1.2	rvest	1.0.4	Sass	0.4.9
timbangan / sisik	1.3.0	selektor	0,4-2	informasi sesi	1.2.3
bentuk	1.4.6.1	mengkilap	1.10.0	sourcetools	0.1.7-1
sparklyr	1.9.0	SparkR	4.0.0	sparsevctrs	0.3.1
spasial	7.3-17	garis lengkung	4.4.2	sqldf	0,4-11
SQUAREM	2021.1	statistik	4.4.2	statistik4	4.4.2
string	1.8.4	stringr	1.5.1	bertahan hidup	3.5-8
gaya berani	5.17.14.1	Sistem	3.4.3	systemfonts	1.2.1
bahasa pemrograman Tcl/Tk	4.4.2	ujiitu	3.2.3	pemformatan teks	1.0.0
tibble	3.2.1	tidyr	1.3.1	tidyselect	1.2.1
tidyverse	2.0.0	perubahan jam	0.3.0	TanggalWaktu	4041.110
tinytex	0.56	perangkat	4.4.2	tzdb	0.5.0
urlchecker	1.0.1	gunakan ini	3.1.0	utf8	1.2.4
Utilitas	4.4.2	UUID (Pengidentifikasi Unik Universal)	1.2-1	V8	6.0.2
vctrs	0.6.5	viridisLite	0.4.2	Vroom	1.6.5
Waldo	0.6.1	kumis	0.4.1	dengan	3.0.2
xfun	0.51	xml2	1.3.8	xopen	1.0.1
xtable	1.8-4	yaml	2.3.10	zeallot	0.1.0
zip	2.3.2

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.13)

ID Kelompok	Identifikasi Artefak	Versi
antlr	antlr	2.7.7
com.amazonaws	Klien Amazon Kinesis	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.638
com.amazonaws	aws-java-sdk-cloudformation	1.12.638
com.amazonaws	aws-java-sdk-cloudfront	1.12.638
com.amazonaws	AWS Java SDK untuk CloudHSM	1.12.638
com.amazonaws	aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch)	1.12.638
com.amazonaws	aws-java-sdk-cloudtrail	1.12.638
com.amazonaws	aws-java-sdk-cloudwatch	1.12.638
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.638
com.amazonaws	aws-java-sdk-codedeploy	1.12.638
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.638
com.amazonaws	aws-java-sdk-cognitosync	1.12.638
com.amazonaws	aws-java-sdk-config (konfigurasi SDK Java untuk AWS)	1.12.638
com.amazonaws	aws-java-sdk-core	1.12.638
com.amazonaws	aws-java-sdk-datapipeline	1.12.638
com.amazonaws	aws-java-sdk-directconnect	1.12.638
com.amazonaws	aws-java-sdk-directory	1.12.638
com.amazonaws	aws-java-sdk-dynamodb	1.12.638
com.amazonaws	aws-java-sdk-ec2	1.12.638
com.amazonaws	aws-java-sdk-ecs	1.12.638
com.amazonaws	aws-java-sdk-efs	1.12.638
com.amazonaws	aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache)	1.12.638
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.638
com.amazonaws	aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java)	1.12.638
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.638
com.amazonaws	aws-java-sdk-emr	1.12.638
com.amazonaws	aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services)	1.12.638
com.amazonaws	aws-java-sdk-glue	1.12.638
com.amazonaws	aws-java-sdk-iam	1.12.638
com.amazonaws	aws-java-sdk-impor-ekspor	1.12.638
com.amazonaws	aws-java-sdk-kinesis	1.12.638
com.amazonaws	aws-java-sdk-kms	1.12.638
com.amazonaws	aws-java-sdk-lambda	1.12.638
com.amazonaws	aws-java-sdk-logs	1.12.638
com.amazonaws	AWS-Java-SDK-Pembelajaran Mesin	1.12.638
com.amazonaws	aws-java-sdk-opsworks (SDK Java untuk OpsWorks)	1.12.638
com.amazonaws	aws-java-sdk-rds	1.12.638
com.amazonaws	aws-java-sdk-redshift	1.12.638
com.amazonaws	aws-java-sdk-route53	1.12.638
com.amazonaws	aws-java-sdk-s3	1.12.638
com.amazonaws	aws-java-sdk-ses	1.12.638
com.amazonaws	aws-java-sdk-simpledb	1.12.638
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.638
com.amazonaws	aws-java-sdk-sns	1.12.638
com.amazonaws	aws-java-sdk-sqs	1.12.638
com.amazonaws	aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM)	1.12.638
com.amazonaws	SDK Java untuk Storage Gateway AWS	1.12.638
com.amazonaws	aws-java-sdk-sts	1.12.638
com.amazonaws	AWS Java SDK Dukungan	1.12.638
com.amazonaws	aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF)	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.638
com.amazonaws	jmespath-java	1.12.638
com.clearspring.analytics	aliran	2.9.8
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.27.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.13	0.4.15-11
com.esotericsoftware	bayangan-kriogenik	4.0.3
com.esotericsoftware	Minlog	1.3.0
com.fasterxml	teman sekelas	1.5.1
com.fasterxml.jackson.core	Jackson Annotations	2.18.2
com.fasterxml.jackson.core	jackson-core	2.18.2
com.fasterxml.jackson.core	jackson-databind	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	Jackson-datatype-joda	2.18.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.18.2
com.fasterxml.jackson.module	jackson-module-paranamer	2.18.2
com.fasterxml.jackson.module	jackson-module-scala_2.13	2.18.2
com.github.ben-manes.caffeine	kafein	2.9.3
com.github.blemale	scaffeine_2.13	4.1.0
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	referensi_asli-java	1.1
com.github.fommil.netlib	referensi_asli-java	1.1-penduduk asli
com.github.fommil.netlib	sistem_asli-java	1.1
com.github.fommil.netlib	sistem_asli-java	1.1-penduduk asli
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-penduduk asli
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-penduduk asli
com.github.luben	zstd-jni	1.5.6-10
com.github.virtuald	curvesapi	1.08
com.github.wendykierp	JTransforms	3.1
com.google.api.grpc	proto-google-common-protos	2.5.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	Gson	2.11.0
com.google.crypto.tink	tink	1.16.0
com.google.errorprone	Annotasi yang rentan terhadap kesalahan	2.36.0
com.google.flatbuffers	flatbuffers-java	24.3.25
com.google.guava	kegagalan akses	1.0.2
com.google.guava	jambu biji	33.4.0-jre
com.google.guava	masa depan yang dapat didengarkan	9999.0-kosong-untuk-menghindari-konflik-dengan-guava
com.google.j2objc	j2objc-anotasi	3.0.0
com.google.protobuf	protobuf-java	3.25.5
com.google.protobuf	protobuf-java-util	3.25.5
com.helger	pembuat profil	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.lihaoyi	sourcecode_2.13	0.1.9
com.microsoft.azure	Azure Data Lake Store SDK	2.3.10
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre11
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre8
com.ning	compress-lzf (algoritma kompresi)	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	Paranamer	2.8
com.trueaccord.lenses	lenses_2.13	0.4.13
com.twitter	chill-java	0.10.0
com.twitter	chill_2.13	0.10.0
com.twitter	util-app_2.13	19.8.1
com.twitter	util-core_2.13	19.8.1
com.twitter	util-function_2.13	19.8.1
com.twitter	util-jvm_2.13	19.8.1
com.twitter	util-lint_2.13	19.8.1
com.twitter	util-registry_2.13	19.8.1
com.twitter	util-stats_2.13	19.8.1
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.13	3.9.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
com.zaxxer	SparseBitSet	1.3
commons-cli	commons-cli	1.9.0
commons-codec	commons-codec	1.17.2
koleksi umum	koleksi umum	3.2.2
commons-dbcp	commons-dbcp	1.4
unggah berkas pada commons	unggah berkas pada commons	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.18.0
commons-lang	commons-lang	2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan)	commons-logging (perpustakaan Java untuk fungsi pencatatan)	1.1.3
kolam umum	kolam umum	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	Tidak peduli	3.0.3
dev.ludovic.netlib	LAPACK	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	kompresor udara	2.0.2
io.delta	delta-sharing-client_2.13	1.3.0
io.dropwizard.metrics	metrik dan anotasi	4.2.30
io.dropwizard.metrics	inti metrik	4.2.30
io.dropwizard.metrics	metrics-graphite	4.2.30
io.dropwizard.metrics	pengukuran-pemeriksaan kesehatan	4.2.30
io.dropwizard.metrics	metrics-jetty9	4.2.30
io.dropwizard.metrics	metrik-jmx	4.2.30
io.dropwizard.metrics	metrik-json	4.2.30
io.dropwizard.metrics	metrik-jvm	4.2.30
io.dropwizard.metrics	metrik-servlet	4.2.30
io.github.java-diff-utils	java-diff-utils	4.15
io.netty	netty-all	4.1.118.Final
io.netty	Netty Buffer	4.1.118.Final
io.netty	netty-codec	4.1.118.Final
io.netty	netty-kodek-http	4.1.118.Final
io.netty	netty-codec-http2	4.1.118.Final
io.netty	netty-codec-socks	4.1.118.Final
io.netty	netty-common	4.1.118.Final
io.netty	netty-handler	4.1.118.Final
io.netty	netty-handler-proxy	4.1.118.Final
io.netty	netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty)	4.1.118.Final
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-windows-x86_64
io.netty	Kelas netty-tcnative	2.0.70.Final
io.netty	netty-transport	4.1.118.Final
io.netty	netty-transport-classes-epoll (kelas transportasi netty - epoll)	4.1.118.Final
io.netty	netty-transport-classes-kqueue	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-x86_64
io.netty	netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum)	4.1.118.Final
io.prometheus	simpleclient	0.16.1-databricks
io.prometheus	simpleclient_umum	0.16.1-databricks
io.prometheus	simpleclient_dropwizard	0.16.1-databricks
io.prometheus	simpleclient_pushgateway (gateway pendorong sederhana)	0.16.1-databricks
io.prometheus	simpleclient_servlet	0.16.1-databricks
io.prometheus	simpleclient_servlet_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel	0.16.1-databricks
io.prometheus	simpleclient_pelacakan_otel_agen	0.16.1-databricks
io.prometheus.jmx	pengumpul	0.18.0
jakarta.anotasi	jakarta.anotasi-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktivasi	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	Java Transaction API (JTA)	1.1
javax.transaction	Transaction-API	1.1
javax.xml.bind	jaxb-api	2.2.11
Javolution	Javolution	5.5.1
Jline	Jline	2.14.6
joda-time	joda-time	2.13.0
net.java.dev.jna	jna	5.8.0
net.razorvine	mentimun acar	1.5
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
jaring.bunga salju	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_gabungan_semua	0.1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.13.1
org.antlr	StringTemplate	3.2.1
org.apache.ant	ant	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher	1.10.11
org.apache.arrow	format tanda panah	18.2.0
org.apache.arrow	inti-memori-panah	18.2.0
org.apache.arrow	Arrow-Memory-Netty	18.2.0
org.apache.arrow	arrow-memori-netty-penyangga-tambalan	18.2.0
org.apache.arrow	arrow-vector	18.2.0
org.apache.avro	Avro	1.12.0
org.apache.avro	avro-ipc	1.12.0
org.apache.avro	avro-mapred	1.12.0
org.apache.commons	commons-koleksi4	4.4
org.apache.commons	commons-compress	1.27.1
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.17.0
org.apache.commons	Commons-Math3	3.6.1
org.apache.commons	commons-text (teks umum)	1.13.0
org.apache.curator	kurator dan klien	5.7.1
org.apache.curator	kerangka kerja kurator	5.7.1
org.apache.curator	kurasi resep	5.7.1
org.apache.datasketches	datasketches-java	6.1.1
org.apache.datasketches	datasketches-memory	3.0.2
org.apache.derby	pertandingan derbi	10.14.2.0
org.apache.hadoop	lingkungan kerja klien Hadoop	3.4.1
org.apache.hive	hive-beeline (antarmuka perintah untuk Apache Hive)	2.3.10
org.apache.hive	hive-cli	2.3.10
org.apache.hive	hive-jdbc	2.3.10
org.apache.hive	hive-llap-client	2.3.10
org.apache.hive	hive-llap-common	2.3.10
org.apache.hive	hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi)	2.3.10
org.apache.hive	Hive-shims	2.3.10
org.apache.hive	API penyimpanan hive	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.10
org.apache.hive.shims	hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.)	2.3.10
org.apache.hive.shims	Pengatur Jadwal Hive Shims	2.3.10
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	tanaman anggur	2.5.3
org.apache.logging.log4j	log4j-1.2-api	2.24.3
org.apache.logging.log4j	log4j-api	2.24.3
org.apache.logging.log4j	log4j-core	2.24.3
org.apache.logging.log4j	log4j-layout-template-json (pola tata letak JSON di log4j)	2.24.3
org.apache.logging.log4j	log4j-slf4j2-impl	2.24.3
org.apache.orc	orc-core	2.1.1-shaded-protobuf
org.apache.orc	orc-format	1.1.0-shaded-protobuf
org.apache.orc	orc-mapreduce	2.1.1-shaded-protobuf
org.apache.orc	orc-shims	2.1.1
org.apache.poi	Poi	5.4.1
org.apache.poi	poi-ooxml	5.4.1
org.apache.poi	poi-ooxml-full	5.4.1
org.apache.poi	poi-ooxml-lite	5.4.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.16.0
org.apache.ws.xmlschema	xmlschema-core	2.3.1
org.apache.xbean	xbean-asm9-shaded	4.26
org.apache.xmlbeans	xmlbeans	5.3.0
org.apache.yetus	anotasi penonton	0.13.0
org.apache.zookeeper	penjaga kebun binatang	3.9.3
org.apache.zookeeper	penjaga kebun binatang-jute	3.9.3
org.checkerframework	pemeriksa kualitas	3.43.0
org.codehaus.janino	Pengompilasi Umum	3.0.16
org.codehaus.janino	Januari	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.53.v20231009
org.eclipse.jetty	lanjutan dermaga	9.4.53.v20231009
org.eclipse.jetty	jetty-http (protokol HTTP untuk server Jetty)	9.4.53.v20231009
org.eclipse.jetty	jetty-io	9.4.53.v20231009
org.eclipse.jetty	jetty-jndi	9.4.53.v20231009
org.eclipse.jetty	Jetty Plus	9.4.53.v20231009
org.eclipse.jetty	Jetty-Proxy	9.4.53.v20231009
org.eclipse.jetty	keamanan jetty	9.4.53.v20231009
org.eclipse.jetty	Jetty Server	9.4.53.v20231009
org.eclipse.jetty	jetty-servlet	9.4.53.v20231009
org.eclipse.jetty	jetty-servlets	9.4.53.v20231009
org.eclipse.jetty	jetty-util	9.4.53.v20231009
org.eclipse.jetty	jetty-util-ajax	9.4.53.v20231009
org.eclipse.jetty	Aplikasi web Jetty	9.4.53.v20231009
org.eclipse.jetty	jetty-xml	9.4.53.v20231009
org.eclipse.jetty.websocket	WebSocket-API	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-klien	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-common	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-server	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-servlet	9.4.53.v20231009
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-pemindai lokasi	2.6.1
org.glassfish.hk2	hk2-utilitas	2.6.1
org.glassfish.hk2	osgi-penanda-sumber-daya	1.0.3
org.glassfish.hk2.external	aopalliance (dikemas ulang)	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.41
org.glassfish.jersey.containers	jersey-container-servlet-inti	2.41
org.glassfish.jersey.core	jersey-client	2.41
org.glassfish.jersey.core	jersey biasa	2.41
org.glassfish.jersey.core	Jersey-server	2.41
org.glassfish.jersey.inject	jersey-hk2	2.41
org.hibernate.validator	Hibernate Validator	6.2.5.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.4.1.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	Anotasi	17.0.0
org.jline	Jline	3.27.1-jdk8
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.13	4.0.7
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-jackson-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
org.json4s	json4s-scalap_2.13	4.0.7
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.13	2.9.1
org.objenesis	objenesis	3.3
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	1.2.1
org.rocksdb	rocksdbjni	9.8.4
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.13	2.13.16
org.scala-lang	scala-library_2.13	2.13.16
org.scala-lang	scala-reflect_2.13	2.13.16
org.scala-lang.modules	scala-collection-compat_2.13	2.11.0
org.scala-lang.modules	scala-java8-compat_2.13	0.9.1
org.scala-lang.modules	scala-parallel-collections_2.13	1.2.0
org.scala-lang.modules	scala-parser-combinators_2.13	2.4.0
org.scala-lang.modules	scala-xml_2.13	2.3.0
org.scala-sbt	antarmuka pengujian	1.0
org.scalacheck	scalacheck_2.13	1.18.0
org.scalactic	scalactic_2.13	3.2.19
org.scalanlp	breeze-macros_2.13	2.1.0
org.scalanlp	breeze_2.13	2.1.0
org.scalatest	kompatibel dengan ScalaTest	3.2.19
org.scalatest	scalatest-core_2.13	3.2.19
org.scalatest	scalatest-diagrams_2.13	3.2.19
org.scalatest	scalatest-featurespec_2.13	3.2.19
org.scalatest	scalatest-flatspec_2.13	3.2.19
org.scalatest	scalatest-freespec_2.13	3.2.19
org.scalatest	scalatest-funspec_2.13	3.2.19
org.scalatest	scalatest-funsuite_2.13	3.2.19
org.scalatest	scalatest-matchers-core_2.13	3.2.19
org.scalatest	scalatest-mustmatchers_2.13	3.2.19
org.scalatest	scalatest-propspec_2.13	3.2.19
org.scalatest	scalatest-refspec_2.13	3.2.19
org.scalatest	scalatest-shouldmatchers_2.13	3.2.19
org.scalatest	scalatest-wordspec_2.13	3.2.19
org.scalatest	scalatest_2.13	3.2.19
org.slf4j	jcl-over-slf4j	2.0.16
org.slf4j	jul-to-slf4j	2.0.16
org.slf4j	slf4j-api	2.0.16
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.8.0
org.tukaani	xz	1.10
org.typelevel	algebra_2.13	2.8.0
org.typelevel	cats-kernel_2.13	2.8.0
org.typelevel	spire-macros_2.13	0.18.0
org.typelevel	spire-platform_2.13	0.18.0
org.typelevel	spire-util_2.13	0.18.0
org.typelevel	spire_2.13	0.18.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	2.4.1-linux-x86_64
Stax	stax-api	1.0.1

Tip

Untuk melihat catatan rilis untuk versi Databricks Runtime yang telah mencapai akhir masa dukungan (EoS), lihat Catatan rilis Databricks Runtime yang telah mencapai akhir masa dukungan. Versi EoS Databricks Runtime telah dihentikan dan mungkin tidak diperbarui.

Saran dan Komentar

Apakah halaman ini membantu?

Last updated on 2026-01-09