Databricks Runtime 18.2 (Beta)

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 18.2 (Beta).

Versi ini menggabungkan semua fitur, peningkatan, dan perbaikan bug dari semua rilis Databricks Runtime sebelumnya. Databricks merilis versi ini pada Bulan April 2026.

Penting

Databricks Runtime 18.2 berada di Beta. Konten lingkungan yang didukung mungkin berubah selama Beta. Perubahan dapat mencakup daftar paket atau versi paket yang diinstal.

Perubahan perilaku

XPath tidak lagi mengambil DTD eksternal

Saat Anda mengevaluasi XPath melalui XML, Azure Databricks tidak lagi memuat Definisi Tipe Dokumen (DTD) eksternal yang dideklarasikan dalam dokumen. Sebelumnya, XPath dapat gagal ketika XML berisi referensi DTD eksternal yang menunjuk ke URL cacat atau titik akhir yang tidak dapat dijangkau. Karena validasi DTD terpisah dari evaluasi XPath, kueri yang sudah berhasil mengembalikan hasil yang sama seperti sebelumnya. Kueri yang sebelumnya hanya gagal saat pengambilan DTD eksternal kini dapat berhasil.

Preservasi struct NULL dalam INSERT, penulisan MERGE, dan streaming dengan evolusi skema

Untuk INSERT, MERGE, dan penulisan streaming yang menggunakan evolusi skema, struct NULL di sumber sekarang disimpan sebagai NULL di target. Sebelumnya, nilai tersebut diwujudkan secara tidak benar sebagai struktur non-null dengan setiap bidang diatur ke NULL, sementara operasi yang sama tanpa perubahan skema mempertahankan struktur NULL dengan benar. Jika kode Anda mengandalkan penerimaan struct non-null yang bidangnya semuanya NULL, perbarui kode Anda untuk menangani struct NULL sebagai gantinya.

Dukungan NullType (VOID) dalam tabel Delta

Tabel Delta Lake sekarang mendukung VOID kolom. Sebelumnya, VOID kolom tanpa pemberitahuan dilewati oleh pembacaan DataFrame yang berbasis jalur (misalnya, spark.read.format("delta").load(path)) dan kueri perjalanan waktu. Kueri ini sekarang menyertakan VOID kolom dalam output. Penulisan tidak terpengaruh. Lihat VOID jenis untuk batasan tempat kemunculan kolom VOID dalam skema.

Tinjau kueri apa pun yang membaca dari tabel Delta Lake dengan VOID kolom untuk memastikan bahwa kueri tersebut menangani kolom tambahan dengan benar. Misalnya, kueri yang sebelumnya mengembalikan dua kolom sekarang mengembalikan tiga:

CREATE TABLE my_table(id INT, v VOID, name STRING) USING DELTA;

-- Before DBR 18.2: returns (id, name)
-- After DBR 18.2:  returns (id, v, name)
SELECT * FROM my_table VERSION AS OF 0;

Kueri yang bergantung pada jumlah atau posisi kolom, seperti INSERT INTO ... SELECT *, mungkin mulai gagal setelah peningkatan.

Secara khusus, kueri tertentu INSERT dengan evolusi skema yang diaktifkan dapat secara diam-diam memindahkan data ke kolom yang salah. Kolom tambahan VOID dalam output menggeser posisi kolom berikutnya, yang dapat menyebabkan data ditulis ke kolom yang salah dalam tabel target. Contohnya:

-- Source table has a VOID column between two INT columns
CREATE TABLE source(a INT, b VOID, c INT) USING DELTA;
-- Target table has two INT columns
CREATE TABLE target(x INT, y INT) USING DELTA;

-- Before DBR 18.2: SELECT * FROM source returns (a, c), inserting a->x and c->y
-- After DBR 18.2:  SELECT * FROM source returns (a, b, c), inserting a->x, b->y,
--                  and c is added as a new column via schema evolution
INSERT INTO target WITH SCHEMA EVOLUTION
SELECT * FROM source VERSION AS OF 0;

SHOW CREATE TABLE mendukung tampilan metrik

SHOW CREATE TABLE sekarang mendukung tampilan metrik. Sebelumnya, menjalankan perintah ini pada tampilan metrik menimbulkan kesalahan. Output untuk tampilan metrik mencakup nama tiga bagian yang sepenuhnya memenuhi syarat dengan katalog (misalnya, CREATE VIEW catalog.db.my_metric_view ...), sehingga memudahkan untuk membuat ulang tampilan metrik di lokasi yang benar.

Perbaikan untuk penghapusan baris akibat LEFT OUTER LATERAL JOIN

Bug yang secara salah menghapus baris dari LEFT OUTER JOIN LATERAL kueri telah diperbaiki. Kueri yang menggunakan konstruksi ini sekarang mengembalikan hasil yang benar. Untuk kembali ke perilaku sebelumnya untuk sementara, atur spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic ke true.

NATURAL JOIN menghormati pencocokan kolom tanpa membedakan kasus huruf

NATURAL JOIN sekarang dengan benar menggunakan pencocokan kolom yang tidak peka terhadap huruf besar/kecil saat spark.sql.caseSensitive diatur ke false (default). Sebelumnya, NATURAL JOIN menggunakan perbandingan peka huruf besar/kecil untuk mengidentifikasi kolom umum, menyebabkan kolom yang hanya berbeda dalam hal huruf besar/kecil (misalnya, ID versus id) tidak dikenali sebagai pencocokan. Hal ini menyebabkan NATURAL JOIN diam-diam menghasilkan hasil gabungan silang. Perbaikan ini menyelaraskan perilaku NATURAL JOIN dengan penggabungan USING, yang sudah dengan benar menangani ketidakpekaan huruf besar/kecil. Kueri yang dipengaruhi oleh bug ini sekarang mengembalikan hasil yang benar dengan kolom yang digabungkan dengan benar.

Validasi dependensi SQL UDF di Unity Catalog

Unity Catalog sekarang memberlakukan validasi dependensi untuk fungsi yang ditentukan pengguna (UDF) SQL untuk mencegah bypass kontrol akses. Sebelumnya, fungsi SQL yang dibuat melalui REST API dapat mereferensikan dependensi yang tidak dapat diakses pengguna. UDF SQL dengan konfigurasi dependensi yang tidak valid sekarang diblokir dari eksekusi.

Penulisan yang dioptimalkan untuk tabel Unity Catalog yang dipartisi yang dibuat dengan CRTAS

Penulisan yang dioptimalkan sekarang diterapkan dengan benar ke tabel Unity Catalog yang dipartisi yang dibuat dengan CREATE OR REPLACE TABLE ... AS SELECT (CRTAS). Sebelumnya, CRTAS pada tabel Unity Catalog baru yang dipartisi tidak menerapkan penulisan yang dioptimalkan, menghasilkan jumlah file kecil yang lebih tinggi per partisi. Perbaikan ini dapat meningkatkan latensi tulis. Untuk kembali ke perilaku sebelumnya, atur spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled ke false.

Dependensi AWS SDK v1 dikemas ulang

Dependensi AWS SDK v1 yang dibundel dengan Databricks Runtime sekarang berbayang dan tidak lagi tersedia langsung di classpath. Jika kode Anda bergantung pada pustaka AWS SDK v1 yang sebelumnya disediakan oleh Databricks Runtime, tambahkan sebagai dependensi eksplisit dalam proyek Anda. Perubahan ini mempersiapkan migrasi ke AWS SDK v2, mengikuti akhir dukungan AWS untuk SDK v1.

Memperbaiki otoritas EPSG yang salah untuk SRID 102100 versi ESRI

Pemetaan Sistem Referensi Koordinat (CRS) untuk SRID 102100 sekarang menggunakan ESRI:102100 dengan benar alih-alih EPSG:102100salah . Perbaikan ini memastikan data geospasial disimpan dengan otoritas yang benar untuk interoperabilitas yang lebih baik dengan sistem lain.

Fitur dan peningkatan baru

DUKUNGAN CREATE OR REPLACE untuk tabel sementara

CREATE OR REPLACE TEMP TABLE sintaksis sekarang didukung, memungkinkan Anda membuat atau mengganti tabel sementara dalam satu pernyataan. Ini menghilangkan kebutuhan untuk secara eksplisit menghilangkan dan membuat ulang tabel sementara.

agg() alias untuk measure() fungsi

agg() sekarang tersedia sebagai alias untuk fungsi tersebut measure() . Perubahan ini kompatibel sepenuhnya ke belakang. Kueri yang ada yang menggunakan measure() terus berfungsi tanpa modifikasi, dan agg() menghasilkan hasil yang identik saat digunakan dengan argumen yang sama.

Peningkatan driver Snowflake JDBC

Driver Snowflake JDBC ditingkatkan dari 3.22.0 menjadi 3.28.0.

pyspark.pipelines.testing alias namespace

pyspark.pipelines.testing sekarang tersedia sebagai alias kenyamanan untuk dlt.testing API. Impor utilitas pengujian alur Lakeflow Spark Declarative Pipelines melalui salah satu namespace layanan.

Peningkatan performa daftar Auto Loader

Auto Loader sekarang menggunakan metode daftar yang lebih efisien yang meningkatkan kecepatan daftar untuk sumber penyimpanan cloud. Jika aliran berkelanjutan Anda bergantung pada lamanya penemuan data melalui pencatatan, dan tidak mengatur pemicu eksplisit ProcessingTime, peningkatan ini dapat mengakibatkan peningkatan biaya API daftar cloud. Atur pemicu eksplisit ProcessingTime untuk mengontrol seberapa sering operasi daftar berjalan.

Riwayat tabel Delta menyertakan parameter opsi tulis

Riwayat tabel Delta (DESCRIBE HISTORY) sekarang menyertakan bendera opsi tulis di operationParameters kolom untuk WRITE operasi dan REPLACE TABLE . Ketika opsi berikut diaktifkan secara eksplisit, opsi tersebut muncul sebagai bendera boolean dalam riwayat (hanya disertakan ketika true):

Untuk WRITE operasi dan REPLACE TABLE :

  • isDynamicPartitionOverwrite: hadir ketika mode timpa partisi dinamis digunakan
  • canOverwriteSchema: akan tampil saat penggantian skema (overwriteSchema) diaktifkan
  • canMergeSchema: hadir ketika penggabungan skema (mergeSchema) diaktifkan

Untuk REPLACE TABLE operasi:

  • predicate: ada ketika replaceWhere digunakan
  • isV1WriterSaveAsTableOverwrite: hadir ketika penggantian dipicu oleh .saveAsTable penimpaan

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:

    Tidak ada pustaka yang dimutakhirkan dalam versi ini.

  • Pustaka R yang ditingkatkan:

    Tidak ada pustaka yang dimutakhirkan dalam versi ini.

  • Pustaka Java yang ditingkatkan:

    • io.delta.delta-sharing-client_2.13 dari 1.3.9 hingga 1.3.10

Apache Spark

Databricks Runtime 18.2 mencakup Apache Spark 4.1.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 18.1, serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • SPARK-56219 Membatalkan "[SC-225028][PS] Sesuaikan perilaku groupby idxmax dan idxmin dengan skipna=False sesuai dengan pandas 2/3"
  • SPARK-56204 Hilangkan Alias pembungkus dari ekspresi baris tabel inline di parser
  • SPARK-56186 Menghentikan pypy
  • SPARK-56202 Uji gabungan streaming refaktor: hierarki Base/Suite terpisah dan sederhanakan pengiriman mode
  • SPARK-56221 Paritas fitur antara perintah spark.catalog.* vs DDL
  • SPARK-56301 Perbaiki kesalahan ketik di error-conditions.json
  • SPARK-55729 Mendukung pembaca sumber data status untuk format status baru v4 pada gabungan stream-stream
  • SPARK-56256 Menambahkan API emptyDataFrame ke SparkSession
  • SPARK-56205 Memvalidasi ID titik pemeriksaan penyimpanan status dasar sebelum menerapkan microbatch
  • SPARK-55827 Memperbaiki petunjuk jenis untuk pekerja sumber data
  • SPARK-55579 Ganti nama kelas kesalahan PySpark menjadi eval-type-agnostic
  • SPARK-56247 Perbaiki perilaku mundur dan ketik petunjuk inheritable_thread_target
  • SPARK-56244 Menyempurnakan tata letak kelas tolok ukur di bench_eval_type.py
  • SPARK-56262 Hapus penonaktifan pemeriksaan mypy yang tidak perlu untuk tipe
  • SPARK-55969 regr_r2 harus memperlakukan param pertama sebagai variabel dependen
  • SPARK-56179 Mengonsolidasikan kelas kesalahan untuk ketidakcocokan jenis - bagian 3
  • SPARK-55630 Lewati pembaruan bendera yang cocok untuk sisi non-luar di stream-stream join v4
  • SPARK-56217 Memperbaiki pengecualian bucketBy dalam Connect
  • SPARK-56225 Meningkatkan pesan kesalahan View WITH SCHEMA EVOLUTION
  • SPARK-55865 Ganti nama _LEGACY_ERROR_TEMP_1266 menjadi CANNOT_TRUNCATE_EXTERNAL_TABLE
  • SPARK-55861 Ubah nama variabel _LEGACY_ERROR_TEMP_2045 menjadi UNSUPPORTED_TABLE_CHANGE
  • SPARK-56166 Gunakan ArrowBatchTransformer.enforce_schema untuk mengganti logika koersi tipe berbasis kolom
  • SPARK-56245 Memperbaiki penugasan inplace DataFrame.eval pada pandas 3
  • SPARK-56062 Mengisolasi memory_profiler untuk meningkatkan waktu impor
  • Katalog sistem SPARK-55964 mengungguli katalog pengguna untuk skema BUILTIN dan SESSION.
  • SPARK-56226 Menangkap kesalahan analisis sebelum InternalFrame.__init__ masuk .loc
  • SPARK-55723 Menggeneralisasi kesalahan enforce_schema ke PySparkTypeError
  • SPARK-54878 Tambahkan opsi sortKeys ke fungsi to_json
  • SPARK-56219 Menyelaraskan perilaku groupby idxmax dan idxmin skipna=False dengan pandas 2/3
  • SPARK-44065 Mengoptimalkan ketidakseimbangan BroadcastHashJoin pada OptimizeSkewedJoin
  • SPARK-56179 Kembalikan "[SC-225014][PYTHON] Mengonsolidasikan kelas kesalahan untuk jenis ketidakcocokan - bagian 3"
  • SPARK-53399 Menggabungkan UDF Python
  • SPARK-56224 Memperbaiki anotasi tipe untuk accumulators.py
  • SPARK-55448 Memperbaiki kehilangan peristiwa kueri saat sesi ditutup selama eksekusi kueri
  • SPARK-55862 Ganti nama _LEGACY_ERROR_TEMP_2027 menjadi UNEXPECTED_OPERATOR_IN_CORRELATED_SUBQUERY
  • SPARK-56201 Jalankan pengujian SPARK-49829 dengan gabungan VCF sekarang setelah StateDataSource mendukungnya
  • SPARK-56179 Mengonsolidasikan kelas kesalahan untuk ketidakcocokan jenis - bagian 3
  • SPARK-56184 Ganti assert dengan SparkRuntimeException yang tepat dalam penguraian kolom partisi
  • SPARK-56206 Memperbaiki deteksi nama CTE duplikat yang tidak peka huruf besar/kecil
  • SPARK-55866 Ganti nama _LEGACY_ERROR_TEMP_2145 menjadi OPTION_VALUE_EXCEEDS_ONE_CHARACTER
  • SPARK-56067 Penundaan impor psutil untuk meningkatkan kecepatan impor
  • SPARK-56066 Pengimporan numpy secara malas untuk meningkatkan kecepatan impor
  • SPARK-55719 Menghapus peringatan depresiasi untuk spark.sql.hive.convertCTAS
  • SPARK-56179 Mengonsolidasikan kelas kesalahan untuk ketidakcocokan jenis - bagian 2
  • SPARK-55510 Memperbarui dokumen structured-streaming-state-data-source.md untuk mencerminkan deleteRange
  • SPARK-56050 Selesaikan IDENTIFIER dengan segera dengan literal string pada waktu penguraian
  • SPARK-56151 Memperbaiki tampilan string CreateVariable
  • SPARK-55751 Menambahkan metrik pada beban penyimpanan status dari DFS
  • SPARK-56188 Sejajarkan Series.map({}) dengan perilaku pandas 3 empty-dict
  • SPARK-55964 Kembalikan katalog sistem "[SC-223957] menang atas katalog pengguna untuk skema BUILTIN, dan SESSION."
  • SPARK-55577 Refaktor SQL_SCALAR_ARROW_ITER_UDF logika pembungkus, pemeta, dan serializer
  • SPARK-55596 Pemfilteran Statistik Partisi DSV2 yang Ditingkatkan
  • SPARK-56179 Kembalikan "[SC-224777][PYTHON] Mengonsolidasikan kelas kesalahan untuk jenis ketidakcocokan - bagian 2"
  • Katalog sistem SPARK-55964 mengungguli katalog pengguna untuk skema BUILTIN dan SESSION.
  • SPARK-56050 Kembalikan "[SC-224153][SQL] Dengan bersemangat menyelesaikan IDENTIFIER() dengan literal string pada waktu penguraian"
  • SPARK-56179 Mengonsolidasikan kelas kesalahan untuk ketidakcocokan jenis - bagian 2
  • SPARK-56102UnionEstimation pembersihan kode
  • SPARK-51712 Menyerap Throwables yang tidak fatal saat menyelesaikan tabel/tampilan di spark.catalog.listTables()
  • SPARK-55881 Menambahkan queryId, errorMessage, dan rootExecutionId ke REST API eksekusi SQL
  • SPARK-56050 Selesaikan IDENTIFIER dengan segera dengan literal string pada waktu penguraian
  • SPARK-55628 Mengintegrasikan format status penggabungan aliran-aliran V4
  • SPARK-56187 Memperbaiki urutan series.argsort null untuk panda 3
  • SPARK-56167 Menyelaraskan astype dengan perilaku default string dari pandas 3
  • SPARK-56018 Memanfaatkan ruff sebagai pemformat teks
  • SPARK-56042 Memperbaiki metrik hitung keluarga kolom eksternal/internal yang ditukar di RocksDBStateStoreProvider
  • SPARK-56179 Mengonsolidasikan kelas kesalahan untuk jenis ketidakcocokan - bagian 1
  • SPARK-56089 Menyelaraskan asinh/acosh dengan algoritma fdlibm untuk kompatibilitas lintas mesin
  • SPARK-55453 Memperbaiki pencocokan pola LIKE untuk karakter Unicode tambahan
  • SPARK-52785 Menyederhanakan sintaks super() dalam PySpark
  • SPARK-56169 Perbaikan ClassCastException dalam pelaporan kesalahan saat GetStructField jenis anak diubah oleh transformasi rencana
  • SPARK-55557 Fungsi hiperbolik seharusnya tidak meluap dengan input besar
  • SPARK-47997 Menambahkan parameter kesalahan ke DataFrame.drop dan Series.drop
  • SPARK-55008 Tampilkan ID Kueri di SparkUI
  • SPARK-54660 Menambahkan pemicu RTM ke python
  • SPARK-56047 Menyebarkan distinctCount melalui Union dalam estimasi statistik CBO
  • SPARK-56111 Tambahkan SparkContext.isDriver() dan gunakan di seluruh basis kode
  • SPARK-55999 Aktifkan forceSnapshotUploadOnLag secara default
  • SPARK-55610 Tambahkan getExecutorInfos ke StatusTracker di Python
  • SPARK-55728 Memperkenalkan konfigurasi untuk mengatur ukuran threadpool checksum file dan mendukung opsi penonaktifan threadpool
  • SPARK-55686 SizeEstimator mengurus Kepala Objek Kompak
  • SPARK-56044 HistoryServerDiskManager tidak menghapus penyimpanan aplikasi saat dirilis saat aplikasi tidak berada di peta aktif
  • SPARK-55809 HeapHistogram menggunakan DiagnosticCommandMBean sebagai ganti subproses jmap
  • SPARK-56122 Gunakan pemeriksaan dtype numerik yang mendukung pandas di Series.cov
  • SPARK-56113 Meningkatkan restorasi string pada pandas 3 di pandas-on-Spark
  • SPARK-56118 Mencocokkan penanganan bool pandas 3.0 di GroupBy.quantile
  • SPARK-53823 Menerapkan daftar izinkan untuk mode real time
  • SPARK-55977 Perbaiki isin() untuk menggunakan pencocokan tipe ketat seperti pandas
  • SPARK-54027 Dukungan Kafka Source RTM
  • SPARK-50284 Mengubah dokumen untuk fungsi parseJson
  • SPARK-56035 [SQL] Pengenalan AggregationValidator untuk validasi penyelesai satu-lintasan Aggregate
  • SPARK-55557 Kembalikan "[SC-223720][SQL] Fungsi hiperbolik tidak boleh meluap dengan input besar"
  • SPARK-56075 Menghapus sejumlah kelas kesalahan Python usang
  • SPARK-55967 Menyatukan konversi kolom untuk menghubungkan dataframe
  • SPARK-53915 Menambahkan RealTimeScanExec dan kemampuan untuk menjalankan batch yang berjalan lama
  • SPARK-55557 Fungsi hiperbolik seharusnya tidak meluap dengan input besar
  • SPARK-55147 Rentang tanda waktu cakupan untuk pengambilan gabungan interval waktu dalam format status V4
  • SPARK-56056 Mendukung pembuatan profil pekerja yang lebih sederhana dengan viztracer
  • SPARK-55948 Menambahkan API konektor DSv2 CDC, resolusi penganalisis, dan klausa PERUBAHAN SQL
  • SPARK-54599 Terapkan kembali "[SC-219008][PYTHON] Refaktor PythonExcept...
  • SPARK-55390 Mengonsolidasikan logika pembungkus, pemeta, dan serializer SQL_SCALAR_ARROW_UDF
  • SPARK-56023 Keseimbangan beban yang lebih baik dalam LowLatencyMemoryStream
  • SPARK-55986 Tingkatkan hitam ke 26.3.1
  • SPARK-55667 Pindahkan check_dependencies ke init
  • SPARK-55145 Mendukung Avro untuk encoder kunci status RocksDB berbasis tanda waktu
  • SPARK-53970 Hapus tag 'opsional' yang salah untuk messageName...
  • SPARK-55059 Kembalikan "[SC-224058][PYTHON] Hapus solusi tabel kosong di toPandas"
  • SPARK-50111 Menambahkan dukungan subplot untuk bagan pai di backend Plotly
  • SPARK-56081 Menyelaraskan penanganan NA pada idxmax dan idxmin dengan pandas 3
  • SPARK-56080 Menyelaraskan Series.argmax/argmin dengan penanganan NA pada pandas 3.0
  • SPARK-56060 Menangani konversi string null pandas 3 di describe() untuk bingkai tanda waktu kosong
  • SPARK-55059 Menghapus penanganan tabel kosong di toPandas
  • SPARK-55995 Mendukung TIMESTAMP DENGAN ZONA WAKTU LOKAL dalam sintaks SQL
  • SPARK-55976 Gunakan Set alih-alih Seq untuk hak istimewa tulis
  • SPARK-56073 Menyederhanakan build PythonRunnerConfMap
  • SPARK-55887 Penanganan khusus untuk CollectLimitExec/CollectTailExec menghindari pemindaian tabel penuh
  • SPARK-55980 Selalu terapkan _cast_back_float dalam aritmatika numerik
  • SPARK-55357 Memperbaiki docstring untuk timestamp_add
  • SPARK-55667 Kembalikan "[SC-223289][PYTHON][CONNECT] Pindahkan check_dependencies ke init"
  • SPARK-54285 Kembalikan "[PYTHON] Info zona waktu cache untuk menghindari konversi tanda waktu yang mahal"
  • SPARK-56021 Tingkatkan ambang batas default maxChangeFileReplay pada AutoSnapshotRepair dari 50 menjadi 500
  • SPARK-55870 Menambahkan dokumentasi untuk tipe Geo
  • SPARK-55962 Gunakan getShort alih-alih getInt casting di putShortsFromIntsLittleEndian pada platform Little Endian
  • SPARK-55903 Menyederhanakan Evolusi Skema MERGE dan Memeriksa Hak Tulis
  • SPARK-55326 Lepaskan sesi jarak jauh saat SPARK_CONNECT_RELEASE_SESSION_ON_EXIT diatur
  • SPARK-55667 Pindahkan check_dependencies ke init
  • SPARK-55884 Menambahkan v1StatsToV2Stats ke DataSourceV2Relation
  • SPARK-55929 Tambahkan fungsi toString() yang hilang ke TableChange.UpdateColumnDefaultValue
  • SPARK-55851 Mengklarifikasi jenis partisi sumber data dan membaca
  • SPARK-55828 Tambahkan DSV2 TableChange toString dan perbaiki kelas kesalahan yang hilang untuk Merge Into Schema Evolution
  • SPARK-55790 Membangun registri SRS lengkap menggunakan data PROJ 9.7.1
  • SPARK-55645 Menambahkan serdeName ke CatalogStorageFormat
  • SPARK-54796 Memperbaiki NPE yang disebabkan oleh kondisi balapan antara inisialisasi Pelaksana dan migrasi acak
  • SPARK-55983 Fungsionalitas analisis sekali jalan dan perbaikan bug baru
  • SPARK-55964 Koherensi cache: membersihkan registri fungsi pada DROP DATABASE
  • SPARK-55868 Memperbaiki Penurunan Predikat untuk Tabel Dalam Memori untuk V2Filters
  • SPARK-55973 Pengoptimalan LeftSemi untuk gabungan stream-stream
  • SPARK-54665 Perbaiki perbandingan boolean vs string agar sesuai dengan perilaku panda
  • SPARK-55539 Izinkan transmisi dari GeographyType ke GeometryType
  • SPARK-55695 Hindari perencanaan ganda dalam operasi tingkat baris
  • SPARK-55904 Menggunakan _check_same_session untuk mempersempit jenis
  • SPARK-55965 Tambahkan peringatan saat panda >= 3.0.0 digunakan dengan PySpark
  • SPARK-55493 [SS] Jangan mkdirs di streaming checkpoint offset/commit log directory di StateDataSource
  • SPARK-55851 Kembalikan "[SC-223270][PYTHON] Klarifikasi jenis partisi sumber data dan baca"
  • SPARK-55645 Kembalikan "[SC-221839][SQL] Tambahkan serdeName ke CatalogStorageFormat"
  • SPARK-55640 Menyebarkan kesalahan penguraian WKB untuk Geometri dan Geografi
  • SPARK-55693 Hindari kebuntuan dengan membuat SparkSession.observationManager sebagai val yang tidak malas
  • SPARK-55528 Menambahkan dukungan kolase default untuk UDF SQL
  • SPARK-55860 Gunakan UNABLE_TO_INFER_SCHEMA alih-alih UNABLE_TO_INFER_SCHEMA_FOR_DATA_SOURCE
  • SPARK-55275 Menambahkan status SQL "InvalidPlanInput" untuk sql/connect
  • SPARK-55645 Menambahkan serdeName ke CatalogStorageFormat
  • SPARK-55716 Mendukung penegakan batasan NOT NULL untuk penyisipan tabel sumber file V1
  • SPARK-53226 Buat ClosureCleaner berfungsi dengan Java22+
  • SPARK-55997 Mengatur batas atas ke prefiksScan di penyedia penyimpanan status RocksDB
  • SPARK-55851 Mengklarifikasi jenis partisi sumber data dan membaca
  • SPARK-55954 Menghapus petunjuk jenis kelebihan beban yang salah untuk fillna
  • SPARK-56016 Pertahankan kolom Series bernama sesuai dengan pengaturan ignore_index pada pandas 3
  • SPARK-55502 Menyatukan penanganan kesalahan konversi UDF dan UDTF Arrow
  • SPARK-55989 Mempertahankan tipe data indeks selain int64 di restore_index
  • SPARK-55955 Hapus petunjuk jenis kelebihan beban untuk penurunan
  • SPARK-55945 [SDP] Mendukung pengidentifikasi terstruktur untuk alur dalam proto analisis cepat SDP
  • SPARK-55714 JDK mungkin melempar ArithmeticException tanpa pesan
  • SPARK-55991 Memperbaiki kerusakan teks SQL terkait unicode dengan parameter
  • SPARK-55696 Menambahkan kesalahan eksplisit ke Encoders.bean untuk kelas antarmuka
  • SPARK-55533 Mendukung IGNORE NULLS / RESPECT NULLS untuk collect_set
  • SPARK-55987 Memperbaiki ekstraksi tanda waktu pada penggabungan berjendela V4 menggunakan findJoinKeyOrdinalForWatermark
  • SPARK-55946 Mengatur pandas_priority sehingga operasi biner campuran dikirimkan dengan benar ke pandas-on-Spark
  • SPARK-55264 Tambahkan perintah 'ExecuteOutput' ke protokol pipeline Spark Connect
  • SPARK-47672 Hindari evaluasi ganda dari pushDown filter dengan pendorongan proyeksi
  • SPARK-55780 Ganti logo PNG dengan SVG di Spark Web UI
  • SPARK-55821 Terapkan argumen khusus kata kunci dalam metode init serializer
  • SPARK-55621 Memperbaiki penggunaan unicode yang ambigu dan tidak perlu
  • SPARK-55662 Implementasi argumen Axis pada idxmin
  • SPARK-55631ALTER TABLE harus membatalkan cache untuk tabel DSv2
  • SPARK-55692 Perbaikan SupportsRuntimeFiltering dan SupportsRuntimeV2Filtering dokumentasi
  • SPARK-55928 Linter baru untuk efektivitas konfigurasi dalam view dan UDF
  • SPARK-55440 Kerangka Kerja Tipe - Fase 1a - Dasar Sistem Tipe Inti
  • SPARK-55631 Kembalikan "[SC-221596][SQL] ALTER TABLE harus membatalkan cache untuk tabel DSv2"
  • SPARK-55631ALTER TABLE harus membatalkan cache untuk tabel DSv2
  • SPARK-55683 Mengoptimalkan VectorizedPlainValuesReader.readUnsignedLongs
  • SPARK-55892 Perbaiki tidak dapat memuat penyimpanan status karena file SST yang digunakan kembali dihapus oleh pemeliharaan
  • SPARK-55946 Kembalikan "[SC-223027][PS] Atur pandas_priority sehingga operasi biner campuran diteruskan dengan benar ke pandas-on-Spark"
  • SPARK-55891 Mempertahankan konteks pembuatan skrip SQL di dalamnya EXECUTE IMMEDIATE
  • SPARK-55907 Memperbaiki posisi kesalahan yang salah untuk tipe data yang tidak valid di CREATE FUNCTION
  • SPARK-55946 Mengatur pandas_priority sehingga operasi biner campuran dikirimkan dengan benar ke pandas-on-Spark
  • SPARK-55694 Memblokir batasan dalam CTAS/RTAS pada tingkat parser
  • SPARK-55682 Iterator yang dikembalikan ServiceLoader dapat dilemparkan NoClassDefFoundErrorhasNext()
  • SPARK-55155 Memperbaiki SETCATALOG agar dapat menggunakan karakter khusus dan backtick dalam nama pengidentifikasi
  • SPARK-55932 Memperbaiki hang pada parser varian XML dengan skala negatif
  • SPARK-55673 Menambahkan lebih banyak pengujian untuk encoder jenis berlapis
  • SPARK-55679 Perbaiki mendeteksi sun.io.serialization.extendedDebugInfo pada Java 25
  • SPARK-55957 Tambahkan 'DATA_SOURCE_NOT_FOUND' di Catalog.ERROR_HANDLING_RULES
  • SPARK-55052 Menambahkan properti AQEShuffleRead ke Pohon Rencana Fisik
  • SPARK-55652 Optimalkan VectorizedPlainValuesReader.readShorts() dengan akses array langsung untuk buffer timbunan
  • SPARK-55659 Meningkatkan EventLogFileWriter untuk log stop operasi
  • SPARK-54666 Biarkan jenis numerik tidak berubah pada to_numeric
  • SPARK-55654 Mengaktifkan pemangkasan TreePattern untuk EliminateSubqueryAliases dan ResolveInlineTables
  • SPARK-55533 Kembalikan "[SC-220538][SQL] Dukungan IGNORE NULLS / RESPECT NULLS for collect_set"
  • SPARK-55901 Memunculkan kesalahan dari Series.replace() tanpa argumen
  • SPARK-55896 Menggunakan fungsi numpy alih-alih bawaan
  • SPARK-55655 Membuat kosakata menjadi deterministik ketika hitungan sama
  • SPARK-55811 [SQL] Tangkap NonFatal alih-alih UnresolvedException saat memanggil nodeWithOutputColumnsString
  • SPARK-55533 Mendukung IGNORE NULLS / RESPECT NULLS untuk collect_set
  • SPARK-55435 Gunakan StringBuilder alih-alih StringBuffer
  • SPARK-54807 Izinkan nama yang memenuhi syarat untuk fungsi bawaan dan sesi (#198171)
  • SPARK-55854 Tandai atribut duplikat pass-through di Perluas output untuk mencegah AMBIGUOUS_REFERENCE
  • SPARK-55261 Menerapkan dukungan baca Parquet untuk jenis data Geo
  • SPARK-55416 Kebocoran memori pada Sumber Data Python Streaming saat end-offset tidak diperbarui
  • SPARK-55465 Dukungan untuk GeometryType dalam convert_numpy
  • SPARK-55801 Memperbaiki "type hint" pada _SimpleStreamReaderWrapper.getCache
  • SPARK-55800 Hapus pemeriksaan tipe yang tidak digunakan untuk datetime.date
  • SPARK-55663 Menyatukan modul untuk fungsi sumber data
  • SPARK-55665 Menyatukan cara pekerja membuat koneksi dengan pelaksana
  • SPARK-53446 Optimalkan operasi penghapusan BlockManager dengan pemetaan blok yang di-cache
  • SPARK-55867 Memperbaiki StringMethods dengan Pandas 3
  • SPARK-55501 Perbaiki listagg berbeda + dalam urutan grup menurut bug
  • SPARK-55558 Menambahkan dukungan untuk operasi himpunan Tuple/Theta
  • SPARK-55636 Tambahkan kesalahan terperinci dalam kasus deduplikasi kolom yang tidak valid
  • SPARK-55788 Mendukung ExtensionDType untuk bilangan bulat di Pandas UDF
  • SPARK-55464 Mendukung GeographyType di convert_numpy
  • SPARK-55530 Mendukung set hasil geografis di server Apache Hive dan Apache Thrift
  • SPARK-55525 Perbaiki UDTF_ARROW_TYPE_CONVERSION_ERROR dengan parameter pesan kesalahan yang tidak ditentukan
  • SPARK-55626 Jangan muat kolom metadata pada Tabel kecuali diperlukan di V2TableUtil
  • SPARK-55533 Kembalikan "[SC-220538][SQL] Dukungan IGNORE NULLS / RESPECT NULLS for collect_set"
  • SPARK-55435 Kembalikan "[SC-219656][CORE][SQL] Gunakan StringBuilder alih-alih StringBuffer"
  • SPARK-55533 Mendukung IGNORE NULLS / RESPECT NULLS untuk collect_set
  • SPARK-54452 Memperbaiki respons kosong dari server SparkConnect untuk spark.sql(...) di dalam FlowFunction
  • SPARK-55638 Memperbaiki ulang serialisasi WKT di GeometryModel
  • SPARK-55551 Meningkatkan pemartisian keluaran
  • SPARK-54314 Meningkatkan Server-Side debuggability di Spark Connect dengan menangkap nama file dan nomor baris aplikasi klien
  • SPARK-55517 Optimalkan VectorizedPlainValuesReader.readBytes() dengan akses array langsung untuk buffer timbunan
  • SPARK-55495 Perbaiki EventLogFileWriters.closeWriter untuk menangani checkError
  • SPARK-55279 Menambahkan sketch_funcs grup untuk fungsi SQL DataSketches
  • SPARK-55435 Gunakan StringBuilder alih-alih StringBuffer
  • SPARK-55064 Mendukung pengulangan shuffle pada tingkat query yang tidak pasti
  • SPARK-55411 SPJ dapat melempar arrayIndexOutOfBoundsException ketika kunci gabungan kurang dari kunci kluster
  • SPARK-55451 Kursor harus mulai mengumpulkan hasil saat OPEN, bukan saat FETCH pertama
  • SPARK-54687 Menambahkan lebih banyak kasus tepi dengan generator
  • SPARK-55691 Klien GetStatus
  • SPARK-55277 Menambahkan protobuf_funcs grup untuk fungsi Protobuf SQL
  • SPARK-55822 Ganti nama _LEGACY_ERROR_TEMP_0052 menjadi CREATE_VIEW_WITH_IF_NOT_EXISTS_AND_REPLACE
  • SPARK-55236 Mengatasi pengecualian tak terduga dalam beberapa kasus pengujian CoarseGrainedExecutorBackendSuite
  • SPARK-55275 Cakupan Status SQL: IllegalStateException
  • SPARK-55462 Terapkan kembali "[SC-221123][PYTHON] Dukung VariantType dalam convert_numpy"
  • SPARK-55062 Mendukung ekstensi proto2 dalam fungsi protobuf
  • SPARK-55248 Membersihkan penggunaan API Jackson yang tidak digunakan lagi di streaming.checkpointing.Checksum
  • SPARK-55250 Mengurangi panggilan klien Hive pada CREATE NAMESPACE
  • SPARK-55247 Membersihkan penggunaan API yang tidak digunakan lagi yang terkait dengan o.a.c.io.input.BoundedInputStream
  • SPARK-55198 spark-sql harus melewati baris komentar dengan spasi kosong di awal.
  • SPARK-55826 Ganti nama _LEGACY_ERROR_TEMP_0006 menjadi MERGE_INSERT_VALUE_COUNT_MISMATCH
  • SPARK-55127 Menambahkan grup avro_funcs untuk fungsi Avro SQL
  • SPARK-54914 [SQL] Memperbaiki operator DROP dalam sintaks pipa untuk mendukung nama kolom yang memenuhi syarat
  • SPARK-55113EnsureRequirements harus menyalin tag
  • SPARK-55074 Menambahkan pengujian untuk koersi tipe Merge Into ANSI
  • SPARK-54217 Menyinkronkan keputusan penghentian MonitorThread dari PythonRunner
  • SPARK-54374 Memperbesar atribut SVG viewBox dari inisialisasi visualisasi rencana SQL
  • SPARK-54971 Menambahkan sintaks WITH SCHEMA EVOLUTION untuk SQL INSERT
  • SPARK-55065 Hindari melakukan dua panggilan JDBC API
  • SPARK-55033 Memperbaiki stringArgs dari perintah penulisan DSv2
  • SPARK-55041 Membersihkan beberapa privat funcion/val yang tidak digunakan dari modul inti
  • SPARK-55338 Memusatkan logika dekompresi permintaan Spark Connect di pencegat gRPC
  • SPARK-55825 Ganti nama _LEGACY_ERROR_TEMP_1309 menjadi PARTITION_BY_NOT_ALLOWED_WITH_INSERT_INTO
  • SPARK-55492 Memvalidasi bahwa eventTime di withWatermark adalah kolom tingkat atas
  • SPARK-55802 Perbaiki overflow bilangan bulat saat menghitung byte batch Arrow
  • SPARK-55694 Memblokir batasan dalam CTAS/RTAS pada tingkat parser
  • SPARK-55843 Menangani unit dtype datetime64 dan timedelta64
  • SPARK-55824 Ganti nama _LEGACY_ERROR_TEMP_1034 menjadi WINDOW_FUNCTION_NOT_ALLOWED_IN_CLAUSE
  • SPARK-55819 Refaktor ExpandExec agar lebih ringkas
  • SPARK-55341 Menambahkan bendera tingkat penyimpanan untuk hubungan lokal yang di-cache
  • SPARK-54599 Kembalikan "[SC-219008][PYTHON] Refaktor PythonException sehingga dapat mengambil errorClass dengan sqlstate"
  • SPARK-46167 Menambahkan implementasi sumbu ke DataFrame.rank
  • SPARK-54599 Refaktor PythonException sehingga dapat mengambil errorClass dengan sqlstate
  • SPARK-55529 Terapkan kembali [ES-1721989][SC-220716][PYTHON] Pulihkan penggabungan batch tingkat Arrow untuk fungsi applyInPandas non-iterator
  • SPARK-55794 Selalu alias OuterReferences
  • SPARK-55583 Memvalidasi jenis skema Arrow di sumber data Python
  • SPARK-37711 Mengurangi jumlah tugas fungsi describe pandas dari O(N) menjadi O(1)
  • SPARK-46168 Menambahkan argumen sumbu untuk idxmax
  • SPARK-46162 Menerapkan nunique dengan sumbu=1
  • SPARK-55552 Menambahkan dukungan VariantType ke ColumnarBatchRow.copy() dan MutableColumnarRow
  • SPARK-55647 Memperbaiki ConstantPropagation salah mengganti atribut dengan kolate non-biner-stabil
  • SPARK-55747 Memperbaiki NPE saat mengakses elemen dari array yang null
  • SPARK-55757 Meningkatkan spark.task.cpus validasi
  • SPARK-55699 Pembacaan LowLatencyClock yang tidak konsisten saat digunakan bersama dengan ManualClock
  • SPARK-55702 Mendukung predikat filter dalam fungsi agregat jendela
  • SPARK-55510 Memperbaiki deleteRange dari penyimpanan status Rocksdb untuk memanggil changelogWriter
  • SPARK-55739 Mengoptimalkan OnHeapColumnVector.putIntsLittleEndian/putLongsLittleEndian menggunakan Platform.copyMemory pada platform little-endian
  • SPARK-55730 Tidak mengubah zona waktu menjadi huruf kecil
  • SPARK-55701 ES-1694761[SS] Memperbaiki kondisi pacu (race condition) di CompactibleFileStreamLog.allFiles
  • SPARK-55462 Batalkan "[SC-221123][PYTHON] Dukungan VariantType dalam convert_numpy"
  • SPARK-55144 Memperkenalkan versi format status baru untuk gabungan stream-stream berkinerja
  • SPARK-55606 Implementasi sisi server GetStatus API
  • SPARK-55462 Dukungan VariantType pada convert_numpy
  • SPARK-55600 Memperbaiki pandas ke arrow kehilangan jumlah baris ketika skema memiliki 0 kolom dalam mode klasik
  • SPARK-55700 Memperbaiki penanganan kunci bilangan bulat pada Seri dengan indeks non-bilangan bulat
  • SPARK-55349 Mengonsolidasikan utilitas konversi pandas-ke-Arrow dalam serializer
  • SPARK-55681 Memperbaiki kesetaraan DataType singleton setelah deserialisasi (percobaan ulang)
  • SPARK-55681 Kembalikan "[SC-221427][SC-214079][SQL] Perbaiki kesetaraan DataType singleton setelah deserialisasi"
  • SPARK-55681 Memperbaiki persamaan DataType singleton setelah deserialisasi
  • SPARK-55674 Mengoptimalkan konversi tabel 0 kolom di Spark Connect
  • SPARK-55323 Terapkan kembali "[SC-218885][PYTHON] Pindahkan metadata UDF ke EvalConf untuk menyederhanakan protokol pekerja"
  • SPARK-55322 Terapkan kembali [SC-221062][SQL] MaxBy dan MinBy Overload dengan K Elements
  • SPARK-55323 Kembalikan "[SC-218885][PYTHON] Pindahkan metadata UDF ke EvalConf untuk menyederhanakan protokol pekerja"
  • SPARK-55615 Memindahkan impor SparkContext ke cabang kelas
  • SPARK-55323 Memindahkan metadata UDF ke EvalConf untuk menyederhanakan protokol pekerja
  • SPARK-55648 Menangani kesalahan argumen kata kunci yang tidak terduga dengan pandas 3
  • SPARK-55647 Kembalikan "[SC-221274][SQL] Memperbaiki ConstantPropagation yang keliru mengganti atribut dengan kolasi yang tidak stabil secara biner"
  • SPARK-55646 Melakukan refactor untuk memisahkan pengambilan thread-local dari eksekusi dalam SQLExecution.withThreadLocalCaptured
  • SPARK-54854 Penambahan queryId UUIDv7 ke dalam SQLExecution Events
  • SPARK-55619 Memperbaiki metrik khusus dalam kasus partisi yang digabungkan kembali
  • SPARK-55647 Memperbaiki ConstantPropagation salah mengganti atribut dengan kolate non-biner-stabil
  • SPARK-55322 Kembalikan "[SC-221062][SQL] MaxBy dan MinBy Kelebihan Beban dengan Elemen K"
  • SPARK-54740 Mulai faulthandler lebih awal saat dalam mode daemon
  • SPARK-55493 [SS] Jangan menggunakan mkdirs dalam direktori status checkpoint streaming di StateDataSource
  • SPARK-55322MaxBy dan MinBy Kelebihan Beban Elemen K
  • SPARK-55625 Perbaiki StringOps agar str dtype berfungsi dengan baik
  • SPARK-55161 Terapkan kembali "[SC-218867][PYTHON] Mendukung profiler pada sumber data python"
  • SPARK-55505 Perbaikan NPE dalam pembacaan EXECUTION_ROOT_ID_KEY di skenario bersamaan
  • SPARK-55111 Memeriksa ulang deteksi repartisi yang belum selesai ketika kueri dimulai ulang
  • SPARK-55593 Menyatukan status agregasi untuk vector_avg/vector_sum
  • SPARK-55500 Memperbaiki siklus penganalisis antara ApplyDefaultCollation, ExtractWindowExpressions dan CollationTypeCasts
  • SPARK-55494 Memperkenalkan iterator/prefixScan dengan nilai ganda pada API StateStore
  • SPARK-55561 Menambahkan percobaan ulang untuk semua metode klien admin Kafka
  • SPARK-55296 Mendukung mode CoW dengan panda 3
  • SPARK-55479 Memperbaiki masalah gaya di SparkShreddingUtils
  • SPARK-55372 Memperbaiki SHOW CREATE TABLE untuk tabel/tampilan dengan pengurutan default
  • SPARK-55333 Aktifkan DateType dan TimeType masuk convert_numpy
  • SPARK-55129 Memperkenalkan encoder kunci baru untuk tanda waktu sebagai kelas pertama (UnsafeRow)
  • SPARK-46163 Parameter DataFrame.update filter_func dan kesalahan
  • SPARK-55372 Kembalikan "[SC-220571][SQL] Perbaikan SHOW CREATE TABLE untuk tabel/tampilan dengan kolase default"
  • SPARK-55480 Hapus semua noqa yang tidak digunakan untuk ruff
  • SPARK-55471 Menambahkan dukungan pengoptimal untuk SequentialStreamingUnion
  • SPARK-55584 Menghasilkan kesalahan yang lebih baik pada subkueri skalar ke EXEC IMMEDIATE
  • SPARK-55161 Batalkan "[SC-218867][PYTHON] Dukungan untuk profiler pada sumber data Python"
  • SPARK-55506 Teruskan skema input eksplisit ke to_pandas dalam CogroupPandasUDFSerializer
  • SPARK-55586 Tambahkan jdbc.py Contoh
  • SPARK-55161 Mendukung profiler pada sumber data python
  • SPARK-55529 Batalkan "[SC-220716][PYTHON] Pulihkan penggabungan batch tingkat Arrow untuk applyInPandas yang bukan iterator"
  • SPARK-55385 Mengurangi komputasi ulang di zipWithIndex
  • SPARK-55529 Pulihkan penggabungan batch level Arrow untuk applyInPandas non-iterator
  • SPARK-55389 Mengonsolidasikan SQL_MAP_ARROW_ITER_UDF logika pembungkus, pemeta, dan serializer
  • SPARK-55406 Mengimplementasikan kembali kolam utas untuk ExecutePlanResponseReattachableIterator
  • SPARK-55372 Memperbaiki SHOW CREATE TABLE untuk tabel/tampilan dengan pengurutan default
  • SPARK-55367 Menggunakan venv untuk menjalankan pengujian pip
  • SPARK-55355 Tingkatkan versi mypy ke yang terbaru
  • SPARK-55460 Menghapus E203 dari daftar abaikan ruff
  • SPARK-55541 Mendukung Geometri dan Geografi dalam pengonversi jenis katalis
  • SPARK-55449 Mengaktifkan penguraian dan penulisan WKB untuk Geografi
  • SPARK-55339 Menerapkan dukungan penulisan WKT untuk objek Geo
  • SPARK-54122 Menerapkan TwsTester di Scala
  • SPARK-54805 Menerapkan TwsTester di PySpark
  • SPARK-55256 Terapkan kembali "[SC-218596][SQL] Dukungan IGNORE NULLS / RESPECT NULLS untuk array_agg dan collect_list"
  • SPARK-55156 Berurusan dengan include_groups untuk groupby.apply
  • SPARK-55401 Menambahkan logika ulang coba dan penanganan batas waktu pada unduhan penginstalan pyspark
  • SPARK-55229 Menerapkan DataFrame.zipWithIndex di PySpark
  • SPARK-55462 Mendukung UserDefinedType dalam convert_numpy
  • SPARK-55483 Memperbaiki NPE di PivotFirst saat kolom pivot adalah jenis non-atomik dengan nilai null
  • SPARK-55490 Buat sertakan groupby(as_index=False) pengelompokan yang tidak ada di DataFrame dengan pandas 3
  • SPARK-55473 Ganti itertools.tee dengan rantai di applyInPandasWithState
  • SPARK-55404 Selalu munculkan KeyboardInterrupt dari handler SIGINT
  • SPARK-55407 Ganti logger.warn dengan logger.warning

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver terbaru dan lakukan peningkatan (unduh ODBC, unduh JDBC).

Lingkungan sistem

  • Sistem Operasi: Ubuntu 24.04.4 LTS
  • Java: Zulu21.48+15-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.5.1
  • Danau Delta: 4.1.0

Perpustakaan Python yang Terpasang

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
aiohappyeyeballs 2.4.4 aiohttp 3.11.10 aiosignal 1.2.0
anotasi-doc 0.0.4 tipe beranotasi 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 Pengikatan Argon2-cffi 21.2.0 arro3-core 0.6.5
anak panah 1.3.0 asttoken 3.0.0 astunparse 1.6.3
asinkron-lru 2.0.4 atribut 24.3.0 autocommand 2.2.2
Azure Common 1.1.28 azure-core 1.37.0 azure-identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.28.0
Azure Storage File Data Lake 12.22.0 babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 hitam 24.10.0 pemutih 6.2.0
blinker 1.7.0 boto3 1.40.45 botocore 1.40.45
cachetools (perangkat untuk caching) 5.5.1 sertifikat 2025.4.26 cffi 1.17.1
chardet 4.0.0 charset-normalizer 3.3.2 klik 8.1.8
cloudpickle (perpustakaan Python untuk serialisasi objek) 3.0.0 comm 0.2.1 Contourpy 1.3.1
Kriptografi 44.0.1 pengendara sepeda 0.11.0 Cython 3.1.5
databricks-agents 1.9.1 databricks-sdk 0.67.0 dataclasses-json 0.6.7
dbus-python 1.3.2 debugpy 1.8.11 penghias 5.1.1
defusedxml 0.7.1 deltalake 1.1.4 Deprecated 1.2.18
distlib 0.3.9 konversi docstring ke markdown 0.11 eksekusi 1.2.0
gambaran umum aspek 1.1.1 fastapi 0.128.0 fastjsonschema 2.21.1
filelock 3.17.0 alat pengelola font 4.55.3 FQDN 1.5.1
daftar yang dibekukan 1.5.0 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.28.1 google-auth (autentikasi Google) 2.47.0
google-cloud-core 2.5.0 penyimpanan awan Google 3.7.0 google-crc32c 1.8.0
google-resumable-media 2.8.0 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.16.0 hf-xet 1.2.0
httpcore 1.0.9 httplib2 0.20.4 httpx 0.28.1
huggingface_hub 1.2.4 IDNA 3.7 importlib_metadata 8.5.0
membelokkan 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.7.2 isodurasi 20.11.0
jaraco.collections 5.1.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 Jedi 0.19.2 Jinja2 3.1.6
jiter 0.12.0 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 jsonpatch 1,33 jsonpointer 3.0.0
jsonschema 4.23.0 Spesifikasi JSON Schema 2023.7.1 peristiwa Jupyter 0.12.0
jupyter-lsp 2.2.5 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.15.0 Terminal Jupyter Server 0.5.3 jupyterlab 4.3.4
jupyterlab_pygments 0.3.0 jupyterlab_server 2.27.3 jupyterlab_widgets 1.1.11
kiwisolver 1.4.8 langchain-core 1.2.6 langchain-openai 1.1.6
langsmith 0.6.1 launchpadlib 1.11.0 lazr.restfulclient (klien layanan web yang menggunakan RESTful) 0.14.6
lazr.uri 1.0.6 litellm 1.75.9 markdown-it-py 2.2.0
MarkupSafe 3.0.2 kembang gula (marshmallow) 3.26.2 matplotlib 3.10.0
matplotlib-inline (modul untuk menampilkan grafik secara inline) 0.1.7 Mccabe 0.7.0 mdurl 0.1.0
penyetelan salah 3.1.2 mlflow-skinny (versi ringan) 3.8.1 mmh3 5.2.0
more-itertools 10.3.0 msal (Microsoft Authentication Library) 1.34.0 msal-extensions 1.3.1
multidict 6.1.0 ekstensi mypy 1.0.0 nbclient 0.10.2
nbconvert 7.16.6 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.10.0 buku catatan 7.3.2 buku_catatan_shim 0.2.4
numpy (perpustakaan Python untuk operasi numerik) 2.1.3 oauthlib 3.2.2 OpenAI 2.14.0
opentelemetry-api 1.39.1 opentelemetry-proto 1.39.1 opentelemetry-sdk 1.39.1
opentelemetry-semantic-conventions 0.60b1 orjson 3.11.5 Mengabaikan 7.4.0
pengemasan 24,2 Panda 2.2.3 Pandocfilters 1.5.0
parso 0.8.4 pathspec 0.10.3 kambing hitam 1.0.1
pexpect=4.8.0 4.8.0 bantal 11.1.0 pipa 25.0.1
platformdirs 4.3.7 plotly 5.24.1 pluggy 1.5.0
prometheus_client 0.21.1 prompt-toolkit 3.0.43 propcache 0.3.1
proto-plus 1.27.0 protobuf 5.29.4 psutil 5.9.0
psycopg2 2.9.11 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 21.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.19.1
PyGObject 3.48.2 pyiceberg 0.10.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
pyroaring 1.0.3 pytest 8.3.5 python-dateutil 2.9.0.post0
python-dotenv 1.2.1 python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.12.2 pytoolconfig 1.2.6 pytz 2024.1
PyYAML (paket untuk memproses bahasa YAML dalam Python) 6.0.2 pyzmq 26.2.0 Merujuk 0.30.2
regex 2024.11.6 requests 2.32.3 requests-toolbelt 1.0.0
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 kaya 13.9.4
tali 1.13.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.14.0 scikit-learn 1.6.1 scipy (perpustakaan Python untuk komputasi ilmiah) 1.15.3
Seaborn (perpustakaan Python untuk visualisasi data) 0.13.2 Send2Trash 1.8.2 setuptools 78.1.1
shellingham 1.5.4 Enam 1.17.0 smmap 5.0.0
sniffio 1.3.0 sortedcontainers 2.4.0 alat penyaring sup 2.5
sqlparse 0.5.5 ssh-import-id 5.11 stack-data 0.6.3
starlette 0.50.0 strictyaml 1.7.3 kegigihan 9.0.0
selesai 0.17.1 threadpoolctl 3.5.0 tiktoken 0.12.0
tinycss2 1.4.0 tokenize_rt 6.1.0 tokenisasi 0.22.2
tomli 2.0.1 Tornado 6.5.1 tqdm 4.67.1
traitlets 5.14.3 typeguard 4.3.0 typer-slim 0.21.1
types-python-dateutil 2.9.0.20251115 mengetik-memeriksa 0.9.0 typing_extensions 4.12.2
tzdata 2024.1 ujson 5.10.0 pembaruan otomatis tanpa pengawasan 0.1
templat URI 1.3.0 urllib3 2.3.0 uuid_utils 0.12.0
uvicorn 0.40.0 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 warna web 25.10.0 webencodings=0.5.1 0.5.1
websocket-klien 1.8.0 apa itu patch 1.0.2 wheel 0.45.1
Setiap kali 0.7.3 widgetsnbextension 3.6.6 terbungkus 1.17.0
yapf 0.40.2 yarl 1.18.0 zipp 3.21.0
zstandard 0.23.0

Perpustakaan R yang terinstal

Pustaka R diinstal dari cuplikan CRAN di Posit Package Manager pada 2025-11-20.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anak panah 22.0.0 askpass 1.2.1 pastikanbahwa 0.2.1
pemindahan fitur ke versi lama (backports) 1.5.0 dasar 4.5.1 base64enc 0.1-3
bigD 0.3.1 sedikit 4.6.0 bit-64 4.6.0-1
bitops 1.0-9 blob 1.2.4 sepatu bot 1.3-30
menyeduh 1.0-10 Brio 1.1.5 sapu 1.0.10
bslib 0.9.0 cashmere 1.1.0 layanan panggilan 3.7.6
caret 7.0-1 cellranger 1.1.0 kronogram 2.3-62
class 7.3-22 CLI 3.6.5 pemangkas 0.8.0
jam dinding 0.7.3 kluster 2.1.6 codetools 0.2-20
commonmark 2.0.0 pengkompilasi 4.5.1 config 0.3.2
Bimbang 1.2.0 cpp11 0.5.2 kriyon 1.5.3
kredensial 2.0.3 melengkung 7.0.0 data.table (sebuah paket untuk pengolahan data table) 1.17.8
kumpulan data 4.5.1 DBI 1.2.3 dbplyr 2.5.1
deskripsi 1.4.3 devtools 2.4.6 bagan 1.6.5
diffobj 0.3.6 digest 0.6.39 pencahayaan turun 0.4.5
dplyr 1.1.4 dtplyr 1.3.2 e1071 1.7-16
elipsis 0.3.2 menilai 1.0.5 penggemar 1.0.7
warna-warna 2.1.2 pemetaan cepat 1.2.0 fontawesome 0.5.3
untuk kucing 1.0.1 foreach (pengulangan untuk setiap elemen) 1.5.2 asing 0.8-86
fs 1.6.6 masa depan 1.68.0 menerapkan di masa depan 1.20.0
kumur 1.6.0 obat generik 0.1.4 Gert 2.2.0
ggplot2 4.0.1 gh 1.5.0 git2r 0.36.2
gitcreds 0.1.2 glmnet 4.1-10 variabel global 0.18.0
lem 1.8.0 googledrive 2.1.2 googlesheets4 1.1.2
Gower 1.0.2 Grafik 4.5.1 grDevices 4.5.1
kisi 4.5.1 gridExtra 2.3 gsubfn 0.7
gt 1.1.0 gtabel 0.3.6 topi keras 1.4.2
tempat aman 2.5.5 lebih tinggi 0.11 HMS 1.1.4
htmltools 0.5.8.1 htmlwidgets 1.6.4 httpuv 1.6.16
httr 1.4.7 httr2 1.2.1 ids 1.0.1
ini 0.3.1 ipred 0.9-15 isoband 0.2.7
Pengiterasi 1.0.14 jquerylib 0.1.4 jsonlite 2.0.0
JuicyJuice 0.1.0 KernSmooth 2.23-22 knitr 1,50
Pelabelan 0.4.3 nanti 1.4.4 rangka 0.22-5
lahar 1.8.2 siklus hidup 1.0.4 listenv 0.10.0
litedown 0.8 lubridate 1.9.4 magrittr 2.0.4
Markdown 2.0 Massa 7.3-60.0.1 Matrix 1.6-5
memosankan 2.0.1 Metode 4.5.1 mgcv 1.9-1
pantomim 0,13 miniUI 0.1.2 mlflow 3.6.0
ModelMetrics 1.2.2.2 modelr 0.1.11 nlme 3.1-164
nnet 7.3-19 numDeriv Agustus 2016 - Januari 2017 openssl 2.3.4
otel 0.2.0 paralel 4.5.1 secara paralel 1.45.1
pilar 1.11.1 pkgbuild 1.4.8 pkgconfig 2.0.3
pkgdown 2.2.0 pkgload 1.4.1 plogr 0.2.0
plyr 1.8.9 apresiasi 1.0.0 prettyunits 1.2.0
pROC 1.19.0.1 ProsesX 3.8.6 prodlim 2025.04.28
profvis 0.4.0 Kemajuan 1.2.3 progresr 0.18.0
janji 1.5.0 proto 1.0.0 proksi 0,4-27
P.S. 1.9.1 menggeram lembut 1.2.0 R6 2.6.1
ragg 1.5.0 randomForest (algoritma pembelajaran mesin) 4.7-1.2 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.1.0
RcppEigen 0.3.4.0.2 dapat direaksi 0.4.4 reactR 0.6.1
alat baca 2.1.6 readxl (membaca file Excel) 1.4.5 recipes 1.3.1
pertandingan ulang 2.0.0 pertandingan ulang 2 2.1.2 pengontrol jarak jauh 2.5.0
contoh replikasi 2.1.1 reshape2 1.4.5 rlang 1.1.6
rmarkdown 2.30 RODBC 1.3-26 roxygen2 7.3.3
rpart 4.1.23 rprojroot 2.1.1 Rserve 1.8-15
RSQLite 2.4.4 rstudioapi 0.17.1 rversions 3.0.0
rvest 1.0.5 S7 0.2.1 Sass 0.4.10
timbangan / sisik 1.4.0 selektor 0,4-2 informasi sesi 1.2.3
bentuk 1.4.6.1 mengkilap 1.11.1 sourcetools 0.1.7-1
sparklyr 1.9.3 SparkR 4.1.0 sparsevctrs 0.3.4
spasial 7.3-17 garis lengkung 4.5.1 sqldf 0,4-11
SQUAREM 2021.1 statistik 4.5.1 statistik4 4.5.1
string 1.8.7 stringr 1.6.0 bertahan hidup 3.5-8
gaya berani 5.17.14.1 Sistem 3.4.3 systemfonts 1.3.1
bahasa pemrograman Tcl/Tk 4.5.1 ujiitu 3.3.0 pemformatan teks 1.0.4
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 perubahan jam 0.3.0 TanggalWaktu 4051.111
tinytex 0.58 perangkat 4.5.1 tzdb 0.5.0
urlchecker 1.0.1 gunakan ini 3.2.1 utf8 1.2.6
Utilitas 4.5.1 UUID (Pengidentifikasi Unik Universal) 1.2-1 V8 8.0.1
vctrs 0.6.5 viridisLite 0.4.2 Vroom 1.6.6
Waldo 0.6.2 kumis 0.4.1 dengan 3.0.2
xfun 0.54 xml2 1.5.0 xopen 1.0.1
xtable 1.8-4 yaml 2.3.10 zeallot 0.2.0
zip 2.3.3

Pustaka Java dan Scala terinstal (versi kluster Scala 2.13)

ID Grup Identifikasi Artefak Versi
antlr antlr 2.7.7
com.clearspring.analytics aliran 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.53.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware bayangan-kriogenik 4.0.3
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.5.1
com.fasterxml.jackson.core Jackson Annotations 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.3
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine kafein 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib referensi_asli-java 1.1-penduduk asli
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib sistem_asli-java 1.1-penduduk asli
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-penduduk asli
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-penduduk asli
com.github.luben zstd-jni 1.5.7-6
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value anotasi nilai otomatis 1.10.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone Annotasi yang rentan terhadap kesalahan 2.36.0
com.google.flatbuffers flatbuffers-java 25.2.10
com.google.guava kegagalan akses 1.0.3
com.google.guava jambu 33.4.8-jre
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-anotasi 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger pembuat profil 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.10
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre11
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf (algoritma kompresi) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.10.0
commons-codec commons-codec 1.19.0
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.6.0
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.21.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 3.0.4
dev.ludovic.netlib Tidak peduli 3.0.4
dev.ludovic.netlib LAPACK 3.0.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 2.0.2
io.delta delta-sharing-client_2.13 1.3.10
io.dropwizard.metrics metrik dan anotasi 4.2.37
io.dropwizard.metrics inti metrik 4.2.37
io.dropwizard.metrics metrics-graphite 4.2.37
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.2.37
io.dropwizard.metrics metrik-jetty10 4.2.37
io.dropwizard.metrics metrik-jmx 4.2.37
io.dropwizard.metrics metrik-json 4.2.37
io.dropwizard.metrics metrik-jvm 4.2.37
io.dropwizard.metrics metrik-servlet 4.2.37
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.2.7.Final
io.netty Netty Buffer 4.2.7.Final
io.netty netty-codec 4.2.7.Final
io.netty netty-codec-base 4.2.7.Final
io.netty netty-codec-classes-quic 4.2.7.Final
io.netty netty-codec-compression 4.2.7.Final
io.netty netty-codec-http 4.2.7.Final
io.netty netty-codec-http2 4.2.7.Final
io.netty netty-codec-http3 4.2.7.Final
io.netty netty-codec-marshalling 4.2.7.Final
io.netty netty-codec-native-quic 4.2.7.Final-linux-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-linux-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-windows-x86_64
io.netty netty-codec-protobuf 4.2.7.Final
io.netty netty-codec-socks 4.2.7.Final
io.netty netty-common 4.2.7.Final
io.netty netty-handler 4.2.7.Final
io.netty netty-handler-proxy 4.2.7.Final
io.netty netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) 4.2.7.Final
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-windows-x86_64
io.netty Kelas netty-tcnative 2.0.74.Final
io.netty netty-transport 4.2.7.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.2.7.Final
io.netty netty-transport-classes-io_uring 4.2.7.Final
io.netty netty-transport-classes-kqueue 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-x86_64
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.2.7.Final
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
io.prometheus simpleclient 0.16.1-databricks
io.prometheus simpleclient_umum 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_pelacakan_otel_agen 0.16.1-databricks
io.prometheus.jmx pengumpul 0.18.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.14.0
net.java.dev.jna jna 5.8.0
net.razorvine mentimun acar 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr StringTemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pemadatan panah 18.3.0
org.apache.arrow format tanda panah 18.3.0
org.apache.arrow inti-memori-panah 18.3.0
org.apache.arrow Arrow-Memory-Netty 18.3.0
org.apache.arrow arrow-memori-netty-penyangga-tambalan 18.3.0
org.apache.arrow arrow-vector 18.3.0
org.apache.avro Avro 1.12.1
org.apache.avro avro-ipc 1.12.1
org.apache.avro avro-mapred 1.12.1
org.apache.commons commons-koleksi4 4.5.0
org.apache.commons commons-compress 1.28.0
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.19.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text (teks umum) 1.14.0
org.apache.curator kurator dan klien 5.9.0
org.apache.curator kerangka kerja kurator 5.9.0
org.apache.curator kurasi resep 5.9.0
org.apache.datasketches datasketches-java 6.2.0
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop lingkungan kerja klien Hadoop 3.4.2
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.10
org.apache.hive Hive-shims 2.3.10
org.apache.hive API penyimpanan hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.10
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy tanaman anggur 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json (pola tata letak JSON di log4j) 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.2.0-shaded-protobuf
org.apache.orc orc-format 1.1.1-shaded-protobuf
org.apache.orc orc-mapreduce 2.2.0-shaded-protobuf
org.apache.orc orc-shims 2.2.0
org.apache.poi Poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.28
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus anotasi penonton 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.9.4
org.apache.zookeeper penjaga kebun binatang-jute 3.9.4
org.checkerframework pemeriksa kualitas 3.43.0
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-alpn-client 10.0.26
org.eclipse.jetty jetty-client 10.0.26
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 10.0.26
org.eclipse.jetty jetty-io 10.0.26
org.eclipse.jetty jetty-jndi 10.0.26
org.eclipse.jetty Jetty Plus 10.0.26
org.eclipse.jetty Jetty-Proxy 10.0.26
org.eclipse.jetty keamanan jetty 10.0.26
org.eclipse.jetty Jetty Server 10.0.26
org.eclipse.jetty jetty-servlet 10.0.26
org.eclipse.jetty jetty-servlets 10.0.26
org.eclipse.jetty jetty-util 10.0.26
org.eclipse.jetty Aplikasi web Jetty 10.0.26
org.eclipse.jetty jetty-xml 10.0.26
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.41
org.glassfish.jersey.containers jersey-container-servlet-inti 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey biasa 2.41
org.glassfish.jersey.core Jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator Hibernate Validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jline Jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.locationtech.jts jts-core 1.20.0
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.22.1
org.objenesis objenesis 3.4
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.4.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest kompatibel dengan ScalaTest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
Stax stax-api 1.0.1
  • Last updated on