Bagikan melalui

Databricks Runtime 18.1

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 18.1.

Versi ini menggabungkan semua fitur, peningkatan, dan perbaikan bug dari semua rilis Databricks Runtime sebelumnya. Databricks merilis versi ini pada Februari 2026.

Perubahan perilaku

Kesalahan metrik pengamatan tidak lagi menyebabkan kueri gagal

Kesalahan selama pengumpulan metrik pengamatan tidak lagi menyebabkan kegagalan eksekusi kueri. Sebelumnya, kesalahan dalam OBSERVE klausa (seperti pembagian dengan nol) dapat memblokir atau gagal seluruh kueri. Sekarang, kueri berhasil dijalankan dan kesalahan muncul saat Anda memanggil observation.get.

Klausa FILTER untuk fungsi agregat MEASURE

MEASURE fungsi agregat sekarang mendukung FILTER clauses. Sebelumnya, filter diabaikan secara diam-diam.

Optimisasi penulisan untuk operasi CRTAS Katalog Unity

BUAT ATAU GANTI TABLE Operasi AS SELECT (CRTAS) pada tabel Unity Catalog yang dipartisi sekarang menerapkan penulisan teroptimasi secara default. Untuk menonaktifkan, atur spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled ke false.

Penyegaran cache DataFrame untuk tabel kontrol akses berbasis detail

Menulis ke tabel kontrol akses terperinci pada komputasi khusus sekarang memperbarui DataFrame yang di-cache yang bergantung pada tabel.

Nilai partisi tanda waktu menggunakan zona waktu sesi

Nilai partisi tanda waktu menggunakan zona waktu sesi Spark alih-alih zona waktu JVM. Jika Anda memiliki partisi tanda waktu yang ditulis sebelum Databricks Runtime 18.0, jalankan SHOW PARTITIONS untuk memverifikasi metadata partisi Anda sebelum menulis data baru.

Kata kunci yang dicadangkan DESCRIBE FLOW

Perintah DESCRIBE FLOW sekarang tersedia. Jika Anda memiliki tabel bernama flow, gunakan DESCRIBE schema.flow, DESCRIBE TABLE flow, atau DESCRIBE `flow` dengan backticks.

Operasi himpunan boolean SpatialSQL

ST_Difference, ST_Intersection, dan ST_Union gunakan implementasi baru dengan peningkatan berikut:

  • Geometri input yang valid selalu menghasilkan hasil dan tidak lagi menimbulkan kesalahan. Input yang tidak valid tidak menimbulkan kesalahan tetapi mungkin tidak menghasilkan hasil yang valid.
  • Performa sekitar 2x lebih cepat.
  • Hasil dapat berbeda setelah tempat desimal ke-15 untuk persimpangan segmen garis karena rumus dan urutan operasi yang berbeda.
  • Hasil dinormalisasi untuk output yang konsisten dan sebanding:
    • Titik diurutkan berdasarkan nilai koordinat.
    • Linestring dibangun dari jalur terpanjang yang mungkin.
    • Cincin poligon diputar sehingga titik pertama memiliki nilai koordinat terkecil.
  • Normalisasi ini berlaku dalam semua kasus kecuali saat memanggil ST_Difference dengan dua geometri yang tidak tumpang tindih, di mana geometri pertama dikembalikan tanpa dimodifikasi.

Jenis pengecualian untuk SQLSTATE

Jenis pengecualian diperbarui untuk mendukung SQLSTATE. Jika kode Anda menguraikan pengecualian dengan pencocokan string atau menangkap jenis pengecualian tertentu, perbarui logika penanganan kesalahan Anda.

Pelebaran tipe streaming otomatis

Streaming membaca pada tabel Delta secara otomatis menangani peluasan jenis kolom. Untuk memerlukan pengakuan manual, atur spark.databricks.delta.typeWidening.enableStreamingSchemaTracking ke true.

Fitur dan peningkatan baru

Auto Loader menggunakan peristiwa berkas secara default jika tersedia

Auto Loader secara default menggunakan event file saat memuat dari lokasi eksternal dengan event file diaktifkan, yang mengurangi operasi pencantuman dan biaya dibandingkan dengan pencantuman direktori. Lihat Auto Loader dengan gambaran umum peristiwa file. Peristiwa file tidak digunakan jika kode stream Anda mengatur useIncrementalListing atau useNotifications. Untuk menggunakan daftar direktori sebagai gantinya, atur useManagedFileEvents ke false.

Penulisan yang dioptimalkan untuk tabel Unity Catalog yang dipartisi yang dibuat dengan CRTAS

Penulisan yang dioptimalkan berlaku untuk tabel Unity Catalog yang dipartisi yang dibuat oleh CREATE OR REPLACE TABLE ... AS SELECT (CRTAS), di mana ini menghasilkan lebih sedikit file yang ukurannya lebih besar. Perilaku ini diaktifkan secara default. Untuk menonaktifkan, atur spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled ke false.

Dukungan jenis data DATETIMEOFFSET untuk Microsoft Azure Synapse

Jenis DATETIMEOFFSET data didukung untuk koneksi Microsoft Azure Synapse.

Komentar tabel Google BigQuery

Deskripsi tabel Google BigQuery diselesaikan dan diekspos sebagai komentar tabel.

Evolusi skema dengan INSERT perintah

WITH SCHEMA EVOLUTION Gunakan klausa dengan pernyataan SQL INSERT untuk secara otomatis mengembangkan skema tabel target selama operasi penyisipan. Klausul ini didukung untuk INSERT INTO, INSERT OVERWRITE, dan INSERT INTO ... REPLACE jenis. Contohnya:

INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;

Skema tabel Delta Lake target diperbarui untuk mengakomodasi kolom tambahan atau tipe yang diperluas dari sumbernya. Untuk detailnya, lihat evolusi skema dan INSERT sintaks pernyataan.

Nilai struct NULL dipertahankan dalam operasi INSERT

INSERT operasi dengan evolusi skema atau pengecoran implisit NULL mempertahankan nilai struct ketika tabel sumber dan target memiliki urutan bidang struct yang berbeda.

Dukungan transaksi multi-statement pada Delta Sharing

Tabel Delta Sharing yang menggunakan URL yang telah ditandatangani sebelumnya atau mode berbagi token cloud mendukung transaksi multi-pernyataan. Pada akses pertama dalam transaksi, versi tabel disematkan dan digunakan kembali untuk semua pembacaan berikutnya dalam transaksi tersebut.

Limitations:

  • Perjalanan waktu, perubahan umpan data, dan streaming tidak didukung.
  • Transaksi dengan banyak pernyataan tidak didukung pada tabel terbagi tanpa riwayat.
  • Tampilan bersama dan entitas asing tidak diizinkan pada komputasi yang tidak tepercaya.

Titik pemeriksaan DataFrame di jalur volume

Titik pemeriksaan DataFrame mendukung jalur volume Katalog Unity. Konfigurasikan jalur titik pemeriksaan menggunakan SparkContext.setCheckpointDir pada komputasi khusus atau spark.checkpoint.dir konfigurasi pada komputasi standar.

Perintah SQL tidak lagi dijalankan kembali saat memanggil cache()

Perintah SQL tidak lagi dijalankan kembali saat memanggil .cache() pada hasil DataFrame. Ini termasuk perintah seperti SHOW TABLES dan SHOW NAMESPACES.

fungsi SQL parse_timestamp

Fungsi SQL parse_timestamp mengurai string tanda waktu menggunakan beberapa pola. Fungsi ini berjalan pada mesin Photon untuk meningkatkan performa saat mengurai tanda waktu dalam beberapa format. Lihat Pola tanggalwaktu untuk informasi tentang pemformatan pola tanggalwaktu.

max_by dan min_by dengan batas opsional

Fungsi agregat max_by dan min_by sekarang menerima argumen limit ketiga opsional (hingga 100.000). Saat diberikan, fungsi tersebut mengembalikan array hingga limit nilai yang sesuai dengan nilai terbesar (atau terkecil) dari ekspresi pengurutan, yang menyederhanakan kueri top-K dan bottom-K tanpa memerlukan fungsi jendela atau CTE.

Fungsi agregat vektor dan skalar

Fungsi SQL baru beroperasi pada ARRAY<FLOAT> vektor untuk beban kerja penyematan dan kesamaan:

Fungsi agregat:

  • vector_avg: Mengembalikan rata-rata elemen dari vektor-vektor dalam grup.
  • vector_sum: Mengembalikan penjumlahan vektor per elemen dalam sebuah kelompok.

Fungsi skalar:

Lihat Fungsi bawaan.

Dukungan kursor SQL dalam pernyataan majemuk

Pernyataan gabungan skrip SQL sekarang mendukung pemrosesan kursor. Gunakan KURSOR DECLARE untuk menentukan kursor, lalu pernyataan OPEN, pernyataan FETCH, dan pernyataan CLOSE untuk menjalankan kueri dan menggunakan baris satu per satu. Kursor dapat menggunakan penanda parameter dan penangan kondisi seperti NOT FOUND untuk pemrosesan baris demi baris.

Perkiraan fungsi sketsa top-k

Fungsi baru memungkinkan pembuatan dan penggabungan sketsa perkiraan top-K untuk agregasi top-K yang terdistribusi.

Untuk informasi selengkapnya, lihat approx_top_k fungsi agregat dan Fungsi bawaan.

Fungsi sketsa tuple

Fungsi agregat dan skalar baru untuk sketsa tuple mendukung penghitungan dan agregasi yang berbeda atas pasangan ringkasan kunci.

Fungsi agregat:

Fungsi skalar:

Lihat Fungsi bawaan.

Dependensi kustom untuk Unity Catalog Python UDTFs

Fungsi tabel yang ditentukan pengguna (UDTF) Unity Catalog Python sekarang dapat menggunakan dependensi kustom untuk pustaka eksternal, sehingga Anda dapat menggunakan paket di luar apa yang tersedia di lingkungan Databricks Runtime. Lihat Memperluas UDF menggunakan dependensi kustom.

Fungsi geospasial baru

Fungsi geospasial berikut sekarang tersedia:

  • st_estimatesrid fungsi: Memperkirakan pengidentifikasi referensi spasial (SRID) terbaik yang diproyeksikan untuk geometri input.
  • st_force2d fungsi: Mengonversi geografi atau geometri ke representasi 2D-nya.
  • st_nrings fungsi: Menghitung jumlah total cincin dalam poligon atau multipoligon, termasuk cincin eksterior dan interior.
  • st_numpoints fungsi: Menghitung jumlah titik yang tidak kosong dalam geografi atau geometri.

Dukungan foton untuk fungsi geospasial

Fungsi geospasial berikut sekarang berjalan pada mesin Photon untuk performa yang lebih cepat:

Peningkatan pustaka

Tidak ada pustaka yang dimutakhirkan dalam versi ini.

Apache Spark

Databricks Runtime 18.1 mencakup Apache Spark 4.1.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 18.0, serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • SPARK-54316 Kembalikan "Terapkan kembali [SC-213971] Konsolidasikan GroupPandasIterUDFSerializer dengan GroupPandasUDFSerializer"
  • SPARK-54116 Kembalikan "[SC-213108][SQL] Tambahkan dukungan mode off-heap untuk LongHashedRelation
  • SPARK-55350 Memperbaiki hilangnya jumlah baris saat membuat DataFrame dari pandas dengan 0 kolom
  • SPARK-55364 Membuat protokol SupportsIAdd dan SupportsOrdering lebih masuk akal
  • SPARK-53656 Refaktor MemoryStream untuk menggunakan SparkSession alih-alih SQLContext
  • SPARK-55472 Angkat AttributeError dari metode yang telah dihapus dalam pandas 3
  • SPARK-55224 Gunakan Spark DataType sebagai kebenaran dasar dalam serialisasi Pandas-Arrow
  • SPARK-55402 Memindahkan streamingSourceIdentifyingName dari CatalogTable ke DataSource
  • SPARK-55459 Memperbaiki regresi performa 3x di applyInPandas untuk grup besar
  • SPARK-55317 Menambahkan simpul rencana logis SequentialUnion dan aturan perencanaan
  • SPARK-55424 Secara eksplisit meneruskan nama seri di convert_numpy
  • SPARK-55175 Mengekstrak transformer dari serializer
  • SPARK-55304 Memperkenalkan dukungan Kontrol Penerimaan dan Trigger.AvailableNow di sumber data Python - pembaca streaming
  • SPARK-55382 Tetapkan Executor untuk mencatat Running Spark version
  • SPARK-55408 Menangani kesalahan argumen kata kunci tak terduga yang terkait dengan waktu tanggal dengan Pandas 3
  • SPARK-55345 Jangan meneruskan unit dan ditutup ke Timedelta untuk panda 3
  • SPARK-54759 Mengamankan logika dengan benar dalam Scripting Variable Manager pasca pengenalan Kursor
  • SPARK-55409 Menangani kesalahan argumen kata kunci yang tidak terduga dari fungsi read_excel pada pandas 3
  • SPARK-55403 Memperbaiki no attribute 'draw' kesalahan dalam tes plot dengan pandas 3
  • SPARK-55256 Batalkan "[SC-218596][SQL] Dukungan IGNORE NULLS / RESPECT NULLS untuk array_agg dan collect_list"
  • SPARK-55256 Mendukung IGNORE NULLS / RESPECT NULLS untuk array_agg dan collect_list
  • SPARK-55395 Menonaktifkan cache RDD di DataFrame.zipWithIndex
  • SPARK-55131 Memperkenalkan pemisah operator penggabungan baru untuk RocksDB agar melakukan penggabungan dengan string kosong tanpa pemisah
  • SPARK-55376 Membuat argumen numeric_only dalam fungsi groupby agar hanya dapat menerima nilai boolean pada Pandas 3
  • SPARK-55334 Aktifkan TimestampType dan TimestampNTZType di convert_numpy
  • SPARK-55281 Tambahkan ipykernel dan IPython ke daftar paket opsional mypy
  • SPARK-55336 Biarkan createDF menggunakan logika create_batch untuk memisahkan
  • SPARK-55366 Hapus errorOnDuplicatedFieldNames dari UDF Python
  • SPARK-54759 Dukungan Kursor skrip SQL
  • SPARK-55302 Memperbaiki metrik kustom jika terjadi KeyGroupedPartitioning
  • SPARK-55228 Menerapkan Dataset.zipWithIndex di API Scala
  • SPARK-55373 Meningkatkan pesan kesalahan noHandlerFoundForExtension
  • SPARK-55356 Dukungan untuk alias PIVOT klausa
  • SPARK-55359 Promosikan TaskResourceRequest ke Stable
  • SPARK-55365 Menggeneralisasi utilitas untuk konversi arrow array
  • SPARK-55106 Tambahkan pengujian integrasi repartisi untuk operator TransformWithState
  • SPARK-55086 Menambahkan DataSourceReader.pushFilters ke dokumen API Sumber Data Python
  • SPARK-46165 Menambahkan dukungan untuk DataFrame.all dengan parameter axis=None
  • SPARK-55289 Batalkan "[SC-218749][SQL] Perbaiki uji coba tidak stabil in-set-operations.sql dengan menonaktifkan penggabungan siaran"
  • SPARK-55297 Mengembalikan dtype timedelta berdasarkan dtype asli
  • SPARK-55291 Pra-proses header metadata saat pembentukan interceptor klien
  • SPARK-55155 Terapkan kembali "[SC-218401][SQL] Mendukung ekspresi yang dapat dilipat dalam SET CATALOG pernyataan
  • SPARK-55318 Pengoptimalan Performa untuk vector_avg/vector_sum
  • SPARK-55295 Perluas fungsi ST_GeomFromWKB untuk mengambil nilai SRID opsional
  • SPARK-55280 Menambahkan getStatus proto untuk mendukung pemantauan status eksekusi
  • SPARK-54969 Menerapkan konversi panda panah> baru
  • SPARK-55176 Ekstrak arrow_to_pandas pengonversi ke ArrowArrayToPandasConversion
  • SPARK-55111 Kembalikan "[SC-217817][SC-210791][SS] Deteksi partisi ulang yang belum selesai pada mulai ulang kueri"
  • SPARK-55252 Tingkatkan HttpSecurityFilter untuk menambahkan Content-Security-Policy header
  • SPARK-55111 Deteksi partisi ulang yang belum selesai pada mulai ulang kueri
  • SPARK-55105 Tambahkan Uji Integrasi untuk Operator Join
  • SPARK-55260 Menerapkan dukungan penulisan Parquet untuk tipe Geo
  • SPARK-54523 Memperbaiki resolusi default selama penerapan varian
  • SPARK-55328 Menggunakan kembali PythonArrowInput.codec di GroupedPythonArrowInput
  • SPARK-55246 Tambahkan Uji untuk Pyspark TWS dan TWSInPandas dan Perbaiki StatePartitionAllColumnFamiliesWriter Bug
  • SPARK-55289 Perbaiki tes tidak stabil pada berkas in-set-operations.sql dengan menonaktifkan *broadcast join*
  • SPARK-55040 Refaktor TaskContext dan protokol pekerja terkait dengan perbaikan mesin pyspark.
  • SPARK-47996 mendukung penggabungan silang di PANDAS API
  • SPARK-55031 Menambahkan ekspresi fungsi agregasi avg/sum vektor
  • SPARK-54410 Memperbaiki dukungan pembacaan untuk anotasi tipe logis varian
  • SPARK-54776 Kembalikan "[SC-216482][SQL] Meningkatkan pesan log mengenai fungsi lambda dengan SQL UDF"
  • SPARK-55123 Menambahkan SequentialUnionOffset untuk melacak pemrosesan sumber berurutan
  • SPARK-54972 Meningkatkan kinerja subkueri NOT IN dengan kolom yang tidak dapat bernilai null
  • SPARK-54776 Meningkatkan pesan log mengenai fungsi lambda dengan SQL UDF
  • SPARK-53807 Memperbaiki masalah kondisi balapan antara unlock dan releaseAllLocksForTask di BlockInfoManager
  • SPARK-51831 Kembalikan "[SC-207389][SQL] Pemangkasan kolom dengan existsJoin for Datasource V2"
  • SPARK-54881 Meningkatkan BooleanSimplification untuk menangani negasi dari konjunsi dan disjungsi dalam satu lintasan
  • SPARK-54696 Bersihkan ArrowBuffers di Connect
  • SPARK-55009 Menghapus salinan memori yang tidak perlu dari konstruktor LevelDBTypeInfo/RocksDBTypeInfo.Index
  • SPARK-54877 Membuat stacktrace tampilan pada halaman kesalahan UI dapat dikonfigurasi
  • SPARK-51831 Pemangkasan kolom dengan existsJoin for Datasource V2
  • SPARK-55285 Perbaiki inisialisasi PythonArrowInput
  • SPARK-53960 Biarkan approx_top_k_accumulate/gabungkan/perkirakan menangani NULL
  • SPARK-55155 Kembalikan "[SC-218401][SQL] Mendukung ekspresi yang dapat dilipat dalam SET CATALOG pernyataan"
  • SPARK-55155 Mendukung ekspresi yang dapat dilipat dalam SET CATALOG pernyataan
  • SPARK-49110 Kembalikan "[SC-218594][SQL] Sederhanakan SubqueryAlias.metadataOutput untuk selalu menyebarkan kolom metadata"
  • SPARK-54399 Menerapkan fungsi st_setsrid di Scala dan PySpark
  • SPARK-49110 Menyederhanakan SubqueryAlias.metadataOutput untuk selalu menyebarluaskan kolom metadata
  • SPARK-55133 Memperbaiki kondisi balapan dalam manajemen siklus hidup IsolatedSessionState
  • SPARK-55262 Blokir jenis Geo di semua sumber data berbasis file kecuali Parquet
  • SPARK-54202 Memungkinkan pengubahan dari GeometryType(srid) ke GeometryType(ANY)
  • SPARK-54142 Menerapkan fungsi st_srid di Scala dan PySpark
  • SPARK-55237 Menyembunyikan pesan yang mengganggu saat mencari DB yang tidak ada
  • SPARK-55040 Kembalikan "[SC-217628][PYTHON] Refaktor TaskContext dan protokol pekerja terkait"
  • SPARK-55259 Menerapkan konversi skema Parquet untuk tipe geografis
  • SPARK-55282 Hindari menggunakan worker_util di sisi Driver
  • SPARK-54151 Memperkenalkan kerangka kerja untuk menambahkan fungsi ST di PySpark
  • SPARK-55194 Hapus GroupArrowUDFSerializer dengan memindahkan logika pelandaian ke mapper
  • SPARK-55020 Nonaktifkan gc saat menjalankan perintah gRPC
  • SPARK-55053 Refaktor sumber data/pekerja analisis udtf sehingga mereka memiliki entri terpadu
  • SPARK-55040 Refaktor TaskContext dan protokol pekerja terkait
  • SPARK-55244 Gunakan np.nan sebagai nilai default untuk jenis string panda
  • SPARK-55225 Pulihkan ke dtype asli untuk Datetime
  • SPARK-55154 Hapus fastpath ke pd.Series untuk pandas 3
  • SPARK-55030 Menambahkan dukungan ekspresi fungsi norma/normalisasi vektor
  • SPARK-55202 Perbaiki UNEXPECTED_USE_OF_PARAMETER_MARKER saat menggunakan parameter...
  • SPARK-54201 Izinkan transmisi dari GeographyType(srid) ke GeographyType(ANY)
  • SPARK-54244 Memperkenalkan dukungan koersi jenis untuk jenis data GEOMETRY
  • SPARK-54160 Menerapkan ekspresi ST_SetSrid di SQL
  • SPARK-55046 PySpark menambahkan metrik waktu pemrosesan udf
  • SPARK-54101 Memperkenalkan kerangka kerja untuk menambahkan fungsi ST di Scala
  • SPARK-54683 Menyatukan pemblokiran jenis geo dan waktu
  • SPARK-55249 Membuat DataFrame.toJSON dapat mengembalikan dataframe
  • SPARK-54521 Tambahkan ke dan dari WKB untuk tipe Geometri
  • SPARK-54162 Izinkan transmisi dari GeographyType ke GeometryType
  • SPARK-55146 Memeriksa ulang API Partisi Ulang Status untuk PySpark
  • SPARK-55140 Jangan memetakan fungsi bawaan ke versi numpy untuk pandas 3
  • SPARK-54243 Memperkenalkan dukungan koersi tipe untuk tipe data GEOGRAPHY
  • SPARK-55058 Melemparkan kesalahan pada metadata titik pemeriksaan yang tidak konsisten
  • SPARK-55108 Gunakan pandas-stubs terbaru untuk pengecekan tipe
  • SPARK-54091 Menerapkan ekspresi ST_Srid di SQL
  • SPARK-55104 Menambahkan dukungan Spark Connect untuk DataStreamReader.name()
  • SPARK-54996 Laporkan ArrivalTime untuk rekaman dari LowLatencyMemoryStream
  • SPARK-55118 Menggantikan impor wildcard ASM Opcodes
  • SPARK-54365 Menambahkan Uji Integrasi Repartition untuk Operator Agregat, Dedup, FMGWS, dan SessionWindow
  • SPARK-55119 Perbaikan Penangan Lanjut: cegah gangguan INTERNAL_ERROR dan gangguan pada pernyataan kondisi yang salah
  • SPARK-54104 Melarang konversi tipe geospasial ke/dari tipe data lainnya
  • SPARK-55240 Refaktor penanganan pelacakan tumpukan LazyTry untuk menggunakan pembungkus alih-alih pengecualian yang ditekan
  • SPARK-55238 Memindahkan logika pemetaan Geo SRS dari main/scala ke main/java
  • SPARK-55179 Lewati validasi nama kolom yang strict di df.col_name
  • SPARK-55055 Mendukung SparkSession.Builder.create untuk PySpark Classic
  • SPARK-55186 Buat ArrowArrayToPandasConversion.convert_legacy dapat mengembalikan pd. DataFrame
  • SPARK-54079 Memperkenalkan kerangka kerja untuk menambahkan ekspresi ST di Catalyst
  • SPARK-54096 Mendukung pemetaan Sistem Referensi Spasial di PySpark
  • SPARK-54801 Menandai beberapa konfigurasi 4.1 baru sebagai internal
  • SPARK-55146 Batalkan "[SC-217936][SC-210779][SS] State Repartition API untuk PySpark"
  • SPARK-54559 Gunakan runnerConf untuk meneruskan opsi profiler
  • SPARK-55205 Memperbaiki pengujian di mana ia mengasumsikan jenis string akan dikonversi ke objek
  • SPARK-55171 Memperbaiki profiler memori pada UDF iter
  • SPARK-55226 Kenali tanggal waktu dan selisih waktu dengan unit selain [ns]
  • SPARK-55027 Memindahkan writeConf ke PythonWorkerUtils
  • SPARK-55197 Ekstrak _write_stream_start utilitas untuk menghilangkan duplikasi logika sinyal START_ARROW_STREAM
  • SPARK-54179 Menambahkan Dukungan Asli untuk Apache Tuple Sketches (#190848) (#191111)
  • SPARK-55151 Perbaikan pada RocksDBSuite testWithStateStoreCheckpointIds
  • SPARK-55146 Repartisi Status API untuk PySpark
  • SPARK-54232 Aktifkan serialisasi Arrow untuk tipe Geografi dan Geometri
  • SPARK-53957 Mendukung GEOGRAFI dan GEOMETRI di SpatialReferenceSystemMapper
  • SPARK-55169 Gunakan ArrowBatchTransformer.flatten_struct di ArrowStreamArrowUDTFSerializer
  • SPARK-55134 Perbaikan BasicExecutorFeatureStep untuk membuang IllegalArgumentException kesalahan konfigurasi cpu eksekutor
  • SPARK-54166 Memperkenalkan jenis encoder untuk jenis geospasial di PySpark
  • SPARK-55138 Memperbaiki convertToMapData menimbulkan kesalahan NullPointerException
  • SPARK-55168 Menggunakan ArrowBatchTransformer.flatten_struct di GroupArrowUDFSerializer
  • SPARK-55032 Refactor profiler di workers.py
  • SPARK-54990 Memperbaiki bagaimana classproperty diterapkan di session.py
  • SPARK-55076 Perbaiki masalah petunjuk jenis di ml/mllib dan tambahkan persyaratan scipy
  • SPARK-55162 Mengekstrak transformator dari ArrowStreamUDFSerializer
  • SPARK-55121 Menambahkan DataStreamReader.name() ke PySpark Klasik
  • SPARK-54169 Memperkenalkan jenis Geografi dan Geometri di penulis Arrow
  • SPARK-51658 Memperkenalkan format pembungkus geometri dan geografi dalam memori
  • SPARK-54110 Memperkenalkan jenis encoder untuk jenis Geografi dan Geometri
  • SPARK-54956 Menggabungkan solusi retry shuffle yang tidak pasti
  • SPARK-55137 Refaktor kode pada GroupingAnalyticsTransformer dan Analyzer
  • SPARK-54103 Memperkenalkan kelas Geografi dan Geometri sisi klien
  • SPARK-55160 Langsung meneruskan skema input ke serializer
  • SPARK-55170 Mengekstrak pola pembacaan aliran yang dikelompokkan dari serializer
  • SPARK-55125 Menghapus metode redundan __init__ di Arrow serializers
  • SPARK-55126 Hapus zona waktu dan assign_cols_by_name yang tidak digunakan dari ArrowStreamArrowUDFSerializer
  • SPARK-54980 Mengonversi tingkat isolasi JDBC menjadi string
  • SPARK-55051 Byte string dapat menerima KiB, MiB, GiB, TiB, PiB
  • SPARK-55025 Meningkatkan performa dalam panda dengan menggunakan pemahaman daftar
  • SPARK-46165 Tambahkan dukungan untuk pandas.DataFrame.all axis=1
  • SPARK-55037 Menerapkan ulang Pengamatan Tanpa Menggunakan QueryExecutionListener
  • SPARK-54965 Faktor keluar warisan pa. Array -> pd. Pengonversi seri
  • SPARK-55016 Jadikan SQLConf sebagai properti langsung SparkSession untuk mencegah luapan tumpukan
  • SPARK-55091 Mengurangi panggilan RPC Hive untuk DROP TABLE perintah
  • SPARK-55097 Memperbaiki masalah penghapusan blok secara diam-diam saat menambahkan kembali artefak yang di-cache
  • SPARK-55026 Optimalkan BestEffortLazyVal.
  • SPARK-55091 Kembalikan "[SC-217410][SQL] Kurangi panggilan APACHE Hive RPC untuk DROP TABLE perintah"
  • SPARK-54590 Titik Pemeriksaan Dukungan V2 untuk Penulisan Ulang dan Partisi Ulang Status
  • SPARK-55016 Jadikan SQLConf sebagai properti langsung SparkSession untuk mencegah luapan tumpukan
  • SPARK-55091 Mengurangi panggilan RPC Hive untuk DROP TABLE perintah
  • SPARK-55016 Batalkan "[SC-217401][SQL] Menjadikan SQLConf sebagai properti langsung dari SparkSession untuk mencegah stack overflow"
  • SPARK-55016 Jadikan SQLConf sebagai properti langsung SparkSession untuk mencegah luapan tumpukan
  • SPARK-55098 UDF yang telah vektorisasi dengan kontrol ukuran batch output mengalami gagal dengan kebocoran memori
  • SPARK-54824 Menambahkan dukungan untuk multiGet dan deleteRange untuk Rocksdb State Store
  • SPARK-55054 Menambahkan dukungan IDENTIFIED BY untuk fungsi bernilai tabel streaming
  • SPARK-55029 Menyebarluaskan nama identifikasi sumber streaming melalui alur resolusi
  • SPARK-55071 Membuat spark.addArtifact berfungsi dengan jalur Windows
  • SPARK-54103 Kembalikan "[SC-210400][Geo][SQL] Perkenalkan kelas Geografi dan Geometri sisi klien"
  • SPARK-54103 Memperkenalkan kelas Geografi dan Geometri sisi klien
  • SPARK-54033 Memperkenalkan kelas eksekusi geospasial di sisi server Catalyst
  • SPARK-54176 Memperkenalkan jenis data Geografi dan Geometri ke PySpark Connect
  • SPARK-55089 Perbaiki skema keluaran untuk toJSON
  • SPARK-55035 Lakukan pembersihan shuffle dalam eksekusi turunan
  • SPARK-55036 Tambahkan ArrowTimestampConversion untuk penanganan zona waktu panah
  • SPARK-54873 Menyederhanakan resolusi V2TableReference karena hanya tampilan sementara yang mungkin berisinya
  • SPARK-52828 Membuat hash untuk string yang diurutkan menjadi independen terhadap kolasi
  • SPARK-54175 Menambahkan jenis Geografi dan Geometri ke protokol Spark Connect
  • SPARK-54961 Memperkenalkan GroupingAnalyticsTransformer
  • SPARK-55088 Pertahankan metadata masuk ke/from_arrow_type/skema
  • SPARK-55070 Perbolehkan kolom tersembunyi dalam resolusi kolom dataframe
  • SPARK-55044 Jaga metadata dalam toArrowSchema/fromArrowSchema
  • SPARK-55043 Memperbaiki perjalanan waktu dengan subkueri yang berisi referensi tabel
  • SPARK-54987 Ubah nilai default prefer_timestamp_ntz menjadi True di from_arrow_type/from_arrow_schema
  • SPARK-54866 Refaktor Drop/RefreshFunction untuk menghindari pencarian katalog
  • SPARK-55024 Gunakan kesalahan REQUIRES_SINGLE_PART_NAMESPACE untuk validasi namespace katalog sesi
  • SPARK-54992 Ganti cast dengan pemeriksaan runtime untuk make_timestamp
  • SPARK-55024 Batalkan "[SC-216987][SQL] Gunakan kesalahan REQUIRES_SINGLE_PART_NAMESPACE untuk validasi namespace katalog sesi"
  • SPARK-54866 Batalkan "[SC-216753][SQL] Refaktorisasi Drop/RefreshFunction untuk menghindari pencarian katalog"
  • SPARK-55024 Gunakan kesalahan REQUIRES_SINGLE_PART_NAMESPACE untuk validasi namespace katalog sesi
  • SPARK-54866 Refaktor Drop/RefreshFunction untuk menghindari pencarian katalog
  • SPARK-54991 Petunjuk tipe yang benar untuk streaming/listener.py
  • SPARK-54925 Menambahkan kemampuan untuk membuang utas pada pyspark
  • SPARK-54803 Dukungan BY NAME dengan INSERT ... MENGGANTIKAN WHERE
  • SPARK-54785 Menambahkan dukungan untuk agregasi sketsa biner di KLL (#188370) (#188860)
  • SPARK-54949 Pindahkan pyproject.toml ke akar repositori
  • SPARK-54954 Memperbaiki petunjuk tipe terkait remote di util.py
  • SPARK-54922 Menyatukan bagaimana args diteruskan ke pekerja python
  • SPARK-54870 Dukungan kolasi untuk char/varchar dan CTAS/RTAS
  • SPARK-54762 Memperbaiki _create_converter dan memperbaiki tanda tangan fungsi covert yang dibebani
  • SPARK-55019 Perbolehkan DROP TABLE untuk menghapus VIEW
  • SPARK-53103 Melemparkan kesalahan jika direktori status tidak kosong saat kueri dimulai
  • SPARK-54995 Membuat jalur cepat untuk foreachPartition
  • SPARK-54634 Menambahkan pesan kesalahan yang jelas untuk predikat IN kosong
  • SPARK-54984 Eksekusi Repartisi Status serta integrasi dengan State Rewriter
  • SPARK-54443 Mengintegrasikan PartitionKeyExtractor di Pembaca partisi ulang
  • SPARK-54907 Memperkenalkan aturan penganalisis NameStreamingSources untuk evolusi sumber streaming
  • SPARK-54609 Perbarui konfigurasi tipe TIME agar selaras dengan yang ada di OSS
  • SPARK-54988 Menyederhanakan implementasi ObservationManager.tryComplete
  • SPARK-54959 Nonaktifkan pengacakan checksum ketidakcocokan sepenuhnya saat pengacakan berbasis pendorongan diaktifkan
  • SPARK-54940 Tambahkan pengujian untuk inferensi tipe pa.scalar
  • SPARK-54634 Kembalikan "[SC-216478][SQL] Tambahkan pesan kesalahan yang jelas untuk predikat IN kosong"
  • SPARK-54337 Menambahkan dukungan untuk PyCapsule ke Pyspark
  • SPARK-54634 Menambahkan pesan kesalahan yang jelas untuk predikat IN kosong
  • SPARK-53785 Sumber Memori untuk RTM
  • SPARK-54883 Membersihkan pesan kesalahan untuk CLI dan menambahkan mode kesalahan DEBUG baru
  • SPARK-54713 Menambahkan dukungan ekspresi fungsi kesamaan/jarak vektor
  • SPARK-54962 Memperbaiki penanganan bilangan bulat null di Pandas UDF
  • SPARK-54864 Menambahkan simpul rCTE ke NormalizePlan
  • SPARK-53847 Menambahkan ContinuousMemorySink untuk pengujian Mode Real-time
  • SPARK-54865 Menambah metode foreachWithSubqueriesAndPruning pada QueryPlan
  • SPARK-54930 Menghapus panggilan _accumulatorRegistry.clear() yang berlebihan di worker.py
  • SPARK-54929 Memperbaiki pengaturan ulang taskContext._resources dalam perulangan yang menyebabkan hanya sumber daya terakhir yang disimpan
  • SPARK-54963 Hormati createDataFrameprefer_timestamp_ntz ketika infer_pandas_dict_as_map
  • SPARK-54920 Memindahkan logika pengelompokan untuk ekstraksi analitik ke lokasi umum GroupingAnalyticsExtractor
  • SPARK-54924 State Rewriter untuk membaca status, mengubahnya dan menulis status baru
  • SPARK-54872 Menyatukan penanganan nilai default kolom antara perintah v1 dan v2
  • SPARK-54905 Menyederhanakan implementasi foreachWithSubqueries di QueryPlan
  • SPARK-54682 Dukungan memperlihatkan parameter dalam DESCRIBE PROCEDURE
  • SPARK-54933 Hindari mengambil konfigurasi binary_as_bytes berulang kali di toLocalIterator
  • SPARK-54872 Kembalikan "[SC-216260][SQL] Menyatukan penanganan nilai default kolom antara perintah v1 dan v2"
  • SPARK-51936 ReplaceTableAsSelect harus menimpa tabel baru alih-alih menambahkan
  • SPARK-54771 Menghapus aturan ResolveUserSpecifiedColumns dari RuleIdCollection
  • SPARK-54872 Menyatukan penanganan nilai default kolom antara perintah v1 dan v2
  • SPARK-54313 Tambahkan opsi --extra-properties-file untuk lapisan konfigurasi
  • SPARK-54468 Menambahkan kelas kesalahan yang hilang
  • SPARK-46741 Tabel Cache dengan CTE harus berfungsi ketika CTE berada dalam subkueri ekspresi perencanaan
  • SPARK-46741 Tabel Cache dengan CTE tidak akan berfungsi
  • SPARK-54615 Selalu teruskan runner_conf ke pekerja python
  • SPARK-53737 Menambahkan pemicu mode waktu nyata
  • SPARK-54541 Ganti nama _LEGACY_ERROR_TEMP_1007 dan tambahkan sqlState
  • SPARK-54718 Mempertahankan nama atribut selama CTE newInstance()
  • SPARK-54621 Gabungkan ke Dalam Set Pembaruan * pertahankan bidang berlapis jika ... coerceNestedTypes diaktifkan
  • SPARK-54595 Pertahankan perilaku MERGE INTO yang ada tanpa SCHEMA klausul EVOLUTION
  • SPARK-54903 Membuat to_arrow_schema/to_arrow_type dapat mengatur zona waktu
  • SPARK-52326 Menambahkan partisi terkait ExternalCatalogEvent dan mempostingnya dalam operasi yang sesuai
  • SPARK-54541 Kembalikan "[SC-215212][SQL] Ganti nama _LEGACY_ERROR_TEMP_1007 dan tambahkan sqlState"
  • SPARK-54578 Lakukan Pembersihan Kode pada AssignmentUtils
  • SPARK-54830 Aktifkan coba ulang pengacakan berbasis checksum yang tidak pasti secara bawaan
  • SPARK-54525 Menonaktifkan koersi struct berlapis dalam konfigurasi MERGE INTO
  • SPARK-53784 API Sumber Tambahan diperlukan untuk mendukung eksekusi RTM
  • SPARK-54496 Perbaiki Penggabungan Ke dalam Evolusi Skema untuk API Dataframe
  • SPARK-54835 Hindari QueryExecution temp yang tidak perlu untuk eksekusi perintah berlapis
  • SPARK-54541 Ganti nama _LEGACY_ERROR_TEMP_1007 dan tambahkan sqlState
  • SPARK-54289 Izinkan MERGE INTO untuk mempertahankan bidang struct yang sudah ada untuk UPDATESET * ketika struktur sumber memiliki lebih sedikit bidang bersarang daripada struktur target
  • SPARK-54720 Menambahkan SparkSession.emptyDataFrame dengan skema
  • SPARK-54800 Mengubah implementasi default untuk isObjectNotFoundException
  • SPARK-54686 Melonggarkan pemeriksaan tabel DSv2 dalam tampilan sementara untuk memungkinkan kolom tingkat atas baru
  • SPARK-54619 Menambahkan pemeriksaan dasar untuk nomor konfigurasi
  • SPARK-54726 Meningkatkan sedikit performa untuk InsertAdaptiveSparkPlan
  • SPARK-51966 Ganti select.select() dengan select.poll() saat berjalan pada os POSIX
  • SPARK-54749 Memperbaiki metrik numOutputRows yang salah di OneRowRelationExec
  • SPARK-54411 Memperkenalkan Penulis Repartisi yang Mendukung Multi-CF
  • SPARK-54835 Kembalikan "[SC-215823][SQL] Hindari QueryExecution sementara yang tidak perlu untuk eksekusi perintah berlapis"
  • SPARK-54867 Memperkenalkan pembungkus NamedStreamingRelation untuk identifikasi sumber selama analisis
  • SPARK-54835 Hindari QueryExecution temp yang tidak perlu untuk eksekusi perintah berlapis
  • SPARK-54491 Memperbaiki masalah penyisipan ke dalam tampilan sementara ketika terjadi kegagalan pada tabel DSv2.
  • SPARK-54871 Menghapus alias dari pengelompokan dan ekspresi agregat sebelum menangani analitik pengelompokan
  • SPARK-51920 Memperbaiki penanganan jenis namedTuple untuk transfromWithState
  • SPARK-54526 Ganti nama _LEGACY_ERROR_TEMP_1133 dan tambahkan sqlState
  • SPARK-54424 Kegagalan selama proses rekahis harus tidak menyebabkan operasi gagal
  • SPARK-54894 Perbaiki penerusan argumen to_arrow_type
  • SPARK-53448 Konversi DataFrame pyspark dengan kolom varian ke pandas gagal karena ada kesalahan
  • SPARK-54882 Menghapus PYARROW_IGNORE_TIMEZONE yang sudah lama
  • SPARK-54504 Memperbaiki pembaruan versi untuk tabel-tabel DSv2 dengan subkueri
  • SPARK-54444 Melonggarkan pemeriksaan tabel DSv2 untuk memulihkan perilaku sebelumnya
  • SPARK-54859 Panah secara default dokumen referensi PySpark UDF API
  • SPARK-54387 Batalkan "[ES-1688666] Batalkan "[SC-212394][SQL] Perbaiki perulangan tabel DSv2""
  • SPARK-54753 memperbaiki kebocoran memori ArtifactManager
  • SPARK-54387 Batalkan "[SC-212394][SQL] Memperbaiki cache ulang tabel DSv2"
  • SPARK-54436 Memperbaiki pemformatan kesalahan untuk pemeriksaan metadata tabel yang tidak kompatibel
  • SPARK-54849 Tingkatkan versi pyarrow minimum menjadi 18.0.0
  • SPARK-54022 Buat resolusi tabel DSv2 menyadari tabel yang telah di-cache
  • SPARK-54387 Memperbaiki perulangan tabel DSv2
  • SPARK-53924 Muat ulang tabel DSv2 dalam tampilan yang dibuat menggunakan rencana setiap kali tampilan diakses
  • SPARK-54561 Titik henti dukungan() untuk run-tests.py
  • SPARK-54157 Memperbaiki refresh tabel DSv2 di Himpunan Data
  • SPARK-54830 Batalkan "[CORE] Aktifkan coba ulang acak berdasarkan checksum yang tidak ditentukan secara default"
  • SPARK-54861 Reset nama alur tugas ke IDLE_TASK_THREAD_NAME saat tugas selesai
  • SPARK-54834 Menambahkan antarmuka baru SimpleProcedure dan SimpleFunction
  • SPARK-54760 MendelegasikanCatalogExtension sebagai katalog sesi mendukung fungsi V1 dan V2
  • SPARK-54685 Menghapus respons metrik yang diamati berlebihan
  • SPARK-54853 Selalu periksa hive.exec.max.dynamic.partitions di sisi Spark
  • SPARK-54840 Pra-alokasi OrcList
  • SPARK-54830 Aktifkan coba ulang pengacakan berbasis checksum yang tidak pasti secara bawaan
  • SPARK-54850 Tingkatkan extractShuffleIds untuk menemukan AdaptiveSparkPlanExec di mana saja di pohon rencana
  • SPARK-54843 ekspresi Try_to_number tidak berfungsi untuk input string kosong
  • SPARK-54556 Pengguliran balik berhasil dilakukan pada tahap peta pengacakan ketika ketidakcocokan checksum pengacakan terdeteksi
  • SPARK-54760 Kembalikan "[SC-215670][SQL] DelegatingCatalogExtension karena katalog sesi mendukung fungsi V1 dan V2"
  • SPARK-54760 MendelegasikanCatalogExtension sebagai katalog sesi mendukung fungsi V1 dan V2
  • SPARK-54818 TaskMemoryManager gagal mengalokasikan dan sebaiknya mencatat tumpukan kesalahan untuk membantu memeriksa penggunaan memori lebih lanjut
  • SPARK-54827 Menambahkan fungsi pembantu TreeNode.containsTag
  • SPARK-54777 Kembalikan "[SC-215740][SQL] Mengubah penanganan kesalahan dropTable di JDBCTableCatalog.dropTable(...)"
  • SPARK-54777 Mengubah penanganan kesalahan dropTable di JDBCTableCatalog.dropTable(...)
  • SPARK-54817 Refaktor logika resolusi ke Unpivot
  • SPARK-54820 Membuat pandas_on_spark_type kompatibel dengan numpy 2.4.0
  • SPARK-54799 Refaktor UnpivotCoercion
  • SPARK-54754 OrcSerializer tidak boleh mengurai skema setiap kali diserialisasikan
  • SPARK-54226 Perluas kompresi Arrow ke Pandas UDF
  • SPARK-54787 Gunakan pemahaman daftar alih-alih untuk perulangan di panda
  • SPARK-54690 Membuat Frame.__repr__ tidak peka terhadap pengoptimalan panah
  • SPARK-46166 Implementasi panda. DataFrame.any dengan sumbu=Tidak Ada
  • SPARK-54696 Pembersihan Buffer Arrow - tindak lanjut
  • SPARK-54769 Hapus kode mati di conversion.py
  • SPARK-54787 Gunakan pemahaman daftar dalam panda _bool_column_labels
  • SPARK-54794 Menyembunyikan log pemindaian verbose FsHistoryProvider.checkForLogs
  • SPARK-54782 Memperbaiki versi konfigurasi
  • SPARK-54781 Mengembalikan informasi cache model dalam format JSON
  • SPARK-54419 Pembaca Status Partisi Ulang Offline Mendukung Keluarga Multi-Kolom
  • SPARK-54722 Mendaftarkan Pandas Grouped Iter Aggregate UDF untuk penggunaan SQL
  • SPARK-54762 Kembalikan "[SC-215422][PYTHON] Perbaikan _create_converter dan covert tanda tangan kelebihan beban"
  • SPARK-54652 Kembalikan "[SC-215452][SQL] Konversi IDENTIFIERlengkap ()"
  • SPARK-54762 Memperbaiki _create_converter dan memperbaiki tanda tangan fungsi covert yang dibebani
  • SPARK-52819 Membuat KryoSerializationCodec dapat diserialisasikan untuk memperbaiki kesalahan java.io.NotSerializableException dalam berbagai kasus penggunaan
  • SPARK-54711 Menambahkan batas waktu untuk koneksi pekerja yang dibuat daemon
  • SPARK-54738 Menambahkan Dukungan Profiler untuk UDF Agregat Iter yang Dikelompokkan Pandas
  • SPARK-54652 Sebuah konversi lengkap IDENTIFIER()
  • SPARK-54581 Membuat opsi fetchsize tidak peka huruf besar/kecil untuk konektor Postgres
  • SPARK-54589 Mengonsolidasikan ArrowStreamAggPandasIterUDFSerializer ke ArrowStreamAggPandasUDFSerializer
  • SPARK-41916 Distributor obor: mendukung beberapa proses torchrun per tugas jika task.gpu.amount > 1
  • SPARK-54707 Logika utama resolusi refaktor PIVOT ke PivotTransformer
  • SPARK-54706 Membuat DistributedLDAModel berfungsi dengan sistem file lokal
  • SPARK-53616 Memperkenalkan API iterator untuk UDF agg pandas yang dikelompokkan
  • SPARK-54116 Menambahkan dukungan mode off-heap untuk LongHashedRelation
  • SPARK-54656 Refaktor MendukungPushDownVariants untuk menjadi mix-in ScanBuilder
  • SPARK-54687 Menambahkan file emas dengan kasus tepi resolusi generator
  • SPARK-54708 Optimalkan pembersihan cache ML dengan pembuatan direktori malas
  • SPARK-54116 Kembalikan "[SC-213108][SQL] Tambahkan dukungan mode off-heap untuk LongHashedRelation"
  • SPARK-54116 Menambahkan dukungan mode off-heap untuk LongHashedRelation
  • SPARK-54443 Ekstraksi kunci partisi untuk semua operator streaming stateful
  • SPARK-54687 Kembalikan "[SC-214791][SQL] Tambahkan file emas dengan kasus tepi resolusi generator"
  • SPARK-54116 Kembalikan "[SC-213108][SQL] Tambahkan dukungan mode off-heap untuk LongHashedRelation"
  • SPARK-54687 Menambahkan file emas dengan kasus tepi resolusi generator
  • SPARK-54116 Menambahkan dukungan mode off-heap untuk LongHashedRelation
  • SPARK-54420 Memperkenalkan Partisi Ulang Offline StatePartitionWriter untuk Keluarga Kolom Tunggal
  • SPARK-54689 Menjadikan org.apache.spark.sql.pipelines paket internal dan menjadikan EstimatorUtils privat
  • SPARK-54673 Refaktor kode analisis sintaks pipa SQL untuk berbagi dan menggunakan kembali
  • SPARK-54668 Menambahkan pengujian untuk CTE pada operator dengan banyak turunan
  • SPARK-54669 Menghapus transmisi redundan dalam rCTEs
  • SPARK-54587 Mengonsolidasikan semua kode terkait runner_conf
  • SPARK-54628 Hapus semua argumen super() eksplisit yang tidak perlu
  • SPARK-54675 Menambahkan batas waktu mati paksa yang dapat dikonfigurasi untuk kumpulan alur pemeliharaan StateStore
  • SPARK-54639 Hindari pembuatan Tabel yang tidak perlu di serializer Arrow
  • SPARK-49635 Menghapus saran konfigurasi ANSI dalam pesan kesalahan CAST
  • SPARK-54664 Bersihkan kode yang terkait dengan listenerCache dari connect.StreamingQueryManager
  • SPARK-54640 Ganti select.select dengan select.poll di UNIX
  • SPARK-54662 Tambahkan viztracer dan debugpy masuk dev/requirements.txt
  • SPARK-54632 Tambahkan opsi untuk menggunakan ruff untuk lint
  • SPARK-54585 Perbaiki penggulungan kembali State Store saat utas dalam keadaan terganggu
  • SPARK-54172 Perubahan Skema 'Merge Into' hanya boleh menambahkan kolom yang dirujuk.
  • SPARK-54438 Mengonsolidasikan ArrowStreamAggArrowIterUDFSerializer ke ArrowStreamAggArrowUDFSerializer
  • SPARK-54627 Menghapus inisialisasi redundan dalam serializer
  • SPARK-54631 Menambahkan dukungan profiler untuk UDF Agregat Iter Yang Dikelompokkan Panah
  • SPARK-54316 Terapkan kembali [SC-213971][CORE][PYTHON][SQL] Konsolidasikan GroupPandasIterUDFSerializer dengan GroupPandasUDFSerializer
  • SPARK-54392 Mengoptimalkan komunikasi JVM-Python untuk status awal TWS
  • SPARK-54617 Aktifkan pendaftaran UDF Agregat Iterasi Berkelompok Arrow untuk SQL
  • SPARK-54544 Aktifkan pemeriksaan validasi flake8 F811
  • SPARK-54650 Pindahkan konversi bilangan bulat ke desimal ke _create_converter_from_pandas
  • SPARK-54316 Kembalikan "[SC-213971][CORE][PYTHON][SQL] Konsolidasikan GroupPandasIterUDFSerializer dengan GroupPandasUDFSerializer"
  • SPARK-53687 Memperkenalkan WATERMARK klausa dalam pernyataan SQL
  • SPARK-54316 Mengonsolidasikan GroupPandasIterUDFSerializer dengan GroupPandasUDFSerializer
  • SPARK-54598 Mengekstrak logika untuk membaca UDF
  • SPARK-54622 Mempromosikan RequiresDistributionAndOrdering dan antarmuka yang diperlukan ke Evolving
  • SPARK-54624 Pastikan nama pengguna di halaman riwayat lolos
  • SPARK-54580 Pertimbangkan penggunaan Hive 4.1 dalam HiveVersionSuite dan HiveClientImpl
  • SPARK-54068 Perbaikan to_feather untuk mendukung PyArrow 22.0.0
  • SPARK-54618 Promosikan LocalScan ke Stable
  • SPARK-54616 Tandai SupportsPushDownVariants sebagai Experimental
  • SPARK-54607 Hapus metode toStringHelper yang tidak digunakan dari AbstractFetchShuffleBlocks.java
  • SPARK-53615 Memperkenalkan API iterator untuk UDF agregasi terkelompok Arrow
  • SPARK-54608 Hindari penembolokan ganda pengonversi jenis di UDTF
  • SPARK-54600 Jangan gunakan pickle untuk menyimpan/memuat model di pyspark.ml.connect
  • SPARK-54592 Membuat estimatedSize privat
  • SPARK-54388 Memperkenalkan StatePartitionReader yang memindai byte mentah untuk Single ColFamily
  • SPARK-54570 Menyebarkan kelas kesalahan dengan benar di Spark Connect
  • SPARK-54577 Mengoptimalkan panggilan Py4J dalam inferensi skema
  • SPARK-54568 Hindari konversi panda yang tidak perlu dalam membuat dataframe dari ndarray
  • SPARK-54576 Menambahkan dokumentasi untuk fungsi agregat berbasis Datasketches baru
  • SPARK-54574 Aktifkan kembali FPGrowth saat terhubung
  • SPARK-54557 Membuat CSV/JSON/XmlOptions dan CSV/JSON/XmlInferSchema sebanding
  • SPARK-52798 Menambahkan approx_top_k_combine fungsi
  • SPARK-54446 FPGrowth mendukung sistem file lokal dengan format file Arrow
  • SPARK-54547 Ganti nama hostPort variabel menjadi host dalam TaskSchedulerImpl.(executorLost|logExecutorLoss) metode
  • SPARK-54558 Perbaiki Pengecualian Internal saat Handler Pengecualian tanpa BEGIN/END digunakan
  • SPARK-52923 Izinkan ShuffleManager untuk mengontrol push merge selama pendaftaran shuffle
  • SPARK-54474 Buang laporan XML pada pengujian yang seharusnya gagal
  • SPARK-54473 Menambahkan dukungan baca dan tulis Avro untuk jenis TIME
  • SPARK-54472 Menambahkan dukungan baca dan tulis ORC untuk jenis TIME
  • SPARK-54463 Menambahkan dukungan serialisasi dan deserialisasi CSV untuk jenis TIME
  • SPARK-52588 Approx_top_k: akumulasi dan estimasi
  • SPARK-54461 Menambahkan serialisasi XML dan dukungan deserialisasi untuk jenis TIME
  • SPARK-54451 Menambahkan dukungan serialisasi dan deserialisasi JSON untuk jenis TIME
  • SPARK-54537 Memperbaiki masalah pada SparkConnectDatabaseMetaData getSchemas/getTables di katalog yang tidak memiliki kapabilitas namespace
  • SPARK-54442 Menambahkan fungsi konversi numerik untuk jenis TIME
  • SPARK-54451 Kembalikan "[SC-212861][SQL] Tambahkan serialisasi JSON dan dukungan deserialisasi untuk jenis TIME"
  • SPARK-54492 Ganti nama _LEGACY_ERROR_TEMP_1201 dan tambahkan sqlState
  • SPARK-54531 Memperkenalkan ArrowStreamAggPandasUDFSerializer
  • SPARK-54223 Menambahkan konteks tugas dan metrik data ke log runner Python
  • SPARK-54272 Menambahkan aggTime untuk SortAggregateExec
  • SPARK-53469 Kemampuan untuk membersihkan proses shuffle di server Thrift
  • SPARK-54219 Dukungan konfigurasi spark.cleaner.referenceTracking.blocking.timeout
  • SPARK-54475 Menambahkan master-server, branch-4.0-client, Python 3.11
  • SPARK-54451 Menambahkan dukungan serialisasi dan deserialisasi JSON untuk jenis TIME
  • SPARK-54285 Menyimpan info zona waktu untuk menghindari konversi stempel waktu yang mahal
  • SPARK-49133 Membuat anggota bersifat atomik MemoryConsumer#used untuk menghindari kode pengguna menyebabkan kebuntuan.
  • SPARK-46166 Implementasi pandas DataFrame.any dengan axis=1
  • SPARK-54532 Menambahkan dukungan untuk sqlstate untuk PySparkException
  • SPARK-54435 spark-pipelines init sebaiknya menghindari penimpaan direktori yang ada
  • SPARK-54247 Menutup soket secara eksplisit untuk util._load_from_socket

Dukungan pada driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver terbaru dan lakukan peningkatan (unduh ODBC, unduh JDBC).

Lingkungan sistem

  • Sistem Operasi: Ubuntu 24.04.3 LTS
  • Java: Zulu21.42+19-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.5.1
  • Danau Delta: 4.1.0

Pustaka Python yang diinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
aiohappyeyeballs 2.4.4 aiohttp 3.11.10 aiosignal 1.2.0
anotasi-doc 0.0.4 tipe beranotasi 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 Pengikatan Argon2-cffi 21.2.0 arro3-core 0.6.5
anak panah 1.3.0 asttoken 3.0.0 astunparse 1.6.3
asinkron-lru 2.0.4 atribut 24.3.0 perintah otomatis 2.2.2
azure-common 1.1.28 azure-core 1.37.0 azure-identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 Azure Storage Blob 12.28.0
Azure Storage File Data Lake 12.22.0 babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 hitam 24.10.0 pemutih 6.2.0
blinker 1.7.0 boto3 1.40.45 botocore 1.40.45
cachetools (perangkat untuk caching) 5.5.1 sertifikat 2025.4.26 cffi 1.17.1
chardet 4.0.0 charset-normalizer 3.3.2 klik 8.1.8
cloudpickle (perpustakaan Python untuk serialisasi objek) 3.0.0 Komunikasi 0.2.1 Contourpy 1.3.1
Kriptografi 44.0.1 pengendara sepeda 0.11.0 Cython 3.1.5
databricks-agents 1.9.1 databricks-sdk 0.67.0 dataclasses-json 0.6.7
dbus-python 1.3.2 debugpy 1.8.11 penghias 5.1.1
defusedxml 0.7.1 deltalake 1.1.4 Deprecated 1.2.18
distlib 0.3.9 konversi docstring ke markdown 0.11 eksekusi 1.2.0
gambaran umum aspek 1.1.1 fastapi 0.128.0 fastjsonschema 2.21.1
filelock 3.17.0 alat pengelola font 4.55.3 Fqdn 1.5.1
daftar yang dibekukan 1.5.0 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.28.1 google-auth (autentikasi Google) 2.47.0
google-cloud-core 2.5.0 penyimpanan awan Google 3.7.0 google-crc32c 1.8.0
google-resumable-media (layanan media berkelanjutan dari Google) 2.8.0 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.16.0 hf-xet 1.2.0
httpcore 1.0.9 httplib2 0.20.4 httpx 0.28.1
huggingface_hub 1.2.4 IDNA 3.7 importlib_metadata 8.5.0
memfleksi 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate 0.7.2 isodurasi 20.11.0
jaraco.collections 5.1.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.teks 3.12.1 Jedi 0.19.2 Jinja2 3.1.6
jiter 0.12.0 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 jsonpatch 1,33 jsonpointer 3.0.0
jsonschema 4.23.0 Spesifikasi JSON Schema 2023.7.1 peristiwa Jupyter 0.12.0
jupyter-lsp 2.2.5 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.15.0 Terminal Jupyter Server 0.5.3 jupyterlab 4.3.4
jupyterlab_pygments 0.3.0 jupyterlab_server 2.27.3 jupyterlab_widgets 1.1.11
kiwisolver 1.4.8 langchain-core 1.2.6 langchain-openai 1.1.6
langsmith 0.6.1 launchpadlib 1.11.0 lazr.restfulclient (klien layanan web yang menggunakan RESTful) 0.14.6
lazr.uri 1.0.6 litellm 1.75.9 markdown-it-py 2.2.0
MarkupSafe 3.0.2 kembang gula (marshmallow) 3.26.2 matplotlib 3.10.0
matplotlib-inline (modul untuk menampilkan grafik secara inline) 0.1.7 Mccabe 0.7.0 mdurl 0.1.0
penyetelan salah 3.1.2 mlflow-skinny (versi ringan) 3.8.1 mmh3 5.2.0
more-itertools 10.3.0 msal 1.34.0 msal-extensions 1.3.1
multidict 6.1.0 ekstensi mypy 1.0.0 nbclient 0.10.2
nbconvert 7.16.6 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.10.0 buku catatan 7.3.2 buku_catatan_shim 0.2.4
numpy (perpustakaan Python untuk operasi numerik) 2.1.3 oauthlib 3.2.2 OpenAI 2.14.0
opentelemetry-api 1.39.1 opentelemetry-proto 1.39.1 opentelemetry-sdk 1.39.1
opentelemetry-konvensi-semantik 0.60b1 orjson 3.11.5 Mengabaikan 7.4.0
pengemasan 24,2 Panda 2.2.3 Pandocfilters 1.5.0
pengurai 0.8.4 spesifikasi jalur 0.10.3 kambing hitam 1.0.1
pexpect 4.8.0 bantal 11.1.0 pipa 25.0.1
platformdirs 4.3.7 plotly 5.24.1 pengaya 1.5.0
prometheus_client 0.21.1 prompt-toolkit 3.0.43 propcache 0.3.1
proto-plus 1.27.0 protobuf 5.29.4 psutil 5.9.0
psycopg2 2.9.11 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 21.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser 2.21 pydantic (perpustakaan Python untuk validasi data) 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.19.1
PyGObject 3.48.2 pyiceberg 0.10.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing 3.2.0 pyright 1.1.394
pyroaring 1.0.3 pytest 8.3.5 python-dateutil 2.9.0.post0
python-dotenv 1.2.1 python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.12.2 pytoolconfig 1.2.6 pytz 2024.1
PyYAML (paket untuk memproses bahasa YAML dalam Python) 6.0.2 pyzmq 26.2.0 Merujuk 0.30.2
regex 2024.11.6 requests 2.32.3 requests-toolbelt 1.0.0
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 kaya 13.9.4
tali 1.13.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.14.0 scikit-learn 1.6.1 scipy (perpustakaan Python untuk komputasi ilmiah) 1.15.3
Seaborn (perpustakaan Python untuk visualisasi data) 0.13.2 Send2Trash 1.8.2 setuptools 78.1.1
shellingham 1.5.4 Enam 1.17.0 smmap 5.0.0
Sniffio 1.3.0 sortedcontainers 2.4.0 alat penyaring sup 2.5
sqlparse 0.5.5 ssh-import-id 5.11 stack-data 0.6.3
starlette 0.50.0 strictyaml 1.7.3 kegigihan 9.0.0
selesai 0.17.1 threadpoolctl 3.5.0 tiktoken 0.12.0
tinycss2 1.4.0 tokenize_rt 6.1.0 tokenisasi 0.22.2
tomli 2.0.1 Tornado 6.5.1 tqdm 4.67.1
traitlets 5.14.3 typeguard (penjaga tipe) 4.3.0 typer-slim 0.21.1
type-python-dateutil 2.9.0.20251115 mengetik-memeriksa 0.9.0 ekstensi pengetikan (typing_extensions) 4.12.2
tzdata 2024.1 ujson 5.10.0 pembaruan otomatis tanpa pengawasan 0.1
templat URI 1.3.0 urllib3 2.3.0 uuid_utils 0.12.0
uvicorn 0.40.0 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 warna web 25.10.0 webencodings=0.5.1 0.5.1
websocket-klien 1.8.0 apa itu patch 1.0.2 wheel 0.45.1
Setiap kali 0.7.3 widgetsnbextension 3.6.6 terbungkus 1.17.0
yapf 0.40.2 yarl 1.18.0 zipp 3.21.0
zstandard 0.23.0

Perpustakaan R yang terinstal

Pustaka R diinstal dari cuplikan CRAN Posit Package Manager pada 2025-11-20.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anak panah 22.0.0 askpass 1.2.1 pastikanbahwa 0.2.1
pemindahan fitur ke versi lama (backports) 1.5.0 dasar 4.5.1 base64enc 0.1-3
bigD 0.3.1 sedikit 4.6.0 bit-64 4.6.0-1
bitops 1.0-9 blob 1.2.4 sepatu bot 1.3-30
menyeduh 1.0-10 Brio 1.1.5 sapu 1.0.10
bslib 0.9.0 cashmere 1.1.0 layanan panggilan 3.7.6
caret 7.0-1 cellranger 1.1.0 kronogram 2.3-62
kelas 7.3-22 CLI 3.6.5 pemangkas 0.8.0
Jam 0.7.3 kluster 2.1.6 codetools 0.2-20
commonmark 2.0.0 pengkompilasi 4.5.1 config 0.3.2
Bimbang 1.2.0 cpp11 0.5.2 kriyon 1.5.3
kredensial 2.0.3 melengkung 7.0.0 data.table (sebuah paket untuk pengolahan data table) 1.17.8
kumpulan data 4.5.1 DBI 1.2.3 dbplyr 2.5.1
deskripsi 1.4.3 devtools 2.4.6 bagan 1.6.5
diffobj 0.3.6 digest 0.6.39 pencahayaan turun 0.4.5
dplyr 1.1.4 dtplyr 1.3.2 e1071 1.7-16
elipsis 0.3.2 menilai 1.0.5 penggemar 1.0.7
warna-warna 2.1.2 pemetaan cepat 1.2.0 fontawesome 0.5.3
untuk kucing 1.0.1 foreach (pengulangan untuk setiap elemen) 1.5.2 asing 0.8-86
fs 1.6.6 masa depan 1.68.0 menerapkan di masa depan 1.20.0
kumur 1.6.0 obat generik 0.1.4 Gert 2.2.0
ggplot2 4.0.1 GH 1.5.0 git2r 0.36.2
gitcreds 0.1.2 glmnet 4.1-10 variabel global 0.18.0
lem 1.8.0 googledrive 2.1.2 googlesheets4 1.1.2
Gower 1.0.2 Grafik 4.5.1 grDevices 4.5.1
kisi 4.5.1 gridExtra 2.3 gsubfn 0.7
gt 1.1.0 gtabel 0.3.6 topi keras 1.4.2
tempat aman 2.5.5 lebih tinggi 0.11 HMS 1.1.4
htmltools 0.5.8.1 htmlwidgets 1.6.4 httpuv 1.6.16
httr 1.4.7 httr2 1.2.1 ids 1.0.1
ini 0.3.1 ipred 0.9-15 isoband 0.2.7
Pengiterasi 1.0.14 jquerylib 0.1.4 jsonlite 2.0.0
JuicyJuice 0.1.0 KernSmooth 2.23-22 knitr 1,50
Pelabelan 0.4.3 nanti 1.4.4 rangka 0.22-5
lahar 1.8.2 siklus hidup 1.0.4 listenv 0.10.0
litedown 0.8 lubridate 1.9.4 magrittr 2.0.4
Markdown 2.0 Massa 7.3-60.0.1 Matrix 1.6-5
memosankan 2.0.1 Metode 4.5.1 mgcv 1.9-1
pantomim 0,13 miniUI 0.1.2 mlflow 3.6.0
ModelMetrics 1.2.2.2 modelr 0.1.11 nlme 3.1-164
nnet 7.3-19 numDeriv Agustus 2016 - Januari 2017 openssl 2.3.4
otel 0.2.0 paralel 4.5.1 secara paralel 1.45.1
pilar 1.11.1 pkgbuild 1.4.8 pkgconfig 2.0.3
pkgdown 2.2.0 pkgload 1.4.1 plogr 0.2.0
plyr 1.8.9 pujian 1.0.0 prettyunits 1.2.0
pROC 1.19.0.1 ProsesX 3.8.6 prodlim 2025.04.28
profvis 0.4.0 Kemajuan 1.2.3 progresr 0.18.0
janji 1.5.0 proto 1.0.0 proksi 0,4-27
P.S. 1.9.1 menggeram lembut 1.2.0 R6 2.6.1
ragg 1.5.0 randomForest (algoritma pembelajaran mesin) 4.7-1.2 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.1.0
RcppEigen 0.3.4.0.2 dapat direaksi 0.4.4 reactR 0.6.1
alat baca 2.1.6 readxl (membaca file Excel) 1.4.5 recipes 1.3.1
pertandingan ulang 2.0.0 pertandingan ulang 2 2.1.2 pengontrol jarak jauh 2.5.0
contoh replikasi 2.1.1 reshape2 1.4.5 rlang 1.1.6
rmarkdown 2.30 RODBC 1.3-26 roxygen2 7.3.3
rpart 4.1.23 rprojroot 2.1.1 Rserve 1.8-15
RSQLite 2.4.4 rstudioapi 0.17.1 rversions 3.0.0
rvest 1.0.5 S7 0.2.1 Sass 0.4.10
timbangan / sisik 1.4.0 selektor 0,4-2 informasi sesi 1.2.3
bentuk 1.4.6.1 mengkilap 1.11.1 sourcetools 0.1.7-1
sparklyr 1.9.3 SparkR 4.1.0 sparsevctrs 0.3.4
spasial 7.3-17 garis lengkung 4.5.1 sqldf 0,4-11
SQUAREM 2021.1 statistik 4.5.1 statistik4 4.5.1
string 1.8.7 stringr 1.6.0 bertahan hidup 3.5-8
gaya berani 5.17.14.1 Sistem 3.4.3 systemfonts 1.3.1
bahasa pemrograman Tcl/Tk 4.5.1 ujiitu 3.3.0 pemformatan teks 1.0.4
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 perubahan jam 0.3.0 TanggalWaktu 4051.111
tinytex 0.58 perangkat 4.5.1 tzdb 0.5.0
urlchecker 1.0.1 gunakan ini 3.2.1 utf8 1.2.6
Utilitas 4.5.1 UUID (Pengidentifikasi Unik Universal) 1.2-1 V8 8.0.1
vctrs 0.6.5 viridisLite 0.4.2 Vroom 1.6.6
Waldo 0.6.2 kumis 0.4.1 dengan 3.0.2
xfun 0.54 xml2 1.5.0 xopen 1.0.1
xtable 1.8-4 yaml 2.3.10 zeallot 0.2.0
zip 2.3.3

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.13)

ID Grup Identifikasi Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.15.3
com.amazonaws aws-java-sdk-autoscaling 1.12.681
com.amazonaws aws-java-sdk-cloudformation 1.12.681
com.amazonaws aws-java-sdk-cloudfront 1.12.681
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.681
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.681
com.amazonaws aws-java-sdk-cloudtrail 1.12.681
com.amazonaws aws-java-sdk-cloudwatch 1.12.681
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.681
com.amazonaws aws-java-sdk-codedeploy 1.12.681
com.amazonaws aws-java-sdk-cognitoidentity 1.12.681
com.amazonaws aws-java-sdk-cognitosync 1.12.681
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.681
com.amazonaws aws-java-sdk-core 1.12.681
com.amazonaws aws-java-sdk-datapipeline 1.12.681
com.amazonaws aws-java-sdk-directconnect 1.12.681
com.amazonaws aws-java-sdk-directory 1.12.681
com.amazonaws aws-java-sdk-dynamodb 1.12.681
com.amazonaws aws-java-sdk-ec2 1.12.681
com.amazonaws aws-java-sdk-ecs 1.12.681
com.amazonaws aws-java-sdk-efs 1.12.681
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.681
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.681
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.681
com.amazonaws aws-java-sdk-elastictranscoder 1.12.681
com.amazonaws aws-java-sdk-emr 1.12.681
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.681
com.amazonaws aws-java-sdk-glue 1.12.681
com.amazonaws aws-java-sdk-iam 1.12.681
com.amazonaws aws-java-sdk-impor-ekspor 1.12.681
com.amazonaws aws-java-sdk-kinesis 1.12.681
com.amazonaws aws-java-sdk-kms 1.12.681
com.amazonaws aws-java-sdk-lambda 1.12.681
com.amazonaws aws-java-sdk-logs 1.12.681
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.681
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.681
com.amazonaws aws-java-sdk-rds 1.12.681
com.amazonaws aws-java-sdk-redshift 1.12.681
com.amazonaws aws-java-sdk-route53 1.12.681
com.amazonaws aws-java-sdk-s3 1.12.681
com.amazonaws aws-java-sdk-ses 1.12.681
com.amazonaws aws-java-sdk-simpledb 1.12.681
com.amazonaws aws-java-sdk-simpleworkflow 1.12.681
com.amazonaws aws-java-sdk-sns 1.12.681
com.amazonaws aws-java-sdk-sqs 1.12.681
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.681
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.681
com.amazonaws aws-java-sdk-sts 1.12.681
com.amazonaws AWS Java SDK Dukungan 1.12.681
com.amazonaws aws-java-sdk-workspaces 1.12.681
com.amazonaws jmespath-java 1.12.681
com.clearspring.analytics aliran 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.53.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware bayangan-kriogenik 4.0.3
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.5.1
com.fasterxml.jackson.core Jackson Annotations 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.3
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine kafein 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib referensi_asli-java 1.1-penduduk asli
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib sistem_asli-java 1.1-penduduk asli
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-penduduk asli
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-penduduk asli
com.github.luben zstd-jni 1.5.7-6
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value anotasi nilai otomatis 1.10.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone Annotasi yang rentan terhadap kesalahan 2.36.0
com.google.flatbuffers flatbuffers-java 25.2.10
com.google.guava kegagalan akses 1.0.3
com.google.guava jambu biji 33.4.8-jre
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-anotasi 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger pembuat profil 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.10
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre11
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf (algoritma kompresi) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.10.0
commons-codec commons-codec 1.19.0
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.6.0
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.21.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 3.0.4
dev.ludovic.netlib Tidak peduli 3.0.4
dev.ludovic.netlib LAPACK 3.0.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 2.0.2
io.delta delta-sharing-client_2.13 1.3.9
io.dropwizard.metrics metrik dan anotasi 4.2.37
io.dropwizard.metrics inti metrik 4.2.37
io.dropwizard.metrics metrics-graphite 4.2.37
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.2.37
io.dropwizard.metrics metrik-jetty10 4.2.37
io.dropwizard.metrics metrik-jmx 4.2.37
io.dropwizard.metrics metrik-json 4.2.37
io.dropwizard.metrics metrik-jvm 4.2.37
io.dropwizard.metrics metrik-servlet 4.2.37
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.2.7.Final
io.netty Netty Buffer 4.2.7.Final
io.netty netty-codec 4.2.7.Final
io.netty netty-codec-base 4.2.7.Final
io.netty netty-codec-classes-quic 4.2.7.Final
io.netty netty-codec-compression 4.2.7.Final
io.netty netty-kodek-http 4.2.7.Final
io.netty netty-codec-http2 4.2.7.Final
io.netty netty-codec-http3 4.2.7.Final
io.netty netty-codec-marshalling 4.2.7.Final
io.netty netty-codec-native-quic 4.2.7.Final-linux-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-linux-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-windows-x86_64
io.netty netty-codec-protobuf 4.2.7.Final
io.netty netty-codec-socks 4.2.7.Final
io.netty netty-common 4.2.7.Final
io.netty netty-handler 4.2.7.Final
io.netty netty-handler-proxy 4.2.7.Final
io.netty netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) 4.2.7.Final
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-windows-x86_64
io.netty Kelas netty-tcnative 2.0.74.Final
io.netty netty-transport 4.2.7.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.2.7.Final
io.netty netty-transport-classes-io_uring 4.2.7.Final
io.netty netty-transport-classes-kqueue 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-x86_64
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.2.7.Final
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
io.prometheus simpleclient 0.16.1-databricks
io.prometheus simpleclient_umum 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_pelacakan_otel_agen 0.16.1-databricks
io.prometheus.jmx pengumpul 0.18.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction Transaction-API 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.14.0
net.java.dev.jna jna 5.8.0
net.razorvine mentimun acar 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr StringTemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pemadatan panah 18.3.0
org.apache.arrow format tanda panah 18.3.0
org.apache.arrow inti-memori-panah 18.3.0
org.apache.arrow Arrow-Memory-Netty 18.3.0
org.apache.arrow arrow-memori-netty-penyangga-tambalan 18.3.0
org.apache.arrow arrow-vector 18.3.0
org.apache.avro Avro 1.12.1
org.apache.avro avro-ipc 1.12.1
org.apache.avro avro-mapred 1.12.1
org.apache.commons commons-koleksi4 4.5.0
org.apache.commons commons-compress 1.28.0
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.19.0
org.apache.commons Commons-Math3 3.6.1
org.apache.commons commons-text (teks umum) 1.14.0
org.apache.curator kurator dan klien 5.9.0
org.apache.curator kerangka kerja kurator 5.9.0
org.apache.curator kurasi resep 5.9.0
org.apache.datasketches datasketches-java 6.2.0
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop lingkungan kerja klien Hadoop 3.4.2
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.10
org.apache.hive Hive-shims 2.3.10
org.apache.hive API penyimpanan hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.10
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy tanaman anggur 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json (pola tata letak JSON di log4j) 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.2.0-shaded-protobuf
org.apache.orc orc-format 1.1.1-shaded-protobuf
org.apache.orc orc-mapreduce 2.2.0-shaded-protobuf
org.apache.orc orc-shims 2.2.0
org.apache.poi Poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.28
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus anotasi penonton 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.9.4
org.apache.zookeeper penjaga kebun binatang-jute 3.9.4
org.checkerframework pemeriksa kualitas 3.43.0
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-alpn-client 10.0.26
org.eclipse.jetty jetty-client 10.0.26
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 10.0.26
org.eclipse.jetty jetty-io 10.0.26
org.eclipse.jetty jetty-jndi 10.0.26
org.eclipse.jetty Jetty Plus 10.0.26
org.eclipse.jetty Jetty-Proxy 10.0.26
org.eclipse.jetty keamanan jetty 10.0.26
org.eclipse.jetty Jetty Server 10.0.26
org.eclipse.jetty jetty-servlet 10.0.26
org.eclipse.jetty jetty-servlets 10.0.26
org.eclipse.jetty jetty-util 10.0.26
org.eclipse.jetty Aplikasi web Jetty 10.0.26
org.eclipse.jetty jetty-xml 10.0.26
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utilitas 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.41
org.glassfish.jersey.containers jersey-container-servlet-inti 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey biasa 2.41
org.glassfish.jersey.core Jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator Hibernate Validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jline Jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.locationtech.jts jts-core 1.20.0
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.22.1
org.objenesis objenesis 3.4
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.4.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest kompatibel dengan ScalaTest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
Stax stax-api 1.0.1
  • Last updated on