Bagikan melalui

Databricks Runtime 14.3 LTS

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 14.3 LTS, didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada Februari 2024.

Catatan

LTS berarti versi ini berada di bawah dukungan jangka panjang. Lihat Siklus hidup versi Databricks Runtime LTS.

Tips

Untuk melihat catatan rilis untuk versi Databricks Runtime yang telah mencapai akhir masa dukungan (EoS), lihat Catatan rilis Databricks Runtime akhir masa dukungan. Versi EoS Databricks Runtime telah dihentikan dan mungkin tidak diperbarui.

Fitur dan peningkatan baru

Dukungan sistem file ruang kerja di PySpark User-Defined Functions (UDF) pada kluster mode akses standar (sebelumnya mode akses bersama)

UDF PySpark pada kluster standar sekarang dapat mengimpor modul Python dari folder Git , file ruang kerja, atau volume UC .

Untuk informasi selengkapnya tentang bekerja dengan modul di folder Git atau file ruang kerja, lihat Bekerja dengan modul Python dan R.

Dukungan untuk penghapusan vektor pengoptimalan tanpa Photon

Photon tidak lagi diperlukan dalam operasi MERGE untuk memanfaatkan pengoptimalan vektor penghapusan. Lihat Vektor penghapusan di Databricks.

API katalog Spark sekarang didukung penuh dalam mode akses standar

Anda sekarang dapat menggunakan semua fungsi dalam API spark.catalog di Python dan Scala pada komputasi yang dikonfigurasi dengan mode akses standar.

Delta UniForm sekarang tersedia secara umum

UniForm sekarang tersedia secara umum dan menggunakan IcebergCompatV2 fitur tabel. Sekarang Anda dapat mengaktifkan atau memutakhirkan UniForm pada tabel yang sudah ada. Lihat Baca tabel Delta menggunakan klien Iceberg.

EXECUTE IMMEDIATE fungsi SQL baru

Anda sekarang dapat menggunakan sintaks EXECUTE IMMEDIATE untuk mendukung kueri berparameter di SQL. Lihat EXECUTE IMMEDIATE.

Komputasi ulang statistik pengabaian data untuk tabel Delta

Anda sekarang dapat mengolah ulang statistik yang disimpan di log Delta setelah mengubah kolom yang digunakan untuk melewatkan data. Lihat Menentukan kolom statistik.

Informasi kondisi kueri untuk kueri streaming yang memiliki status

Sekarang Anda dapat mengkueri data dan metadata status Streaming Terstruktur. Lihat Read Structured Streaming state information.

Menggunakan ID Microsoft Entra untuk autentikasi Kafka pada kluster standar

Anda sekarang dapat mengautentikasi layanan Azure Event Hubs melalui OAuth dengan ID Microsoft Entra pada komputasi yang dikonfigurasi dengan mode akses standar. Lihat Autentikasi Kafka.

Dukungan ditambahkan untuk pemangkasan file dan partisi untuk meningkatkan performa kueri

Untuk mempercepat beberapa kueri yang mengandalkan kesetaraan toleran null dalam kondisi JOIN, kami sekarang mendukung DynamicFilePruning dan DynamicPartitionPruning untuk operator EqualNullSafe di JOIN.

Mendeklarasikan variabel sementara dalam Sesi SQL

Rilis ini memperkenalkan kemampuan untuk mendeklarasikan variabel sementara dalam sesi yang dapat diatur dan kemudian dirujuk dari dalam kueri. Lihat Variabel.

Pembaruan thriftserver untuk menghapus fitur yang tidak digunakan

Kode Thriftserver telah diperbarui untuk menghapus kode untuk fitur usang. Karena perubahan ini, konfigurasi berikut tidak lagi didukung:

  • JAR-JAR tambahan dari Apache Hive, yang dikonfigurasi menggunakan properti hive.aux.jars.path, tidak lagi didukung untuk koneksi hive-thriftserver.
  • File inisial global Apache Hive (.hiverc), yang lokasinya dikonfigurasi menggunakan properti hive.server2.global.init.file.location atau variabel lingkungan HIVE_CONF_DIR, tidak didukung lagi untuk koneksi hive-thriftserver.

Menggunakan file truststore dan keystore dalam volume Katalog Unity

Anda sekarang dapat menggunakan file truststore dan keystore di dalam volume Unity Catalog untuk mengautentikasi ke Confluent Schema Registry untuk data avro atau protocol buffer. Lihat dokumentasi untuk avro atau protokol penyangga.

Dukungan format file XML asli (Pratinjau Umum)

Dukungan format file XML asli sekarang ada di Pratinjau Umum. Dukungan format file XML memungkinkan penyerapan, kueri, dan penguraian data XML untuk pemrosesan atau streaming batch. Ini dapat secara otomatis menyimpulkan dan mengembangkan skema dan jenis data, mendukung ekspresi SQL seperti from_xml, dan dapat menghasilkan dokumen XML. Ini tidak memerlukan jar eksternal dan berfungsi dengan mulus dengan Auto Loader, read_files, COPY INTO, dan DLT. Lihat Membaca dan menulis file XML.

Dukungan untuk penyimpanan Cloudflare R2 (Pratinjau Umum)

Anda sekarang dapat menggunakan Cloudflare R2 sebagai penyimpanan cloud untuk data yang terdaftar di Unity Catalog. Cloudflare R2 ditujukan terutama untuk kasus penggunaan Berbagi Delta di mana Anda ingin menghindari biaya keluar data yang dibebankan oleh penyedia cloud saat data melintasi wilayah. Penyimpanan R2 mendukung semua data Databricks dan aset AI yang didukung di AWS S3, Azure Data Lake Storage, dan Google Cloud Storage. Lihat Menggunakan replika Cloudflare R2 atau memigrasikan penyimpanan ke R2 dan Membuat kredensial penyimpanan untuk menyambungkan ke Cloudflare R2.

Akses Spark dan dbutils untuk mendukung file ruang kerja pada kluster Unity Catalog dengan akses standar.

Akses baca dan tulis dari Spark dan dbutils ke file ruang kerja sekarang didukung pada kluster Unity Catalog dalam mode akses standar. Lihat Bekerja dengan file ruang kerja.

Skrip inisialisasi dan dukungan pustaka kluster pada kluster Unity Catalog dengan akses standar

Penginstalan skrip penginitiasi cakupan kluster dan pustaka Python dan JAR pada kluster Katalog Unity dalam mode akses standar, termasuk pemasangan dengan menggunakan kebijakan kluster, sudah tersedia secara umum. Databricks merekomendasikan penginstalan skrip init dan pustaka dari volume Unity Catalog.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • fastjsonschema versi 2.19.0 hingga 2.19.1
    • filelock diperbarui dari 3.12.4 ke 3.13.1
    • googleapis-common-protos dari 1.61.0 hingga 1.62.0
    • kemasan dari 22.0 hingga 23.2
  • Pustaka R yang ditingkatkan:
    • asing dari 0,8-82 menjadi 0,8-85
    • nlme dari 3.1-162 ke 3.1-163
    • rpart dari 4.1.19 ke 4.1.21
  • Pustaka Java yang ditingkatkan:
    • com.databricks.databricks-sdk-java dari 0.7.0 hingga 0.13.0
    • org.apache.orc.orc-core dari 1.9.1-shaded-protobuf ke 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce dari 1.9.1-shaded-protobuf ke 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims dari 1.9.1 hingga 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 dari 2.9.0 hingga 2.11.0

Apache Spark

Databricks Runtime 14.3 mencakup Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam versi sebelumnya, serta yang berikut ini:

  • [SPARK-46541] [SC-153546][sql][CONNECT] Perbaiki referensi kolom ambigu dalam self join
  • [SPARK-45433] Batalkan "[SC-145163][sql] Perbaikan inferensi skema CSV/JSON...
  • [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] Jadikan addArtifact dapat dicoba ulang
  • [SPARK-46660] [SC-153391][connect] ReattachExecute meminta pembaruan status keberlangsungan SessionHolder
  • [SPARK-46670] [SC-153273][python][SQL] Membuat dataSourceManager dapat mengkloning sendiri dengan memisahkan Sumber Data Python statis dan runtime Python
  • [SPARK-46720] [SC-153410][sql][PYTHON] Refactor Sumber Data Python untuk menyelaraskan dengan Sumber Data bawaan DSv2 lainnya
  • [SPARK-46684] [SC-153275][python][CONNECT] Fix CoGroup.applyInPandas/Arrow untuk meneruskan argumen dengan benar
  • [SPARK-46667] [SC-153271][sc-153263][SQL] XML: Menampilkan kesalahan pada beberapa sumber data XML
  • [SPARK-46382] [SC-151881][sql]XML: Tetapkan ignoreSurroundingSpaces menjadi true
  • [SPARK-46382] [SC-153178][sql] XML: Memperbarui dokumen untuk ignoreSurroundingSpaces
  • [SPARK-45292] Batalkan "[SC-151609][sql][HIVE] Hapus Guava dari kelas bersama dari IsolatedClientLoader"
  • [SPARK-45292] [SC-151609][sql][HIVE] Hapus Guava dari kelas bersama dari IsolatedClientLoader
  • [SPARK-46311] [SC-150137][core] Catat status akhir driver selama Master.removeDriver
  • [SPARK-46413] [SC-151052][python] Validasi returnType dari Arrow Python UDF
  • [SPARK-46633] [WARMFIX][sc-153092][SQL] Perbaiki pembaca Avro untuk menangani blok berdurasi nol
  • [SPARK-46537] [SC-151286][sql] Ubah NPE dan penegasan dari perintah menjadi kesalahan internal
  • [SPARK-46179] [SC-151678][sql] Tambahkan CrossDbmsQueryTestSuites, yang menjalankan DBMS lain terhadap file emas dengan DBMS lainnya, dimulai dengan Postgres
  • [SPARK-44001] [SC-151413][protobuf] Tambahkan opsi untuk memungkinkan membuka bungkus jenis pembungkus yang sudah dikenal pada protobuf
  • [SPARK-40876] [SC-151786][sql] Memperluas promosi tipe untuk desimal dengan skala yang lebih besar di Pembaca Parquet
  • [SPARK-46605] [SC-151769][connect] Membuat fungsi lit/typedLit dalam modul connect mendukung s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005][sql] validasi literal tidak boleh mendalami hingga bidang null.
  • [SPARK-37039] [SC-153094][ps] Perbaiki Series.astype agar berfungsi dengan baik dengan nilai yang hilang
  • [SPARK-46312] [SC-150163][core] Gunakan lower_camel_case di store_types.proto
  • [SPARK-46630] [SC-153084][sql] XML: Memvalidasi nama elemen XML saat menulis
  • [SPARK-46627] [SC-152981][ss][UI] Perbaiki konten tooltip pada garis waktu di antarmuka pengguna streaming
  • [SPARK-46248] [SC-151774][sql] XML: Dukungan untuk opsi ignoreCorruptFiles dan ignoreMissingFiles
  • [SPARK-46386] [SC-150766][python] Meningkatkan pernyataan pengamatan (pyspark.sql.observation)
  • [SPARK-46581] [SC-151789][core] Perbarui komentar di isZero di AccumulatorV2
  • [SPARK-46601] [SC-151785] [CORE] Memperbaiki kesalahan log dalam handleStatusMessage
  • [SPARK-46568] [SC-151685][python] Membuat opsi sumber data Python sebagai kamus yang tidak peka huruf besar/kecil
  • [SPARK-46611] [SC-151783][core] Hapus ThreadLocal dengan mengganti SimpleDateFormat dengan DateTimeFormatter
  • [SPARK-46604] [SC-151768][sql] Memberikan dukungan Literal.applys.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223][sql][PYTHON] Perbaiki nama output pyspark.sql.functions.user dan session_user
  • [SPARK-46621] [SC-151794][python] Menangani null dari Exception.getMessage dalam pengecualian yang ditangkap Py4J
  • [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader harus menghormati mode memori saat membuat vektor kolom untuk kolom yang hilang
  • [SPARK-46613] [SC-151778][sql][PYTHON] Mencatat pengecualian penuh saat gagal mencari Sumber Data Python
  • [SPARK-46559] [SC-151364][mllib] Bungkus export dalam nama paket dengan tanda backtick
  • [SPARK-46522] [SC-151784][python] Blokir pendaftaran sumber data Python dengan konflik nama
  • [SPARK-45580] [SC-149956][sql] Menangani kasus di mana subkueri berlapis menjadi gabungan eksistensi
  • [SPARK-46609] [SC-151714][sql] Hindari ledakan eksponensial di PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288][sql] Perbaiki NPE saat menjelaskan perpanjangan kolom tanpa statistik kolom
  • [SPARK-46599] [SC-147661][sc-151770][SQL] XML: Gunakan TypeCoercion.findTightestCommonType untuk pemeriksaan kompatibilitas
  • [SPARK-40876] [SC-151129][sql] Memperluas promosi tipe di pembaca Parquet
  • [SPARK-46179] [SC-151069][sql] Menarik kode ke fungsi yang dapat digunakan kembali di SQLQueryTestSuite
  • [SPARK-46586] [SC-151679][sql] Mendukung s.c.immutable.ArraySeq sebagai customCollectionCls di MapObjects
  • [SPARK-46585] [SC-151622][core] Secara langsung membangun metricPeaks sebagai immutable.ArraySeq alih-alih menggunakan mutable.ArraySeq.toSeq di Executor
  • [SPARK-46488] [SC-151173][sql] Mengabaikan pemanggilan trimAll selama penguraian tanda waktu
  • [SPARK-46231] [SC-149724][python] Memigrasikan semua NotImplementedError & TypeError yang tersisa ke dalam kerangka kerja kesalahan PySpark
  • [SPARK-46348] [SC-150281][core] Dukungan spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164][core] Pemulihan durasi log Spark HA
  • [SPARK-46358] [SC-150307][connect] Menyederhanakan pemeriksaan kondisi di ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078][sql]Ganti waktu/tanggal saat ini sebelum mengevaluasi ekspresi tabel sebaris.
  • [SPARK-46563] [SC-151441][sql] Tampilan simpleString tidak mengikuti conf spark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211][core][SQL][mllib][SS][r][CONNCT][graphx] Kurangi kedalaman tumpukan dengan mengganti (string|array).size dengan (string|array).length
  • [SPARK-46539] [SC-151469][sql] SELECT * EXCEPT(semua bidang dari struct) mengakibatkan kegagalan asersi
  • [SPARK-46565] [SC-151414][python] Memperbaiki kelas kesalahan dan pesan kesalahan untuk sumber data Python
  • [SPARK-46576] [SC-151614][sql] Meningkatkan pesan kesalahan untuk mode penyimpanan sumber data yang tidak didukung
  • [SPARK-46540] [SC-151355][python] Menghormati nama kolom saat sumber data Python membaca output fungsi bernama Objek baris
  • [SPARK-46577] [SC-151448][sql] HiveMetastoreLazyInitializationSuite menyebabkan kebocoran pada SessionState milik hive.
  • [SPARK-44556] [SC-151562][sql] Gunakan kembali OrcTail saat mengaktifkan vectorizedReader
  • [SPARK-46587] [SC-151618][sql] XML: Perbaiki konversi bilangan bulat besar XSD
  • [SPARK-46382] [SC-151297][sql] XML: Menangkap nilai yang terselip di antara elemen
  • [SPARK-46567] [SC-151447][core] Hapus ThreadLocal dari ReadAheadInputStream
  • [SPARK-45917] [SC-151269][python][SQL] Pendaftaran otomatis Sumber Data Python saat startup
  • [SPARK-28386] [SC-151014][sql] Tidak dapat menyelesaikan kolom ORDER BY dengan GROUP BY dan HAVING
  • [SPARK-46524] [SC-151446][sql] Meningkatkan pesan kesalahan untuk mode penyimpanan yang tidak valid
  • [SPARK-46294] [SC-150672][sql] Memperbaiki semantik nilai init vs nol
  • [SPARK-46301] Dukungan [SC-150100][core] spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324][sql] Hapus pemeriksaan c>=0 dari ExternalCatalogUtils#needsEscaping karena selalu benar
  • [SPARK-46553] [SC-151360][ps] FutureWarning untuk interpolate dengan dtype objek
  • [SPARK-45914] [SC-151312][python] Dukungan untuk komit dan abort API untuk penulisan sumber data Python
  • [SPARK-46543] [SC-151350][python][CONNECT] Buat json_tuple melempar PySparkValueError untuk bidang kosong
  • [SPARK-46520] [SC-151227][python] Dukungan untuk mode timpa dalam penulisan sumber data Python
  • [SPARK-46502] [SC-151235][sql] Mendukung jenis tanda waktu di UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279][connect] Berikan parameter pesan dalam metadata ErrorInfo
  • [SPARK-46397] Mengembalikan “[SC-151311][python][CONNECT] Fungsi sha2 harus memunculkan PySparkValueError untuk numBitsyang tidak valid”
  • [SPARK-46170] [SC-149472][sql] Mendukung menyuntikkan aturan strategi perencana kueri adaptif di SparkSessionExtensions
  • [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable tidak boleh memuat tabel
  • [SPARK-46397] [SC-151311][python][CONNECT] sha2 harus memunculkan PySparkValueError untuk numBits yang tidak valid
  • [SPARK-46145] [SC-149471][sql] spark.catalog.listTables tidak melempar pengecualian saat tabel atau tampilan tidak ditemukan
  • [SPARK-46272] [SC-151012][sql] Mendukung CTAS menggunakan sumber DSv2
  • [SPARK-46480] [SC-151127][core][SQL] Perbaiki NPE (NullPointerException) saat percobaan tugas cache tabel
  • [SPARK-46100] [SC-149051][core][PYTHON] Kurangi kedalaman tumpukan dengan mengganti (string|array).ukuran dengan (string|array).length
  • [SPARK-45795] [SC-150764][sql] DS V2 mendukung push down mode
  • [SPARK-46485] [SC-151133][sql] V1Write tidak boleh menambahkan Sortir saat tidak diperlukan
  • [SPARK-46468] [SC-151121] [SQL] Menangani bug COUNT untuk subkueri EXISTS dengan Agregat tanpa mengelompokkan kunci
  • [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE dukungan SQL
  • [SPARK-46498] [SC-151199][core] Hapus shuffleServiceEnabled dari o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807][sql] Atur konfigurasi rebase ke mode CORRECTED secara default
  • [SPARK-45525] [SC-151120][sql][PYTHON] Dukungan untuk penulisan sumber data Python menggunakan DSv2
  • [SPARK-46505] [SC-151187][connect] Membuat ambang batas byte dapat dikonfigurasi di ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025][sql] Hapus konfigurasi SQL rekalkulasi tanggal dan waktu lawas
  • [SPARK-46443] [SC-151123][sql] Presisi dan skala desimal harus diputuskan oleh dialek H2.
  • [SPARK-46384] [SC-150694][spark-46404][SS][ui] Perbaiki Bagan Tumpukan Durasi Operasi di Halaman Streaming Terstruktur
  • [SPARK-46207] [SC-151068][sql] Dukungan MergeInto di DataFrameWriterV2
  • [SPARK-46452] [SC-151018][sql] Tambahkan API baru di DataWriter untuk menulis iterator rekaman
  • [SPARK-46273] [SC-150313][sql] Dukungan INSERT INTO/OVERWRITE menggunakan sumber DSv2
  • [SPARK-46344] [SC-150267][core] Berikan peringatan yang tepat ketika driver berhasil berjalan tetapi master terputus.
  • [SPARK-46284] [SC-149944][python][CONNECT] Tambahkan fungsi session_user ke Python
  • [SPARK-46043] [SC-149786][sql] Dukungan membuat tabel menggunakan sumber DSv2
  • [SPARK-46323] [SC-150191][python] Perbaiki nama output pyspark.sql.functions.now
  • [SPARK-46465] [SC-151059][python][CONNECT] Tambahkan Column.isNaN di PySpark
  • [SPARK-46456] [SC-151050][core] Tambahkan spark.ui.jettyStopTimeout untuk mengatur batas waktu pengehentian server Jetty agar tidak menghambat penghentian SparkContext
  • [SPARK-43427] [SC-150356][protobuf] spark protobuf: izinkan peningkatan jenis bilangan bulat yang tidak ditandatangani
  • [SPARK-46399] [SC-151013][14.x][Inti] Menambahkan status keluar ke event Akhir Aplikasi untuk digunakan oleh Spark Listener
  • [SPARK-46423] [SC-150752][python][SQL] Buat instans Sumber Data Python di DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765][python][SQL] Mendukung metrik Python di Sumber Data Python
  • [SPARK-46330] [SC-151015] Pemuatan blok UI Spark untuk waktu yang lama ketika HybridStore diaktifkan
  • [SPARK-46378] [SC-150397][sql] Masih menghapus Sort setelah mengonversi Aggregate ke Project
  • [SPARK-45506] [SC-146959][connect] Tambahkan dukungan URI ivy ke addArtifact SparkConnect
  • [SPARK-45814] [SC-147871][connect][SQL]Make ArrowConverters.createEmptyArrowBatch call close() untuk menghindari kebocoran memori
  • [SPARK-46427] [SC-150759][python][SQL] Ubah deskripsi Sumber Data Python menjadi cukup jelas
  • [SPARK-45597] [SC-150730][python][SQL] Dukungan membuat tabel menggunakan sumber data Python di SQL (DSv2 exec)
  • [SPARK-46402] [SC-150700][python] Tambahkan dukungan getMessageParameters dan getQueryContext
  • [SPARK-46453] [SC-150897][connect] Melemparkan pengecualian dari internalError() di SessionHolder
  • [SPARK-45758] [SC-147454][sql] Memperkenalkan pemeta untuk codec kompresi hadoop
  • [SPARK-46213] [PYTHON] Memperkenalkan PySparkImportError untuk kerangka kerja kesalahan
  • [SPARK-46230] [SC-149960][python] Migrasikan RetriesExceeded ke dalam kesalahan PySpark
  • [SPARK-45035] [SC-145887][sql] Perbaiki ignoreCorruptFiles/ignoreMissingFiles dengan CSV/JSON multibaris akan melaporkan kesalahan
  • [SPARK-46289] [SC-150846][sql] Mendukung pemesanan UDT dalam mode yang ditafsirkan
  • [SPARK-46229] [SC-150798][python][CONNECT] Tambahkan applyInArrow ke groupBy dan cogroup di Spark Connect
  • [SPARK-46420] [SC-150847][sql] Hapus transportasi yang tidak digunakan di SparkSQLCLIDriver
  • [SPARK-46226] [PyTHON] Migrasikan semua yang tersisa RuntimeError ke dalam kerangka kerja kesalahan PySpark
  • [SPARK-45796] [SC-150613][sql] Support MODE() WITHIN GROUP (ORDER BY kol)
  • [SPARK-40559] [SC-149686][python][14.X] Tambahkan applyInArrow ke groupBy dan cogroup
  • [SPARK-46069] [SC-149672][sql] Mendukung konversi jenis timestamp menjadi jenis tanggal
  • [SPARK-46406] [SC-150770][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782][ss] Konversi IllegalStateException ke internalError dalam iterator sesi
  • [SPARK-45807] [SC-150751][sql] Tingkatkan VIEWCatalog API
  • [SPARK-46009] [SC-149771][sql][CONNECT] Gabungkan aturan penguraian PercentileCont dan PercentileDisc ke dalam functionCall
  • [SPARK-46403] [SC-150756][sql] Dekodekan biner parquet dengan metode getBytesUnsafe
  • [SPARK-46389] [SC-150779][core] Menutup instans RocksDB/LevelDB secara manual ketika checkVersion menghasilkan Pengecualian
  • [SPARK-46360] [SC-150376][python] Penyempurnaan debugging pesan galat dengan API getMessage baru
  • [SPARK-46233] [SC-149766][python] Memigrasikan semua AttributeError yang tersisa ke dalam kerangka kerja kesalahan PySpark
  • [SPARK-46394] [SC-150599][sql] Memperbaiki masalah spark.catalog.listDatabases() pada skema dengan karakter khusus saat spark.sql.legacy.keepCommandOutputSchema diatur ke true
  • [SPARK-45964] [SC-148484][sql] Hapus aksesor sql privat dalam paket XML dan JSON di bawah paket katalis
  • [SPARK-45856] [SC-148691] Pindahkan ArtifactManager dari Spark Connect ke SparkSession (sql/core)
  • [SPARK-46409] [SC-150714][connect] Perbaiki skrip peluncuran spark-connect-scala-client
  • [SPARK-46416] [SC-150699][core] Tambahkan @tailrec ke HadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154][sql] Membatasi charset di encode()
  • [SPARK-46253] [SC-150416][python] Merencanakan sumber data Python yang dibaca menggunakan MapInArrow
  • [SPARK-46339] [SC-150266][ss] Direktori dengan nama nomor batch tidak boleh diperlakukan sebagai log metadata
  • [SPARK-46353] [SC-150396][core] Melakukan refaktor untuk meningkatkan cakupan pengujian unit RegisterWorker
  • [SPARK-45826] [SC-149061][sql] Tambahkan konfigurasi SQL untuk jejak tumpukan dalam konteks kueri DataFrame
  • [SPARK-45649] [SC-150300][sql] Menyatukan kerangka kerja persiapan untuk OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282][core] Perbaiki Master untuk memperbarui node dari UNKNOWN ke ALIVE di pesan RegisterWorker
  • [SPARK-46388] [SC-150496][sql] HiveAnalysis tidak menyertakan kode perlindungan pola query.resolved
  • [SPARK-46401] [SC-150609][core] Gunakan !isEmpty() pada RoaringBitmap alih-alih getCardinality() > 0 di RemoteBlockPushResolver
  • [SPARK-46393] [SC-150603][sql] Mengklasifikasikan pengecualian dalam katalog tabel JDBC
  • [SPARK-45798] [SC-150513][connect] Tindak Lanjut: tambahkan serverSessionId ke SessionHolderInfo
  • [SPARK-46153] [SC-146564][sc-150508][SQL] XML: Tambahkan dukungan TimestampNTZType
  • [SPARK-46075] [SC-150393][connect] Peningkatan pada SparkConnectSessionManager
  • [SPARK-46357] [SC-150596] Ganti penggunaan dokumentasi setConf yang salah dengan conf.set
  • [SPARK-46202] [SC-150420][connect] Mengekspos API ArtifactManager baru untuk mendukung direktori target kustom
  • [SPARK-45824] [SC-147648][sql] Terapkan kelas kesalahan di ParseException
  • [SPARK-45845] [SC-148163][ss][UI] Tambahkan jumlah baris status yang diusir ke antarmuka pengguna streaming
  • [SPARK-46316] [SC-150181][core] Aktifkan buf-lint-action pada modul core
  • [SPARK-45816] [SC-147656][sql] Mengembalikan NULL saat terjadi overflow selama konversi dari tanda waktu ke bilangan bulat
  • [SPARK-46333] [SC-150263][sql] Ganti IllegalStateException dengan SparkException.internalError dalam katalis
  • [SPARK-45762] [SC-148486][core] Mendukung shuffle managers yang ditentukan dalam JAR pengguna dengan mengubah urutan saat startup.
  • [SPARK-46239] [SC-149752][core] Sembunyikan info Jetty
  • [SPARK-45886] [SC-148089][sql] Keluarkan jejak tumpukan lengkap dalam callSite konteks DataFrame
  • [SPARK-46290] [SC-150059][python] Ubah saveMode ke bendera boolean untuk DataSourceWriter
  • [SPARK-45899] [SC-148097][connect] Mengatur errorClass di dalam errorInfoToThrowable
  • [SPARK-45841] [SC-147657][sql] Mengekspos jejak tumpukan dengan DataFrameQueryContext
  • [SPARK-45843] [SC-147721][core] Dukungan killall di REST Submission API
  • [SPARK-46234] [SC-149711][python] Memperkenalkan PySparkKeyError untuk kerangka kerja kesalahan PySpark
  • [SPARK-45606] [SC-147655][sql] Lepaskan pembatasan pada filter runtime berlapis-lapis
  • [SPARK-45725] [SC-147006][sql] Hapus filter runtime subkueri IN yang non-default
  • [SPARK-45694] [SC-147314][spark-45695][SQL] Membersihkan View.force penggunaan API yang tidak digunakan lagi dan ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488][sql] Membuat withOrigin lebih umum
  • [SPARK-46292] [SC-150086][core][UI] Tampilkan ringkasan pekerja di MasterPage
  • [SPARK-45685] [SC-146881][core][SQL] Gunakan LazyList alih-alih Stream
  • [SPARK-45888] [SC-149945][ss] Terapkan kerangka kerja kelas kesalahan ke Sumber Data Status (Metadata)
  • [SPARK-46261] [SC-150111][connect] DataFrame.withColumnsRenamed harus menjaga urutan dict/map
  • [SPARK-46263] [SC-149933][sql][SS][ml][MLLIB][ui] Membersihkan konversi SeqOps.view dan ArrayOps.view
  • [SPARK-46029] [SC-149255][sql] Menghindari kutipan tunggal, _ dan % untuk pushdown DS V2
  • [SPARK-46275] [SC-150189] Protobuf: Mengembalikan null dalam mode permisif saat deserialisasi gagal.
  • [SPARK-46320] [SC-150187][core] Dukungan spark.master.rest.host
  • [SPARK-46092] [SC-149658][sql] Jangan mendorong filter grup baris Parquet yang meluap
  • [SPARK-46300] [SC-150097][python][CONNECT] Sesuaikan perilaku kecil pada Kolom dengan cakupan pengujian penuh
  • [SPARK-46298] [SC-150092][python][CONNECT] Sesuaikan peringatan penghentian, kasus pengujian, dan kesalahan Catalog.createExternalTable
  • [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] Bersihkan penggunaan API yang tidak digunakan lagi terkait StringContext/StringOps/RightProjection/LeftProjection/Either dan penggunaan jenis BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407][sql] Dukungan SHOW TABLE EXTENDED di v2
  • [SPARK-45737] [SC-147011][sql] Hapus .toArray[InternalRow] yang tidak perlu di SparkPlan#executeTake
  • [SPARK-46249] [SC-149797][ss] Memerlukan kunci instans untuk memperoleh metrik RocksDB untuk mencegah balapan dengan operasi latar belakang
  • [SPARK-46260] [SC-149940][python][SQL] DataFrame.withColumnsRenamed harus menghormati urutan dict
  • [SPARK-46274] [SC-150043] [SQL] Perbaiki ComputeStats() operator Rentang untuk memeriksa validitas panjang sebelum mengonversi
  • [SPARK-46040] [SC-149767][sql][Python] Perbarui API UDTF untuk menganalisis kolom partisi/pengurutan sehingga dapat mendukung ekspresi umum
  • [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty harus bekerja dengan semua jenis data
  • [SPARK-45678] [SC-146825][core] Menutup BufferReleasingInputStream.available/reset saat tryOrFetchFailedException
  • [SPARK-45667] [SC-146716][core][SQL][connect] Bersihkan penggunaan API yang tidak digunakan lagi yang terkait dengan IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992][sql] memperkenalkan sintaks select * except
  • [SPARK-46269] [SC-149816][ps] Aktifkan lebih banyak pengujian fungsi kompatibilitas NumPy
  • [SPARK-45807] [SC-149851][sql] Tambahkan createOrReplaceView(..) / replaceView(..) ke ViewCatalog
  • [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] Menghadirkan fungsi implisit bagi Array Scala untuk mengemas ke dalam immutable.ArraySeq.
  • [SPARK-46205] [SC-149655][core] Meningkatkan performa PersistenceEngine dengan KryoSerializer
  • [SPARK-45746] [SC-149359][python] Mengembalikan pesan kesalahan tertentu jika metode 'analisis' atau 'eval' UDTF menerima atau mengembalikan nilai yang salah
  • [SPARK-46186] [SC-149707][connect] Perbaiki transisi status ilegal saat ExecuteThreadRunner terganggu sebelum dimulai
  • [SPARK-46262] [SC-149803][ps] Aktifkan pengujian untuk np.left_shift untuk objek Pandas-on-Spark.
  • [SPARK-45093] [SC-149679][connect][PYTHON] Mendukung penanganan dan konversi kesalahan dengan benar untuk AddArtifactHandler
  • [SPARK-46188] [SC-149571][doc][3.5] Perbaiki CSS tabel yang dihasilkan dokumen Spark
  • [SPARK-45940] [SC-149549][python] Tambahkan InputPartition ke antarmuka DataSourceReader
  • [SPARK-43393] [SC-148301][sql] Mengatasi bug luapan pada ekspresi urutan.
  • [SPARK-46144] [SC-149466][sql] Fail INSERT INTO ... Gunakan pernyataan REPLACE jika kondisi berisi subkueri
  • [SPARK-46118] [SC-149096][sql][SS][connect] Gunakan SparkSession.sessionState.conf alih-alih SQLContext.conf dan tandai SQLContext.conf sebagai tidak digunakan lagi
  • [SPARK-45760] [SC-147550][sql] Tambahkan ekspresi With untuk menghindari ekspresi duplikat
  • [SPARK-43228] [SC-149670][sql] Kunci gabungan juga sesuai dengan PartitioningCollection di CoalesceBucketsInJoin
  • [SPARK-46223] [SC-149691][ps] Uji SparkPandasNotImplementedError dengan membersihkan kode yang tidak digunakan
  • [SPARK-46119] [SC-149205][sql] Mengambil alih metode toString untuk UnresolvedAlias
  • [SPARK-46206] [SC-149674][ps] Gunakan pengecualian cakupan yang lebih sempit untuk prosesor SQL
  • [SPARK-46191] [SC-149565][core] Meningkatkan pesan kesalahan FileSystemPersistenceEngine.persist jika file yang ada
  • [SPARK-46036] [SC-149356][sql] Menghapus kelas kesalahan dari fungsi raise_error
  • [SPARK-46055] [SC-149254][sql] Menulis ulang implementasi API Database Katalog
  • [SPARK-46152] [SC-149454][sql] XML: Tambahkan dukungan DecimalType dalam inferensi skema XML
  • [SPARK-45943] [SC-149452][sql] Pindahkan DetermineTableStats ke aturan resolusi
  • [SPARK-45887] [SC-148994][sql] Menyelaraskan kodegen dan implementasi non-kodegen Encode
  • [SPARK-45022] [SC-147158][sql] Menyediakan konteks untuk kesalahan API himpunan data
  • [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] Ganti toIterator dengan iterator untuk IterableOnce
  • [SPARK-46141] [SC-149357][sql] Ubah default untuk spark.sql.legacy.ctePrecedencePolicy ke CORRECTED
  • [SPARK-45663] [SC-146617][core][MLLIB] Ganti IterableOnceOps#aggregate dengan IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493][sql] Gunakan kembali objek Literal dalam aturan ComputeCurrentTime
  • [SPARK-45803] [SC-147489][core] Hapus RpcAbortException yang tidak lagi digunakan
  • [SPARK-46148] [SC-149350][ps] Memperbaiki pengujian pyspark.pandas.mlflow.load_model (Python 3.12)
  • [SPARK-46110] [SC-149090][python] Gunakan kelas kesalahan dalam modul katalog, conf, connect, observation, pandas
  • [SPARK-45827] [SC-149203][sql] Perbaikan varian dengan 'codegen' dan 'pembaca vektor' dinonaktifkan
  • [SPARK-46080] Kembalikan “[SC-149012][python] Upgrade Cloudpickle ke 3.0.0”
  • [SPARK-45460] [SC-144852][sql] Ganti scala.collection.convert.ImplicitConversions ke scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019][sql] Hapus resolusi khusus UnresolvedNamespace untuk perintah tertentu
  • [SPARK-45600] [SC-148976][python] Membuat tingkat sesi pendaftaran sumber data Python
  • [SPARK-46074] [SC-149063][connect][SCALA] Detail yang tidak mencukupi dalam pesan kesalahan pada kegagalan UDF
  • [SPARK-46114] [SC-149076][python] Tambahkan PySparkIndexError untuk kerangka kerja kesalahan
  • [SPARK-46120] [SC-149083][connect][PYTHON] Hapus fungsi pembantu DataFrame.withPlan
  • [SPARK-45927] [SC-148660][python] Perbarui penanganan jalur untuk sumber data Python
  • [SPARK-46062] [14.x][sc-148991][SQL] Sinkronkan bendera isStreaming antara definisi CTE dan referensi
  • [SPARK-45698] [SC-146736][core][SQL][ss] Bersihkan penggunaan API yang tidak digunakan lagi yang terkait dengan Buffer
  • [SPARK-46064] [SC-148984][sql][SS] Pindahkan EliminateEventTimeWatermark ke penganalisis dan ubah agar hanya berlaku pada anak yang diselesaikan
  • [SPARK-45922] [SC-149038][connect][CLIENT] Refaktorisasi percobaan ulang minor (menyelaraskan dengan beberapa kebijakan)
  • [SPARK-45851] [SC-148419][connect][SCALA] Mendukung beberapa kebijakan di klien scala
  • [SPARK-45974] [SC-149062][sql] Tambahkan scan.filterAttributes penilaian tidak kosong untuk RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049][connect] Dataset.groupingSets pada klien Scala Spark Connect
  • [SPARK-45136] [SC-146607][connect] Tingkatkan ClosureCleaner dengan dukungan Ammonite
  • [SPARK-46084] [SC-149020][ps] Merancang ulang operasi konversi tipe data untuk tipe Kategoris.
  • [SPARK-46083] [SC-149018][python] Jadikan SparkNoSuchElementException sebagai API kesalahan kanonis
  • [SPARK-46048] [SC-148982][python][CONNECT] Mendukung DataFrame.groupingSets di Python Spark Connect
  • [SPARK-46080] [SC-149012][python] Upgrade Cloudpickle ke 3.0.0
  • [SPARK-46082] [SC-149015][python][CONNECT] Perbaiki representasi string protobuf untuk Pandas Functions API dengan Spark Connect
  • [SPARK-46065] [SC-148985][ps] Refactor (DataFrame|Series).factorize() agar menggunakan create_map.
  • [SPARK-46070] [SC-148993][sql] Mengkompilasi pola regex di SparkDateTimeUtils.getZoneId di luar perulangan panas
  • [SPARK-46063] [SC-148981][python][CONNECT] Meningkatkan pesan kesalahan yang terkait dengan jenis argumen dalam rollup, groupby, dan pivot.
  • [SPARK-44442] [SC-144120][mesos] Hapus dukungan Mesos
  • [SPARK-45555] [SC-147620][python] Menyertakan objek yang dapat di-debug untuk pernyataan yang gagal
  • [SPARK-46048] [SC-148871][python][SQL] Dukung DataFrame.groupingSets dalam PySpark
  • [SPARK-45768] [SC-147304][sql][PYTHON] Jadikan faulthandler konfigurasi runtime untuk eksekusi Python di SQL
  • [SPARK-45996] [SC-148586][python][CONNECT] Tampilkan pesan persyaratan dependensi yang tepat untuk Spark Connect
  • [SPARK-45681] [SC-146893][ui] Mengkloning versi js UIUtils.errorMessageCell untuk penyajian kesalahan yang konsisten di UI
  • [SPARK-45767] [SC-147225][core] Hapus TimeStampedHashMap dan UT-nya
  • [SPARK-45696] [SC-148864][core] Perbaiki metode tryCompleteWith pada trait Promise yang sudah tidak digunakan lagi
  • [SPARK-45503] [SC-146338][ss] Tambahkan Conf untuk Mengatur Kompresi RocksDB
  • [SPARK-45338] [SC-143934][core][SQL] Ganti scala.collection.JavaConverters ke scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804][sql] Fix ArrayIndexOutOfBoundsException di conv()
  • [SPARK-45912] [SC-144982][sc-148467][SQL] Peningkatan XSDToSchema API: Ubah ke HDFS API untuk aksesibilitas penyimpanan cloud
  • [SPARK-45819] [SC-147570][core] Dukungan clear di REST Submission API
  • [SPARK-45552] [14.x][sc-146874][PS] Memperkenalkan parameter fleksibel ke assertDataFrameEqual
  • [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] Menyediakan antarmuka untuk sumber Streaming lainnya untuk menambahkan kolom _metadata
  • [SPARK-45929] [SC-148692][sql] Mendukung operasi groupingSets di api dataframe
  • [SPARK-46012] [SC-148693][core] EventLogFileReader tidak boleh membaca log bergulir jika file status aplikasi hilang
  • [SPARK-45965] [SC-148575][sql] Pindahkan ekspresi partisi DSv2 ke functions.partitioning
  • [SPARK-45971] [SC-148541][core][SQL] Perbaiki nama paket SparkCollectionUtils menjadi org.apache.spark.util
  • [SPARK-45688] [SC-147356][spark-45693][CORE] Bersihkan penggunaan API yang tidak digunakan lagi terkait MapOps & Fix method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645][sc-148497][SQL] Hapus treatEmptyValuesAsNulls dan gunakan opsi nullValue sebagai gantinya di XML
  • [SPARK-45988] [SC-148580][spark-45989][PYTHON] Perbaiki typehints untuk menangani list GenericAlias di Python 3.11+
  • [SPARK-45999] [SC-148595][ps] Gunakan PandasProduct khusus di cumprod
  • [SPARK-45986] [SC-148583][ml][PYTHON] Fix pyspark.ml.torch.tests.test_distributor di Python 3.11
  • [SPARK-45994] [SC-148581][python] Ubah description-file ke description_file
  • [SPARK-45575] [SC-146713][sql] Mendukung opsi perjalanan waktu pada API pembacaan df
  • [SPARK-45747] [SC-148404][ss] Gunakan informasi kunci awalan dalam metadata status untuk menangani status baca untuk agregasi jendela sesi
  • [SPARK-45898] [SC-148213][sql] Menulis ulang API tabel katalog untuk menggunakan rencana logis yang tidak terselesaikan
  • [SPARK-45828] [SC-147663][sql] Hapus metode yang tidak digunakan lagi di dsl
  • [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] Upgrade protobuf ke 4.25.1 untuk mendukung Python 3.11
  • [SPARK-45911] [SC-148226][core] Jadikan TLS1.3 default untuk RPC SSL
  • [SPARK-45955] [SC-148429][ui] Lipat Dukungan untuk Flamegraph dan detail pembuangan thread
  • [SPARK-45936] [SC-148392][ps] Optimalkan Index.symmetric_difference
  • [SPARK-45389] [SC-144834][sql][3.5] Mengoreksi aturan pencocokan MetaException tentang mendapatkan metadata partisi
  • [SPARK-45655] [SC-148085][sql][SS] Izinkan ekspresi non-deterministik di dalam AggregateFunctions di CollectMetrics
  • [SPARK-45946] [SC-148448][ss] Perbaiki penggunaan penulisan FileUtils yang tidak digunakan lagi untuk meneruskan charset default di RocksDBSuite
  • [SPARK-45511] [SC-148285][ss] Sumber Data Negara - Pembaca
  • [SPARK-45918] [SC-148293][ps] Optimalkan MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288][connect][PYTHON] Mengembalikan metrik yang diamati dari perintah
  • [SPARK-45867] [SC-147916][core] Dukungan spark.worker.idPattern
  • [SPARK-45945] [SC-148418][connect] Tambahkan fungsi pembantu untuk parser
  • [SPARK-45930] [SC-148399][sql] Dukung UDF (Fungsi yang Ditentukan Pengguna) non-deterministik di MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356][python] Buat API UDTF Python untuk menghentikan penggunaan baris dari tabel input
  • [SPARK-45731] [SC-147929][sql] Juga memperbarui statistik partisi dengan perintah ANALYZE TABLE
  • [SPARK-45868] [SC-148355][connect] Pastikan spark.table menggunakan parser yang sama dengan vanilla spark
  • [SPARK-45882] [SC-148161][sql] Penyebaran partisi oleh BroadcastHashJoinExec harus mematuhi CoalescedHashPartitioning
  • [SPARK-45710] [SC-147428][sql] Tetapkan nama untuk kesalahan _LEGACY_ERROR_TEMP_21[59,60,61,62]
  • [SPARK-45915] [SC-148306][sql] Perlakukan desimal(x, 0) sama dengan IntegralType di PromoteStrings
  • [SPARK-45786] [SC-147552][sql] Perbaiki perkalian Desimal dan hasil pembagian yang tidak akurat
  • [SPARK-45871] [SC-148084][connect] Optimalisasi konversi pengumpulan yang terkait dengan .toBuffer dalam modul connect
  • [SPARK-45822] [SC-147546][connect] SparkConnectSessionManager mungkin melakukan pencarian terhadap sparkcontext yang sudah dihentikan
  • [SPARK-45913] [SC-148289][python] Membuat atribut internal privat dari kesalahan PySpark.
  • [SPARK-45827] [SC-148201][sql] Tambahkan jenis data Varian di Spark.
  • [SPARK-44886] [SC-147876][sql] Memperkenalkan klausul CLUSTER BY untuk CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959][core] Dukungan spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956][connect] Memastikan ID sesi di sisi server
  • [SPARK-45896] [SC-148091][sql] Menyusun ValidateExternalType dengan jenis yang tepat diharapkan
  • [SPARK-45902] [SC-148123][sql] Hapus resolvePartitionColumns fungsi yang tidak digunakan dari DataSource
  • [SPARK-45909] [SC-148137][sql] Hapus NumericType cast jika dapat dengan aman dinaikkan tipe datanya di IsNotNull
  • [SPARK-42821] [SC-147715][sql] Hapus parameter yang tidak digunakan dalam metode splitFiles
  • [SPARK-45875] [SC-148088][core] Hapus MissingStageTableRowData dari modul core
  • [SPARK-45783] [SC-148120][python][CONNECT] Meningkatkan pesan kesalahan saat mode Spark Connect diaktifkan tetapi URL jarak jauh tidak diatur
  • [SPARK-45804] [SC-147529][ui] Tambahkan konfigurasi spark.ui.threadDump.flamegraphEnabled untuk mengaktifkan/mematikan grafik api
  • [SPARK-45664] [SC-146878][sql] Memperkenalkan pemeta untuk codec kompresi orc
  • [SPARK-45481] [SC-146715][sql] Memperkenalkan pemeta untuk codec kompresi parquet
  • [SPARK-45752] [SC-148005][sql] Menyederhanakan kode untuk memeriksa hubungan CTE yang tidak direferensikan
  • [SPARK-44752] [SC-146262][sql] XML: Memperbarui Dokumen Spark
  • [SPARK-45752] [SC-147869][sql] semua CTE yang tidak direferensikan harus diperiksa oleh CheckAnalysis0
  • [SPARK-45842] [SC-147853][sql] Refaktorisasi API Fungsi Katalog untuk menggunakan Penganalisis
  • [SPARK-45639] [SC-147676][sql][PYTHON] Dukungan memuat sumber data Python di DataFrameReader
  • [SPARK-45592] [SC-146977][sql] Masalah akurasi di AQE dengan InMemoryTableScanExec
  • [SPARK-45794] [SC-147646][ss] Memperkenalkan sumber metadata status untuk mengkueri informasi metadata status streaming
  • [SPARK-45739] [SC-147059][python] Tangkap IOException daripada hanya EOFException untuk faulthandler
  • [SPARK-45677] [SC-146700] Pengelogan kesalahan yang lebih baik untuk API Pengamatan
  • [SPARK-45544] [SC-146873][core] Mengintegrasikan dukungan SSL ke dalam TransportContext
  • [SPARK-45654] [SC-147152][python] Tambahkan API tulis sumber data Python
  • [SPARK-45771] [SC-147270][core] Aktifkan spark.eventLog.rolling.enabled secara default
  • [SPARK-45713] [SC-146986][python] Dukungan mendaftarkan sumber data Python
  • [SPARK-45656] [SC-146488][sql] Perbaiki pengamatan saat pengamatan yang diberi nama dengan nama yang sama pada himpunan data yang berbeda
  • [SPARK-45808] [SC-147571][connect][PYTHON] Penanganan kesalahan yang lebih baik untuk Pengecualian SQL
  • [SPARK-45774] [SC-147353][core][UI] Dukungan spark.master.ui.historyServerUrl di ApplicationPage
  • [SPARK-45776] [SC-147327][core] Hapus pemeriksaan null yang bersifat defensif untuk MapOutputTrackerMaster#unregisterShuffle ditambahkan di SPARK-39553
  • [SPARK-45780] [SC-147410][connect] Sebarkan semua threadlocal klien Spark Connect di InheritableThread
  • [SPARK-45785] [SC-147419][core] Dukungan spark.deploy.appNumberModulo untuk memutar nomor aplikasi
  • [SPARK-45793] [SC-147456][core] Meningkatkan codec kompresi bawaan
  • [SPARK-45757] [SC-147282][ml] Hindari komputasi ulang NNZ di Binarizer
  • [SPARK-45209] [SC-146490][inti][UI] Dukungan Grafik Nyala Untuk Halaman Pembuangan Thread Pelaksana
  • [SPARK-45777] [SC-147319][core] Mendukung spark.test.appId di LocalSchedulerBackend
  • [SPARK-45523] [SC-146331][python] Refaktor pengecekan null untuk memiliki pintasan
  • [SPARK-45711] [SC-146854][sql] Menghadirkan pemeta'ah untuk kodek kompresi avro
  • [SPARK-45523] [SC-146077][python] Mengembalikan pesan kesalahan yang berguna jika UDTF mengembalikan Tidak Ada untuk kolom yang tidak dapat diubah ke null
  • [SPARK-45614] [SC-146729][sql] Menetapkan nama untuk kesalahan _LEGACY_ERROR_TEMP_215[6,7,8]
  • [SPARK-45755] [SC-147164][sql] Tingkatkan Dataset.isEmpty() dengan menerapkan batas global 1
  • [SPARK-45569] [SC-145915][sql] Beri nama pada kesalahan _LEGACY_ERROR_TEMP_2153
  • [SPARK-45749] [SC-147153][core][WEBUI] Perbaiki Spark History Server untuk mengurutkan kolom Duration dengan benar
  • [SPARK-45754] [SC-147169][core] Dukungan spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880][sql] Sederhanakan DataFrameStatFunctions.countMinSketch dengan CountMinSketchAgg
  • [SPARK-45753] [SC-147167][core] Dukungan spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177][core][UI] Tingkatkan MasterPage untuk menampilkan kolom Resource hanya jika ada
  • [SPARK-45112] [SC-143259][sql] Gunakan resolusi berbasis UnresolvedFunction dalam fungsi Himpunan Data SQL

Dukungan pemanfaatan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Pembaruan pemeliharaan

Lihat pembaruan pemeliharaan Databricks Runtime 14.3.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 22.04.3 LTS
    • Catatan: Ini adalah versi Ubuntu yang digunakan oleh kontainer Databricks Runtime. Kontainer Databricks Runtime berjalan pada komputer virtual penyedia cloud, yang mungkin menggunakan versi Ubuntu atau distribusi Linux yang berbeda.
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Danau Delta: 3.1.0

Pustaka Python yang diinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anyio 3.5.0 argon2-cffi 21.3.0 Pengikatan Argon2-cffi 21.2.0
asttoken 2.0.5 atribut 22.1.0 panggilan balik 0.2.0
beautifulsoup4 4.11.1 hitam 22.6.0 pemutih 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
sertifikat 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 klik 8.0.4 komunikasi 0.1.2
konturpy 1.0.5 kriptografi 39.0.1 pengendara sepeda 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 dekorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 konversi docstring ke markdown 0.11 titik masuk 0,4
menjalankan 0.8.3 tinjauan aspek 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 alat pengelola font 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
IDNA 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client (klien Jupyter) 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 gantungan kunci 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient (klien layanan web yang menggunakan RESTful) 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Mccabe 0.7.0
ketidakakuratan dalam penyetelan 0.8.4 more-itertools 8.10.0 ekstensi mypy 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
buku catatan 6.5.2 buku_catatan_shim 0.2.2 numpy (perpustakaan Python untuk operasi numerik) 1.23.5
oauthlib 3.2.0 kemasan 23.2 Panda 1.5.3
Pandocfilters 1.5.0 pengurai 0.8.3 spesifikasi jalur 0.10.3
kambing hitam 0.5.3 pexpect 4.8.0 4.8.0 pickleshare 0.7.5
Bantal 9.4.0 pipa 22.3.1 platformdir 2.5.2
secara plot 5.9.0 pengaya 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,5 pycparser 2.21
pydantic (perpustakaan Python untuk validasi data) 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
permintaan 2.28.1 tali 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy (perpustakaan Python untuk komputasi ilmiah) 1.10.0 Seaborn (perpustakaan Python untuk visualisasi data) 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
Enam 1.16.0 Sniffio 1.2.0 alat penyaring sup 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels (paket Python untuk pemodelan statistik) 0.13.5
kegigihan 8.1.0 selesai 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 Tokenisasi-RT 4.2.1 tomli 2.0.1
Tornado 6.1 sifat 5.7.1 ekstensi pengetikan (typing_extensions) 4.4.0
ujson 5.4.0 pembaruan otomatis 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 0.5.1 websocket-klien 0.58.0 apa itu patch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Perpustakaan R yang terinstal

Pustaka R diinstal dari snapshot CRAN Posit Package Manager pada 2023-07-13: https://packagemanager.posit.co/cran/2023-07-13/.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anak panah 12.0.1 askpass 1.1 pastikanbahwa 0.2.1
pemindahan fitur ke versi lebih lama 1.4.1 dasar 4.3.1 base64enc 0.1-3
sedikit 4.0.5 bit-64 4.0.5 blob 1.2.4
sepatu bot 1.3-28 menyeduh 1,0-8 Brio 1.1.3
sapu 1.0.5 bslib 0.5.0 cashmere 1.0.8
layanan panggilan 3.7.3 caret 6.0-94 cellranger 1.1.0
kronik 2.3-61 kelas 7.3-22 CLI 3.6.1
pemangkas 0.8.0 Jam 0.7.0 kluster 2.1.4
codetools 0.2-19 ruang warna 2.1-0 commonmark 1.9.0
kompilator 4.3.1 konfigurasi 0.3.1 Terombang-ambing 1.2.0
cpp11 0.4.4 kriyon 1.5.2 kredensial 1.3.2
melengkung 5.0.1 data.table (sebuah paket untuk pengolahan data table) 1.14.8 kumpulan data 4.3.1
DBI 1.1.3 dbplyr 2.3.3 deskripsi 1.4.2
devtools 2.4.5 bagan 1.6.5 diffobj 0.3.5
digest 0.6.33 pencahayaan ke bawah 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 elipsis 0.3.2
menilai 0,21% penggemar 1.0.4 warna 2.1.1
peta cepat 1.1.1 fontawesome 0.5.1 untuk kucing 1.0.0
foreach (pengulangan untuk setiap elemen) 1.5.2 asing 0.8-85 membentuk 0.2.0
Fs 1.6.2 masa depan 1.33.0 menerapkan di masa depan 1.11.0
kumur 1.5.1 generik 0.1.3 Gert 1.9.2
ggplot2 3.4.2 GH 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 variabel global 0.16.2 lem 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafis 4.3.1 grDevices 4.3.1 kisi 4.3.1
gridExtra 2.3 gsubfn 0,7 dapat di-gt 0.3.3
helm proyek 1.3.0 tempat perlindungan 2.5.3 lebih tinggi 0.10
HMS 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Id 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterator 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 rajut 1,43
pelabelan 0.4.2 nanti 1.3.1 kerangka 0.21-8
lahar 1.7.2.1 siklus hidup 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1.7
massa 7.3-60 Matriks 1.5-4.1 memorisasi 2.0.1
metode 4.3.1 mgcv 1.8-42 pantomim 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv Agustus 2016 - Januari 2017 openssl 2.0.6 paralel 4.3.1
secara paralel 1.36.0 pilar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 pujian 1.0.0
prettyunits 1.1.1 Proc 1.18.4 ProsesX 3.8.2
prodlim 2023.03.31 profvis 0.3.8 kemajuan 1.2.2
progresr 0.13.0 janji-janji 1.2.0.1 Proto 1.0.0
proksi 0,4-27 P.S. 1.7.5 menggeram lembut 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest (algoritma pembelajaran mesin) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
pembaca 2.1.4 readxl (membaca file Excel) 1.4.3 Resep 1.0.6
pertandingan ulang 1.0.1 pertandingan ulang2 2.1.2 pengendali jarak jauh 2.4.2
contoh dapat direproduksi 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 timbangan 1.2.1
selektor 0,4-2 informasi sesi 1.2.2 bentuk 1.4.6
mengkilap 1.7.4.1 sourcetools 0.1.7-1 sparklyr - paket R untuk analisis data dan pembelajaran mesin 1.8.1
SparkR 3.5.0 spasial 7.3-15 garis lengkung 4.3.1
sqldf 0,4-11 SQUAREM 2021.1 statistik 4.3.1
statistik4 4.3.1 string 1.7.12 stringr 1.5.0
bertahan hidup 3.5-5 Sistem 3.4.2 systemfonts 1.0.4
bahasa pemrograman Tcl/Tk 4.3.1 ujiitu 3.1.10 pembentukan teks 0.3.6
tibble 3.2.1 tidyr 1.3.0 pilih rapi 1.2.0
rapi 2.0.0 perubahan waktu 0.2.0 tanggal dan waktu 4022.108
tinytex 0,45 alat 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 gunakan ini 2.2.2 utf8 1.2.3
Utilitas 4.3.1 UUID (Pengidentifikasi Unik Universal) 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 Vroom 1.6.3 Waldo 0.5.1
kumis 0.4.1 dengan 2.5.0 xfun 0,39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 Zip 2.3.0

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Kelompok ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.390
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-impor-ekspor 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.390
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.390
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK Dukungan 1.12.390
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware berbayang-kryo 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core Jackson Annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine kafein 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib referensi_asli-java 1.1-penduduk asli
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib sistem_asli-java 1.1-penduduk asli
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-penduduk asli
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-penduduk asli
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone anotasi_rentan_kesalahan 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava jambu biji 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger pembuat profil 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi kode_sumber_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (algoritma kompresi) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typeafe konfigurasi 1.2.1
com.typeafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Tidak peduli 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0.25
io.delta delta-sharing-client_2.12 1.1.4
io.dropwizard.metrics metrik-anotasi 4.2.19
io.dropwizard.metrics inti metrik 4.2.19
io.dropwizard.metrics metrik-graphite 4.2.19
io.dropwizard.metrics metrics-pengecekan kesehatan 4.2.19
io.dropwizard.metrics metrik-jetty9 4.2.19
io.dropwizard.metrics metrik-jmx 4.2.19
io.dropwizard.metrics metrik-json 4.2.19
io.dropwizard.metrics metrik-jvm 4.2.19
io.dropwizard.metrics Metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty Netty Buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-kodek-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty penyelesai jaringan Netty 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative kelas 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_umum 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction Transaction-API 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine acar 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr StringTemplate 3.2.1
org.apache.ant semut 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow format tanda panah 12.0.1
org.apache.arrow inti-memori-panah 12.0.1
org.apache.arrow Arrow-Memory-Netty 12.0.1
org.apache.arrow panah-vektor 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-koleksi4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons Commons-Math3 3.6.1
org.apache.commons commons-text (teks umum) 1.10.0
org.apache.curator kurator-klien 2.13.0
org.apache.curator Kerangka-kurator 2.13.0
org.apache.curator kurasi resep 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derbi 10.14.2.0
org.apache.hadoop waktu proses klien hadoop 3.3.6
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive apache hive-llap-client 2.3.9
org.apache.hive apache hive-llap-common 2.3.9
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API penyimpanan hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.9
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy tanaman ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean berbayang xbean-asm9 4.23
org.apache.yetus anotasi-audiens 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.6.3
org.apache.zookeeper penjaga kebun binatang-jute 3.6.3
org.checkerframework pemeriksa kualitas 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty lanjutan dermaga 9.4.52.v20230823
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty Plus 9.4.52.v20230823
org.eclipse.jetty Jetty-Proxy 9.4.52.v20230823
org.eclipse.jetty keamanan jetty 9.4.52.v20230823
org.eclipse.jetty Jetty Server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty aplikasi web Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-klien 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utilitas 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-inti 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey biasa 2,40
org.glassfish.jersey.core Jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator Hibernate Validator 6.1.7.Terakhir
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging pengelogan jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap ganjal 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka-uji 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibel dengan scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on