Databricks Runtime 15.3 (EoS)

Nota

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan dan akhir masa pakai. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 15.3, didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada Juni 2024.

Fitur dan peningkatan baru

PySpark DataSources sekarang mendukung pembacaan dan penulisan aliran

PySpark DataSources, yang memungkinkan pembacaan dari sumber data kustom dan menulis ke sink data kustom, sekarang mendukung pembacaan dan penulisan aliran. Lihat sumber data kustom PySpark.

Menonaktifkan pemetaan kolom dengan fitur drop

Sekarang Anda dapat menggunakan DROP FEATURE untuk menonaktifkan pemetaan kolom pada tabel Delta dan menurunkan tingkat protokol tabel. Lihat Menonaktifkan pemetaan kolom.

Sintaks jenis varian dan fungsi dalam Pratinjau Umum

Dukungan bawaan Apache Spark untuk bekerja dengan data semi-terstruktur sebagai VARIANT jenis sekarang tersedia di Spark DataFrames dan SQL. Lihat Data varian kueri.

Dukungan tipe varian untuk Delta Lake dalam Pratinjau Umum

Anda sekarang dapat menggunakan VARIANT untuk menyimpan data semi terstruktur dalam tabel yang didukung oleh Delta Lake. Lihat Dukungan jenis varian.

Dukungan untuk berbagai mode evolusi skema dalam tampilan

CREATE VIEW dan ALTER VIEW sekarang memungkinkan Anda mengatur mode pengikatan skema, meningkatkan bagaimana tampilan menangani perubahan skema dalam objek yang mendasarinya. Fitur ini memungkinkan tampilan untuk mentolerir atau beradaptasi dengan perubahan skema pada objek yang mendasar. Ini mengatasi perubahan dalam skema kueri yang dihasilkan dari modifikasi ke definisi objek.

Dukungan untuk metode observe() ditambahkan ke klien Spark Connect Scala

Klien Spark Connect Scala sekarang mendukung metode .Dataset.observe() Dukungan untuk metode ini memungkinkan Anda menentukan metrik untuk diamati pada Dataset objek menggunakan ds.observe("name", metrics...) metode atau ds.observe(observationObject, metrics...) .

Latensi hidupkan ulang aliran yang disempurnakan untuk Auto Loader

Rilis ini mencakup perubahan yang meningkatkan latensi hidupkan ulang aliran untuk Auto Loader. Peningkatan ini diimplementasikan dengan membuat pemuatan keadaan oleh pengelola RocksDB state store menjadi asinkron. Dengan perubahan ini, Anda akan melihat peningkatan pada waktu mulai untuk aliran dengan status besar, misalnya, streaming dengan sejumlah besar file yang sudah diserap.

Mengembalikan DataFrame sebagai pyarrow.Table

Untuk mendukung penulisan DataFrame langsung ke objek Apache Arrow pyarrow.Table , rilis ini menyertakan DataFrame.toArrow() fungsi . Untuk mempelajari selengkapnya tentang menggunakan Arrow di PySpark, lihat Apache Arrow di PySpark.

Peningkatan performa untuk beberapa fungsi jendela

Rilis ini mencakup perubahan yang meningkatkan performa beberapa fungsi jendela Spark, khususnya fungsi yang tidak menyertakan klausa ORDER BY atau parameter window_frame. Dalam kasus ini, sistem dapat menulis ulang kueri untuk menjalankannya menggunakan fungsi agregat. Perubahan ini memungkinkan kueri berjalan lebih cepat dengan menggunakan agregasi parsial dan menghindari biaya tambahan dari menjalankan fungsi jendela. Parameter konfigurasi Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled mengontrol pengoptimalan ini dan diatur ke true secara default. Untuk menonaktifkan pengoptimalan ini, atur spark.databricks.optimizer.replaceWindowsWithAggregates.enabled ke false.

Dukungan untuk fungsi try_mod ditambahkan

Rilis ini menambahkan dukungan untuk fungsi PySpark try_mod() . Fungsi ini mendukung penghitungan yang kompatibel dengan ANSI SQL untuk mendapatkan sisa pembagian dari dua nilai numerik dalam bentuk bilangan bulat. Jika argumen divisor adalah 0, try_mod() fungsi mengembalikan null alih-alih melemparkan pengecualian. Anda dapat menggunakan try_mod() fungsi alih-alih mod atau %, yang melemparkan pengecualian jika argumen divisor adalah 0 dan ANSI SQL diaktifkan.

Dukungan untuk parameter cakupan opsional di list_secrets()

Rilis ini memungkinkan Anda membatasi hasil fungsi tabel list_secrets() ke cakupan tertentu.

Perbaikan bug

WriteIntoDeltaCommand metrik di antarmuka pengguna Spark sekarang ditampilkan dengan benar

Rilis ini mencakup perbaikan pada metrik yang ditampilkan di tab SQL dari Spark UI untuk simpul Execute WriteIntoDeltaCommand . Sebelumnya, metrik yang ditampilkan untuk simpul ini semuanya nol.

Fungsi groupby() dalam PANDAS API mengabaikan as_index=False argumen

Rilis ini mencakup perbaikan untuk masalah dengan fungsi groupby() pada Pandas API di Spark. Sebelum perbaikan ini, groupby() dengan pelabelan ulang kolom agregat dan argumen as_index=False tidak menyertakan kunci grup dalam DataFrame yang dihasilkan.

Kesalahan penguraian dengan beberapa fungsi jendela yang mengacu pada output dari fungsi lain.

Rilis ini memperbaiki masalah yang mungkin terjadi ketika kueri Spark memiliki beberapa fungsi jendela berturut-turut, di mana fungsi jendela merujuk output dari fungsi jendela lainnya. Dalam kasus yang jarang terjadi, sistem mungkin menghilangkan salah satu referensi, yang mengarah ke kesalahan dalam mengevaluasi kueri. Perbaikan ini memproyeksikan referensi ini untuk memastikan evaluasi kueri. Perubahan ini dikontrol oleh parameter konfigurasi Spark spark.databricks.optimizer.collapseWindows.projectReferences, yang diatur ke true secara default. Untuk menonaktifkan perubahan ini, atur spark.databricks.optimizer.collapseWindows.projectReferences ke false.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • filelock dari 3.13.1 ke 3.13.4
  • Pustaka R yang ditingkatkan:
  • Pustaka Java yang ditingkatkan:
    • org.rocksdb.rocksdbjni dari 8.3.2 hingga 8.11.4

Apache Spark

Databricks Runtime 15.3 mencakup Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 15.2 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-48211] [DBRRM-1041][15.x][15.3] Batalkan “[SC-165552][sql] DB2: Baca SMALLINT sebagai Sho...
  • [SPARK-47904] [DBRRM-1040][behave-33][SC-163409] Kembalikan SPARK-47904: Pertahankan kasus dalam skema Avro saat menggunakan enableStableIdentifiersForUnionType
  • [SPARK-48288] [SC-166141] Menambahkan jenis data sumber untuk ekspresi transmisi konektor
  • [SPARK-48175] [SC-166341][sql][PYTHON] Menyimpan informasi kolase dalam metadata dan bukan dalam jenis untuk SER/DE
  • [SPARK-48172] [SC-166078][sql] Memperbaiki masalah pelepasan di JDBCDialects
  • [SPARK-48186] [SC-165544][sql] Tambahkan dukungan untuk AbstractMapType
  • [SPARK-48031] [SC-166523] Menyertakan tampilan lama ke SCHEMA PENGIKATAN
  • [SPARK-48369] [SC-166566][sql][PYTHON][connect] Tambahkan fungsi timestamp_add
  • [SPARK-48330] [SC-166458][ss][PYTHON] Perbaiki masalah batas waktu sumber data streaming python untuk interval pemicu besar
  • [SPARK-48369] Kembalikan "[SC-166494][sql][PYTHON][connect] Tambahkan fungsi timestamp_add"
  • [SPARK-48336] [SC-166495][ps][CONNECT] Menerapkan ps.sql di Spark Connect
  • [SPARK-48369] [SC-166494][sql][PYTHON][connect] Tambahkan fungsi timestamp_add
  • [SPARK-47354] [SC-165546][sql] Tambahkan dukungan kolase untuk ekspresi varian
  • [SPARK-48161] [SC-165325][sql] Fix reverted PR - Tambahkan dukungan kolase untuk ekspresi JSON
  • [SPARK-48031] [SC-166391] Mengurai konfigurasi viewSchemaMode, menambahkan dukungan SHOW CREATE TABLE
  • [SPARK-48268] [SC-166217][core] Tambahkan konfigurasi untuk SparkContext.setCheckpointDir
  • [SPARK-48312] [ES-1076198][sql] Tingkatkan performa Alias.removeNonInheritableMetadata
  • [SPARK-48294] [SC-166205][sql] Menangani huruf kecil dalam nestedTypeMissingElementTypeError
  • [SPARK-47254] [SC-158847][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_325[1-9]
  • [SPARK-47255] [SC-158749][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_323[6-7] dan _LEGACY_ERROR_TEMP_324[7-9]
  • [SPARK-48310] [SC-166239][python][CONNECT] Properti cache harus mengembalikan salinan
  • [SPARK-48308] [SC-166152][core] Unify mendapatkan skema data tanpa kolom partisi di FileSourceStrategy
  • [SPARK-48301] [SC-166143][sql] Ganti nama CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE menjadi CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
  • [SPARK-48287] [SC-166139][ps][CONNECT] Terapkan metode bawaan timestamp_diff
  • [SPARK-47607] [SC-166129] Menambahkan dokumentasi untuk kerangka kerja pengelogan terstruktur
  • [SPARK-48297] [SC-166136][sql] Perbaiki klausul TRANSFORM regresi dengan char/varchar
  • [SPARK-47045] [SC-156808][sql] Ganti IllegalArgumentException dengan SparkIllegalArgumentException di sql/api
  • [SPARK-46991] [SC-156399][sql] Ganti IllegalArgumentException dengan SparkIllegalArgumentException di catalyst
  • [SPARK-48031] [SC-165805][sql] Dukungan melihat evolusi skema
  • [SPARK-48276] [SC-166116][python][CONNECT] Tambahkan metode yang hilang __repr__ untuk SQLExpression
  • [SPARK-48278] [SC-166071][python][CONNECT] Perbaiki representasi string dari Cast
  • [SPARK-48272] [SC-166069][sql][PYTHON][connect] Tambahkan fungsi timestamp_diff
  • [SPARK-47798] [SC-162492][sql] Memperkaya pesan kesalahan untuk kegagalan membaca nilai desimal
  • [SPARK-47158] [SC-158078][sql] Tetapkan nama yang tepat dan sqlState ke _LEGACY_ERROR_TEMP_(2134|2231)
  • [SPARK-48218] [SC-166082][core] TransportClientFactory.createClient mungkin NPE menyebabkan FetchFailedException
  • [SPARK-48277] [SC-166066] Meningkatkan pesan kesalahan untuk ErrorClassesJsonReader.getErrorMessage
  • [SPARK-47545] [SC-165444][connect] Dukungan himpunan observe data untuk klien Scala
  • [SPARK-48954] [SC-171672][sql] Tambahkan try_mod fungsi
  • [SPARK-43258] [SC-158151][sql] Tetapkan nama untuk kesalahan _LEGACY_ERROR_TEMP_202[3,5]
  • [SPARK-48267] [SC-165903][ss] Regresi e2e test dengan SPARK-47305
  • [SPARK-48263] [SC-165925] Mendukung fungsi pengurutan untuk string non UTF8_BINARY
  • [SPARK-48260] [SC-165883][sql] Nonaktifkan koordinasi komit output dalam sebuah pengujian di ParquetIOSuite
  • [SPARK-47834] [SC-165645][sql][CONNECT] Tandai fungsi yang tidak digunakan lagi dengan @deprecated di SQLImplicits
  • [SPARK-48011] [SC-164061][core] Simpan nama LogKey sebagai nilai untuk menghindari pembuatan instans string baru
  • [SPARK-48074] [SC-164647][core] Meningkatkan keterbacaan pengelogan JSON
  • [SPARK-44953] [SC-165866][core] Catat peringatan saat pelacakan acak diaktifkan di samping mekanisme lain yang didukung DA
  • [SPARK-48266] [SC-165897][connect] Pindahkan objek org.apache.spark.sql.connect.dsl paket ke direktori uji
  • [SPARK-47847] [SC-165651][core] Penghentian spark.network.remoteReadNioBufferConversion
  • [SPARK-48171] [SC-165178][core] Bersihkan penggunaan konstruktor yang kadaluarsa o.rocksdb.Logger
  • [SPARK-48235] [SC-165669][sql] Langsung meneruskan operasi join daripada semua argumen ke getBroadcastBuildSide dan getShuffleHashJoinBuildSide
  • [SPARK-48224] [SC-165648][sql] Melarang kunci peta memiliki tipe varian
  • [SPARK-48248] [SC-165791][python] Perbaiki array bersarang agar mematuhi konfigurasi lama dari inferArrayTypeFromFirstElement
  • [SPARK-47409] [SC-165568][sql] Tambahkan dukungan untuk kolase untuk jenis fungsi/ekspresi StringTrim (untuk UTF8_BINARY & LCASE)
  • [SPARK-48143] [ES-1095638][sql] Gunakan pengecualian ringan untuk aliran kontrol antara UnivocityParser dan FailureSafeParser
  • [SPARK-48146] [SC-165668][sql] Perbaiki fungsi agregat dalam ekspresi "With" anak.
  • [SPARK-48161] Kembalikan "[SC-165325][sql] Tambahkan dukungan kolase untuk ekspresi JSON"
  • [SPARK-47963] [CORE] Membuat ekosistem Spark eksternal dapat menggunakan mekanisme pengelogan terstruktur
  • [SPARK-48180] [SC-165632][sql] Meningkatkan kesalahan saat panggilan UDTF dengan TABLE arg melupakan tanda kurung di sekitar beberapa PARTITION/ORDER BY exprs
  • [SPARK-48002] [SC-164132][python][SS] Tambahkan pengujian untuk metrik yang diamati di PySpark StreamingQueryListener
  • [SPARK-47421] [SC-165548][sql] Tambahkan dukungan kolase untuk ekspresi URL
  • [SPARK-48161] [SC-165325][sql] Tambahkan dukungan kolase untuk ekspresi JSON
  • [SPARK-47359] [SC-164328][sql] Mendukung fungsi TERJEMAHAN untuk bekerja dengan string yang disusun
  • [SPARK-47365] [SC-165643][python] Tambahkan metode DataFrame toArrow() ke PySpark
  • [SPARK-48228] [SC-165649][python][CONNECT] Terapkan validasi fungsi yang hilang di ApplyInXXX
  • [SPARK-47986] [SC-165549][connect][PYTHON] Tidak dapat membuat sesi baru saat sesi default ditutup oleh server
  • [SPARK-47963] Kembalikan "[CORE] Buat ekosistem Spark eksternal dapat menggunakan mekanisme pengelogan terstruktur "
  • [SPARK-47963] [CORE] Membuat ekosistem Spark eksternal dapat menggunakan mekanisme pengelogan terstruktur
  • [SPARK-48208] [SC-165547][ss] Lewati penyediaan metrik penggunaan memori dari RocksDB jika penggunaan memori terikat diaktifkan
  • [SPARK-47566] [SC-164314][sql] Mendukung fungsi SubstringIndex untuk bekerja dengan string yang disusun
  • [SPARK-47589] [SC-162127][sql]Hive-Thriftserver: Memigrasikan logError dengan variabel ke kerangka kerja pengelogan terstruktur
  • [SPARK-48205] [SC-165501][python] Hapus pengubah privat[sql] untuk sumber data Python
  • [SPARK-48173] [SC-165181][sql] CheckAnalysis akan melihat seluruh rencana kueri
  • [SPARK-48197] [SC-165520][sql] Hindari kesalahan pernyataan untuk fungsi lambda yang tidak valid
  • [SPARK-47318] [SC-162573][core] Menambahkan putaran HKDF ke derivasi kunci AuthEngine untuk mengikuti praktik KEX standar
  • [SPARK-48184] [SC-165335][python][CONNECT] Selalu atur benih Dataframe.sample di sisi Klien
  • [SPARK-48128] [SC-165004][sql] Untuk ekspresi BitwiseCount / bit_count, perbaiki kesalahan sintaks codegen untuk input jenis boolean
  • [SPARK-48147] [SC-165144][ss][CONNECT] Hapus pendengar sisi klien saat sesi Spark lokal dihapus
  • [SPARK-48045] [SC-165299][python] Pandas API groupby dengan multi-agg-relabel mengabaikan as_index=False
  • [SPARK-48191] [SC-165323][sql] Mendukung UTF-32 untuk pengodean dan dekode string
  • [SPARK-45352] [SC-137627][sql] Menghilangkan partisi jendela yang dapat dilipat
  • [SPARK-47297] [SC-165179][sql] Tambahkan dukungan kolase untuk ekspresi format
  • [SPARK-47267] [SC-165170][sql] Tambahkan dukungan kolase untuk ekspresi hash
  • [SPARK-47965] [SC-163822][core] Hindari orNull di dalam TypedConfigBuilder dan OptionalConfigEntry
  • [SPARK-48166] [SQL] Hindari menggunakan BadRecordException sebagai kesalahan yang dihadapi pengguna di VariantExpressionEvalUtils
  • [SPARK-48105] [SC-165132][ss] Memperbaiki kondisi balapan data antara pemuatan penyimpanan status dan pembuatan rekaman snapshot
  • [SPARK-47922] [SC-163997][sql] Terapkan ekspresi try_parse_json
  • [SPARK-47719] [SC-161909][sql] Ubah spark.sql.legacy.timeParse...
  • [SPARK-48035] [SC-165136][sql] Fix try_add/try_multiply menjadi semantik sama dengan add/multiply
  • [SPARK-48107] [SC-164878][python] Mengecualikan pengujian dari distribusi Python
  • [SPARK-46894] [SC-164447][python] Pindahkan kondisi kesalahan PySpark ke file JSON mandiri
  • [SPARK-47583] [SC-163825][core] SQL core: Memigrasikan logError dengan variabel ke kerangka kerja pengelogan terstruktur
  • [SPARK-48064] Kembalikan "[SC-164697][sql] Perbarui pesan kesalahan untuk kelas kesalahan terkait rutin"
  • [SPARK-48048] [SC-164846][connect][SS] Menambahkan dukungan pendengar sisi klien untuk Scala
  • [SPARK-48064] [SC-164697][sql] Memperbarui pesan kesalahan untuk kelas kesalahan terkait rutin
  • [SPARK-48056] [SC-164715][connect][PYTHON] Jalankan kembali rencana jika kesalahan SESSION_NOT_FOUND dimunculkan dan tidak ada respons parsial yang diterima
  • [SPARK-48124] [SC-165009][core] Nonaktifkan pengelogan terstruktur untuk Connect-Repl secara default
  • [SPARK-47922] Kembalikan "[SC-163997][sql] Terapkan ekspresi try_parse_json"
  • [SPARK-48065] [SC-164817][sql] SPJ: allowJoinKeysSubsetOfPartitionKeys terlalu ketat
  • [SPARK-48114] [SC-164956][core] Prakompilasi pola regex untuk menghindari pekerjaan yang tidak perlu
  • [SPARK-48067] [SC-164773][sql] Perbaiki kolom default varian
  • [SPARK-47922] [SC-163997][sql] Terapkan ekspresi try_parse_json
  • [SPARK-48075] [SC-164709] [SS] Menambahkan pemeriksaan jenis untuk fungsi pySpark avro
  • [SPARK-47793] [SC-164324][ss][PYTHON] Implementasikan SimpleDataSourceStreamReader untuk sumber data streaming python
  • [SPARK-48081] [SC-164719] Perbaiki ClassCastException di NTile.checkInputDataTypes() saat argumen tidak dapat dilipat atau dari jenis yang salah
  • [SPARK-48102] [SC-164853][ss] Lacak durasi pengambilan metrik sumber/sink ketika melaporkan perkembangan kueri streaming
  • [SPARK-47671] [SC-164854][core] Aktifkan pengelogan terstruktur di log4j2.properties.template dan perbarui dokumen
  • [SPARK-47904] [SC-163409][sql] Pertahankan kasus dalam skema Avro saat menggunakan enableStableIdentifiersForUnionType
  • [SPARK-48058] [SC-164695][spark-43727][PYTHON][connect] UserDefinedFunction.returnType mengurai string DDL
  • [SPARK-46922] [SC-156102][core][SQL] Jangan membungkus kesalahan runtime yang dihadapi pengguna
  • [SPARK-48047] [SC-164576][sql] Kurangi tekanan memori tag TreeNode kosong
  • [SPARK-47934] [SC-164648] [CORE] Pastikan garis miring di akhir dalam HistoryServer pengalihan URL
  • [SPARK-47921] [SC-163826][connect] Perbaiki pembuatan ExecuteJobTag di ExecuteHolder
  • [SPARK-48014] [SC-164150][sql] Ubah kesalahan makeFromJava di EvaluatePython menjadi kesalahan yang dihadapi pengguna
  • [SPARK-47903] [SC-163424][python] Tambahkan dukungan untuk jenis skalar yang tersisa di pustaka Varian PySpark
  • [SPARK-48068] [SC-164579][python] mypy harus memiliki --python-executable parameter
  • [SPARK-47846] [SC-163074][sql] Tambahkan dukungan untuk jenis Varian dalam ekspresi from_json
  • [SPARK-48050] [SC-164322][ss] Catat rencana logis saat kueri dimulai
  • [SPARK-47810] [SC-163076][sql] Ganti ekspresi yang setara dengan <=> dalam kondisi gabungan
  • [SPARK-47741] [SC-164290] Menambahkan penanganan luapan tumpukan di parser
  • [SPARK-48053] [SC-164309][python][CONNECT] SparkSession.createDataFrame harus memperingatkan untuk opsi yang tidak didukung
  • [SPARK-47939] [SC-164171][sql] Terapkan aturan Analyzer baru untuk memindahkan ParameterizedQuery di dalam ExplainCommand dan DescribeQueryCommand
  • [SPARK-48063] [SC-164432][core] Aktifkan spark.stage.ignoreDecommissionFetchFailure secara default
  • [SPARK-48016] [SC-164280][sql] Perbaiki bug dalam fungsi try_divide ketika dengan desimal
  • [SPARK-48033] [SC-164291][sql] Perbaiki RuntimeReplaceable ekspresi yang digunakan dalam kolom default
  • [SPARK-48010] [SC-164051][sql][ES-1109148] Hindari panggilan berulang ke conf.resolver dalam resolveExpression
  • [SPARK-48003] [SC-164323][sql] Tambahkan dukungan kolase untuk agregat sketsa hll
  • [SPARK-47994] [SC-164175][sql] Perbaiki bug dengan CASE WHEN filter kolom push down di SQLServer
  • [SPARK-47984] [SC-163837][ml][SQL] Ubah MetricsAggregate/V2Aggregator#serialize/deserialize ke panggilan SparkSerDeUtils#serialize/deserialize
  • [SPARK-48042] [SC-164202][sql] Gunakan formatter tanda waktu dengan zona waktu di tingkat kelas alih-alih membuat salinan pada tingkat metode
  • [SPARK-47596] [SPARK-47600][spark-47604][SPARK-47804] Migrasi log terstruktur
  • [SPARK-47594] [SPARK-47590][spark-47588][SPARK-47584] Migrasi log terstruktur
  • [SPARK-47567] [SC-164172][sql] Mendukung fungsi LOCATE untuk bekerja dengan string yang disusun
  • [SPARK-47764] [SC-163820][core][SQL] Membersihkan dependensi shuffle berdasarkan ShuffleCleanupMode
  • [SPARK-48039] [SC-164174][python][CONNECT] Perbarui kelas kesalahan untuk group.apply
  • [SPARK-47414] [SC-163831][sql] Dukungan kolase huruf kecil untuk ekspresi regexp
  • [SPARK-47418] [SC-163818][sql] Tambahkan implementasi buatan tangan untuk unicode-aware huruf kecil berisi, mulaiWith dan berakhirWith dan optimalkan UTF8_BINARY_LCASE
  • [SPARK-47580] [SC-163834][sql] Katalis SQL: hilangkan variabel yang tidak disebutkan namanya dalam log kesalahan
  • [SPARK-47351] [SC-164008][sql] Tambahkan dukungan kolase untuk ekspresi string StringToMap & Mask
  • [SPARK-47292] [SC-164151][ss] safeMapToJValue harus mempertimbangkan nilai yang diketik null
  • [SPARK-47476] [SC-164014][sql] Mendukung fungsi REPLACE untuk bekerja dengan string yang disusun
  • [SPARK-47408] [SC-164104][sql] Memperbaiki mathExpressions yang menggunakan StringType
  • [SPARK-47350] [SC-164006][sql] Tambahkan dukungan kolase untuk ekspresi string SplitPart
  • [SPARK-47692] [SC-163819][sql] Memperbaiki arti default StringType dalam casting implisit
  • [SPARK-47094] [SC-161957][sql] SPJ : Menyeimbangkan kembali jumlah wadah secara dinamis jika tidak sama
  • [SPARK-48001] [SC-164000][core] Hapus yang tidak digunakan private implicit def arrayToArrayWritable dari SparkContext
  • [SPARK-47986] [SC-163999][connect][PYTHON] Tidak dapat membuat sesi baru ketika sesi default ditutup oleh server
  • [SPARK-48019] [SC-164121] Memperbaiki perilaku yang salah di ColumnVector/ColumnarArray dengan kamus dan null
  • [SPARK-47743] [SPARK-47592][spark-47589][SPARK-47581][spark-47586][SPARK-47593][spark-47595][SPARK-47587][spark-47603] Migrasi log terstruktur
  • [SPARK-47999] [SC-163998][ss] Meningkatkan pencatatan log dalam pembuatan cuplikan dan menambahkan/menghapus entri dari peta cache status di penyedia penyimpanan status berbasis HDFS
  • [SPARK-47417] [SC-162872][sql] Dukungan pengurutan: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Kalimat
  • [SPARK-47712] [SC-161871][connect] Izinkan plugin sambungkan untuk membuat dan memproses Himpunan Data
  • [SPARK-47411] [SC-163351][sql] Mendukung fungsi StringInstr & FindInSet untuk bekerja dengan string yang disusun
  • [SPARK-47360] [SC-163014][sql] Dukungan kolasi: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
  • [SPARK-47413] [SC-163323][sql] - tambahkan dukungan ke substr/kiri/kanan untuk kolase
  • [SPARK-47983] [SC-163835][sql] Menurunkan eksposur spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled menjadi internal
  • [SPARK-47964] [SC-163816][python][CONNECT] Sembunyikan SQLContext dan HiveContext di pyspark-connect
  • [SPARK-47985] [SC-163841][python] Sederhanakan fungsi dengan lit
  • [SPARK-47633] [SC-163453][sql] Sertakan keluaran rencana sisi kanan di LateralJoin#allAttributes untuk kanonisasi yang lebih konsisten
  • [SPARK-47909] Kembalikan "[PYTHON][connect] Kelas DataFrame Induk f...
  • [SPARK-47767] [SC-163096][sql] Tampilkan nilai offset di TakeOrderedAndProjectExec
  • [SPARK-47822] [SC-162968][sql] Melarang Ekspresi Hash meng-hash Tipe Data Varian
  • [SPARK-47490] [SC-160494][ss] Perbaiki penggunaan konstruktor RocksDB Logger untuk menghindari peringatan deprecation.
  • [SPARK-47417] Kembalikan "[SC-162872][sql] Dukungan pengurutan: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Kalimat"
  • [SPARK-47352] [SC-163460][sql] Perbaiki kesadaran kolasi pada Upper, Lower, InitCap
  • [SPARK-47909] [PYTHON][connect] Kelas Parent DataFrame untuk Spark Connect dan Spark Classic
  • [SPARK-47417] [SC-162872][sql] Dukungan pengurutan: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Kalimat

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Lihat pembaruan pemeliharaan Databricks Runtime 15.3.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake : 3.2.0

Perpustakaan Python yang Terpasang

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
asttoken 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake (penyimpanan file data lake) 12.14.0 panggilan balik 0.2.0
hitam 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klik 8.0.4 cloudpickle 2.2.1 komunikasi 0.1.2
konturpy 1.0.5 kriptografi 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 dekorator 5.1.1 distlib 0.3.8
titik masuk 0,4 menjalankan 0.8.3 ikhtisar faset 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth (Google otentikasi) 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 gantungan kunci 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 kemasan 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
kambing hitam 0.5.3 pexpect=4.8.0 4.8.0 pickleshare 0.7.5
Bantal 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modul 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
permintaan 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 ketekunan 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Perpustakaan R yang terinstal

Pustaka R diinstal dari cuplikan CRAN dari Posit Package Manager.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anak panah 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
porting balik 1.4.1 dasar 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 sepatu bot 1.3-28
menyeduh 1.0-10 brio 1.1.4 sapu 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
kelas 7.3-22 cli 3.6.2 clipr 0.8.0
Jam 0.7.0 kluster 2.1.4 codetools 0.2-19
ruang warna 2.1-0 commonmark 1.9.1 kompilator 4.3.2
konfigurasi 0.3.2 Bimbang 1.2.0 cpp11 0.4.7
crayon 1.5.2 kredensial 2.0.1 curl 5.2.0
data.table (sebuah paket untuk pengolahan data table) 1.15.0 kumpulan data 4.3.2 DBI 1.2.1
dbplyr 2.4.0 deskripsi 1.4.3 devtools 2.4.5
bagan 1.6.5 diffobj 0.3.5 digest 0.6.34
pencahayaan turun 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 elipsis 0.3.2 menilai 0.23
penggemar 1.0.6 warna 2.1.1 pemetaan cepat 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
asing 0.8-85 tempa 0.2.0 fs 1.6.3
masa depan 1.33.1 future.apply 1.11.1 gargle 1.5.2
generik 0.1.3 Gert 2.0.1 ggplot2 3.4.4
GH 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 lem 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
grafis 4.3.2 grDevices 4.3.2 kisi 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 helm keselamatan 1.3.1 tempat perlindungan 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 pengulang 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 pelabelan 0.4.3
nanti 1.3.2 lattice 0.21-8 lava 1.7.3
siklus hidup 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 massa 7.3-60
Matrix 1.5-4.1 mengingat 2.0.1 metode 4.3.2
mgcv 1.8-42 pantomim 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 paralel 4.3.2
secara paralel 1.36.0 pilar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 pujian 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 kemajuan 1.2.3
progressr 0.14.0 janji-janji 1.2.1 proto 1.0.0
proksi 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 dapat direaksi 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 pertandingan ulang 2.0.0 rematch2 2.1.2
pengendali jarak jauh 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
timbangan 1.3.0 selectr 0.4-2 informasi sesi 1.2.2
bentuk 1.4.6 berkilau 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spasial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 statistik 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
bertahan hidup 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
pembentukan teks 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 perubahan waktu 0.3.0
waktuTanggal 4032.109 tinytex 0,49 alat 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 gunakanini 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 kumis 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Pustaka Java dan Scala terinstal (versi kluster Scala 2.12)

Grup ID ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware bayangan-kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-penduduk asli
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-penduduk asli
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-penduduk asli
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-penduduk asli
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone anotasi_rentan_kesalahan 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger penganalisa profil 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfigurasi 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-pengunggahan berkas commons-pengunggahan berkas 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrik-anotasi 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrik-pemeriksaan kesehatan 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrik-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-JVM 4.2.19
io.dropwizard.metrics metrik-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty kelas netty-tcnative 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine acar 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klien 2.13.0
org.apache.curator kerangka kurator 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims (pengaturan tambahan untuk hive) 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims Pengatur-kerangka-hive 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy tanaman ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus anotasi-audiens 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework pemeriksa kualitas 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap ganjal 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka-uji 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibel dengan scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on