Databricks Runtime 15.0 (EoS)

Nota

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan dan akhir masa pakai. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 15.0, yang didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada Maret 2024.

Perubahan mendasar

Fungsi PySpark spark.sql() sekarang gagal untuk jenis argumen yang tidak valid

Dalam Databricks Runtime 15.0 dan yang lebih baru, parameter args untuk parameter bernama atau posisi yang diteruskan ke fungsi spark.sql() harus berupa kamus atau daftar. Jika ada jenis objek lain yang diteruskan, kesalahan berikut dimunculkan: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Menyimpan pustaka di akar DBFS tidak digunakan lagi dan dinonaktifkan secara default

Untuk meningkatkan keamanan pustaka di ruang kerja Azure Databricks, menyimpan file pustaka di akar DBFS tidak digunakan lagi dan dinonaktifkan secara default dimulai dengan Databricks Runtime 15.0. Databricks merekomendasikan pengunggahan semua pustaka, yang mencakup pustaka Python, file JAR, dan konektor Spark, ke file ruang kerja, volume katalog Unity, atau menggunakan repositori paket. Lihat Rekomendasi untuk mengunggah pustaka.

Untuk mengaktifkan kembali penyimpanan pustaka di akar DBFS, atur parameter konfigurasi Spark berikut: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Versi Python default ditingkatkan dari 3.10 ke 3.11

Dengan Databricks Runtime 15.0, versi Python default adalah 3.11.0. Untuk daftar pustaka Python yang ditingkatkan, lihat peningkatan Library.

JDK 11 dihapus

Seperti yang diumumkan sebelumnya, JDK 11 dihapus dari Databricks Runtime 15.0 dan yang lebih baru. Databricks merekomendasikan peningkatan ke JDK 17 saat meningkatkan ke Databricks Runtime 15.0 dan yang lebih baru. Lihat Databricks SDK untuk Java.

REPL Python sekarang menghentikan secara halus

Dengan Databricks Runtime 15.0, proses REPL Python notebook sekarang berakhir dengan lancar saat keluar. Ini menyebabkan kait atexit dihormati. Misalnya, dalam alur kerja yang melibatkan beberapa tugas notebook Python, kait atexit yang terdaftar dalam tugas pertama akan dijalankan sebelum tugas notebook Python kedua dijalankan.

Fitur dan peningkatan baru

Klausa * (bintang) sekarang didukung dalam klausa WHERE

Sekarang Anda dapat menggunakan klausa bintang (*) dalam klausa WHERE untuk mereferensikan semua kolom dari daftar SELECT. Contohnya, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Konfigurasi spark.sql.json.enablePartialResults sekarang diaktifkan secara default

Konfigurasi spark.sql.json.enablePartialResults Spark sekarang diaktifkan secara default, memungkinkan pengurai JSON menangani kesalahan penguraian dengan benar untuk jenis kompleks seperti struktur, peta, dan array tanpa menghilangkan bidang yang tersisa. Perubahan ini memperbaiki masalah konsistensi untuk sumber data JSON dengan pemangkasan kolom.

Perpustakaan kluster sekarang mendukung file requirements.txt

Anda sekarang dapat menginstal pustaka kluster menggunakan file requirements.txt yang disimpan dalam file ruang kerja atau volume Katalog Unity. Dalam kluster mode akses Khusus dan Standar , file dapat mereferensikan requirements.txt file lain. Pada kluster mode akses bersama tanpa isolasi, hanya paket PyPI yang didukung. Lihat Pustaka cakupan komputasi.

Databricks CLI sekarang tersedia di terminal web

Sekarang Anda dapat menggunakan Databricks CLI dari terminal web di buku catatan. Buku catatan harus dilampirkan ke kluster dalam mode akses Khusus atau Tanpa isolasi yang dibagi. Untuk detailnya, lihat Menggunakan terminal web dan Databricks CLI.

Menambahkan repositori Python default ke konfigurasi kluster

Di Databricks Runtime 15.0 dan yang lebih baru, Anda dapat mengonfigurasi parameter global pip index-url dan extra-index-url untuk instalasi pustaka dengan cakupan kluster dan notebook saat mengonfigurasi kluster atau mendefinisikan kebijakan kluster. Untuk melakukannya, atur variabel lingkungan DATABRICKS_PIP_INDEX_URL dan DATABRICKS_PIP_EXTRA_INDEX_URL.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • hitam dari 22.6.0 hingga 23.3.0
    • boto3 dari 1.24.28 ke 1.34.39
    • botocore dari 1.27.96 ke 1.34.39
    • certifi dari 7 Desember 2022 hingga 22 Juli 2023
    • kriptografi dari 39.0.1 hingga 41.0.3
    • databricks-sdk dari 0.1.6 hingga 0.20.0
    • distlib dari 0.3.7 hingga 0.3.8
    • googleapis-common-protos dari 1.62.0 hingga 1.63.0
    • grpcio dari 1.48.2 ke 1.60.0
    • grpcio-status dari 1.48.1 ke 1.60.0
    • importlib-metadata dari 4.6.4 ke 6.0.0
    • ipykernel dari 6.25.0 ke 6.25.1
    • ipython dari 8.14.0 ke 8.15.0
    • ipywidgets dari 7.7.2 ke 8.0.4
    • jupyter_core dari 5.2.0 hingga 5.3.0
    • jupyterlab-widgets dari 1.0.0 hingga 3.0.5
    • matplotlib dari 3.7.0 ke 3.7.2
    • Pandas dari 1.5.3 hingga 2.0.3
    • pip dari 22.3.1 hingga 23.2.1
    • platformdir dari 2.5.2 hingga 3.10.0
    • protobuf dari 4.24.0 ke 4.24.1
    • pyarrow dari 8.0.0 hingga 14.0.1
    • Pygments dari 2.11.2 ke 2.15.1
    • pyodbc dari 4.0.32 ke 4.0.38
    • permintaan dari 2.28.1 hingga 2.31.0
    • s3transfer dari 0.6.2 ke 0.10.0
    • scikit-learn dari 1.1.1 hingga 1.3.0
    • scipy dari 1.10.0 hingga 1.11.1
    • setuptools dari 65.6.3 hingga 68.0.0
    • statsmodel dari 0.13.5 hingga 0.14.0
    • tenacity dari 8.1.0 hingga 8.2.2
    • tornado dari 6,1 hingga 6.3.2
    • typing_extensions dari 4.4.0 ke 4.7.1
    • urllib3 dari 1.26.14 hingga 1.26.16
    • virtualenv dari 20.16.7 hingga 20.24.2
    • widgetsnbextension dari 3.6.1 hingga 4.0.5
    • zipp dari 1.0.0 hingga 3.11.0
  • Pustaka R yang ditingkatkan:
    • panah dari 12.0.1 hingga 14.0.0.2
    • askpass dari 1.1 ke 1.2.0
    • dasar dari 4.3.1 ke 4.3.2
    • brew dari 1.0-8 hingga 1.0-10
    • brio dari 1.1.3 ke 1.1.4
    • bslib dari 0,5,0 hingga 0,6,1
    • cli dari 3.6.1 hingga 3.6.2
    • commonmark dari 1.9.0 ke 1.9.1
    • compiler dari 4.3.1 ke 4.3.2
    • konfigurasi dari 0.3.1 hingga 0.3.2
    • cpp11 dari 0.4.4 hingga 0.4.7
    • kredensial dari 1.3.2 hingga 2.0.1
    • curl dari versi 5.0.1 ke versi 5.2.0
    • data.table dari 1.14.8 hingga 1.15.0
    • himpunan data dari 4.3.1 hingga 4.3.2
    • DBI dari 1.1.3 hingga 1.2.1
    • dbplyr dari 2.3.3 ke 2.4.0
    • deskripsi dari 1.4.2 ke 1.4.3
    • digest dari 0.6.33 ke 0.6.34
    • dplyr dari 1.1.2 ke 1.1.4
    • e1071 dari 1,7-13 ke 1,7-14
    • evaluasi dari 0,21 hingga 0,23
    • fansi dari 1.0.4 hingga 1.0.6
    • fontawesome dari 0.5.1 hingga 0.5.2
    • fs dari 1.6.2 hingga 1.6.3
    • di masa mendatang dari 1.33.0 hingga 1.33.1
    • future.apply dari 1.11.0 hingga 1.11.1
    • kumur dari 1.5.1 hingga 1.5.2
    • gert dari 1.9.2 ke 2.0.1
    • ggplot2 dari 3.4.2 ke 3.4.4
    • glmnet dari 4,1-7 hingga 4,1-8
    • lem dari 1.6.2 hingga 1.7.0
    • grafik dari 4.3.1 hingga 4.3.2
    • grDevices dari 4.3.1 ke 4.3.2
    • kisi dari 4.3.1 hingga 4.3.2
    • gtable dari 0.3.3 ke 0.3.4
    • hardhat dari 1.3.0 hingga 1.3.1
    • haven dari 2.5.3 hingga 2.5.4
    • htmltool dari 0.5.5 hingga 0.5.7
    • htmlwidgets dari 1.6.2 ke 1.6.4
    • httpuv dari 1.6.11 ke 1.6.14
    • httr dari 1.4.6 hingga 1.4.7
    • httr2 dari 0.2.3 hingga 1.0.0
    • jsonlite dari 1.8.7 ke 1.8.8
    • knitr dari 1,43 hingga 1,45
    • pelabelan dari 0.4.2 ke 0.4.3
    • kemudian dari 1.3.1 hingga 1.3.2
    • lava dari 1.7.2.1 hingga 1.7.3
    • siklus hidup dari 1.0.3 hingga 1.0.4
    • listenv dari 0.9.0 hingga 0.9.1
    • lubridat dari 1.9.2 hingga 1.9.3
    • Versi markdown dari 1,7 hingga 1,12
    • metode dari 4.3.1 hingga 4.3.2
    • openssl dari 2.0.6 hingga 2.1.1
    • paralel dari 4.3.1 hingga 4.3.2
    • pkgbuild dari 1.4.2 ke 1.4.3
    • pkgload dari 1.3.2.1 ke 1.3.4
    • plyr dari 1.8.8 ke 1.8.9
    • prettyunits dari 1.1.1 hingga 1.2.0
    • pROC dari 1.18.4 ke 1.18.5
    • processx dari 3.8.2 hingga 3.8.3
    • prodlim dari 2023.03.31 hingga 2023.08.28
    • kemajuan dari 1.2.2 ke 1.2.3
    • progressr dari 0.13.0 ke 0.14.0
    • janji dari 1.2.0.1 hingga 1.2.1
    • ps dari 1.7.5 ke 1.7.6
    • purrr dari 1.0.1 hingga 1.0.2
    • ragg dari 1.2.5 ke 1.2.7
    • Rcpp dari 1.0.11 hingga 1.0.12
    • RcppEigen dari 0.3.3.9.3 ke 0.3.3.9.4
    • readr dari 2.1.4 hingga 2.1.5
    • resep dari 1.0.6 hingga 1.0.9
    • penyesuaian ulang dari 1.0.1 ke 2.0.0
    • jarak jauh dari 2.4.2 ke 2.4.2.1
    • reprex dari 2.0.2 ke 2.1.0
    • rlang dari 1.1.1 ke 1.1.3
    • rmarkdown dari 2,23 ke 2,25
    • RODBC dari 1,3-20 hingga 1,3-23
    • roxygen2 dari 7.2.3 ke 7.3.1
    • rprojroot dari 2.0.3 ke 2.0.4
    • Rserve dari 1,8-11 ke 1,8-13
    • RSQLite dari 2.3.1 ke 2.3.5
    • sass dari 0.4.6 ke 0.4.8
    • skala dari 1.2.1 ke 1.3.0
    • mengkilap dari 1.7.4.1 hingga 1.8.0
    • sparklyr dari 1.8.1 hingga 1.8.4
    • spline dari 4.3.1 hingga 4.3.2
    • statistik dari 4.3.1 hingga 4.3.2
    • stats4 dari 4.3.1 hingga 4.3.2
    • stringi dari 1.7.12 hingga 1.8.3
    • stringr dari 1.5.0 hingga 1.5.1
    • systemfonts dari 1.0.4 hingga 1.0.5
    • tcltk dari 4.3.1 ke 4.3.2
    • testthat dari 3.1.10 ke 3.2.1
    • textshaping dari 0.3.6 ke 0.3.7
    • tidyr dari 1.3.0 hingga 1.3.1
    • perubahan waktu dari 0.2.0 ke 0.3.0
    • timeDate dari 4022.108 hingga 4032.109
    • tinytex dari 0,45 hingga 0,49
    • alat dari 4.3.1 hingga 4.3.2
    • utf8 dari 1.2.3 ke 1.2.4
    • utils dari 4.3.1 ke 4.3.2
    • uuid dari 1.1-0 hingga 1.2-0
    • vctrs dari 0.6.3 hingga 0.6.5
    • vroom dari 1.6.3 hingga 1.6.5
    • waldo dari 0.5.1 hingga 0.5.2
    • withr dari 2.5.0 hingga 3.0.0
    • xfun dari 0,39 hingga 0,41
    • xml2 dari 1.3.5 hingga 1.3.6
    • yaml dari 2.3.7 hingga 2.3.8
    • zip dari 2.3.0 hingga 2.3.1
  • Pustaka Java yang ditingkatkan:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 dari 2.15.1 hingga 2.16.0
    • com.google.flatbuffers.flatbuffers-java dari 1.12.0 hingga 23.5.26
    • com.typeafe.config dari 1.2.1 ke 1.4.3
    • org.apache.ant.ant dari 1.9.16 ke 1.10.11
    • org.apache.ant.ant-jsch dari 1.9.16 ke 1.10.11
    • org.apache.ant.ant-launcher dari versi 1.9.16 hingga versi 1.10.11
    • org.apache.arrow.arrow-format dari 12.0.1 hingga 15.0.0
    • org.apache.arrow.arrow-memory-core dari 12.0.1 ke 15.0.0
    • org.apache.arrow.arrow-memory-netty dari 12.0.1 hingga 15.0.0
    • org.apache.arrow.arrow-vector dari 12.0.1 hingga 15.0.0
    • org.apache.avro.avro dari 1.11.2 ke 1.11.3
    • org.apache.avro.avro-ipc dari 1.11.2 ke 1.11.3
    • org.apache.avro.avro-mapred dari 1.11.2 ke 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api dari 2.20.0 hingga 2.22.1
    • org.apache.logging.log4j.log4j-api dari 2.20.0 hingga 2.22.1
    • org.apache.logging.log4j.log4j-core dari 2.20.0 ke 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl dari 2.20.0 hingga 2.22.1
    • org.postgresql.postgresql dari 42.6.0 hingga 42.6.1

Apache Spark

Databricks Runtime 15.0 mencakup Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 14.3 LTS, serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-45527] [DBRRM-805][es-1073714] Kembali "[SC-151626][core] Gunakan pecahan untuk melakukan perhitungan sumber daya"
  • [SPARK-47102] [DBRRM-803][sc-158253][SQL] Tambahkan COLLATION_ENABLED bendera konfigurasi
  • [SPARK-46973] [SC-158140][dbrrm-777][SQL] Lewati pencarian tabel V2 saat tabel berada di cache tabel V1
  • [SPARK-46808] [SC-154113][python] Memperbaiki kelas kesalahan di Python dengan fungsi pengurutan otomatis
  • [SPARK-47251] [SC-158291][python] Blokir jenis yang tidak valid dari args argumen untuk sql perintah
  • [SPARK-47251] [SC-158121][python] Blokir jenis yang tidak valid dari args argumen untuk sql perintah
  • [SPARK-47108] [SC-157204][core] Diatur derby.connection.requireAuthentication ke false secara eksplisit di CLIs
  • [SPARK-45599] [SC-157537][core] Gunakan kesetaraan objek di OpenHashSet
  • [SPARK-47099] [SC-157352][sql] Gunakan ordinalNumber untuk mengatur nilai paramIndex untuk kelas kesalahan secara seragam UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][connect] Ekstrak fungsi pembantu untuk menghilangkan kode duplikat yang diambil MessageParameters dari ErrorParams dalam GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][connect] Menjadikan ProtoUtils.abbreviate mendukung bidang yang berulang
  • [SPARK-46342] [SC-150283][sql] Ganti IllegalStateException dengan SparkException.internalError dalam sql
  • [SPARK-47123] [SC-157412][core] JDBCRDD tidak menangani kesalahan dengan benar dalam getQueryOutputSchema
  • [SPARK-47189] [SC-157667][sql] Sesuaikan nama kesalahan kolom dan teks
  • [SPARK-45789] [SC-157101][sql] Dukungan DESCRIBE TABLE untuk kolom pengklusteran
  • [SPARK-43256] [SC-157699][sql] Hapus kelas kesalahan _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics memeriksa jenis input
  • [SPARK-47183] [SC-157660][python] Perbaiki kelas kesalahan untuk sameSemantics
  • [SPARK-47179] [SC-157663][sql] Meningkatkan pesan kesalahan dari SparkThrowableSuite untuk debuggability yang lebih baik
  • [SPARK-46965] [SC-155791][core] Cek logType di Utils.getLog
  • [SPARK-46832] [SC-156774][sql] Memperkenalkan ekspresi Kolasi dan Kolasi
  • [SPARK-46946] [SC-155721][sql] Mendukung siaran beberapa kunci pemfilteran di DynamicPruning
  • [SPARK-47079] [VARIANT-22][sc-157598][PYTHON][sql][CONNECT] Tambahkan info jenis varian ke PySpark
  • [SPARK-47101] [SC-157360][sql] Izinkan koma digunakan dalam nama kolom tingkat atas dan hapus pengecekan definisi tipe bersarang di HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][ss][UI] Perbaiki kesalahan ketik dalam penjelasan antarmuka pengguna streaming
  • [SPARK-47113] [SC-157348][core] Mengembalikan logika perbaikan titik akhir S3A SPARK-35878
  • [SPARK-47130] [SC-157462][core] Gunakan listStatus untuk melewati info lokasi blok saat membersihkan log driver
  • [SPARK-43259] [SC-157368][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec harus menginisialisasi proyeksi yang tidak aman
  • [SPARK-47137] [SC-157463][python][CONNECT] Tambahkan getAll ke spark.conf untuk paritas fitur dengan Scala
  • [SPARK-46924] [SC-154905][core] Perbaiki tombol Load New di Master/HistoryServer UI Log
  • [SPARK-47069] [SC-157370][python][CONNECT] Pengantar spark.profile.show/dump pembuatan profil berbasis SparkSession
  • [SPARK-46812] [SC-157075][sql][PYTHON] Menjadikan mapInPandas / mapInArrow mendukung ResourceProfile
  • [SPARK-46833] [SC-155866][sql] Kolase - Memperkenalkan CollationFactory yang menyediakan aturan perbandingan dan hashing untuk kolase yang didukung
  • [SPARK-47057] [SC-157036][python] Aktifkan kembali uji data MyPy
  • [SPARK-46934] [SC-157084][sql] Proses membaca/menulis bolak-balik untuk jenis struktur dengan karakter khusus dengan HMS
  • [SPARK-46727] [SC-153472][sql] Port classifyException() dalam dialek JDBC pada kelas kesalahan
  • [SPARK-46964] [SC-155740][sql] Ubah tanda tangan kesalahan eksekusi kueri hllInvalidLgK untuk mengambil bilangan bulat sebagai argumen ke-4
  • [SPARK-46949] [SC-155719][sql] Menyediakan dukungan CHAR/VARCHAR melalui ResolveDefaultColumns
  • [SPARK-46972] [SC-155888][sql] Perbaiki penggantian asimetris untuk char/varchar di V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][python][CONNECT] Menerapkan metode dumpPerfProfiles dan dumpMemoryProfiles dari SparkSession
  • [SPARK-46689] [SC-156221][spark-46690][PYTHON][connect] Mendukung pembuatan profil v2 di grup/cogroup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][connect] Izinkan Skrip Server Spark Connect menunggu
  • [SPARK-46688] [SC-156113][spark-46691][PYTHON][connect] Mendukung pembuatan profil v2 di Pandas UDF agregat
  • [SPARK-47004] [SC-156499][connect] Menambahkan lebih banyak pengujian ke ClientStreamingQuerySuite untuk meningkatkan cakupan pengujian klien Scala
  • [SPARK-46994] [SC-156169][Python] Refaktor PythonWrite untuk bersiap mendukung penulisan streaming sumber data Python
  • [SPARK-46979] [SC-156587][ss] Tambahkan dukungan untuk menentukan encoder kunci dan nilai secara terpisah dan juga untuk setiap keluarga col di penyedia penyimpanan status RocksDB
  • [SPARK-46960] [SC-155940][ss] Menguji Beberapa Aliran Input dengan operator TransformWithState
  • [SPARK-46966] [SC-156112][python] Tambahkan API UDTF untuk metode 'analisis' untuk menunjukkan subset kolom tabel input yang akan dipilih
  • [SPARK-46895] [SC-155950][core] Ganti Timer dengan penjadwal utas tunggal
  • [SPARK-46967] [SC-155815][core][UI] Sembunyikan Thread Dump dan Heap Histogram eksekutor Dead di Executors UI
  • [SPARK-46512] [SC-155826][core] Optimalkan pembacaan acak saat pengurutan dan gabungan digunakan.
  • [SPARK-46958] [SC-155942][sql] Tambahkan zona waktu yang hilang untuk memaksa nilai default
  • [SPARK-46754] [SC-153830][sql][AVRO] Perbaiki resolusi kode kompresi dalam definisi tabel avro dan opsi tulis
  • [SPARK-46728] [SC-154207][python] Periksa penginstalan Pandas dengan benar
  • [SPARK-43403] [SC-154216][ui] Pastikan SparkUI lama dalam HistoryServer telah dilepas sebelum memuat yang baru
  • [SPARK-39910] [SC-156203][sql] Delegasikan kualifikasi jalur file ke sistem berkas selama ekspansi jalur file DataSource
  • [SPARK-47000] [SC-156123] Batalkan “[SC-156123][core] Gunakan getTotalMemorySize...
  • [SPARK-46819] [SC-154560][core] Pindahkan kategori kesalahan dan status ke JSON
  • [SPARK-46997] [SC-156175][core] Aktifkan spark.worker.cleanup.enabled secara default
  • [SPARK-46865] [SC-156168][ss] Tambahkan Dukungan Batch untuk Operator TransformWithState
  • [SPARK-46987] [SC-156040][connect] ProtoUtils.abbreviate hindari operasi yang tidak perlu setField
  • [SPARK-46970] [SC-155816][core] Rewrite OpenHashSet#hasher dengan pattern matching
  • [SPARK-46984] [SC-156024][python] Hapus pyspark.copy_func
  • [SPARK-47000] [SC-156123][core] Gunakan getTotalMemorySize dalam WorkerArguments
  • [SPARK-46980] [SC-155914][sql][MINOR] Hindari menggunakan API internal dalam pengujian end-to-end dataframe
  • [SPARK-46931] Batalkan “[SC-155661][ps] Implement {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828][sql] Meningkatkan pesan kesalahan untuk kesalahan DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586][sql] Jalankan pengoptimal pada CREATE TABLE default kolom
  • [SPARK-46911] [SC-155724][ss] Menambahkan operator deleteIfExists ke StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Mendukung codec kompresi lz4raw untuk Parquet
  • [SPARK-47002] [SC-156223][python] Mengembalikan pesan kesalahan yang lebih baik jika bidang 'analisis' metode 'orderBy' UDTF secara tidak sengaja mengembalikan daftar string
  • [SPARK-46890] [SC-155802][sql] Perbaiki bug penguraian CSV dengan nilai default yang ada dan pruning kolom
  • [SPARK-46977] [SC-155892][core] Permintaan yang gagal untuk mendapatkan token dari satu NameNode tidak boleh melewati permintaan token berikutnya
  • [SPARK-46608] [SC-151806][sql] Memulihkan kompatibilitas mundur JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][sql] Mendukung klausul bintang dalam WHERE klausul
  • [SPARK-46908] [SC-155702][sql] Mendukung klausul bintang dalam WHERE klausul
  • [SPARK-46852] [SC-155665][ss] Hapus penggunaan encoder kunci eksplisit dan teruskan secara implisit ke operator untuk operator transformWithState
  • [SPARK-46864] [SC-155669][ss] Mengintegrasikan StateV2 Sembarang ke Dalam Kerangka Kesalahan Kelas Baru
  • [SPARK-45807] [SC-155706][sql] Return View setelah memanggil replaceView(..)
  • [SPARK-46899] [SC-154651][core] Hapus POST API dari MasterWebUI ketika spark.ui.killEnabled adalah false
  • [SPARK-46868] [SC-154539][core] Mendukung UI Log Pekerja Spark
  • [SPARK-46931] [SC-155661][ps] Mengimplementasikan {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][core] Hapus yang tidak digunakan updateSparkConfigFromProperties dan isAbsoluteURI di o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][core][CONNECT][ss] Gunakan metode ThreadUtils.shutdown untuk menutup pool thread.
  • [SPARK-46400] [SC-155658][core][SQL] Ketika ada file yang rusak di repositori maven lokal, lewati cache ini dan coba lagi
  • [SPARK-46932] [SC-155655] Bersihkan impor di pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Menulis generator subkueri yang menghasilkan permutasi subkueri untuk meningkatkan cakupan pengujian
  • [SPARK-46914] [SC-154776][ui] Pendekkan nama aplikasi dalam tabel ringkasan di Halaman Riwayat
  • [SPARK-46831] [SC-154699][sql] Kolase - Memperluas StringType dan PhysicalStringType dengan bidang collationId
  • [SPARK-46816] [SC-154415][ss] Tambahkan dukungan dasar untuk operator manajemen status arbitrer baru, jenis valueState tunggal, beberapa variabel status dan dukungan yang mendasari untuk keluarga kolom untuk RocksDBStateStoreProvider dengan/tanpa titik pemeriksaan changelog
  • [SPARK-46925] [SC-154890][python][CONNECT] Tambahkan peringatan yang menginstruksikan untuk menginstal memory_profiler untuk pembuatan profil memori
  • [SPARK-46927] [SC-154904][python] Memastikan assertDataFrameEqual berfungsi dengan benar tanpa PyArrow
  • [SPARK-46021] [SC-148987][core] Mendukung pembatalan pekerjaan di masa mendatang yang termasuk dalam kelompok pekerjaan
  • [SPARK-46747] [SC-154789][sql] Hindari pemindaian di getTableExistsQuery untuk Dialek JDBC
  • [SPARK-46904] [SC-154704][ui] Perbaiki masalah tampilan ringkasan UI Riwayat
  • [SPARK-46870] [SC-154541][core] Mendukung Antarmuka Log Master Spark
  • [SPARK-46893] [SC-154780][ui] Hapus skrip sebaris dari deskripsi UI
  • [SPARK-46910] [SC-154760][python] Hilangkan Persyaratan JDK dalam Penginstalan PySpark
  • [SPARK-46907] [SC-154736][core] Tampilkan lokasi log driver di Spark History Server
  • [SPARK-46902] [SC-154661][ui] Perbaiki UI Server Riwayat Spark untuk menggunakan setAppLimit yang tidak diekspor
  • [SPARK-46687] [SC-154725][python][CONNECT] Dukungan dasar profiler memori berbasis SparkSession
  • [SPARK-46623] [SC-153831][core][MLLIB][sql] Ganti SimpleDateFormat dengan DateTimeFormatter
  • [SPARK-46875] [SC-154627][sql] Ketika mode null, sebuah NullPointException harus not dilemparkan
  • [SPARK-46872] [SC-154543][core] Pulihkan log-view.js menjadi non-modul
  • [SPARK-46883] [SC-154629][core] Dukungan /json/clusterutilization API
  • [SPARK-46886] [SC-154630][core] Aktifkan spark.ui.prometheus.enabled secara default
  • [SPARK-46873] [SC-154638][ss] Jangan membuat ulang StreamingQueryManager baru untuk Sesi Spark yang sama
  • [SPARK-46829] [SC-154419][core] Hapus createExecutorEnv dari SparkEnv
  • [SPARK-46827] [SC-154280][core] Make RocksDBPersistenceEngine untuk mendukung tautan simbolis
  • [SPARK-46903] [SC-154662][core] Mendukung Antarmuka Log Server Riwayat Spark
  • [SPARK-46874] [SC-154646][python] Hapus pyspark.pandas dependensi dari assertDataFrameEqual
  • [SPARK-46889] [SC-154639][core] Validasi spark.master.ui.decommission.allow.mode pengaturan
  • [SPARK-46850] [SC-154443][sql] Konversi _LEGACY_ERROR_TEMP_2102 ke UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][core][UI] Perbaikan MasterPage untuk mengurutkan Running Drivers tabel menurut Duration kolom dengan benar
  • [SPARK-46796] [SC-154279][ss] Pastikan file jarak jauh yang benar (disebutkan dalam metadata.zip) digunakan pada beban versi RocksDB
  • [SPARK-46888] [SC-154636][core] Perbaikan Master untuk menolak /workers/kill/ permintaan jika penonaktifan dinonaktifkan
  • [SPARK-46818] [SC-154422][sql] Meningkatkan pesan kesalahan untuk Rentang dengan input yang tidak dapat dilipat
  • [SPARK-46898] [SC-154649][connect] Menyederhanakan transformasi fungsi protobuf dalam Planner
  • [SPARK-46828] [SC-154413][sql] Hapus pernyataan mode jarak jauh yang tidak valid untuk shell spark sql
  • [SPARK-46733] [SC-154274][core] Sederhanakan BlockManager dengan operasi keluar hanya bergantung pada utas interupsi.
  • [SPARK-46777] [SC-154016][ss] Struktur katalis refaktor StreamingDataSourceV2Relation agar lebih setara dengan versi batch
  • [SPARK-46515] [SC-151716] Menambahkan fungsi MONTHNAME
  • [SPARK-46823] [SC-154276][connect][PYTHON] LocalDataToArrowConversion perlu memeriksa keterdapatan nilai null
  • [SPARK-46787] [SC-154404][connect] bloomFilter fungsi harus melemparkan AnalysisException untuk input yang tidak valid
  • [SPARK-46779] [SC-154045][sql] InMemoryRelation instans dari rencana cache yang sama harus setara secara semantik
  • [SPARK-45827] [SC-153973] Melarang pemartisian pada kolom Varian
  • [SPARK-46797] [SC-154085][core] Ganti nama spark.deploy.spreadOut menjadi spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Mendukung Pelaksana Pembuatan Profil JVM
  • [SPARK-46746] [SC-153557][sql][AVRO] Lampirkan ekstensi codec ke file sumber data avro
  • [SPARK-46698] [SC-153288][core] Ganti Timer dengan eksekutor terjadwal utas tunggal untuk ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Perbaikan untuk jenis STRUCT DDL yang tidak mempertimbangkan nullability dan komentar.
  • [SPARK-46750] [SC-153772][connect][PYTHON] Pembersihan kode API DataFrame
  • [SPARK-46769] [SC-153979][sql] Memperbaiki inferensi skema terkait tanda waktu
  • [SPARK-46765] [SC-153904][python][CONNECT] Buat shuffle menentukan jenis data seed
  • [SPARK-46579] [SC-151481][sql] Redact JDBC url dalam kesalahan dan log
  • [SPARK-46686] [SC-153875][python][CONNECT] Dukungan dasar profiler Python UDF berbasis SparkSession
  • [SPARK-46748] Kembalikan "[SC-153800][core] Hapus *sla***.sh scri...
  • [SPARK-46707] [SC-153833][sql] Menambahkan bidang yang dapat dilemparkan ke ekspresi untuk meningkatkan pushdown predikat
  • [SPARK-46519] [SC-151278][sql] Hapus kelas kesalahan yang tidak digunakan dari error-classes.json file
  • [SPARK-46677] [SC-153426][sql][CONNECT] Memperbaiki resolusi dataframe["*"]
  • [SPARK-46317] [SC-150184][python][CONNECT] Cocokkan pencocokan perilaku kecil di SparkSession dengan cakupan pengujian penuh
  • [SPARK-46748] [SC-153800][core] Hapus *sla***.sh skrip
  • [SPARK-46663] [SC-153490][python] Nonaktifkan profiler memori untuk pandas UDFs dengan menggunakan iterator
  • [SPARK-46410] [SC-150776][sql] Menetapkan kelas/subkelas kesalahan ke JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][Python] Memvalidasi URL startup dengan konfigurasi yang diatur
  • [SPARK-46612] [SC-153536][sql] Jangan konversi string jenis array yang diambil dari driver jdbc
  • [SPARK-46254] [SC-149788][python] Hapus pemeriksaan versi Python 3.8/3.7 yang tidak relevan lagi
  • [SPARK-46490] [SC-151335][sql] Memerlukan kelas kesalahan di SparkThrowable sub-kelas
  • [SPARK-46383] [SC-153274][sc-147443][WARMFIX] Kurangi Penggunaan Memori Heap Driver dengan Mengurangi Masa Hidup TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][sql][CONNECT] Perbaiki referensi kolom ambigu dalam gabungan mandiri
  • [SPARK-46381] [SC-150495][sql] Migrasikan sub-kelas AnalysisException ke kelas kesalahan
  • [SPARK-46351] [SC-150335][sql] Memerlukan kelas kesalahan di AnalysisException
  • [SPARK-46220] [SC-149689][sql] Batasi charset di decode()
  • [SPARK-46369] [SC-150340][core] Hapus kill tautan dari RELAUNCHING driver di MasterPage
  • [SPARK-46052] [SC-153284][core] Hapus fungsi TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][sql] Dukungan GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][sql] Hapus inferTimestampNTZ yang tidak digunakan di ParquetReadSupport
  • [SPARK-46717] [SC-153423][core] Sederhanakan ReloadingX509TrustManager dengan operasi keluar hanya bergantung pada utas interupsi.
  • [SPARK-46722] [SC-153438][connect] Tambahkan pengujian mengenai pemeriksaan kompatibilitas mundur untuk StreamingQueryListener di Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][sql] Menyelaraskan implementasi codegen dan non-codegen dari StringDecode
  • [SPARK-46258] [SC-149799][core] Tambahkan RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][core] Meningkatkan FileSystemPersistenceEngine agar memungkinkan dukungan kompresi
  • [SPARK-46189] [SC-149567][ps][SQL] Lakukan perbandingan dan aritmatika antara jenis yang sama dalam berbagai fungsi agregat Panda untuk menghindari kesalahan mode yang ditafsirkan
  • [SPARK-46184] [SC-149563][core][SQL][connect][MLLIB] Kurangi kedalaman tumpukan dengan mengganti Option.isDefined dengan Option.isEmpty
  • [SPARK-46700] [SC-153329][core] Menghitung tumpahan terakhir untuk metrik byte tumpahan disk acak
  • [SPARK-45642] [SC-150286][core][SQL] Fix FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][sql] Fix RemoveRedundantAlias dengan mengecualikan atribut subkueri
  • [SPARK-46681] [SC-153287][core] Refaktor ExecutorFailureTracker#maxNumExecutorFailures untuk menghindari perhitungan defaultMaxNumExecutorFailures saat MAX_EXECUTOR_FAILURES dikonfigurasi
  • [SPARK-46695] [SC-153289][sql][HIVE] Selalu mengatur hive.execution.engine ke mr
  • [SPARK-46325] [SC-150228][connect] Hapus fungsi penggantian yang tidak perlu saat membangun WrappedCloseableIterator di ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][python] Migrasikan semua ValueError yang tersisa ke dalam kerangka kerja kesalahan PySpark.
  • [SPARK-46547] [SC-153174][ss] Menelan pengecualian non-fatal dalam tugas pemeliharaan untuk menghindari kebuntuan antara alur pemeliharaan dan operator agregasi streaming
  • [SPARK-46169] [SC-149373][ps] Tetapkan nomor JIRA yang sesuai untuk parameter yang hilang dari DataFrame API.
  • [SPARK-45857] [SC-148096][sql] Terapkan kelas kesalahan di sub-kelas AnalysisException

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver terbaru dan lakukan peningkatan (unduh ODBC, unduh JDBC).

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan untuk Databricks Runtime 15.0.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Danau Delta: 3.1.0

Perpustakaan Python terinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
asttoken 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 Azure Storage File Data Lake 12.14.0 panggilan balik 0.2.0
hitam 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools (perangkat untuk caching) 5.3.3 sertifikat 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klik 8.0.4 cloudpickle (perpustakaan Python untuk serialisasi objek) 2.2.1 comm 0.1.2
Contourpy 1.0.5 Kriptografi 41.0.3 pengendara sepeda 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 penghias 5.1.1 distlib 0.3.8
titik masuk 0,4 eksekusi 0.8.3 gambaran umum aspek 1.1.1
filelock 3.13.1 alat pengelola font 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth (autentikasi Google) 2.28.2
google-cloud-core 2.4.1 penyimpanan awan Google 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 IDNA 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
Jedi 0.18.1 Jeepney, kendaraan umum khas Filipina 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 gantungan kunci 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient (klien layanan web yang menggunakan RESTful) 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline (modul untuk menampilkan grafik secara inline) 0.1.6 mlflow-skinny (versi ringan) 2.11.1
more-itertools 8.10.0 ekstensi mypy 0.4.3 nest-asyncio 1.5.6
numpy (perpustakaan Python untuk operasi numerik) 1.23.5 oauthlib 3.2.0 pengemasan 23.2
Panda 2.0.3 parso 0.8.3 pathspec 0.10.3
kambing hitam 0.5.3 pexpect=4.8.0 4.8.0 pickleshare 0.7.5
Bantal 9.4.0 pipa 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML (paket untuk memproses bahasa YAML dalam Python) 6.0 pyzmq 23.2.0 requests 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy (perpustakaan Python untuk komputasi ilmiah) 1.11.1 Seaborn (perpustakaan Python untuk visualisasi data) 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 Enam 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels (paket Python untuk pemodelan statistik) 0.14.0 kegigihan 8.2.2 threadpoolctl 2.2.0
Tokenisasi-RT 4.2.1 Tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
pembaruan otomatis tanpa pengawasan 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Perpustakaan R yang terinstal

Pustaka R diinstal dari cuplikan CRAN Posit Package Manager pada 2023-02-10.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anak panah 14.0.0.2 askpass 1.2.0 pastikanbahwa 0.2.1
pemindahan fitur ke versi lama (backports) 1.4.1 dasar 4.3.2 base64enc 0.1-3
bigD 0.2.0 sedikit 4.0.5 bit-64 4.0.5
bitops 1.0-7 blob 1.2.4 sepatu bot 1.3-28
menyeduh 1.0-10 Brio 1.1.4 sapu 1.0.5
bslib 0.6.1 cashmere 1.0.8 layanan panggilan 3.7.3
caret 6.0-94 cellranger 1.1.0 kronogram 2.3-61
class 7.3-22 CLI 3.6.2 pemangkas 0.8.0
jam dinding 0.7.0 kluster 2.1.4 codetools 0.2-19
ruang warna 2.1-0 commonmark 1.9.1 pengkompilasi 4.3.2
config 0.3.2 Bimbang 1.2.0 cpp11 0.4.7
kriyon 1.5.2 kredensial 2.0.1 melengkung 5.2.0
data.table (sebuah paket untuk pengolahan data table) 1.15.0 kumpulan data 4.3.2 DBI 1.2.1
dbplyr 2.4.0 deskripsi 1.4.3 devtools 2.4.5
bagan 1.6.5 diffobj 0.3.5 digest 0.6.34
pencahayaan turun 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 elipsis 0.3.2 menilai 0.23
penggemar 1.0.6 warna-warna 2.1.1 pemetaan cepat 1.1.1
fontawesome 0.5.2 untuk kucing 1.0.0 foreach (pengulangan untuk setiap elemen) 1.5.2
asing 0.8-85 bengkel pandai besi 0.2.0 fs 1.6.3
masa depan 1.33.1 menerapkan di masa depan 1.11.1 kumur 1.5.2
obat generik 0.1.3 Gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 variabel global 0.16.2 lem 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
Grafik 4.3.2 grDevices 4.3.2 kisi 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtabel 0.3.4 topi keras 1.3.1 tempat aman 2.5.4
lebih tinggi 0.10 HMS 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Pengiterasi 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 JuicyJuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 Pelabelan 0.4.3
nanti 1.3.2 rangka 0.21-8 lahar 1.7.3
siklus hidup 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 Massa 7.3-60
Matrix 1.5-4.1 memosankan 2.0.1 Metode 4.3.2
mgcv 1.8-42 pantomim 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv Agustus 2016 - Januari 2017 openssl 2.1.1 paralel 4.3.2
secara paralel 1.36.0 pilar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 apresiasi 1.0.0
prettyunits 1.2.0 pROC 1.18.5 ProsesX 3.8.3
prodlim 28 Agustus 2023 profvis 0.3.8 Kemajuan 1.2.3
progresr 0.14.0 janji 1.2.1 proto 1.0.0
proksi 0,4-27 P.S. 1.7.6 menggeram lembut 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest (algoritma pembelajaran mesin) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 dapat direaksi 0.4.4
reactR 0.5.0 alat baca 2.1.5 readxl (membaca file Excel) 1.4.3
recipes 1.0.9 pertandingan ulang 2.0.0 pertandingan ulang 2 2.1.2
pengontrol jarak jauh 2.4.2.1 contoh replikasi 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 Sass 0.4.8
timbangan / sisik 1.3.0 selektor 0,4-2 informasi sesi 1.2.2
bentuk 1.4.6 mengkilap 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spasial 7.3-15 garis lengkung 4.3.2
sqldf 0,4-11 SQUAREM 2021.1 statistik 4.3.2
statistik4 4.3.2 string 1.8.3 stringr 1.5.1
bertahan hidup 3.5-5 gaya berani 3.33.1 Sistem 3.4.2
systemfonts 1.0.5 bahasa pemrograman Tcl/Tk 4.3.2 ujiitu 3.2.1
pemformatan teks 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 perubahan jam 0.3.0
TanggalWaktu 4032.109 tinytex 0.49 perangkat 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 gunakan ini 2.2.2
utf8 1.2.4 Utilitas 4.3.2 UUID (Pengidentifikasi Unik Universal) 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 kumis 0.4.1
dengan 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Pustaka Java dan Scala terinstal (versi kluster Scala 2.12)

ID Grup Identifikasi Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.390
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-impor-ekspor 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.390
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.390
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK Dukungan 1.12.390
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware bayangan-kriogenik 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core Jackson Annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine kafein 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib referensi_asli-java 1.1-penduduk asli
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib sistem_asli-java 1.1-penduduk asli
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-penduduk asli
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-penduduk asli
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone Annotasi yang rentan terhadap kesalahan 2.10.0
com.google.flatbuffers flatbuffers-java 26/05/2023
com.google.guava jambu 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger pembuat profil 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi kode_sumber_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (algoritma kompresi) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Tidak peduli 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrik dan anotasi 4.2.19
io.dropwizard.metrics inti metrik 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrik-jmx 4.2.19
io.dropwizard.metrics metrik-json 4.2.19
io.dropwizard.metrics metrik-jvm 4.2.19
io.dropwizard.metrics metrik-servlet 4.2.19
io.netty netty-all 4.1.96.Final
io.netty Netty Buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty Kelas netty-tcnative 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_umum 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine mentimun acar 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr StringTemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow format tanda panah 15.0.0
org.apache.arrow inti-memori-panah 15.0.0
org.apache.arrow Arrow-Memory-Netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-koleksi4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text (teks umum) 1.10.0
org.apache.curator kurator dan klien 2.13.0
org.apache.curator kerangka kerja kurator 2.13.0
org.apache.curator kurasi resep 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop lingkungan kerja klien Hadoop 3.3.6
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API penyimpanan hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.9
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy tanaman anggur 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus anotasi penonton 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.6.3
org.apache.zookeeper penjaga kebun binatang-jute 3.6.3
org.checkerframework pemeriksa kualitas 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections Koleksi gerhana 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty lanjutan dermaga 9.4.52.v20230823
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty Plus 9.4.52.v20230823
org.eclipse.jetty Jetty-Proxy 9.4.52.v20230823
org.eclipse.jetty keamanan jetty 9.4.52.v20230823
org.eclipse.jetty Jetty Server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Aplikasi web Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-klien 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-inti 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey biasa 2.40
org.glassfish.jersey.core Jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate Validator 6.1.7.Terakhir
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap pengganjal 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibel dengan ScalaTest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on