Databricks Runtime 15.1 (EoS)

Nota

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan dan akhir masa pakai. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 15.1, didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada Bulan April 2024.

Perubahan mencolok

Dukungan untuk Databricks Runtime 15.0 dan Databricks Runtime 15.0 untuk Machine Learning berakhir pada 31 Mei 2024 karena peningkatan pustaka pandas dari versi 1.5.3 ke 2.0.3 dalam 15.0 menyebabkan perubahan signifikan dalam beberapa API Apache Spark. Untuk detail perubahan besar, lihat pustaka Python pandas diturunkan ke 1.5.3. Untuk mengatasi ketidaksesuaian ini, Databricks telah merilis Databricks Runtime 15.1 dan Databricks Runtime 15.1 untuk Machine Learning. Fungsionalitas yang didukung oleh rilis ini sama dengan rilis 15.0, tetapi dengan versi panda diturunkan menjadi 1.5.3.

Setiap kluster atau pekerjaan yang ada yang menggunakan rilis Databricks Runtime 15.0 akan terus berfungsi tetapi tidak akan menerima pembaruan produk atau keamanan. Anda tidak dapat lagi mengonfigurasi komputasi baru yang menggunakan Databricks Runtime 15.0 atau Databricks Runtime 15.0 ML di UI Databricks. Jika Anda tidak menggunakan fitur atau API yang memerlukan panda 2.0+, Databricks merekomendasikan untuk mengalihkan beban kerja tersebut ke Databricks Runtime 15.1.

Jika Anda menggunakan fitur atau API yang hanya tersedia di pandas 2.0+ dan tidak menggunakan fungsi apa pun yang terdampak oleh versi ini, Databricks merekomendasikan untuk beralih ke Databricks Runtime 15.1 dan meningkatkan paket pandas default menggunakan pustaka cakupan kluster atau buku catatan. Misalnya, untuk meningkatkan pustaka panda di buku catatan Databricks, gunakan perintah berikut:

%pip install pandas==2.0.3

Perpustakaan Python Pandas diturunkan ke versi 1.5.3

Dalam rilis ini, pustaka panda diturunkan dari versi 2.0.3 ke 1.5.3. Penurunan versi ini diperlukan karena ketidaksesuaian dalam versi pandas 2.0.3 menyebabkan kesalahan di beberapa API pandas dalam fungsi Spark. Berikut ini mencantumkan fungsi yang terpengaruh oleh panda versi 2.0.3:

  • pyspark.date_range: Parameter closed hilang, menyebabkan kesalahan ketika fungsi ini dipanggil oleh kode yang ada.
  • Fungsionalitas GroupBy pada kolom MultiIndex mengalami perubahan, menyebabkan perilaku yang tidak terduga.
  • Beberapa atribut datetime dari DatetimeIndex (misalnya day, month, year, dan sebagainya) mengembalikan jenis data int32 alih-alih jenis data int64.

Fungsi PySpark spark.sql() sekarang gagal untuk jenis argumen yang tidak valid

Dalam Databricks Runtime 15.1 dan lebih baru, parameter args untuk parameter bernama atau posisi yang diteruskan ke fungsi spark.sql() harus berupa dictionary atau list. Jika ada jenis objek lain yang diteruskan, kesalahan berikut dimunculkan: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Menyimpan pustaka di akar DBFS tidak digunakan lagi dan dinonaktifkan secara default

Untuk meningkatkan keamanan pustaka di ruang kerja Azure Databricks, menyimpan file pustaka di akar DBFS tidak digunakan lagi dan dinonaktifkan secara default dimulai dengan Databricks Runtime 15.1. Databricks merekomendasikan pengunggahan semua pustaka, yang mencakup pustaka Python, file JAR, dan konektor Spark, ke file ruang kerja, volume katalog Unity, atau menggunakan repositori paket. Lihat Rekomendasi untuk mengunggah pustaka.

Untuk mengaktifkan kembali penyimpanan pustaka di akar DBFS, atur parameter konfigurasi Spark berikut: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Versi Python default ditingkatkan dari 3.10 ke 3.11

Dengan Databricks Runtime 15.1, versi Python default adalah 3.11.0. Untuk daftar pustaka Python yang ditingkatkan, lihat peningkatan Library.

JDK 11 dihapus

Seperti yang diumumkan sebelumnya, JDK 11 dihapus dari Databricks Runtime 15.1 dan yang lebih baru. Databricks merekomendasikan peningkatan ke JDK 17 saat meningkatkan ke Databricks Runtime 15.1 dan yang lebih baru. Lihat Databricks SDK untuk Java.

REPL Python sekarang menghentikan secara halus

Dengan Databricks Runtime 15.1, proses REPL Python notebook sekarang berakhir dengan lancar saat keluar. Ini menyebabkan atexit hooks dihormati. Misalnya, dalam alur kerja yang melibatkan beberapa tugas notebook Python, kait atexit yang terdaftar dalam tugas pertama akan dijalankan sebelum tugas notebook Python kedua dijalankan.

Fitur dan peningkatan baru

Klausa * (bintang) sekarang didukung dalam klausa WHERE

Sekarang Anda dapat menggunakan klausa bintang (*) dalam WHERE klausa untuk mereferensikan semua kolom dari SELECT daftar. Contohnya,SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Konfigurasi spark.sql.json.enablePartialResults sekarang diaktifkan secara default

Konfigurasi spark.sql.json.enablePartialResults Spark sekarang diaktifkan secara default, memungkinkan pengurai JSON menangani kesalahan penguraian dengan benar untuk jenis kompleks seperti struktur, peta, dan array tanpa menghilangkan bidang yang tersisa. Perubahan ini memperbaiki masalah konsistensi untuk sumber data JSON dengan pemangkasan kolom.

Perpustakaan kluster sekarang mendukung berkas requirements.txt

Anda sekarang dapat menginstal pustaka kluster menggunakan file yang requirements.txt disimpan dalam file ruang kerja atau volume Katalog Unity. Dalam kluster mode akses Khusus dan Standar , file dapat mereferensikan requirements.txt file lain. Dalam kluster mode akses berbagi tanpa isolasi, hanya paket PyPI yang didukung. Lihat Pustaka cakupan komputasi.

Databricks CLI sekarang tersedia di terminal web

Sekarang Anda dapat menggunakan Databricks CLI dari terminal web di buku catatan. Buku catatan harus dilampirkan ke kluster dalam mode akses Khusus atau Tanpa isolasi yang dibagi. Untuk detailnya, lihat Menggunakan terminal web dan Databricks CLI.

Menambahkan repositori Python default ke konfigurasi kluster

Di Databricks Runtime 15.1 dan yang lebih baru, Anda dapat mengonfigurasi parameter pip index-url dan extra-index-url global untuk penginstalan pustaka yang dicakup oleh kluster dan notebook saat mengonfigurasi atau menentukan kebijakan kluster. Untuk melakukannya, atur variabel DATABRICKS_PIP_INDEX_URL lingkungan dan DATABRICKS_PIP_EXTRA_INDEX_URL.

Terminal web tersedia pada kluster standar

Di Databricks Runtime 15.1 ke atas, Anda dapat menggunakan terminal web pada kluster dengan mode akses Standar .

Passthrough kredensial dan kontrol akses tabel metastore Hive tidak digunakan lagi

Credential passthrough dan pengendalian akses tabel metastore Hive adalah model tata kelola data lama. Tingkatkan ke Unity Catalog untuk menyederhanakan keamanan dan tata kelola data Anda dengan menyediakan tempat terpusat untuk mengelola dan mengaudit akses data di beberapa ruang kerja di akun Anda. Lihat Apakah itu Katalog Unity?.

Dukungan untuk pengalihan kredensial dan kontrol akses tabel metastore Hive akan dihapus dalam versi Runtime Databricks yang akan datang.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • hitam dari 22.6.0 hingga 23.3.0
    • boto3 dari 1.24.28 ke 1.34.39
    • botocore dari 1.27.96 ke 1.34.39
    • certifi dari 2022.12.7 hingga 2023.7.22
    • kriptografi dari 39.0.1 hingga 41.0.3
    • databricks-sdk dari 0.1.6 hingga 0.20.0
    • distlib dari 0.3.7 hingga 0.3.8
    • googleapis-common-protos dari 1.62.0 hingga 1.63.0
    • grpcio dari 1.48.2 ke 1.60.0
    • grpcio-status dari 1.48.1 ke 1.60.0
    • importlib-metadata dari 4.6.4 ke 6.0.0
    • ipykernel dari 6.25.0 ke 6.25.1
    • ipython dari 8.14.0 ke 8.15.0
    • ipywidgets dari 7.7.2 ke 8.0.4
    • jupyter_core dari 5.2.0 hingga 5.3.0
    • jupyterlab-widgets dari 1.0.0 hingga 3.0.5
    • matplotlib dari 3.7.0 ke 3.7.2
    • pip dari 22.3.1 hingga 23.2.1
    • platformdir dari 2.5.2 hingga 3.10.0
    • protobuf dari 4.24.0 ke 4.24.1
    • pyarrow dari 8.0.0 hingga 14.0.1
    • Pygments dari 2.11.2 ke 2.15.1
    • pyodbc dari 4.0.32 ke 4.0.38
    • permintaan dari 2.28.1 hingga 2.31.0
    • s3transfer dari 0.6.2 ke 0.10.0
    • scikit-learn dari 1.1.1 hingga 1.3.0
    • scipy dari 1.10.0 hingga 1.11.1
    • setuptools dari 65.6.3 hingga 68.0.0
    • statsmodel dari 0.13.5 hingga 0.14.0
    • tenacity dari 8.1.0 ke 8.2.2
    • tornado dari 6,1 hingga 6.3.2
    • typing_extensions dari 4.4.0 ke 4.7.1
    • urllib3 dari 1.26.14 hingga 1.26.16
    • virtualenv dari 20.16.7 hingga 20.24.2
    • widgetsnbextension dari 3.6.1 hingga 4.0.5
    • zipp dari 1.0.0 hingga 3.11.0
  • Pustaka R yang ditingkatkan:
    • panah dari 12.0.1 hingga 14.0.0.2
    • askpass dari 1.1 ke 1.2.0
    • basis dari 4.3.1 ke 4.3.2
    • brew dari 1,0-8 hingga 1,0-10
    • brio dari 1.1.3 ke 1.1.4
    • bslib dari 0,5,0 hingga 0,6,1
    • cli dari 3.6.1 hingga 3.6.2
    • commonmark dari 1.9.0 hingga 1.9.1
    • compiler dari 4.3.1 ke 4.3.2
    • konfigurasi dari 0.3.1 hingga 0.3.2
    • cpp11 dari 0.4.4 hingga 0.4.7
    • kredensial dari 1.3.2 hingga 2.0.1
    • curl dari 5.0.1 ke 5.2.0
    • data.table dari 1.14.8 hingga 1.15.0
    • himpunan data dari 4.3.1 hingga 4.3.2
    • DBI dari 1.1.3 hingga 1.2.1
    • dbplyr dari 2.3.3 ke 2.4.0
    • desc dari 1.4.2 ke 1.4.3
    • digest dari 0.6.33 ke 0.6.34
    • dplyr dari 1.1.2 ke 1.1.4
    • e1071 dari 1,7-13 ke 1,7-14
    • evaluasi dari 0,21 hingga 0,23
    • fansi dari 1.0.4 hingga 1.0.6
    • fontawesome dari 0.5.1 hingga 0.5.2
    • fs dari 1.6.2 hingga 1.6.3
    • di masa mendatang dari 1.33.0 hingga 1.33.1
    • future.apply dari 1.11.0 hingga 1.11.1
    • kumur dari 1.5.1 hingga 1.5.2
    • gert dari 1.9.2 ke 2.0.1
    • ggplot2 dari 3.4.2 ke 3.4.4
    • glmnet dari 4,1-7 hingga 4,1-8
    • lem dari 1.6.2 hingga 1.7.0
    • grafik dari 4.3.1 hingga 4.3.2
    • grDevices dari 4.3.1 ke 4.3.2
    • kisi dari 4.3.1 hingga 4.3.2
    • gtable dari 0.3.3 ke 0.3.4
    • hardhat dari 1.3.0 hingga 1.3.1
    • dari 2.5.3 hingga 2.5.4
    • htmltool dari 0.5.5 hingga 0.5.7
    • htmlwidgets dari 1.6.2 ke 1.6.4
    • httpuv dari 1.6.11 ke 1.6.14
    • httr dari 1.4.6 hingga 1.4.7
    • httr2 dari 0.2.3 ke 1.0.0
    • jsonlite dari 1.8.7 ke 1.8.8
    • knitr dari 1.43 hingga 1.45
    • pelabelan dari 0.4.2 ke 0.4.3
    • kemudian dari 1.3.1 hingga 1.3.2
    • Lava dari 1.7.2.1 hingga 1.7.3
    • siklus hidup dari 1.0.3 hingga 1.0.4
    • listenv dari 0.9.0 hingga 0.9.1
    • lubridat dari 1.9.2 hingga 1.9.3
    • markdown dari 1,7 hingga 1,12
    • metode dari 4.3.1 hingga 4.3.2
    • openssl dari 2.0.6 hingga 2.1.1
    • paralel dari 4.3.1 hingga 4.3.2
    • pkgbuild dari 1.4.2 ke 1.4.3
    • pkgload dari 1.3.2.1 ke 1.3.4
    • plyr dari versi 1.8.8 ke versi 1.8.9
    • prettyunits dari 1.1.1 hingga 1.2.0
    • pROC dari 1.18.4 ke 1.18.5
    • processx dari 3.8.2 hingga 3.8.3
    • prodlim dari 2023.03.31 hingga 2023.08.28
    • kemajuan dari 1.2.2 ke 1.2.3
    • progressr dari 0.13.0 ke 0.14.0
    • janji dari 1.2.0.1 hingga 1.2.1
    • ps dari 1.7.5 ke 1.7.6
    • purrr dari 1.0.1 hingga 1.0.2
    • ragg dari 1.2.5 ke 1.2.7
    • Rcpp dari 1.0.11 hingga 1.0.12
    • RcppEigen dari 0.3.3.9.3 ke 0.3.3.9.4
    • readr dari 2.1.4 hingga 2.1.5
    • resep dari 1.0.6 hingga 1.0.9
    • rematch dari 1.0.1 ke 2.0.0
    • jarak jauh dari 2.4.2 ke 2.4.2.1
    • reprex dari 2.0.2 ke 2.1.0
    • rlang dari 1.1.1 ke 1.1.3
    • rmarkdown dari 2,23 ke 2,25
    • RODBC dari 1,3-20 hingga 1,3-23
    • roxygen2 dari 7.2.3 ke 7.3.1
    • rprojroot dari 2.0.3 ke 2.0.4
    • Rserve dari 1,8-11 ke 1,8-13
    • RSQLite dari 2.3.1 ke 2.3.5
    • sass dari 0.4.6 ke 0.4.8
    • skala dari 1.2.1 ke 1.3.0
    • mengkilap dari 1.7.4.1 hingga 1.8.0
    • sparklyr dari 1.8.1 hingga 1.8.4
    • spline dari 4.3.1 hingga 4.3.2
    • statistik dari 4.3.1 hingga 4.3.2
    • stats4 dari 4.3.1 hingga 4.3.2
    • stringi dari 1.7.12 hingga 1.8.3
    • stringr dari 1.5.0 hingga 1.5.1
    • systemfonts dari 1.0.4 hingga 1.0.5
    • tcltk dari 4.3.1 ke 4.3.2
    • testthat dari 3.1.10 ke 3.2.1
    • textshaping dari 0.3.6 ke 0.3.7
    • tidyr dari 1.3.0 hingga 1.3.1
    • timechange dari 0.2.0 ke 0.3.0
    • timeDate dari 4022.108 hingga 4032.109
    • tinytex dari 0,45 hingga 0,49
    • alat dari 4.3.1 hingga 4.3.2
    • utf8 dari 1.2.3 ke 1.2.4
    • utils dari 4.3.1 ke 4.3.2
    • uuid dari 1.1-0 hingga 1.2-0
    • vctrs dari 0.6.3 hingga 0.6.5
    • vroom dari 1.6.3 hingga 1.6.5
    • waldo dari 0.5.1 hingga 0.5.2
    • withr dari 2.5.0 hingga 3.0.0
    • xfun dari 0,39 hingga 0,41
    • xml2 dari 1.3.5 hingga 1.3.6
    • yaml dari 2.3.7 hingga 2.3.8
    • zip dari 2.3.0 hingga 2.3.1
  • Pustaka Java yang ditingkatkan:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 dari 2.15.1 hingga 2.16.0
    • com.google.flatbuffers.flatbuffers-java dari 1.12.0 hingga 23.5.26
    • com.typeafe.config dari 1.2.1 ke 1.4.3
    • org.apache.ant.ant dari 1.9.16 ke 1.10.11
    • org.apache.ant.ant-jsch dari 1.9.16 ke 1.10.11
    • org.apache.ant.ant-launcher dari 1.9.16 hingga 1.10.11
    • org.apache.arrow.arrow-format dari 12.0.1 hingga 15.0.0
    • org.apache.arrow.arrow-memory-core dari 12.0.1 hingga 15.0.0
    • org.apache.arrow.arrow-memory-netty dari 12.0.1 hingga 15.0.0
    • org.apache.arrow.arrow-vector dari 12.0.1 hingga 15.0.0
    • org.apache.avro.avro dari 1.11.2 ke 1.11.3
    • org.apache.avro.avro-ipc dari 1.11.2 ke 1.11.3
    • org.apache.avro.avro-mapred dari 1.11.2 ke 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api dari 2.20.0 hingga 2.22.1
    • org.apache.logging.log4j.log4j-api dari 2.20.0 hingga 2.22.1
    • org.apache.logging.log4j.log4j-core dari 2.20.0 ke 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl dari 2.20.0 hingga 2.22.1
    • org.postgresql.postgresql dari 42.6.0 hingga 42.6.1

Apache Spark

Databricks Runtime 15.1 mencakup Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 14.3 LTS, serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-45527] [DBRRM-805][es-1073714] Kembali "[SC-151626][core] Gunakan pecahan untuk melakukan perhitungan sumber daya"
  • [SPARK-47102] [DBRRM-803][sc-158253][SQL] Tambahkan COLLATION_ENABLED bendera konfigurasi
  • [SPARK-46973] [SC-158140][dbrrm-777][SQL] Lewati pencarian tabel V2 saat tabel berada di cache tabel V1
  • [SPARK-46808] [SC-154113][python] Memperbaiki kelas kesalahan di Python dengan fungsi pengurutan otomatis
  • [SPARK-47251] [SC-158291][python] Blokir jenis yang tidak valid dari args argumen untuk sql perintah
  • [SPARK-47251] [SC-158121][python] Blokir jenis yang tidak valid dari args argumen untuk sql perintah
  • [SPARK-47108] [SC-157204][core] Diatur derby.connection.requireAuthentication ke false secara eksplisit di CLIs
  • [SPARK-45599] [SC-157537][core] Gunakan kesetaraan objek di OpenHashSet
  • [SPARK-47099] [SC-157352][sql] Gunakan ordinalNumber untuk mengatur nilai paramIndex untuk kelas kesalahan secara seragam UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][connect] Ekstrak fungsi pembantu untuk menghilangkan kode duplikat yang diambil MessageParameters dari ErrorParams dalam GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][connect] Menjadikan ProtoUtils.abbreviate mendukung bidang yang berulang
  • [SPARK-46342] [SC-150283][sql] Ganti IllegalStateException dengan SparkException.internalError dalam sql
  • [SPARK-47123] [SC-157412][core] JDBCRDD tidak menangani kesalahan dengan benar dalam getQueryOutputSchema
  • [SPARK-47189] [SC-157667][sql] Sesuaikan nama kesalahan kolom dan teks
  • [SPARK-45789] [SC-157101][sql] Dukungan DESCRIBE TABLE untuk kolom pengklusteran
  • [SPARK-43256] [SC-157699][sql] Hapus kelas kesalahan _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics memeriksa jenis input
  • [SPARK-47183] [SC-157660][python] Perbaiki kelas kesalahan untuk sameSemantics
  • [SPARK-47179] [SC-157663][sql] Meningkatkan pesan kesalahan dari SparkThrowableSuite untuk debuggability yang lebih baik
  • [SPARK-46965] [SC-155791][core] Cek logType di Utils.getLog
  • [SPARK-46832] [SC-156774][sql] Memperkenalkan ekspresi Kolasi dan Kolasi
  • [SPARK-46946] [SC-155721][sql] Mendukung siaran beberapa kunci pemfilteran di DynamicPruning
  • [SPARK-47079] [VARIANT-22][sc-157598][PYTHON][sql][CONNECT] Tambahkan info jenis varian ke PySpark
  • [SPARK-47101] [SC-157360][sql] Izinkan koma digunakan dalam nama kolom tingkat atas dan hapus pengecekan definisi tipe bersarang di HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][ss][UI] Perbaiki kesalahan ketik dalam penjelasan antarmuka pengguna streaming
  • [SPARK-47113] [SC-157348][core] Mengembalikan logika perbaikan titik akhir S3A SPARK-35878
  • [SPARK-47130] [SC-157462][core] Gunakan listStatus untuk melewati info lokasi blok saat membersihkan log driver
  • [SPARK-43259] [SC-157368][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec harus menginisialisasi proyeksi yang tidak aman
  • [SPARK-47137] [SC-157463][python][CONNECT] Tambahkan getAll ke spark.conf untuk paritas fitur dengan Scala
  • [SPARK-46924] [SC-154905][core] Perbaiki tombol Load New di Master/HistoryServer UI Log
  • [SPARK-47069] [SC-157370][python][CONNECT] Pengantar spark.profile.show/dump pembuatan profil berbasis SparkSession
  • [SPARK-46812] [SC-157075][sql][PYTHON] Menjadikan mapInPandas / mapInArrow mendukung ResourceProfile
  • [SPARK-46833] [SC-155866][sql] Kolase - Memperkenalkan CollationFactory yang menyediakan aturan perbandingan dan hashing untuk kolase yang didukung
  • [SPARK-47057] [SC-157036][python] Aktifkan kembali uji data MyPy
  • [SPARK-46934] [SC-157084][sql] Proses membaca/menulis bolak-balik untuk jenis struktur dengan karakter khusus dengan HMS
  • [SPARK-46727] [SC-153472][sql] Port classifyException() dalam dialek JDBC pada kelas kesalahan
  • [SPARK-46964] [SC-155740][sql] Ubah tanda tangan kesalahan eksekusi kueri hllInvalidLgK untuk mengambil bilangan bulat sebagai argumen ke-4
  • [SPARK-46949] [SC-155719][sql] Menyediakan dukungan CHAR/VARCHAR melalui ResolveDefaultColumns
  • [SPARK-46972] [SC-155888][sql] Perbaiki penggantian asimetris untuk char/varchar di V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][python][CONNECT] Menerapkan metode dumpPerfProfiles dan dumpMemoryProfiles dari SparkSession
  • [SPARK-46689] [SC-156221][spark-46690][PYTHON][connect] Mendukung pembuatan profil v2 di grup/cogroup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][connect] Izinkan Skrip Server Spark Connect menunggu
  • [SPARK-46688] [SC-156113][spark-46691][PYTHON][connect] Mendukung pembuatan profil v2 di Pandas UDF agregat
  • [SPARK-47004] [SC-156499][connect] Menambahkan lebih banyak pengujian ke ClientStreamingQuerySuite untuk meningkatkan cakupan pengujian klien Scala
  • [SPARK-46994] [SC-156169][Python] Refaktor PythonWrite untuk bersiap mendukung penulisan streaming sumber data Python
  • [SPARK-46979] [SC-156587][ss] Tambahkan dukungan untuk menentukan encoder kunci dan nilai secara terpisah dan juga untuk setiap keluarga col di penyedia penyimpanan status RocksDB
  • [SPARK-46960] [SC-155940][ss] Menguji Beberapa Aliran Input dengan operator TransformWithState
  • [SPARK-46966] [SC-156112][python] Tambahkan API UDTF untuk metode 'analisis' untuk menunjukkan subset kolom tabel input yang akan dipilih
  • [SPARK-46895] [SC-155950][core] Ganti Timer dengan penjadwal utas tunggal
  • [SPARK-46967] [SC-155815][core][UI] Sembunyikan Thread Dump dan Heap Histogram eksekutor Dead di Executors UI
  • [SPARK-46512] [SC-155826][core] Optimalkan pembacaan acak saat pengurutan dan gabungan digunakan.
  • [SPARK-46958] [SC-155942][sql] Tambahkan zona waktu yang hilang untuk memaksa nilai default
  • [SPARK-46754] [SC-153830][sql][AVRO] Perbaiki resolusi kode kompresi dalam definisi tabel avro dan opsi tulis
  • [SPARK-46728] [SC-154207][python] Periksa penginstalan Pandas dengan benar
  • [SPARK-43403] [SC-154216][ui] Pastikan SparkUI lama dalam HistoryServer telah dilepas sebelum memuat yang baru
  • [SPARK-39910] [SC-156203][sql] Delegasikan kualifikasi jalur file ke sistem berkas selama ekspansi jalur file DataSource
  • [SPARK-47000] [SC-156123] Batalkan “[SC-156123][core] Gunakan getTotalMemorySize...
  • [SPARK-46819] [SC-154560][core] Pindahkan kategori kesalahan dan status ke JSON
  • [SPARK-46997] [SC-156175][core] Aktifkan spark.worker.cleanup.enabled secara default
  • [SPARK-46865] [SC-156168][ss] Tambahkan Dukungan Batch untuk Operator TransformWithState
  • [SPARK-46987] [SC-156040][connect] ProtoUtils.abbreviate hindari operasi yang tidak perlu setField
  • [SPARK-46970] [SC-155816][core] Rewrite OpenHashSet#hasher dengan pattern matching
  • [SPARK-46984] [SC-156024][python] Hapus pyspark.copy_func
  • [SPARK-47000] [SC-156123][core] Gunakan getTotalMemorySize dalam WorkerArguments
  • [SPARK-46980] [SC-155914][sql][MINOR] Hindari menggunakan API internal dalam pengujian end-to-end dataframe
  • [SPARK-46931] Batalkan “[SC-155661][ps] Implement {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828][sql] Meningkatkan pesan kesalahan untuk kesalahan DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586][sql] Jalankan pengoptimal pada CREATE TABLE default kolom
  • [SPARK-46911] [SC-155724][ss] Menambahkan operator deleteIfExists ke StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Mendukung lz4raw codec kompresi untuk Parquet
  • [SPARK-47002] [SC-156223][python] Mengembalikan pesan kesalahan yang lebih baik jika bidang 'analisis' metode 'orderBy' UDTF secara tidak sengaja mengembalikan daftar string
  • [SPARK-46890] [SC-155802][sql] Perbaiki bug penguraian CSV dengan nilai default yang ada dan pruning kolom
  • [SPARK-46977] [SC-155892][core] Permintaan yang gagal untuk mendapatkan token dari satu NameNode tidak boleh melewati permintaan token berikutnya
  • [SPARK-46608] [SC-151806][sql] Memulihkan kompatibilitas mundur JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][sql] Mendukung klausul bintang dalam WHERE klausul
  • [SPARK-46908] [SC-155702][sql] Mendukung klausul bintang dalam WHERE klausul
  • [SPARK-46852] [SC-155665][ss] Hapus penggunaan encoder kunci eksplisit dan teruskan secara implisit ke operator untuk operator transformWithState
  • [SPARK-46864] [SC-155669][ss] Mengintegrasikan StateV2 Sembarang ke Dalam Kerangka Kesalahan Kelas Baru
  • [SPARK-45807] [SC-155706][sql] Return View setelah memanggil replaceView(..)
  • [SPARK-46899] [SC-154651][core] Hapus POST API dari MasterWebUI ketika spark.ui.killEnabled adalah false
  • [SPARK-46868] [SC-154539][core] Mendukung UI Log Pekerja Spark
  • [SPARK-46931] [SC-155661][ps] Mengimplementasikan {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][core] Hapus yang tidak digunakan updateSparkConfigFromProperties dan isAbsoluteURI di o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][core][CONNECT][ss] Gunakan metode ThreadUtils.shutdown untuk menutup pool thread.
  • [SPARK-46400] [SC-155658][core][SQL] Ketika ada file yang rusak di repositori maven lokal, lewati cache ini dan coba lagi
  • [SPARK-46932] [SC-155655] Bersihkan impor di pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Menulis generator subkueri yang menghasilkan permutasi subkueri untuk meningkatkan cakupan pengujian
  • [SPARK-46914] [SC-154776][ui] Pendekkan nama aplikasi dalam tabel ringkasan di Halaman Riwayat
  • [SPARK-46831] [SC-154699][sql] Kolase - Memperluas StringType dan PhysicalStringType dengan bidang collationId
  • [SPARK-46816] [SC-154415][ss] Tambahkan dukungan dasar untuk operator manajemen status arbitrer baru, jenis valueState tunggal, beberapa variabel status dan dukungan yang mendasari untuk keluarga kolom untuk RocksDBStateStoreProvider dengan/tanpa titik pemeriksaan changelog
  • [SPARK-46925] [SC-154890][python][CONNECT] Tambahkan peringatan yang menginstruksikan untuk menginstal memory_profiler untuk pembuatan profil memori
  • [SPARK-46927] [SC-154904][python] Memastikan assertDataFrameEqual berfungsi dengan benar tanpa PyArrow
  • [SPARK-46021] [SC-148987][core] Mendukung pembatalan pekerjaan di masa mendatang yang termasuk dalam kelompok pekerjaan
  • [SPARK-46747] [SC-154789][sql] Hindari pemindaian di getTableExistsQuery untuk Dialek JDBC
  • [SPARK-46904] [SC-154704][ui] Perbaiki masalah tampilan ringkasan UI Riwayat
  • [SPARK-46870] [SC-154541][core] Mendukung Antarmuka Log Master Spark
  • [SPARK-46893] [SC-154780][ui] Hapus skrip sebaris dari deskripsi UI
  • [SPARK-46910] [SC-154760][python] Hilangkan Persyaratan JDK dalam Penginstalan PySpark
  • [SPARK-46907] [SC-154736][core] Tampilkan lokasi log driver di Spark History Server
  • [SPARK-46902] [SC-154661][ui] Perbaiki UI Server Riwayat Spark untuk menggunakan setAppLimit yang tidak diekspor
  • [SPARK-46687] [SC-154725][python][CONNECT] Dukungan dasar profiler memori berbasis SparkSession
  • [SPARK-46623] [SC-153831][core][MLLIB][sql] Ganti SimpleDateFormat dengan DateTimeFormatter
  • [SPARK-46875] [SC-154627][sql] Ketika mode null, sebuah NullPointException harus not dilemparkan
  • [SPARK-46872] [SC-154543][core] Pulihkan log-view.js menjadi non-modul
  • [SPARK-46883] [SC-154629][core] Dukungan /json/clusterutilization API
  • [SPARK-46886] [SC-154630][core] Aktifkan spark.ui.prometheus.enabled secara default
  • [SPARK-46873] [SC-154638][ss] Jangan membuat ulang StreamingQueryManager baru untuk Sesi Spark yang sama
  • [SPARK-46829] [SC-154419][core] Hapus createExecutorEnv dari SparkEnv
  • [SPARK-46827] [SC-154280][core] Make RocksDBPersistenceEngine untuk mendukung tautan simbolis
  • [SPARK-46903] [SC-154662][core] Mendukung Antarmuka Log Server Riwayat Spark
  • [SPARK-46874] [SC-154646][python] Hapus pyspark.pandas dependensi dari assertDataFrameEqual
  • [SPARK-46889] [SC-154639][core] Validasi spark.master.ui.decommission.allow.mode pengaturan
  • [SPARK-46850] [SC-154443][sql] Konversi _LEGACY_ERROR_TEMP_2102 ke UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][core][UI] Perbaikan MasterPage untuk mengurutkan Running Drivers tabel menurut Duration kolom dengan benar
  • [SPARK-46796] [SC-154279][ss] Pastikan file jarak jauh yang benar (disebutkan dalam metadata.zip) digunakan pada beban versi RocksDB
  • [SPARK-46888] [SC-154636][core] Perbaikan Master untuk menolak /workers/kill/ permintaan jika penonaktifan dinonaktifkan
  • [SPARK-46818] [SC-154422][sql] Meningkatkan pesan kesalahan untuk Rentang dengan input yang tidak dapat dilipat
  • [SPARK-46898] [SC-154649][connect] Menyederhanakan transformasi fungsi protobuf dalam Planner
  • [SPARK-46828] [SC-154413][sql] Hapus pernyataan mode jarak jauh yang tidak valid untuk shell spark sql
  • [SPARK-46733] [SC-154274][core] Sederhanakan BlockManager dengan operasi keluar hanya bergantung pada utas interupsi.
  • [SPARK-46777] [SC-154016][ss] Struktur katalis refaktor StreamingDataSourceV2Relation agar lebih setara dengan versi batch
  • [SPARK-46515] [SC-151716] Menambahkan fungsi MONTHNAME
  • [SPARK-46823] [SC-154276][connect][PYTHON] LocalDataToArrowConversion perlu memeriksa keterdapatan nilai null
  • [SPARK-46787] [SC-154404][connect] bloomFilter fungsi harus melemparkan AnalysisException untuk input yang tidak valid
  • [SPARK-46779] [SC-154045][sql] InMemoryRelation instans dari rencana cache yang sama harus setara secara semantik
  • [SPARK-45827] [SC-153973] Melarang pemartisian pada kolom Varian
  • [SPARK-46797] [SC-154085][core] Ganti nama spark.deploy.spreadOut menjadi spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Mendukung Pelaksana Pembuatan Profil JVM
  • [SPARK-46746] [SC-153557][sql][AVRO] Lampirkan ekstensi codec ke file sumber data avro
  • [SPARK-46698] [SC-153288][core] Ganti Timer dengan eksekutor terjadwal utas tunggal untuk ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Perbaikan untuk DDL tipe STRUCT yang tidak menangkap nullability dan komentar.
  • [SPARK-46750] [SC-153772][connect][PYTHON] Pembersihan kode API DataFrame
  • [SPARK-46769] [SC-153979][sql] Memperbaiki inferensi skema terkait tanda waktu
  • [SPARK-46765] [SC-153904][python][CONNECT] Buat shuffle menentukan jenis data seed
  • [SPARK-46579] [SC-151481][sql] Redact JDBC url dalam kesalahan dan log
  • [SPARK-46686] [SC-153875][python][CONNECT] Dukungan dasar profiler Python UDF berbasis SparkSession
  • [SPARK-46748] Kembalikan "[SC-153800][core] Hapus *slav**.sh scri...
  • [SPARK-46707] [SC-153833][sql] Menambahkan bidang yang dapat dilemparkan ke ekspresi untuk meningkatkan pushdown predikat
  • [SPARK-46519] [SC-151278][sql] Hapus kelas kesalahan yang tidak digunakan dari error-classes.json file
  • [SPARK-46677] [SC-153426][sql][CONNECT] Memperbaiki resolusi dataframe["*"]
  • [SPARK-46317] [SC-150184][python][CONNECT] Cocokkan pencocokan perilaku kecil di SparkSession dengan cakupan pengujian penuh
  • [SPARK-46748] [SC-153800][core] Hapus *slav**.sh skrip
  • [SPARK-46663] [SC-153490][python] Nonaktifkan profiler memori untuk pandas UDFs dengan menggunakan iterator
  • [SPARK-46410] [SC-150776][sql] Menetapkan kelas/subkelas kesalahan ke JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][Python] Memvalidasi URL startup dengan konfigurasi yang diatur
  • [SPARK-46612] [SC-153536][sql] Jangan konversi string jenis array yang diambil dari driver jdbc
  • [SPARK-46254] [SC-149788][python] Hapus pemeriksaan versi Python 3.8/3.7 yang tidak relevan lagi
  • [SPARK-46490] [SC-151335][sql] Memerlukan kelas kesalahan di SparkThrowable sub-kelas
  • [SPARK-46383] [SC-153274][sc-147443][WARMFIX] Kurangi Penggunaan Memori Heap Driver dengan Mengurangi Masa Hidup TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][sql][CONNECT] Perbaiki referensi kolom ambigu dalam gabungan mandiri
  • [SPARK-46381] [SC-150495][sql] Migrasikan sub-kelas AnalysisException ke kelas kesalahan
  • [SPARK-46351] [SC-150335][sql] Memerlukan kelas kesalahan di AnalysisException
  • [SPARK-46220] [SC-149689][sql] Batasi charset di decode()
  • [SPARK-46369] [SC-150340][core] Hapus kill tautan dari RELAUNCHING driver di MasterPage
  • [SPARK-46052] [SC-153284][core] Hapus fungsi TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][sql] Dukungan GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][sql] Hapus inferTimestampNTZ yang tidak digunakan di ParquetReadSupport
  • [SPARK-46717] [SC-153423][core] Sederhanakan ReloadingX509TrustManager dengan operasi keluar hanya bergantung pada utas interupsi.
  • [SPARK-46722] [SC-153438][connect] Tambahkan pengujian mengenai pemeriksaan kompatibilitas mundur untuk StreamingQueryListener di Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][sql] Menyelaraskan implementasi codegen dan non-codegen dari StringDecode
  • [SPARK-46258] [SC-149799][core] Tambahkan RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][core] Meningkatkan FileSystemPersistenceEngine agar memungkinkan dukungan kompresi
  • [SPARK-46189] [SC-149567][ps][SQL] Lakukan perbandingan dan aritmatika antara jenis yang sama dalam berbagai fungsi agregat Panda untuk menghindari kesalahan mode yang ditafsirkan
  • [SPARK-46184] [SC-149563][core][SQL][connect][MLLIB] Kurangi kedalaman tumpukan dengan mengganti Option.isDefined dengan Option.isEmpty
  • [SPARK-46700] [SC-153329][core] Menghitung tumpahan terakhir untuk metrik byte tumpahan disk acak
  • [SPARK-45642] [SC-150286][core][SQL] Fix FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][sql] Fix RemoveRedundantAlias dengan mengecualikan atribut subkueri
  • [SPARK-46681] [SC-153287][core] Refaktor ExecutorFailureTracker#maxNumExecutorFailures untuk menghindari perhitungan defaultMaxNumExecutorFailures saat MAX_EXECUTOR_FAILURES dikonfigurasi
  • [SPARK-46695] [SC-153289][sql][HIVE] Selalu mengatur hive.execution.engine ke mr
  • [SPARK-46325] [SC-150228][connect] Hapus fungsi penggantian yang tidak perlu saat membangun WrappedCloseableIterator di ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][python] Migrasikan semua ValueError yang tersisa ke dalam kerangka kerja kesalahan PySpark.
  • [SPARK-46547] [SC-153174][ss] Menelan pengecualian non-fatal dalam tugas pemeliharaan untuk menghindari kebuntuan antara alur pemeliharaan dan operator agregasi streaming
  • [SPARK-46169] [SC-149373][ps] Tetapkan nomor JIRA yang sesuai untuk parameter yang hilang dari DataFrame API.
  • [SPARK-45857] [SC-148096][sql] Terapkan kelas kesalahan di sub-kelas AnalysisException

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Pembaruan pemeliharaan

Lihat Pembaruan Pemeliharaan Databricks Runtime 15.1.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Danau Delta: 3.1.0

Perpustakaan Python terinstal

Pustaka Versi Pustaka Versi Pustaka Versi
asttoken 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob (penyimpanan blob di Azure) 12.19.1 azure-storage-file-datalake 12.14.0 panggilan balik 0.2.0
hitam 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 sertifikat 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klik 8.0.4 cloudpickle 2.2.1 komunikasi 0.1.2
konturpy 1.0.5 kriptografi 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
titik masuk 0,4 menjalankan 0.8.3 ikhtisar-faset 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 Jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 gantungan kunci digital 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 ekstensi mypy 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 pengemasan 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
kambing hitam 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdir 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modul 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 permintaan 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 six 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets=5.0.5 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
pembaruan tanpa pengawasan 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Perpustakaan R yang terinstal

Pustaka R diinstal dari cuplikan CRAN Posit Package Manager pada 2023-02-10.

Pustaka Versi Pustaka Versi Pustaka Versi
anak panah 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 dasar 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 memulai ulang 1.3-28
brew 1.0-10 brio 1.1.4 sapu 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
kelas 7.3-22 cli 3.6.2 clipr 0.8.0
Jam 0.7.0 kluster 2.1.4 codetools 0.2-19
ruang warna 2.1-0 commonmark 1.9.1 pengompilasi 4.3.2
konfigurasi 0.3.2 Berkonflik 1.2.0 cpp11 0.4.7
crayon 1.5.2 kredensial 2.0.1 curl 5.2.0
data.table 1.15.0 kumpulan data 4.3.2 DBI 1.2.1
dbplyr 2.4.0 deskripsi 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 digest 0.6.34
lampu sorot bawah 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 elipsis 0.3.2 evaluate 0.23
penggemar 1.0.6 warna 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
asing 0.8-85 membuat 0.2.0 fs 1.6.3
masa depan 1.33.1 future.apply 1.11.1 gargle 1.5.2
tipe generik 0.1.3 Gert 2.0.1 ggplot2 3.4.4
GH 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 variabel global 0.16.2 lem 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafis 4.3.2 grDevices 4.3.2 kisi 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 helm keselamatan 1.3.1 tempat perlindungan 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterator 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 pelabelan 0.4.3
nanti 1.3.2 lattice 0.21-8 lava 1.7.3
siklus hidup 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 Massa 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 metode 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 paralel 4.3.2
secara paralel 1.36.0 pilar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 pujian 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 kemajuan 1.2.3
progressr 0.14.0 janji 1.2.1 proto 1.0.0
proksi 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 dapat direaksi 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 pertandingan ulang 2.0.0 rematch2 2.1.2
pengendali jarak jauh 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
timbangan 1.3.0 selectr 0.4-2 informasi sesi 1.2.2
bentuk 1.4.6 mengkilap 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spasial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 statistik 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
kelangsungan hidup 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
pembentukan teks 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 perubahan waktu 0.3.0
timeDate 4032.109 tinytex 0,49 perangkat 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 gunakanini 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 serabut 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Pustaka Java dan Scala terinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-elemen asli
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-elemen asli
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-elemen asli
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-elemen asli
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone penandaan_rentan_kesalahan 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfigurasi 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrik-anotasi 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrik-cek kesehatan 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrik-json 4.2.19
io.dropwizard.metrics metrik-jvm 4.2.19
io.dropwizard.metrics metrik-servlet 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-kelas 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator klien-koordinator 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy tanaman ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus anotasi-audiens 0.13.0
org.apache.zookeeper Zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap ganjal 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka-uji 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibel dengan Scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on