Databricks Runtime 10.5 (EoS)

Nota

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan dan akhir masa pakai. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 10.5, didukung oleh Apache Spark 3.2.1. Databricks merilis versi ini pada Bulan Mei 2022.

Fitur dan peningkatan baru

SQL: Fungsi baru to_number dan try_to_number

Fungsito_number dan try_to_number fungsi memungkinkan Anda mengonversi representasi karakter angka dalam berbagai format menjadi DECIMAL.

SQL: Fungsi baru try_sum

Tidak seperti sum, try_sum fungsi agregat mengembalikan NULL alih-alih kesalahan ketika luapan terjadi.

SQL: Memperbarui ke fungsi ceil, ceiling, dan floor

Fungsiceil, fungsi ceiling, dan fungsi floor sekarang mendukung argumen opsional kedua untuk menentukan skala target.

SQL: Fungsi agregat baru regr_avgx dan regr_avgy

Fungsi agregat baruregr_avgx dan regr_avgy fungsi agregat mendukung regresi linier.

SQL: Memperbarui ke fungsi contains, startswith, dan endswith

Fungsicontains, startswith fungsi, dan endswith fungsi sekarang mendukung jenis data biner sebagai input selain string.

SQL: Fungsi baru array_size

Fungsi baru array_size menghitung ukuran array.

Katalog Unity: Output SQL LIST menghapus kolom is_directory dan menambahkan / tambahan untuk jalur direktori (Pratinjau Publik)

Output dari pernyataan SQL LIST untuk deretan jalur yang dikelola oleh Unity Catalog telah berubah. Kolom is_directory tidak lagi ditampilkan. Sebagai gantinya, jalur yang mewakili direktori sekarang diakhiri dengan garis miring (/) untuk kolom path dan name. Perubahan ini untuk konsistensi dengan keluaran dbutils.fs.ls dari perintah.

Auto Loader: fungsi SQL baru CLOUD_FILES_STATE

Anda dapat menggunakan fungsi baru CLOUD_FILES_STATE untuk menanyakan status internal aliran Auto Loader; lihat Meminta file yang ditemukan oleh Auto Loader.

Auto Loader: Dukungan notifikasi file sekarang tersedia secara umum

Dukungan pemberitahuan file untuk Apa itu Pemuat Otomatis? di Google Cloud sekarang tersedia secara umum.

Delta Lake: opsi maxRecordsPerFile baru untuk catatan maksimum yang ditulis ke satu file

Saat Anda menggunakan API DataFrame untuk menulis ke tabel Delta, Anda dapat menggunakan opsi maxRecordsPerFile untuk menentukan jumlah maksimum catatan yang akan ditulis ke satu file. Menentukan nilai nol atau nilai negatif tidak menunjukkan batas. Lihat Mengontrol ukuran file data.

Penghentian Koala

Koalas sekarang sudah usang. Koalas menyediakan pandas API di atas Apache Spark. Koala dikontribusikan oleh komunitas dan telah tersedia sebagai pandas API di Spark mulai dari Apache Spark 3.2. Koalas terus diinstal secara default untuk Databricks Runtime 10.5, tetapi Koalas tidak akan lagi diinstal secara default mulai versi Databricks Runtime berikutnya.

Untuk mempelajari lebih lanjut tentang pandas API di Spark, lihat:

Kolom Baru _metadata untuk semua format file

Anda bisa mendapatkan informasi metadata untuk file input dengan kolom _metadata. Kolom _metadatadisembunyikan. Kolom ini tersedia untuk semua format file input. Untuk menyertakan kolom _metadata dalam DataFrame yang dikembalikan, Anda harus secara eksplisit merujuk kolom ini dalam kueri Anda. Lihat Kolom Metadata File.

Menguji alur Anda dengan Databricks Runtime 10.5

Databricks Runtime 10.5 sekarang menjadi versi yang didukung preview untuk Lakeflow Spark Declarative Pipelines. Untuk menguji pipeline Anda dengan Databricks Runtime 10.5, atur pengaturan channel ke preview di pengaturan pipeline Anda.

Pemulihan kesalahan perangkat lunak

  • Memperbaiki tampilan numUpdatedRows dan numCopiedRows hasil metrik untuk operasi pembaruan pada tabel Delta yang mengaktifkan pengambilan data perubahan (CDC).

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • plotly dari 5.5.0 hingga 5.6.0
  • Pustaka R yang ditingkatkan:
    • base dari 4.1.2 hingga 4.1.3
    • caret dari 6.0-90 hingga 6.0-91
    • cluster dari 2.1.2 hingga 2.1.3
    • commonmark dari 1.7 ke 1.8.0
    • compiler dari 4.1.2 hingga 4.1.3
    • crayon dari 1.5.0 ke 1.5.1
    • datasets dari 4.1.2 hingga 4.1.3
    • desc dari 1.4.0 hingga 1.4.1
    • fansi dari versi 1.0.2 menjadi versi 1.0.3
    • glue dari 1.6.1 hingga 1.6.2
    • grafik dari 4.1.2 hingga 4.1.3
    • grDevices dari 4.1.2 hingga 4.1.3
    • Grid dari versi 4.1.2 hingga 4.1.3
    • knitr dari 1.37 hingga 1.38
    • MASS dari 7.3-55 hingga 7.3-56
    • Matrix dari 1.4-0 hingga 1.4-1
    • metode dari 4.1.2 hingga 4.1.3
    • mgcv dari 1.8-39 hingga 1.8-40
    • nlme dari 3.1-155 hingga 3.1-157
    • openssl dari 1.4.6 hingga 2.0.0
    • parallel dari 4.1.2 hingga 4.1.3
    • plyr dari 1.8.6 hingga 1.8.7
    • processx dari 3.5.2 hingga 3.5.3
    • r2d3 dari 0.2.5 hingga 0.2.6
    • Rcpp dari 1.0.8 hingga 1.0.8.3
    • rlang dari 1.0.1 hingga 1.0.2
    • rmarkdown dari 2.11 hingga 2.13
    • RSQLite dari 2.2.10 hingga 2.2.11
    • sass dari 0.4.0 hingga 0.4.1
    • splines dari 4.1.2 hingga 4.1.3
    • statistik dari 4.1.2 hingga 4.1.3
    • stats4 dari 4.1.2 hingga 4.1.3
    • tcltk dari 4.1.2 hingga 4.1.3
    • tools dari 4.1.2 hingga 4.1.3
    • utils dari 4.1.2 hingga 4.1.3
    • uuid dari 1.0-3 hingga 1.0-4
    • waldo dari 0.3.1 hingga 0.4.0
    • withr dari 2.4.3 hingga 2.5.0
    • xfun dari 0.29 hingga 0.30
  • Pustaka Java yang ditingkatkan:
    • com.h2database.h2 dari 1.4.195 ke 2.1.210
    • org.apache.hadoop.hadoop-client-api dari 3.3.1-databricks ke 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime dari 3.3.1 hingga 3.3.2
    • org.rocksdb.rocksdbjni dari 6.24.2 hingga 6.20.3

Apache Spark

Databricks Runtime 10.5 termasuk Apache Spark 3.2.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 10.4 LTS (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-38354] [SC-97886] Mengembalikan “[SQL] Menambahkan metrik pemeriksaan hash untuk gabungan hash yang diacak”
  • [SPARK-38484] [SAS-103][sas-111][SAS-113][sc-98102][Cherry-Pick] Modul Instrument PySpark SQL dengan pencatat penggunaan umum
  • [SPARK-38333] [SQL] Ekspresi PlanExpression harus melompati fungsi addExprTree di Executor
  • [SPARK-38646] [PYTHON][10.x] Menarik sifat untuk fungsi Python
  • [SPARK-38674] [PHOTON] Menambahkan metrik ke PhotonSubqueryBroadcastExec
  • [SPARK-38787] [SS] Mengganti nilai yang ditemukan dengan elemen non-null di daftar yang tersisa untuk kunci dan hapus elemen nol yang tersisa dari nilai di penyimpanan keyWithIndexToValue untuk gabungan aliran-aliran
  • [SPARK-38446] [Core] Memperbaiki kebuntuan antara ExecutorClassLoader dan FileDownloadCallback yang disebabkan oleh Log4j
  • [SPARK-38705] [SQL] Menggunakan pengidentifikasi fungsi dalam membuat dan melepaskan perintah fungsi
  • [SPARK-38684] [SS] Memperbaiki masalah ketepatan pada penggabungan luar antar aliran dengan penyimpanan status RocksDB
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase tidak dapat menemukan baris offset yang inputnya bukan null
  • [SPARK-38204] [SS] Menggunakan StatefulOpClusteredDistribution untuk operasi berstatus dengan tetap menghormati kompatibilitas mundur
  • [SPARK-38616] [SQL] Melacak teks kueri SQL di Catalyst TreeNode
  • [SPARK-38600] [SQL] Menyertakan unit ke dalam string sql TIMESTAMPADD/DIFF
  • [SPARK-34805] [SQL] Menyebarkan metadata dari kolom berlapis di Alias
  • [SPARK-38535] [SQL] Menambahkan datetimeUnit enum dan gunakan di TIMESTAMPADD/DIFF
  • [SPARK-38415] [SQL] Memperbarui jenis hasil histogram_numeric (x, y) menjadi x == jenis input
  • [SPARK-38148] [SQL] Tidak menambahkan pemangkasan partisi dinamis jika ada pemangkasan partisi statis
  • [SPARK-37527] [SQL] Mengompilasi COVAR_POP, COVAR_SAMP dan CORR di H2Dialet
  • [SPARK-38510] [SQL] Mencoba lagi ClassSymbol.selfType untuk mengatasi referensi siklus
  • [SPARK-38509] [SQL] Membatalkan pendaftaran fungsi TIMESTAMPADD/DIFF dan menghapus DATE_ADD/DIFF
  • [SPARK-38504] [SQL] Tidak dapat membaca TimestampNTZ sebagai TimestampLTZ
  • [SPARK-38526] [SQL] Memperbaiki nama alias fungsi yang menyesatkan untuk RuntimeReplaceable
  • [SPARK-38335] [SQL] Menerapkan dukungan pengurai untuk nilai kolom DEFAULT
  • [SPARK-38593] [SS] Mentranfer metrik jumlah peristiwa terlambat yang telah dihapus ke dalam SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] Menambahkan numRowsDroppedByWatermark ke SessionWindowStateStoreRestoreExec
  • [SPARK-38583] [SQL] Memulihkan perilaku to_timestamp yang memungkinkan jenis numerik
  • [SPARK-38481] [SQL] Ganti pengecualian luapan Java dari TIMESTAMPADD dengan pengecualian Spark
  • [SPARK-37753] [SQL] Menyesuaikan logika untuk menurunkan penggabungan hash Broadcast dalam DynamicJoinSelection
  • [SPARK-37582] [SPARK-37583][sql] CONTAINS, STARTSWITH, ENDSWITH harus mendukung jenis string dan biner
  • [SPARK-38345] [SQL] Memperkenalkan fungsi SQL ARRAY_SIZE
  • [SPARK-38385] [SQL] Meningkatkan pesan kesalahan pernyataan kosong dan <EOF> di ParseException
  • [SPARK-37614] [SQL] Mendukung Fungsi Agregat ANSI: regr_avgx ®r_avgy
  • [SPARK-38560] [SQL] Jika Sum, Count, Any disertai dengan yang berbeda, tidak dapat melakukan pendorongan agg parsial ke bawah.
  • [SPARK-38360] [SQL][ss][PYTHON] Memperkenalkan exists fungsi untuk TreeNode menghilangkan pola kode duplikat
  • [SPARK-38385] [SQL] Meningkatkan pesan kesalahan kasus 'input yang tidak cocok' dari ANTLR
  • [SPARK-38240] [SQL] Meningkatkan RuntimeReplaceable dan tambahkan panduan untuk menambahkan fungsi baru
  • [SPARK-38542] [SQL]UnsafeHashedRelation perlu men-serialkan numKeys keluar
  • [SPARK-38521] [SQL] Mengubah partitionOverwriteMode dari string menjadi variabel di Skala
  • [SPARK-38558] [SQL] Menghapus transmisi yang tidak perlu antara IntegerType dan IntDecimal
  • [SPARK-38489] [SQL] Aggregate.groupOnly mendukung ekspresi yang dapat dilipat
  • [SPARK-38410] [SQL] Mendukung penentuan nomor partisi awal untuk penyeimbangan kembali
  • [SPARK-38107] [SQL] Menggunakan kelas kesalahan dalam kesalahan kompilasi UDF python/pandas
  • [SPARK-38354] [SQL] Menambahkan metrik pemeriksaan hash untuk gabungan hash yang diacak
  • [SPARK-38112] [SQL] Menggunakan kelas kesalahan dalam kesalahan eksekusi penanganan tanggal/stempel waktu
  • [SPARK-38361] [SQL] Menambahkan metode pabrik getConnection ke JDBCDialect.
  • [SPARK-37865] [SQL] Memperbaiki bug keakuratan deduplikasi UNION
  • [SPARK-38298] [SQL][tests] Fix DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite dalam mode ANSI
  • [SPARK-38407] [SQL] ANSI Cast: melonggarkan batasan pemerubahan jenis kompleks non-null
  • [SPARK-38352] [SQL] Memperbaiki DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite di bawah mode ANSI
  • [SPARK-38054] [SQL] Mendukung daftar namespace dalam dialek MySQL JDBC v2
  • [SPARK-37960] [SQL] Kerangka kerja baru untuk mewakili ekspresi katalis dalam DS v2 API
  • [SPARK-38103] [SQL] Memigrasikan kesalahan penguraian dari transformasi ke dalam kerangka kesalahan baru
  • [SPARK-38519] [SQL] AQE harus melempar pengecualian dengan mempertimbangkan SparkFatalException
  • [SPARK-38528] [SQL] Dengan bersemangat mengulangi urutan agregat saat membuat daftar proyek di ExtractGenerator
  • [SPARK-38320] [SS] Memperbaiki habis waktu flatMapGroupsWithState pada batch dengan data untuk kunci
  • [SPARK-38442] [SQL] Memperbaiki ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite di bawah mode ANSI
  • [SPARK-38268] [SQL] Menyembunyikan bidang "failOnError" dalam metode toString Abs/CheckOverflow
  • [SPARK-37949] [SQL] Meningkatkan estimasi statistik penyeimbangan ulang
  • [SPARK-38450] [SQL] Memperbaiki HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite dalam mode ANSI
  • [SPARK-38501] [SQL] Memperbaiki kegagalan pengujian thriftserver di bawah mode ANSI
  • [SPARK-37895] [SQL] Memfilter dorong ke bawah kolom dengan kolom yang dikutip
  • [SPARK-38449] [SQL] Menghindari panggilan createTable saat ignoreIfExists=true dan tabel ada
  • [SPARK-38406] [SQL] Meningkatkan kinerja dari ShufflePartitionsUtil createSkewPartitionSpecs
  • [SPARK-37947] [SQL] Mengekstrak generator dari ekspresi GeneratorOuter yang dimuat oleh operator Generate.
  • [SPARK-38309] [CORE] Memperbaiki SHS shuffleTotalReads dan shuffleTotalBlocks metrik persentil
  • [SPARK-38412] [SS] Memperbaiki urutan yang ditukar dari dan ke pada StateSchemaCompatibilityChecker
  • [SPARK-38267] [CORE][sql][SS] Ganti kecocokan pola pada ekspresi boolean dengan pernyataan bersyarat
  • [SPARK-38104] [SQL] Memigrasikan kesalahan penguraian jendela ke dalam kerangka kerja kesalahan baru
  • [SPARK-38434] [SQL] Semantik yang benar dari metode CheckAnalysis.getDataTypesAreCompatibleFn
  • [SPARK-38033] [SS] Pemrosesan SS tidak dapat dimulai karena com…
  • [SPARK-38378] [SQL] Pemfaktoran ulang definisi tata bahasa ANTLR menjadi file Parser dan Lexer yang terpisah
  • [SPARK-37475] [SQL] Menambahkan parameter skala ke fungsi lantai dan langit-langit
  • [SPARK-38411] [CORE] Menggunakan UTF-8 saat doMergeApplicationListingInternal membaca log peristiwa
  • [SPARK-36553] [ML] KMeans menghindari penghitungan statistik tambahan untuk K besar
  • [SPARK-38393] [SQL] Membersihkan penggunaan GenSeq/GenMap yang tidak digunakan lagi
  • [SPARK-38389] [SQL] Menambahkan alias DATEDIFF() dan DATE_DIFF() untuk TIMESTAMPDIFF()
  • [SPARK-33206] [CORE][3.2] Perbaikan penghitungan bobot cache indeks acak pada file indeks yang kecil
  • [SPARK-38353] [PYTHON] Menginstrumenkan metode khusus __enter__ dan __exit__ untuk Pandas API di Spark
  • [SPARK-38323] [SQL][streaming] Mendukung metadata file tersembunyi di Streaming
  • [SPARK-38138] [SQL] Mematerialisasi subkueri QueryPlan
  • [SPARK-38094] Mengaktifkan pencocokan nama kolom skema berdasarkan ID bidang
  • [SPARK-37923] [SQL] Menghasilkan transformasi partisi untuk BucketSpec di dalam parser
  • [SPARK-38363] [SQL] Menghindari kesalahan runtime di Dataset.summary()/Dataset.describe() saat mode ANSI aktif
  • [SPARK-38284] [SQL] Menambahkan TIMESTAMPDIFF() fungsi
  • [SPARK-38251] [SQL] Mengubah Cast.toString sebagai "cast" bukan "ansi_cast" dalam mode ANSI
  • [SPARK-38314] [SQL] Perbaikan masalah gagal membaca file parquet setelah penulisan metadata file yang tersembunyi.

Lihat Pembaruan pemeliharaan Databricks Runtime 10.5.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Danau Delta: 1.2.1

Perpustakaan Python terinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
Antergos Linux 2015.10 (ISO-Bergulir) direktori aplikasi 1.4.4 argon2-cffi 20.1.0
pembangkit asinkron 1.10 atribut 20.3.0 panggilan balik 0.2.0
bidict 0.21.4 pemutih 3.3.0 boto3 1.16.7
botocore 1.19.7 sertifikat 5.12.2020 cffi 1.14.5
chardet 4.0.0 pengendara sepeda 0.10.0 Cython 0.29.23
dbus-python 1.2.16 penghias 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 titik masuk 0,3
gambaran umum aspek 1.0.0 filelock 3.6.0 IDNA 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client (klien Jupyter) 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 Koala 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 penyetelan salah 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 buku catatan 6.3.0 numpy (perpustakaan Python untuk operasi numerik) 1.20.1
pengemasan 20.9 Panda 1.2.4 Pandocfilters 1.4.3
parso 0.7.0 kambing hitam 0.5.1 pexpect=4.8.0 4.8.0
pickleshare 0.7.5 Bantal 8.2.0 pipa 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy (perpustakaan Python untuk komputasi ilmiah) 1.6.2 Seaborn (perpustakaan Python untuk visualisasi data) 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 Enam 1.15.0
ssh-import-id 5.10 statsmodels (paket Python untuk pemodelan statistik) 0.12.2 kegigihan 8.0.1
selesai 0.9.4 jalur uji 0.4.4 threadpoolctl 2.1.0
Tornado 6.1 traitlets 5.0.5 pembaruan otomatis tanpa pengawasan 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings=0.5.1 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Perpustakaan R terpasang

Pustaka R diinstal dari snapshot CRAN Microsoft pada 2022-03-28.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
askpass 1.1 pastikanbahwa 0.2.1 pemindahan fitur ke versi lama (backports) 1.4.1
dasar 4.1.3 base64enc 0.1-3 sedikit 4.0.4
bit-64 4.0.5 blob 1.2.2 sepatu bot 1.3-28
menyeduh 1.0-7 Brio 1.1.3 sapu 0.7.12
bslib 0.3.1 cashmere 1.0.6 layanan panggilan 3.7.0
caret 6.0-91 cellranger 1.1.0 kronogram 2.3-56
class 7.3-20 CLI 3.2.0 pemangkas 0.8.0
kluster 2.1.3 codetools 0.2-18 ruang warna 2.0-3
commonmark 1.8.0 pengkompilasi 4.1.3 config 0.3.1
cpp11 0.4.2 kriyon 1.5.1 kredensial 1.3.2
melengkung 4.3.2 data.table (sebuah paket untuk pengolahan data table) 1.14.2 kumpulan data 4.1.3
DBI 1.1.2 dbplyr 2.1.1 deskripsi 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
elipsis 0.3.2 menilai 0.15 penggemar 1.0.3
warna-warna 2.1.0 pemetaan cepat 1.1.0 fontawesome 0.2.2
untuk kucing 0.5.1 foreach (pengulangan untuk setiap elemen) 1.5.2 asing 0.8-82
bengkel pandai besi 0.2.0 fs 1.5.2 masa depan 1.24.0
menerapkan di masa depan 1.8.1 kumur 1.2.0 obat generik 0.1.2
Gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 variabel global 0.14.0
lem 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 Grafik 4.1.3 grDevices 4.1.3
kisi 4.1.3 gridExtra 2.3 gsubfn 0.7
gtabel 0.3.0 topi keras 0.2.0 tempat aman 2.4.3
lebih tinggi 0,9 HMS 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Pengiterasi 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.38 Pelabelan 0.4.2
nanti 1.3.0 rangka 0.20-45 lahar 1.6.10
siklus hidup 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Markdown 1.1 Massa 7.3-56
Matrix 1.4-1 memosankan 2.0.1 Metode 4.1.3
mgcv 1.8-40 pantomim 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv Agustus 2016 - Januari 2017 openssl 2.0.0
paralel 4.1.3 secara paralel 1.30.0 pilar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 apresiasi 1.0.0
prettyunits 1.1.1 pROC 1.18.0 ProsesX 3.5.3
prodlim 2019.11.13 Kemajuan 1.2.2 progresr 0.10.0
janji 1.2.0.1 proto 1.0.0 proksi 0.4-26
P.S. 1.6.0 menggeram lembut 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest (algoritma pembelajaran mesin) 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 alat baca 2.1.2 readxl (membaca file Excel) 1.3.1
recipes 0.2.0 pertandingan ulang 1.0.1 pertandingan ulang 2 2.1.2
pengontrol jarak jauh 2.4.2 contoh replikasi 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown 2.13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.1
timbangan / sisik 1.1.1 selektor 0,4-2 informasi sesi 1.2.2
bentuk 1.4.6 mengkilap 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spasial 7.3-11
garis lengkung 4.1.3 sqldf 0,4-11 SQUAREM 2021.1
statistik 4.1.3 statistik4 4.1.3 string 1.7.6
stringr 1.4.0 bertahan hidup 3.2-13 Sistem 3.4
bahasa pemrograman Tcl/Tk 4.1.3 TeachingDemos 2.10 ujiitu 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 TanggalWaktu 3043.102 tinytex 0,37
perangkat 4.1.3 tzdb 0.2.0 gunakan ini 2.1.5
utf8 1.2.2 Utilitas 4.1.3 UUID (Pengidentifikasi Unik Universal) 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.4.0 kumis 0,4 dengan 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Pustaka Java dan Scala terinstal (versi kluster Scala 2.12)

ID Grup Identifikasi Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.189
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-impor-ekspor 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.189
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.189
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS Java SDK Dukungan 1.12.189
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware bayangan-kriogenik 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core Jackson Annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine kafein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib rujukan_asli-java-natives 1.1
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib native_sistem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava jambu 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger pembuat profil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi kode_sumber_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.ning compress-lzf (algoritma kompresi) 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
commons-net commons-net 3.1
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Tidak peduli 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0,21%
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics inti metrik 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrik-jmx 4.1.1
io.dropwizard.metrics metrik-json 4.1.1
io.dropwizard.metrics metrik-jvm 4.1.1
io.dropwizard.metrics metrik-servlet 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_umum 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
pohon ahli hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine Pyrolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
jaring.bunga salju snowflake-jdbc 3.13.3
jaring.bunga salju spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr StringTemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format tanda panah 2.0.0
org.apache.arrow inti-memori-panah 2.0.0
org.apache.arrow Arrow-Memory-Netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text (teks umum) 1.6
org.apache.curator kurator dan klien 2.13.0
org.apache.curator kerangka kerja kurator 2.13.0
org.apache.curator kurasi resep 2.13.0
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop hadoop-klien-api 3.3.2-databricks
org.apache.hadoop lingkungan kerja klien Hadoop 3.3.2
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API penyimpanan hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.9
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy tanaman anggur 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus anotasi penonton 0.5.0
org.apache.zookeeper penjaga kebun binatang 3.6.2
org.apache.zookeeper penjaga kebun binatang-jute 3.6.2
org.checkerframework pemeriksa kualitas 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty lanjutan dermaga 9.4.43.v20210629
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty Jetty Plus 9.4.43.v20210629
org.eclipse.jetty Jetty-Proxy 9.4.43.v20210629
org.eclipse.jetty keamanan jetty 9.4.43.v20210629
org.eclipse.jetty Jetty Server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty Aplikasi web Jetty 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket-API 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-klien 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-inti 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey biasa 2.34
org.glassfish.jersey.core Jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator Hibernate Validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client (klien Java untuk MariaDB) 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap pengganjal 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark tidak digunakan 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on