Databricks Runtime 8.4 (tidak didukung)
Catatan rilis berikut memberikan informasi tentang Databricks Runtime 8.4 dan Databricks Runtime 8.4 Photon, didukung oleh Apache Spark 3.1.2. Databricks merilis citra ini pada Juli 2021. Photon berada pada Pratinjau Umum.
Fitur dan peningkatan baru
- Fitur dan peningkatan Delta Lake
- Fitur dan peningkatan Auto Loader
- Peningkatan konektor
- Perbaikan bug
Fitur dan peningkatan Delta Lake
- Umpan data perubahan tabel Delta (GA)
- Memuat tabel Delta bersama dengan mudah menggunakan Databricks Runtime
- Lebih banyak manfaat tabel dari pemangkasan file dinamis
- Performa yang lebih baik dengan penyetelan ukuran file target otomatis
- Lebih banyak cara untuk menentukan tabel di
DeltaTable.forName - Penulisan multi-tabel streaming yang kuat menggunakan
foreachBatch - Peningkatan performa kueri baca di beban kerja tertentu karena titik pemeriksaan yang disetel
- Membuat
GroupStateuntuk menguji fungsi Structured Streaming yang ditentukan pengguna
Umpan data perubahan tabel Delta (GA)
Umpan data perubahan tabel Delta sekarang tersedia secara umum. Ini mewakili perubahan tingkat baris antara versi tabel yang berbeda. Saat diaktifkan, informasi tambahan direkam mengenai perubahan tingkat baris untuk setiap operasi penulisan pada tabel. Harap lihat Menggunakan umpan data perubahan Delta Lake pada Azure Databricks.
Memuat tabel Delta bersama dengan mudah menggunakan Databricks Runtime
Konektor Apache Spark untuk Delta Sharing 0.1.0 kini ada di Databricks Runtime. Anda dapat memuat tabel bersama menggunakan spark.read.format("deltaSharing").load(uri) secara langsung tanpa melampirkan konektor Delta Sharing Spark ke kluster Anda.
Lebih banyak manfaat tabel dari pemangkasan file dinamis
Fitur pemangkasan file dinamis telah disetel untuk dipicu pada tabel dengan file yang lebih sedikit. Lihat Pemangkasan file dinamis.
Performa yang lebih baik dengan penyetelan ukuran file target otomatis
Ukuran file target untuk tabel Delta kini disetel secara otomatis berdasarkan ukuran tabel. Sebelumnya, ukuran file target untuk OPTIMIZE dan OPTIMIZE ZORDER BY adalah sebesar 1 GB. Dengan penyetelan otomatis berdasarkan ukuran tabel, tabel Delta hingga 2,56 TB akan menggunakan 256 MB sebagai ukuran target. Tabel yang lebih besar dari 10 TB akan menggunakan 1 GB seperti sebelumnya. Tabel antara ukuran ini akan menggunakan ukuran target yang bertumbuh secara proporsional dengan ukuran tabel.
Lihat Mengonfigurasi Delta Lake untuk mengontrol ukuran file data.
Lebih banyak cara untuk menentukan tabel di DeltaTable.forName
DeltaTable.forName kini mendukung penggunaan delta.`<path>` untuk mengidentifikasi tabel.
Penulisan multi-tabel streaming yang kuat menggunakan foreachBatch
Penulisan streaming Delta idempotent dalam perintah foreachBatch() sekarang didukung. Untuk detailnya, lihat Penulisan multi-tabel idempotent.
Peningkatan performa kueri baca di beban kerja tertentu karena titik pemeriksaan yang disetel
Delta Lake kini menyetel seberapa sering titik pemeriksaan ditingkatkan. Alih-alih melakukan pemeriksaan pada interval tetap, Delta sekarang secara dinamis menyesuaikan frekuensi titik pemeriksaan berdasarkan pemicu peristiwa tertentu. Hal ini meningkatkan performa kueri baca di beban kerja tempat beberapa pengoptimalan data tidak dapat diterapkan sebelumnya. Untuk menggunakan pengoptimalan ini, tingkatkan pekerjaan Anda yang ditulis ke Delta Lake ke Databricks Runtime 8.4. Lihat Mengaktifkan titik pemeriksaan yang disempurnakan untuk kueri Streaming Terstruktur.
Membuat GroupState untuk menguji fungsi Structured Streaming yang ditentukan pengguna
Hingga saat ini, hanya mesin Structured Streaming yang dapat membuat instans GroupState. Oleh karena itu, setiap pengujian unit dari fungsi yang ditentukan pengguna perlu menjalankan kueri streaming di Apache Spark.
Sekarang Anda dapat membuat instans GroupState menggunakan TestGroupState.create(…). Ini memungkinkan Anda menguji fungsi yang ditentukan pengguna dalam pengujian unit sederhana yang tidak memerlukan eksekusi Spark. Lihat Menguji fungsi pembaruan mapGroupsWithState. Secara khusus, fungsi ini menghasilkan instans jenis TestGroupState yang memperluas antarmuka GroupState dengan metode tambahan untuk mengintrospeksi status internal setelah fungsi yang ditentukan pengguna diterapkan.
Fitur dan peningkatan Auto Loader
- Mengonfigurasi pengisian ulang untuk menangkap file yang tidak ada
- Jejak penyimpanan terikat untuk aliran volume besar
- Konfigurasi sederhana dengan dukungan tanpa jalur
Mengonfigurasi pengisian ulang untuk menangkap file yang tidak ada
Auto Loader kini mendukung melakukan pengisian ulang secara asinkron untuk menangkap file apa pun yang mungkin terlewatkan dengan pemberitahuan file. Sistem penyimpanan file dan sistem pemberitahuan tidak dapat menjamin pengiriman peristiwa file 100%. Oleh karena itu Databricks merekomendasikan untuk mengaktifkan pengisian ulang berkala untuk menangkap semua data Anda dengan Auto Loader. Gunakan opsi cloudFiles.backfillInterval untuk menjadwalkan pengisian ulang reguler atas data Anda. Lihat Opsi Auto Loader Umum.
Jejak penyimpanan terikat untuk aliran volume besar
Anda kini dapat mengonfigurasi Auto Loader agar kedaluwarsa dan menghapus entri di RocksDB untuk membatasi jejak penyimpanannya di lokasi titik pemeriksaan. Databricks tidak merekomendasikan mengatur parameter ini kecuali Anda menyerap data dengan urutan jutaan file per jam. Mengatur opsi ini dengan salah atau mencoba menyetelnya dapat menyebabkan banyak masalah kualitas data, seperti file yang belum diproses diabaikan atau duplikat beberapa file, bukan sekali pemrosesan dengan tepat. Untuk detailnya, lihat Retensi acara.
Konfigurasi sederhana dengan dukungan tanpa jalur
Wadah S3
Anda kini dapat menyediakan antrean SQS yang menerima peristiwa dari beberapa jalur atau wadah S3.
Jika Anda memberikan URL antrean SQS, opsi path tidak diperlukan untuk kasus penggunaan ini.
Auto Loader mengonstruksi jalur S3 menggunakan wadah dan kunci dari peristiwa S3. Jika Anda ingin membaca file melalui titik pemasangan DBFS, Anda dapat menggunakan cloudFiles.pathRewrites untuk mengubah awalan jalur ke DBFS. Ini tidak diperlukan kecuali Anda mengakses data di akun yang berbeda dengan AssumeRole.
Lihat Opsi pemberitahuan file.
Kontainer Azure Data Lake Storage Gen2
Anda kini dapat menyediakan antrean Azure yang menerima peristiwa dari beberapa kontainer.
Jika Anda memberikan nama antrean Azure, opsi path tidak diperlukan.
Secara default, Auto Loader mengonstruksi jalur Azure Data Lake Storage Gen2 menggunakan kontainer dan kunci dalam peristiwa file.
Jika Anda ingin menggunakan jalur WASB atau titik pemasangan DBFS, Anda dapat menggunakan cloudFiles.pathRewrites untuk mengubah awalan jalur.
Lihat Opsi pemberitahuan file.
Peningkatan konektor
- Konektor Snowflake Spark telah diperbarui ke v2.9.0.
- Enkripsi KMS kini didukung dalam pernyataan
UNLOADkonektor Redshift.
Perbaikan bug
- Memperbaiki masalah untuk kluster yang diaktifkan dengan kontrol akses tabel di mana
select * from folderdapat menampilkan konten folder meskipun pengguna tidak memiliki izin akses file. - Pemilik database non-admin kini dapat menjatuhkan tabel yang tidak dimiliki dalam database. Ini memperbaiki masalah ketika pemilik database tidak dapat menjatuhkan database jika tabel yang tidak dimiliki ada dalam database.
Peningkatan pustaka
- Pustaka Python yang ditingkatkan:
- certifi ditingkatkan dari 2020.12.5 ke 2021.5.30
- distill ditingkatkan dari 0.3.1 ke 0.3.2
- koalas ditingkatkan dari 1.8.0 ke 1.8.1
- protobuf ditingkatkan dari 3.17.0 ke 3.17.3
- Pustaka R yang ditingkatkan:
- base dari 4.0.4 ke 4.1.0
- boot dari 1.3-27 ke 1.3-28
- class dari 7.3-18 ke 7.3-19
- cluster dari 2.1.1 ke 2.1.2
- compiler dari 4.0.4 ke 4.1.0
- datasets dari 4.0.4 ke 4.1.0
- graphics dari 4.0.4 ke 4.1.0
- grDevices dari 4.0.4 ke 4.1.0
- grid dari 4.0.4 ke 4.1.0
- KernSmooth dari 2.23-18 ke 2.23-20
- lattice dari 0.20-41 ke 0.20-44
- MASS dari 7.3-53.1 ke 7.3-54
- Matrix dari 1.3-2 ke 1.3-3
- metode dari 4.0.4 ke 4.1.0
- mgcv dari 1.8-33 ke 1.8-35
- nnet dari 7.3-15 ke 7.3-16
- paralel dari 4.0.4 ke 4.1.0
- Rserve dari 1.8-7 ke 1.8-8
- SparkR dari 3.1.1 ke 3.1.2
- splines dari 4.0.4 ke 4.1.0
- stats dari 4.0.4 ke 4.1.0
- stats4 dari 4.0.4 ke 4.1.0
- survival dari 3.2-7 ke 3.2-11
- tcltk dari 4.0.4 ke 4.1.0
- tools dari 4.0.4 ke 4.1.0
- utils dari 4.0.4 ke 4.1.0
- Pustaka Java yang ditingkatkan:
- snowflake-jdbc dari 3.12.8 ke 3.13.3
- spark-snowflake_2.12 dari 2.8.1-spark_3.0 ke 2.9.0-spark_3.1
- RoaringBitmap dari 0.9.0 ke 0.9.14
- shims dari 0.9.0 ke 0.9.14
- rocksdbjni dari 6.2.2 ke 6.20.3
Apache Spark
Databricks Runtime 8.4 menyertakan Apache Spark 3.1.2. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 8.3 (tidak didukung), serta perbaikan bug dan peningkatan tambahan berikut yang dilakukan pada Spark:
- [SPARK-35792] [SQL] Tampilan tidak akan menangkap konfigurasi yang digunakan di
RelationConversions - [SPARK-35700] [SQL] Baca tabel orc char/varchar ketika dibuat dan ditulis oleh sistem eksternal
- [SPARK-35636] [SQL] Kunci Lambda tidak akan dirujuk di luar fungsi lambda
- [SPARK-35800] [Cherry Pick] Meningkatkan kelayakan uji GroupState dengan memperkenalkan TestGroupState
- [SPARK-35391] Memperbaiki kebocoran memori di ExecutorAllocationListener
- [SPARK-35799] [CherryPick] Memperbaiki pengukuran metrik allUpdatesTimeMs di FlatMapGroupsWithStateExec
- [SPARK-35763] [SS] Menghapus dependensi enumerasi subkelas StateStoreCustomMetric
- [SPARK-35791 [SQL] Merilis peta yang sedang berlangsung dengan benar untuk gabungan NULL-aware ANTI
- [SPARK-35695] [SQL] Mengumpulkan metrik yang diamati dari sub-pohon eksekusi yang di-cache dan adaptif
- [SPARK-35767] [SQL] Menghindari eksekusi rencana turunan dua kali di CoalesceExec
- [SPARK-35746] [UI] Memperbaiki taskid di garis waktu peristiwa tugas halaman tahap
- [SPARK-35673] [SQL] Memperbaiki petunjuk yang ditentukan pengguna dan petunjuk yang tidak dikenal dalam kueri bertumpuk.
- [SPARK-35714] [CORE] Perbaikan bug untuk kebuntuan selama matinya eksekutor
- [SPARK-35689] [SS] Menambahkan peringatan log saat keyWithIndexToValue mengembalikan nilai null
- [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint tidak akan mengabaikan file shuffle khusus indeks selama pembaruan
- [SPARK-35643] [PYTHON] Memperbaiki referensi ambigu di kolom functions.py()
- [SPARK-35652] [SQL] joinWith pada dua tabel yang dihasilkan dari yang sama
- [SPARK-35679] [SQL] instantToMicros meluap
- [SPARK-35602] [SS] Memperbarui skema status untuk dapat menerima JSON berdurasi panjang
- [SPARK-35653] [SQL] Memperbaiki kegagalan jalur yang ditafsirkan CatalystToExternalMap untuk Peta dengan kelas kasus sebagai kunci atau nilai
- [SPARK-35296] [SQL] Mengizinkan Dataset.observe berfungsi meskipun CollectMetricsExec dalam satu tugas menangani beberapa partisi.
- [SPARK-35659] [SS] Menghindari penulisan null untuk StateStore
- [SPARK-35665] [SQL] Menyelesaikan UnresolvedAlias di CollectMetrics
- [SPARK-35558] Mengoptimalkan pengambilan multi-kuantil
- [SPARK-35621] [SQL] Menambahkan pemangkasan id aturan untuk aturan TypeCoercion
- [SPARK-35077] [SQL] Memigrasi ke transformWithPruning untuk aturan pengoptimal sisa
- [SPARK-35610] [CORE] Memperbaiki kebocoran memori yang diperkenalkan oleh kait mati berhenti Executor
- [SPARK-35544] [SQL] Menambahkan pemangkasan pola pohon ke aturan Analyzer
- [SPARK-35566] [SS] Memperbaiki baris output StateStoreRestoreExec
- [SPARK-35454] [SQL][3.1] Satu LogicalPlan dapat mencocokkan beberapa id himpunan data
- [SPARK-35538] [SQL] Memigrasikan situs panggilan transformAllExpressions untuk menggunakan transformAllExpressionsWithPruning
- [SPARK-35106] [Core][SQL] Menghindari kegagalan penggantian nama yang disebabkan oleh tidak adanya direktori tujuan
- [SPARK-35287] [SQL] Mengizinkan RemoveRedundantProjects untuk menyimpan ProjectExec yang menghasilkan UnsafeRow untuk DataSourceV2ScanRelation
- [SPARK-35495] [R] Mengubah pemelihara SparkR untuk CRAN
- [SPARK-27991] [CORE] Menunda permintaan pengambilan di Netty OOM
- [SPARK-35171] [R] Mendeklarasikan paket penurunan sebagai dependensi paket SparkR
- [SPARK-35454] [SQL] Satu LogicalPlan dapat mencocokkan beberapa id himpunan data
- [SPARK-35298] [SQL] Memigrasi ke transformWithPruning untuk aturan dalam Optimizer.scala
- [SPARK-35480] [SQL] Membuat percentile_approx bekerja dengan pivot
- [SPARK-35093] [SQL] AQE sekarang menggunakan rencana NewQueryStage sebagai kunci untuk mencari pertukaran yang di-cache untuk digunakan kembali
- [SPARK-35146] [SQL]Memigrasi ke transformWithPruning atau resolveWithPruning untuk aturan di finishAnalysis.scala
- [SPARK-35411] [SQL] Menambahkan informasi penting saat membuat serial TreeNode ke json
- [SPARK-35294] [SQL] Menambahkan pemangkasan traversal pohon dalam aturan dengan file khusus di bawah pengoptimal
- [SPARK-34897] [SQL][3.1] Mendukung skema rekonsiliasi berdasarkan indeks setelah pemangkasan kolom bersarang
- [SPARK-35144] [SQL] Memigrasi ke transformWithPruning untuk aturan objek
- [SPARK-35155] [SQL] Menmbahkan pemangkasan id aturan ke aturan Analyzer
- [SPARK-35382] [PYTHON] Memperbaiki masalah nama variabel lambda dalam fungsi DataFrame bersarang di API Python.
- [SPARK-35359] [SQL] Menyisipkan data dengan jenis data char/varchar akan gagal ketika panjang data melebihi batasan
- [SPARK-35381] [R] Memperbaiki masalah nama variabel lambda dalam fungsi urutan yang lebih tinggi bersarang di API R
Lingkungan sistem
- Sistem Operasi: Ubuntu 18.04.5 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.8
- R: 4.1.0 (2021-05-18)
- Delta Lake 1.0.0
Pustaka Python yang diinstal
| Pustaka | Versi | Pustaka | Versi | Pustaka | Versi |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2021.5.30. {0} | cffi | 1.14.3 | chardet | 3.0.4 |
| cryptography | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| decorator | 4.4.2 | distlib | 0.3.2 | docutils | 0.15.2 |
| titik masuk | 0,3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | koalas | 1.8.1 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| patsy | 0.5.1 | pexpect=4.8.0 | 4.8.0 | pickleshare | 0.7.5 |
| pip | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| permintaan | 2.24.0 | retrying | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | six | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tornado | 6.0.4 | traitlets=5.0.5 | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| wheel | 0.35.1 |
Pustaka R yang diinstal
Pustaka R diinstal dari snapshot Microsoft CRAN pada 02-11-2020.
| Pustaka | Versi | Pustaka | Versi | Pustaka | Versi |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
| dasar | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| boot | 1.3-28 | brew | 1.0-6 | brio | 1.1.0 |
| broom | 0.7.2 | callr | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | kelas | 7.3-19 |
| cli | 2.2.0 | clipr | 0.7.1 | klaster | 2.1.2 |
| codetools | 0.2-18 | colorspace | 2.0-0 | commonmark | 1.7 |
| compiler | 4.1.0 | config | 0,3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | crayon | 1.3.4 | informasi masuk | 1.3.0 |
| crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| datasets | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| digest | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
| ellipsis | 0.3.1 | evaluate | 0.14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | foreign | 0.8-81 | forge | 0.2.0 |
| fs | 1.5.0 | future | 1.21.0 | generics | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | GH | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
| glue | 1.4.2 | gower | 0.2.2 | graphics | 4.1.0 |
| grDevices | 4.1.0 | grid | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0,8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | iterators | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | knitr | 1.30 |
| labeling | 0.4.2 | later | 1.1.0.1 | lattice | 0.20-44 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | lifecycle | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1.1 | MASS | 7.3-54 | Matrix | 1.3-3 |
| memoise | 1.1.0 | methods | 4.1.0 | mgcv | 1.8-35 |
| mime | 0,9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
| parallelly | 1.22.0 | pillar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| kemajuan | 1.2.2 | promises | 1.1.1 | proto | 1.0.0 |
| ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recipes | 0.1.15 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversions | 2.0.2 | rvest | 0.3.6 | scales | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.1.1 | bentuk | 1.4.5 |
| shiny | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | spatial | 7.3-11 | splines | 4.1.0 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | stats | 4.1.0 |
| stats4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| survival | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0.28 | alat | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.1.0 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| waldo | 0.2.3 | whisker | 0,4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)
| ID Grup | ID Artefak | Versi |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | inti | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | collector | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | tidak digunakan | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |