Bagikan melalui

Databricks Runtime 8.3 (EoS)

Catatan

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat catatan rilis Databricks Runtime bagian Versi dan kompatibilitas.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 8.3 dan Databricks Runtime 8.3 Photon, didukung oleh Apache Spark 3.1.1. Databricks merilis versi ini pada Juni 2021. Photon berada pada Pratinjau Umum.

Fitur dan peningkatan baru

Kolom yang dihasilkan dalam tabel Delta (Pratinjau Umum)

Delta Lake sekarang mendukung kolom yang dihasilkan, yang merupakan jenis kolom khusus yang nilainya dihasilkan secara otomatis berdasarkan fungsi yang ditentukan pengguna atas kolom lain dalam tabel Delta. Anda dapat menggunakan sebagian besar fungsi SQL bawaan untuk menghasilkan nilai kolom yang dihasilkan ini. Misalnya, Anda dapat secara otomatis membuat kolom tanggal (untuk mempartisi tabel menurut tanggal) dari kolom tanda waktu; penulisan apa pun ke dalam tabel hanya perlu menentukan data untuk kolom tanda waktu. Anda dapat membuat tabel Delta dengan kolom yang dihasilkan menggunakan API SQL, Scala, Java, atau Python.

Untuk informasi selengkapnya, lihat Kolom yang dihasilkan Delta Lake.

Fitur dan peningkatan Auto Loader

Inferensi skema untuk file CSV di Auto Loader

Auto Loader sekarang mendukung inferensi skema dan evolusi pada file CSV. Auto Loader menyediakan kemampuan berikut di atas parser CSV yang ada di Apache Spark:

  • Penggabungan skema: Auto Loader dapat menyerap file CSV yang memiliki skema berbeda (jumlah kolom yang berbeda, urutan kolom yang berbeda) di seluruh file.
  • Kolom data yang diselamatkan: Anda dapat menggunakan kolom data yang diselamatkan untuk menyelamatkan data tak terduga yang mungkin muncul di file CSV Anda. Ini termasuk data yang tidak dapat diurai dalam jenis data yang diharapkan, kolom yang memiliki casing atau nilai null yang berbeda di header, atau kolom tambahan yang bukan bagian dari skema yang diharapkan.

Untuk detailnya, lihat Mengonfigurasi evolusi dan inferensi skema di Pemuat Otomatis.

Waktu mulai yang ditingkatkan untuk aliran Auto Loader

Pemuat Otomatis sekarang melakukan pengisian ulang awal untuk aliran secara asinkron saat memulai untuk pertama kalinya, sehingga waktu mulai untuk aliran menjadi jauh lebih cepat. Ini dapat memungkinkan Anda untuk berulang dengan cepat pada kode Anda dengan data produksi, terutama ketika Anda harus menyerap data dari direktori yang berisi jutaan atau miliaran file.

Selain itu, waktu inisialisasi aliran yang sedang memulai ulang juga ditingkatkan, karena kami telah menggandakan operasi pengunduhan dan pengunggahan file RocksDB yang digunakan Auto Loader untuk menyediakan semantik tepat satu kali.

Pencantuman direktori yang lebih cepat di Auto Loader

Kami melakukan banyak peningkatan pada efisiensi daftar direktori di Auto Loader. Efek samping dari peningkatan kinerja ini adalah bahwa aliran dapat memancarkan lebih banyak permintaan daftar ke sistem penyimpanan ketika tidak ada data baru untuk diproses, yang dapat menyebabkan lonjakan biaya permintaan daftar. Sebagai praktik terbaik umum, Databricks merekomendasikan agar Anda menetapkan interval pemicu yang wajar untuk alur streaming produksi. Lihat Pertimbangan produksi untuk Streaming Terstruktur.

Berkurangnya overhead penyimpanan untuk titik pemeriksaan Auto Loader

Aliran Auto Loader sekarang secara otomatis membersihkan file usang di direktori titik pemeriksaan secara asinkron untuk menjaga ukuran direktori titik pemeriksaan agar tidak tumbuh tanpa batas waktu dan mengurangi biaya penyimpanan.

Auto Loader menyertakan jalur file di kolom data yang diselamatkan jika tersedia

Kolom data yang diselamatkan secara otomatis menyediakan jalur file data yang diselamatkan bila berlaku di kolom bernama _file_ path. Ini dapat membantu Anda melacak akar penyebab masalah kualitas data. Kolom tidak disertakan jika skema data berisi kolom yang bernama _file_path. Anda dapat menggunakan konfigurasi spark.databricks.sql.rescuedDataColumn.filePath.name SQL untuk mengganti nama kolom jika perlu.

Auto Loader mendukung penggantian nama file di Azure Data Lake Storage dalam mode pemberitahuan file

Auto Loader sekarang mendukung BlobRenamed events untuk Azure Data Lake Storage saat berjalan dalam mode notifikasi file. Untuk memproses file yang diunggah ke kontainer Azure Data Lake Storage melalui operasi ganti nama dengan pemberitahuan file, mulai streaming baru dengan Auto Loader menggunakan Databricks Runtime 8.3. Untuk memastikan bahwa file diproses secara tepat sekali, pastikan bahwa direktori sumber tempat file diganti namanya tidak diawasi oleh Auto Loader.

Membuat tabel Delta dengan API terprogram baru (Pratinjau Umum)

Anda sekarang dapat membuat tabel Delta baru secara terprogram (menggunakan Scala, Java, dan Python) tanpa menggunakan API DataFrame. API DeltaTableBuilder dan DeltaColumnBuilder baru memungkinkan Anda menentukan semua detail tabel yang dapat Anda tentukan menggunakan SQL CREATE TABLE.

Untuk informasi selengkapnya, lihat Membuat tabel.

Perhitungan ukuran tabel Delta yang benar dalam SQL ANALYZE

Logika analisis yang ada salah menghitung ukuran tabel untuk tabel Delta dan memperbarui katalog dengan ukuran yang salah. Perbaikannya adalah untuk mendapatkan ukuran tabel Delta dari log Delta.

Metrik terperinci performa RocksDB saat menggunakan RocksDBStateStore

Jika Anda telah mengonfigurasi kueri Streaming Terstruktur untuk menggunakan RocksDB sebagai penyimpanan status, Anda sekarang bisa mendapatkan visibilitas yang lebih baik ke dalam performa RocksDB, dengan metrik terperinci tentang latensi operasi get/put, latensi pemadatan, akses cache yang berhasil, dan sebagainya. Metrik ini tersedia melalui API StreamingQueryProgress dan StreamingQueryListener untuk memonitor kueri streaming.

Untuk informasi selengkapnya, lihat Mengonfigurasi penyimpanan status RocksDB di Azure Databricks.

Penulisan Teroptimasi Otomatis

Penulisan yang Dioptimalkan pada tabel Delta yang dipartisi sekarang secara otomatis diaktifkan untuk memperbarui dan menghapus kueri yang berisi subkueri.

Aktifkan gabungan terkelompok jika hanya satu sisi gabungan yang menggunakan pengelompokan

Konfigurasi spark.databricks.sql.minBucketsForBucketedJoin baru memungkinkan gabungan wadah jika hanya satu sisi gabungan yang diberi wadah dan jumlah wadah tidak kurang dari nilai konfigurasi ini. Secara default, nilai konfigurasi ini sama dengan nomor partisi acak default (200).

Peningkatan keamanan saat menentukan UDF Spark (Pratinjau Umum)

Fungsi info pengguna current_user dan is_member tidak dapat lagi ditimpa atau digantikan oleh fungsi sementara termasuk Python spark.udf.register atau SQL create or replace temp function.

Berkurangnya jumlah permintaan ke registri skema untuk kueri dengan from_avro

Kueri dengan from_avro dengan dukungan registri skema tidak lagi menghasilkan banyak permintaan ke layanan registri skema, sehingga menghemat biaya operasional.

Beberapa hasil di R dengan ListResults (Pratinjau Umum)

Notebook Databricks R kini mendukung beberapa hasil di setiap sel. Sebelumnya hanya satu hasil yang di-render untuk setiap sel buku catatan. Saat ini hasil satu sel di buku catatan R ditampilkan dalam urutan berikut:

  1. URL RShiny
  2. Alur cerita
  3. displayHTML menghasilkan output
  4. Tabel
  5. stdout

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • koalas ditingkatkan dari 1.7.0 menjadi 1.8.0.
    • pandas ditingkatkan dari 1.1.3 ke 1.1.5.
    • s3transfer ditingkatkan dari 0.3.4 menjadi 0.3.6.
  • Pustaka R yang ditingkatkan:
    • SparkR ditingkatkan dari 3.1.1 ke 3.1.2.
  • Pustaka Java yang ditingkatkan:
    • mariadb-java-client dari 2.1.2 ke 2.2.5.
    • parquet-column dari 1.10.1-databricks6 ke 1.10.1-databricks9
    • parquet-common dari 1.10.1-databricks6 ke 1.10.1-databricks9
    • parquet-encoding dari 1.10.1-databricks6 ke 1.10.1-databricks9
    • parquet-hadoop dari 1.10.1-databricks6 ke 1.10.1-databricks9
    • parquet-jackson dari 1.10.1-databricks6 ke 1.10.1-databricks9

Apache Spark

Databricks Runtime 8.3 menyertakan Apache Spark 3.1.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 8.2 (EoS), serta perbaikan bug dan peningkatan tambahan berikut yang dilakukan pada Spark:

  • [SPARK-34614][SQL] mode ANSI: Mengonversi String ke Boolean harus menghasilkan pengecualian pada kesalahan pemrosesan
  • [SPARK-34246] [Tindak Lanjut] Mengubah definisi `findTightestCommonT`
  • [SPARK-35213] [SQL] Mempertahankan urutan struct berlapis yang benar dalam operasi berantai withField
  • [SPARK-35096] [SQL] SchemaPruning harus mematuhi konfigurasi spark.sql.caseSensitive
  • [SPARK-35227] [BUILD] Memperbarui resolver untuk paket spark di SparkSubmit
  • [SPARK-35224] [SQL] Memperbaiki luapan buffer di MutableProjectionSuite
  • [SPARK-34245] [CORE] Memastikan Master menghapus eksekutor yang gagal mengirim status jadi
  • [SPARK-34856] [SQL] Mode ANSI: Mengizinkan mengubah tipe data kompleks sebagai tipe string
  • [SPARK-34946] [SQL] Mblokir subkueri skalar berkorelasi yang tidak didukung dalam Agregat
  • [SPARK-35014] Perbaiki pola PhysicalAggregation untuk tidak menulis ulang ekspresi yang dapat dilipat
  • [SPARK-34769] [SQL] AnsiTypeCoercion: mengembalikan con terdekat…

Lingkungan sistem

  • Sistem Operasi: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: R versi 4.0.4 (2021-02-15)
  • Danau Delta 1.0.0

Pustaka Python yang diinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
direktori aplikasi 1.4.4 asn1crypto 1.4.0 pemanggilan balik 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
sertifikat 5.12.2020 cffi 1.14.3 chardet 3.0.4
kriptografi 3.1.1 pengendara sepeda 0.10.0 Cython 0.29.21
dekorator 4.4.2 distlib 0.3.1 dokutil 0.15.2
titik masuk 0,3 Ikhtisar Fitur 1.0.0 filelock 3.0.12
IDNA 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client (klien Jupyter) 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 Koala 1.8.0 matplotlib 3.2.2
numpy (perpustakaan Python untuk operasi numerik) 1.19.2 Panda 1.1.5 pengurai 0.7.0
kambing hitam or orang yang mudah dimanfaatkan 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pipa 20.2.4 secara plot 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.0 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
permintaan 2.24.0 mencoba lagi 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy (perpustakaan Python untuk komputasi ilmiah) 1.5.2 Seaborn (perpustakaan Python untuk visualisasi data) 0.10.0
setuptools 50.3.1 Enam 1.15.0 statsmodels (paket Python untuk pemodelan statistik) 0.12.0
threadpoolctl 2.1.0 Tornado 6.0.4 traitlets=5.0.5 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
wheel 0.35.1

Pustaka R yang diinstal

Pustaka R diinstal dari cuplikan Microsoft CRAN pada 2020-11-02.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
askpass 1.1 pastikanbahwa 0.2.1 pemindahan fitur ke versi lama (backports) 1.2.1
dasar 4.0.4 base64enc 0.1-3 Bahrain 1.72.0-3
sedikit 4.0.4 bit-64 4.0.5 blob 1.2.1
sepatu bot 1.3-27 menyeduh 1.0-6 Brio 1.1.0
sapu 0.7.2 layanan panggilan 3.5.1 caret 6.0-86
cellranger 1.1.0 kronogram 2.3-56 kelas 7.3-18
CLI 2.2.0 pemangkas 0.7.1 kluster 2.1.1
codetools 0.2-18 ruang warna 2.0-0 commonmark 1.7
penyusun 4.0.4 konfigurasi 0,3 covr 3.5.1
cpp11 0.2.4 kriyon 1.3.4 kredensial 1.3.0
percakapan silang 1.1.0.1 melengkung 4.3 data.table (sebuah paket untuk pengolahan data table) 1.13.4
kumpulan data 4.0.4 DBI 1.1.0 dbplyr 2.0.0
deskripsi 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 Teknologi Digital 0,16
elipsis 0.3.1 menilai 0.14 penggemar 0.4.1
warna 2.0.3 peta cepat 1.0.1 untuk kucing 0.5.0
foreach (pengulangan untuk setiap elemen) 1.5.1 asing 0.8-81 tempa 0.2.0
Fs 1.5.0 masa depan 1.21.0 generik 0.1.0
Gert 1.0.2 ggplot2 3.3.2 GH 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 variabel global 0.14.0
lem 1.4.2 Gower 0.2.2 grafis 4.0.4
grDevices 4.0.4 kisi 4.0.4 gridExtra 2.3
gsubfn 0,7 dapat di-gt 0.3.0 tempat perlindungan 2.3.1
lebih tinggi 0,8 HMS 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 pengulang 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 rajut 1.30
pelabelan 0.4.2 nanti 1.1.0.1 rangka 0.20-41
lahar 1.6.8.1 lazyeval 0.2.2 siklus hidup 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 Massa 7,3-53,1 Matriks 1.3-2
memosankan 1.1.0 metode 4.0.4 mgcv 1.8-33
pantomim 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-15
numDeriv Agustus 2016 - Januari 2017 openssl 1.4.3 paralel 4.0.4
secara paralel 1.22.0 pilar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 pujian 1.0.0 prettyunits 1.1.1
Proc 1.16.2 ProsesX 3.4.5 prodlim 2019.11.13
kemajuan 1.2.2 janji-janji 1.1.1 Proto 1.0.0
P.S. 1.5.0 menggeram lembut 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest (algoritma pembelajaran mesin) 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
pembaca 1.4.0 readxl (membaca file Excel) 1.3.1 Resep 0.1.15
pertandingan ulang 1.0.1 pertandingan ulang 2 2.1.2 pengontrol jarak jauh 2.2.0
contoh replikasi 0.3.0 reshape2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 timbangan 1.1.1
selektor 0,4-2 informasi sesi 1.1.1 bentuk 1.4.5
mengkilap 1.5.0 sourcetools 0.1.7 sparklyr - paket R untuk analisis data dan pembelajaran mesin 1.5.2
SparkR 3.1.2 spasial 7.3-11 garis lengkung 4.0.4
sqldf 0,4-11 SQUAREM 2020.5 statistik 4.0.4
statistik4 4.0.4 string 1.5.3 stringr 1.4.0
kelangsungan hidup 3.2-7 Sistem 3.4 bahasa pemrograman Tcl/Tk 4.0.4
TeachingDemos 2.10 ujiitu 3.0.0 tibble 3.0.4
tidyr 1.1.2 pilih rapi 1.1.0 rapi 1.3.0
TanggalWaktu 3043.102 tinytex 0.28 alat 4.0.4
gunakanini 2.0.0 utf8 1.1.4 Utilitas 4.0.4
UUID (Pengidentifikasi Unik Universal) 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 kumis 0,4 dengan 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 Zip 2.1.1

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Grup Artefak ID Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws AWS Java SDK untuk CloudHSM 1.11.655
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-impor-ekspor 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.11.655
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.11.655
com.amazonaws SDK Java untuk Storage Gateway AWS 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws AWS Java SDK Dukungan 1.11.655
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware berbayang kryo 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core Jackson Annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine kafein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib rujukan_asli-java-natives 1.1
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib native_sistem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava jambu biji 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger penganalisis 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi kode_sumber_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf (algoritma kompresi) 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typeafe konfigurasi 1.2.1
com.typeafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
koleksi umum koleksi umum 3.2.2
commons-configuration (konfigurasi umum) commons-configuration (konfigurasi umum) 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
unggah berkas pada commons unggah berkas pada commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
commons-net commons-net 3.1
kolam umum kolam umum 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0.10
io.dropwizard.metrics inti metrik 4.1.1
io.dropwizard.metrics metrik-graphite 4.1.1
io.dropwizard.metrics metrik-cek kesehatan 4.1.1
io.dropwizard.metrics metrik-jetty9 4.1.1
io.dropwizard.metrics metrik-jmx 4.1.1
io.dropwizard.metrics metrik-json 4.1.1
io.dropwizard.metrics metrik-jvm 4.1.1
io.dropwizard.metrics metrik-servlet 4.1.1
io.netty netty-all 4.1.51.Final (versi final)
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_umum 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction Transaction-API 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
pohon ahli hive-2.3__hadoop-2.7 liball_deps_2.12
net.razorvine Pyrolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
jaring.bunga salju snowflake-jdbc 3.13.3
jaring.bunga salju spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr StringTemplate 3.2.1
org.apache.ant semut 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format tanda panah 2.0.0
org.apache.arrow inti-memori-panah 2.0.0
org.apache.arrow Arrow-Memory-Netty 2.0.0
org.apache.arrow panah-vektor 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons Commons-Math3 3.4.1
org.apache.commons commons-text (teks umum) 1.6
org.apache.curator kurator-klien 2.7.1
org.apache.curator kerangka kerja kurator 2.7.1
org.apache.curator kurasi resep 2.7.1
org.apache.derby derbi 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations (anotasi hadoop) 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop Klien Hadoop 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop Aplikasi Klien Hadoop MapReduce 2.7.4
org.apache.hadoop Klien-umum hadoop-mapreduce 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop Hadoop MapReduce Client Shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-klien 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-peladen-umum 2.7.4
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive apache hive-llap-client 2.3.7
org.apache.hive apache hive-llap-common 2.3.7
org.apache.hive Pangkalan Data Hive-Metastore 2.3.7
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.7
org.apache.hive hive-shims (shim sarang) 2.3.7
org.apache.hive API penyimpanan hive 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.7
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubasi
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy tanaman merambat 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-kolom 1.10.1-databricks9
org.apache.parquet parquet umum 1.10.1-databricks9
org.apache.parquet parquet pengkodean 1.10.1-databricks9
org.apache.parquet format-parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parkquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity kecepatan 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus anotasi-audiens 0.5.0
org.apache.zookeeper penjaga kebun binatang 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty lanjutan dermaga 9.4.36.v20210114
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty Jetty Plus 9.4.36.v20210114
org.eclipse.jetty Jetty-Proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security (keamanan jetty) 9.4.36.v20210114
org.eclipse.jetty Jetty Server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty Aplikasi web Jetty 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utilitas 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-inti 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey biasa 2.30
org.glassfish.jersey.core Jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator Hibernate Validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging pengelogan jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client (klien Java untuk MariaDB) 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap ganjal 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka uji 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark tidak digunakan 1.0.0
org.springframework spring-core 4.1.4.RILIS
org.springframework uji musim semi 4.1.4.RILIS
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel juru_mesin_2.12 0.6.8
org.typelevel makro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52
  • Last updated on