Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Catatan
Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Runtime Databricks yang didukung, lihat catatan rilis Databricks Runtime versi dan kompatibilitas.
Catatan rilis berikut memberikan informasi tentang Databricks Runtime 13.0, didukung oleh Apache Spark 3.4.0.
Databricks merilis versi ini pada Bulan April 2023.
Fitur dan peningkatan baru
- Ekspresi H3 sekarang mendukung geografi linier
- Ganglia diganti dengan metrik kluster
- Spark 3.4.0 dirilis
- Photon mengembalikan kesalahan jika file dimodifikasi antara perencanaan kueri dan eksekusi
- Fitur baru untuk I/O Prediktif
- Dukungan yang diperluas untuk fitur I/O Prediktif
- Gunakan konektor Databricks untuk menyambungkan ke ruang kerja Databricks lain
- Opsi Kafka tambahan untuk Streaming Terstruktur dengan kluster bersama di Unity Catalog
- Melewati modifikasi tabel Delta dengan Streaming Terstruktur
- CREATE TABLE LIKE fitur untuk tabel Delta
- Bidang kolom metadata baru yang menunjukkan awal dan panjang blok file
- Fungsi geospasial H3 baru
- Fungsi bawaan SQL baru
-
%sqldi buku catatan Python -
%piptidak secara otomatis memulai ulang Python - Pustaka Python dengan cakupan kluster diinstal menggunakan pengguna non-root
Ekspresi H3 sekarang mendukung geografi linier
Fungsi h3_coverash3 dan h3_coverash3string sekarang mendukung geografi linier (linestring dan multilinestring) . Fungsi ini menghasilkan himpunan sel H3 penutup minimal pada resolusi yang ditentukan. Lihat h3_coverash3 dan h3_coverash3string.
Ganglia diganti dengan metrik kluster
Untuk Databricks Runtime versi 13 ke atas, metrik Ganglia diganti dengan metrik kluster Azure Databricks. Untuk Databricks Runtime versi 12 ke bawah, Anda dapat terus menggunakan metrik Ganglia. Jika Anda memiliki alur kerja yang bergantung pada metrik Ganglia yang tidak dapat dipenuhi dengan metrik kluster, hubungi tim akun Azure Databricks Anda. Lihat Menampilkan metrik komputasi.
Spark 3.4.0 dirilis
Apache Spark 3.4.0 sekarang tersedia secara umum. Lihat Rilis Spark 3.4.0.
Photon mengembalikan kesalahan jika file dimodifikasi antara perencanaan kueri dan eksekusi
Kueri Photon kini mengembalikan kesalahan jika file diperbarui antara perencanaan kueri dan eksekusi. Sebelum perubahan ini, Photon akan membaca file bahkan jika waktu modifikasinya berubah antara perencanaan kueri dan eksekusi, yang dapat menyebabkan hasil yang tidak dapat diprediksi.
Fitur baru untuk I/O Prediktif
Photon kini mendukung bingkai geser, untuk mode ROWS dan RANGE, dengan menggunakan {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.
Dukungan yang diperluas untuk fitur I/O Prediktif
Dukungan diperluas Photon untuk sumber data CSV, AVRO, dan caching DataFrame ketika skema Anda hanya berisi kolom skalar. Dukungan juga diperluas untuk jenis berlapis, seperti peta, struktur, dan array.
Gunakan konektor Databricks untuk menyambungkan ke ruang kerja Databricks lain
Konektor Azure Databricks memungkinkan Anda terhubung ke sumber daya komputasi yang dikonfigurasi di ruang kerja lain dan mengembalikan hasil ke ruang kerja Azure Databricks Anda saat ini. Driver Azure Databricks JDBC sekarang disertakan dalam Databricks Runtime. Lihat Gunakan konektor Databricks untuk terhubung ke ruang kerja Databricks lain.
Opsi Kafka tambahan untuk Streaming Terstruktur dengan kluster bersama di Unity Catalog
Anda sekarang dapat menggunakan pengaturan kakfa.ssl.truststore.location dan kafak.ssl.keystore.location untuk menyimpan sertifikat Kafka di lokasi eksternal yang dikelola oleh Katalog Unity saat Anda menggunakan Streaming Terstruktur pada kluster akses bersama. Anda tidak dapat menggunakan lokasi di akar DBFS.
Abaikan modifikasi tabel Delta dengan Streaming Terstruktur
Sekarang Anda dapat menggunakan skipChangeCommits untuk mengabaikan komitmen perubahan data ke tabel Delta untuk operasi UPDATE, MERGE, dan DELETE. Ini menggantikan ignoreChanges, yang sekarang tidak digunakan lagi. Lihat Mengabaikan pembaruan dan penghapusan.
CREATE TABLE LIKE fitur untuk tabel Delta
CREATE TABLE LIKE sekarang didukung saat menggunakan tabel Delta.
Bidang kolom metadata baru yang menunjukkan awal dan panjang blok file
Anda sekarang bisa mendapatkan informasi metadata berikut untuk file input dengan _metadata kolom: file_block_start dan file_block_length. Untuk informasi selengkapnya, lihat Kolom metadata file.
Fungsi geospasial H3 baru
Ekspresi h3_coverash3 dan h3_coverash3string baru tersedia untuk pemrosesan geospasial saat Photon diaktifkan. Lihat H3 fungsi geospasial.
Fungsi bawaan SQL baru
Fungsi berikut telah ditambahkan:
-
array_insert(array, indeks, elem) Mengembalikan
arrayyang diperluas di manaelemdisisipkan pada posisiindex. -
luhn_check(numStr) Mengembalikan
truejikanumStrmelewati pemeriksaan algoritma Luhn.
%sql di buku catatan Python
Semua hasil yang tidak kosong %sql di notebook Python sekarang dapat diakses menggunakan _sqldf atau sistem penembolokan output IPython. Ini menyederhanakan penggunaan hasil DataFrame di Python. Ini adalah perubahan perilaku dari versi Databricks Runtime sebelumnya, seperti sebelumnya, _sqldf tidak selalu ditetapkan ulang.
_sqldf tidak ditetapkan ulang pada %sql hasil sel jika sel dijalankan menggunakan eksekusi sel SQL paralel.
%pip tidak secara otomatis memulai ulang Python
Setelah menjalankan %pip perintah di dalam notebook Python yang memodifikasi virtualEnv, Databricks tidak lagi secara otomatis memulai ulang proses Python. Untuk memulai ulang proses Python, panggil dbutils.library.restartPython(). Dengan perubahan ini, perintah-perintah %pip di Databricks bertingkah sama dengan Jupyter Notebooks dan konsisten dengan perintah-perintah !pip dan %sh pip. Databricks merekomendasikan %pip daripada !pip atau %sh pip.
Pustaka Python dengan cakupan kluster diinstal menggunakan pengguna non-root
Pustaka sekarang diinstal menggunakan pengguna non-root yang bertanggung jawab atas penginstalan pustaka. Jika Anda ingin mengonfigurasi perilaku penginstalan pip dalam skrip init, gunakan [file https://pip.pypa.io/en/stable/topics/configuration/#configuration-filestingkat global ).
Perbaikan bug
- Dalam
%shperintah, perbaikan berikut dibuat:- Output yang berisi karakter non UTF-8 sekarang didukung.
- Subproses sekarang terganggu ketika perintah dibatalkan.
Peningkatan pustaka
- Pustaka Python yang ditingkatkan:
- asttokens dari 2.0.5 hingga 2.2.1
- hitam dari 22.3.0 hingga 22.6.0
- boto3 dari 1.21.32 ke 1.24.28
- botocore dari 1.24.32 ke 1.27.28
- certifi dari 8 Oktober 2021 hingga 14 September 2022
- cffi dari 1.15.0 hingga 1.15.1
- kriptografi dari 3.4.8 hingga 37.0.1
- Cython dari 0.29.28 hingga 0.29.32
- dbus-python dari 1.2.16 ke 1.2.18
- docstring-to-markdown dari 0,11 hingga 0,12
- menjalankan dari 0.8.3 ke 1.2.0
- ikhtisar faset dari 1.0.0 hingga 1.0.2
- fastjsonschema dari 2.16.2 ke 2.16.3
- filelock dari 3.9.0 ke 3.10.7
- ipykernel dari 6.15.3 ke 6.17.1
- ipython dari 8.5.0 ke 8.10.0
- joblib dari 1.1.1 hingga 1.2.0
- jsonschema dari 4.4.0 hingga 4.16.0
- jupyter-client dari 6.1.12 ke 7.3.4
- kiwisolver dari 1.3.2 hingga 1.4.2
- matplotlib dari 3.5.1 ke 3.5.2
- matplotlib-inline dari 0.1.2 hingga 0.1.6
- nbformat dari 5.3.0 hingga 5.5.0
- notebook dari 6.4.8 hingga 6.4.12
- Pandas dari 1.4.2 hingga 1.4.4
- Bantal dari 9.0.1 hingga 9.2.0
- pip dari 21.2.4 ke 22.2.2
- platformdir dari 2.6.2 hingga 2.5.2
- plotly diperbarui dari versi 5.6.0 ke versi 5.9.0
- prometheus-client dari 0.13.1 hingga 0.14.1
- prompt-toolkit dari 3.0.20 hingga 3.0.36
- psutil dari 5.8.0 hingga 5.9.0
- pyflakes dari 2.5.0 hingga 3.0.1
- PyGObject dari 3.36.0 ke 3.42.1
- pyparsing dari 3.0.4 ke 3.0.9
- pyright dari 1.1.283 hingga 1.1.294
- python-lsp-server dari 1.6.0 ke 1.7.1
- pytz dari 2021.3 hingga 2022.1
- pyzmq dari 22.3.0 ke 23.2.0
- permintaan dari 2.27.1 hingga 2.28.1
- tali dari 0.22.0 hingga 1.7.0
- s3transfer dari 0.5.0 hingga 0.6.0
- scikit-learn dari 1.0.2 hingga 1.1.1
- scipy dari 1.7.3 ke 1.9.1
- setuptools dari 61.2.0 hingga 63.4.1
- ssh-import-id dari 5.10 hingga 5.11
- stack-data dari 0.2.0 hingga 0.6.2
- testpath dari 0.5.0 hingga 0.6.0
- tomli dari 1.2.2 ke 2.0.1
- ujson dari 5.1.0 ke 5.4.0
- urllib3 dari 1.26.9 hingga 1.26.11
- virtualenv dari 20.8.0 hingga 20.16.3
- whatthepatch dari 1.0.4 hingga 1.0.2
- roda dari 0.37.0 hingga 0.37.1
- Pustaka R yang ditingkatkan:
- panah dari 10.0.0 hingga 10.0.1
- bit dari 4.0.4 ke 4.0.5
- broom dari versi 1.0.1 ke 1.0.3
- bslib dari 0.4.1 ke 0.4.2
- chron dari 2,3-58 ke 2,3-59
- cli dari 3.4.1 ke 3.6.0
- colorspace dari 2.0-3 ke 2.1-0
- curl dari 4.3.3 ke 5.0.0
- data.table dari 1.14.4 hingga 1.14.6
- dbplyr dari 2.2.1 ke 2.3.0
- versi dari 0.6.30 hingga 0.6.31
- dplyr dari 1.0.10 hingga 1.1.0
- e1071 dari 1,7-12 ke 1,7-13
- mengevaluasi dari 0,18 hingga 0,20
- fansi dari 1.0.3 hingga 1.0.4
- fontawesome dari 0.4.0 hingga 0.5.0
- forcats dari 0.5.2 hingga 1.0.0
- fs dari 1.5.2 ke 1.6.1
- dari 1.29.0 hingga 1.31.0
- kumur dari 1.2.1 hingga 1.3.0
- gert dari 1.9.1 hingga 1.9.2
- glmnet dari 4.1-4 hingga 4.1-6
- global dari 0,16,1 ke 0,16,2
- gower dari 1.0.0 hingga 1.0.1
- lebih tinggi dari 0,9 hingga 0,10
- htmltool dari 0.5.3 hingga 0.5.4
- htmlwidgets dari 1.5.4 ke 1.6.1
- httpuv dari 1.6.6 hingga 1.6.8
- isoband dari 0.2.6 hingga 0.2.7
- jsonlite dari 1.8.3 ke 1.8.4
- knitr dari 1.40 hingga 1.42
- lava dari 1.7.0 hingga 1.7.1
- listenv dari 0.8.0 hingga 0.9.0
- lubridat dari 1.9.0 hingga 1.9.1
- markdown dari 1.3 hingga 1.5
- modelr dari 0.1.9 hingga 0.1.10
- openssl dari 2.0.4 hingga 2.0.5
- secara paralel dari 1.32.1 hingga 1.34.0
- pkgbuild dari 1.3.1 ke 1.4.0
- pkgdown dari 2.0.6 ke 2.0.7
- pkgload dari 1.3.1 ke 1.3.2
- plyr dari 1.8.7 ke 1.8.8
- progressr dari 0.11.0 ke 0.13.0
- purrr dari 0.3.5 hingga 1.0.1
- ragg dari 1.2.4 ke 1.2.5
- Rcpp dari 1.0.9 hingga 1.0.10
- readxl dari 1.4.1 ke 1.4.2
- resep dari 1.0.3 hingga 1.0.4
- rmarkdown dari 2.18 ke 2.20
- RODBC dari 1.3-19 hingga 1.3-20
- roxygen2 dari 7.2.1 ke 7.2.3
- RSQLite dari 2.2.18 ke 2.2.20
- sass dari 0.4.2 ke 0.4.5
- mengkilap dari 1.7.3 hingga 1.7.4
- sourcetools dari 0.1.7 hingga 0.1.7-1
- sparklyr dari 1.7.8 ke 1.7.9
- SparkR dari 3.3.2 ke 3.4.0
- spasial dari 7,3-11 hingga 7,3-15
- stringi dari 1.7.8 hingga 1.7.12
- stringr dari 1.4.1 hingga 1.5.0
- bertahan hidup dari 3,4-0 hingga 3,5-3
- testthat dari 3.1.5 ke 3.1.6
- tidyr dari 1.2.1 hingga 1.3.0
- timechange dari 0.1.1 ke 0.2.0
- timeDate dari 4021.106 hingga 4022.108
- tinytex dari 0,42 hingga 0,44
- utf8 dari 1.2.2 ke 1.2.3
- vctrs dari 0.5.0 ke 0.5.2
- vroom dari 1.6.0 hingga 1.6.1
- whisker dari 0.4 ke 0.4.1
- xfun dari 0,34 hingga 0,37
- yaml dari 2.3.6 ke 2.3.7
- Pustaka Java yang ditingkatkan:
- com.amazonaws.aws-java-sdk-autoscaling dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-cloudformation dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-cloudfront dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-cloudhsm dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-cloudsearch dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-cloudtrail dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-cloudwatch dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-cloudwatchmetrics dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-codedeploy dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-cognitoidentity dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-cognitosync dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-config dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-core dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-datapipeline dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-directconnect dari 1.12.189 ke 1.12.390
- com.amazonaws.aws-java-sdk-directory dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-dynamodb dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-ec2 dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-ecs dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-efs dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-elasticache dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-elasticbeanstalk dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-elasticloadbalancing dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-elastictranscoder dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-emr dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-glacier dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-glue dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-iam dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-importexport dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-kinesis dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-kms dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-lambda dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-logs dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-machinelearning dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-opsworks dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-rds dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-redshift dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-route53 dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-s3 dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-ses dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-simpledb dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-simpleworkflow dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-sns dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-sqs dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-ssm dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-storagegateway dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-sts dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-support dari 1.12.189 hingga 1.12.390
- com.amazonaws.aws-java-sdk-workspaces dari 1.12.189 hingga 1.12.390
- com.amazonaws.jmespath-java dari 1.12.189 hingga 1.12.390
- com.fasterxml.jackson.core.jackson-annotations dari 2.13.4 hingga 2.14.2
- com.fasterxml.jackson.core.jackson-core dari 2.13.4 ke 2.14.2
- com.fasterxml.jackson.core.jackson-databind dari 2.13.4.2 hingga 2.14.2
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor dari 2.13.4 hingga 2.14.2
- com.fasterxml.jackson.datatype.jackson-datatype-joda dari 2.13.4 hingga 2.14.2
- com.fasterxml.jackson.module.jackson-module-paranamer dari 2.13.4 hingga 2.14.2
- com.fasterxml.jackson.module.jackson-module-scala_2.12 dari 2.13.4 hingga 2.14.2
- com.github.luben.zstd-jni dari 1.5.2-1 ke 1.5.2-5
- com.google.code.gson.gson dari 2.8.6 ke 2.8.9
- com.google.crypto.tink.tink dari 1.6.1 hingga 1.7.0
- com.h2database.h2 dari 2.0.204 menjadi 2.1.214
- com.jcraft.jsch dari 0.1.50 ke 0.1.55
- com.ning.compress-lzf dari 1.1 ke 1.1.2
- commons-fileupload.commons-fileupload dari versi 1.3.3 hingga versi 1.5
- dev.ludovic.netlib.arpack dari 2.2.1 ke 3.0.3
- dev.ludovic.netlib.blas dari 2.2.1 ke 3.0.3
- dev.ludovic.netlib.lapack dari 2.2.1 ke 3.0.3
- io.delta.delta-sharing-spark_2.12 dari 0.6.9 hingga 0.6.3
- io.dropwizard.metrics.metrics-core dari 4.1.1 ke 4.2.10
- io.dropwizard.metrics.metrics-graphite dari 4.1.1 hingga 4.2.10
- io.dropwizard.metrics.metrics-healthchecks dari 4.1.1 hingga 4.2.10
- io.dropwizard.metrics.metrics-jetty9 dari 4.1.1 hingga 4.2.10
- io.dropwizard.metrics.metrics-jmx dari 4.1.1 ke 4.2.10
- io.dropwizard.metrics.metrics-json dari 4.1.1 ke 4.2.10
- io.dropwizard.metrics.metrics-jvm dari 4.1.1 ke 4.2.10
- io.dropwizard.metrics.metrics-servlets dari 4.1.1 hingga 4.2.10
- io.netty.netty-all diubah dari 4.1.74.Final menjadi 4.1.87.Final
- io.netty.netty-buffer dari 4.1.74.Final ke 4.1.87.Final
- io.netty.netty-codec dari 4.1.74.Final ke 4.1.87.Final
- io.netty.netty-common dari 4.1.74.Final ke 4.1.87.Final
- io.netty.netty-handler dari 4.1.74.Final ke 4.1.87.Final
- io.netty.netty-resolver dari 4.1.74.Final ke 4.1.87.Final
- io.netty.netty-transport dari 4.1.74.Final ke 4.1.87.Final
- io.netty.netty-transport-classes-epoll dari 4.1.74.Final ke 4.1.87.Final
- io.netty.netty-transport-classes-kqueue dari 4.1.74.Final ke 4.1.87.Final
- io.netty.netty-transport-native-unix-common dari 4.1.74.Final ke 4.1.87.Final
- joda-time.joda-time dari 2.10.13 hingga 2.12.1
- net.razorvine.pickle dari 1.2 ke 1.3
- net.snowflake.snowflake-jdbc dari 3.13.29 hingga 3.13.22
- org.antlr.antlr4-runtime dari 4.8 hingga 4.9.3
- org.apache.ant.ant dari 1.9.2 ke 1.9.16
- org.apache.ant.ant-jsch dari 1.9.2 ke 1.9.16
- org.apache.ant.ant-launcher dari 1.9.2 ke 1.9.16
- org.apache.arrow.arrow-format dari 7.0.0 hingga 11.0.0
- org.apache.arrow.arrow-memory-core dari 7.0.0 hingga 11.0.0
- org.apache.arrow.arrow-memory-netty dari 7.0.0 hingga 11.0.0
- org.apache.arrow.arrow-vector dari 7.0.0 hingga 11.0.0
- org.apache.avro.avro dari 1.11.0 hingga 1.11.1
- org.apache.avro.avro-ipc dari 1.11.0 hingga 1.11.1
- org.apache.avro.avro-mapred dari 1.11.0 ke 1.11.1
- org.apache.httpcomponents.httpclient dari 4.5.13 ke 4.5.14
- org.apache.httpcomponents.httpcore dari 4.4.14 ke 4.4.16
- org.apache.logging.log4j.log4j-1.2-api dari 2.18.0 hingga 2.19.0
- org.apache.logging.log4j.log4j-api dari 2.18.0 hingga 2.19.0
- org.apache.logging.log4j.log4j-core dari 2.18.0 ke 2.19.0
- org.apache.orc.orc-core dari 1.7.8 ke 1.8.2-shaded-protobuf
- org.apache.orc.orc-mapreduce dari 1.7.8 ke 1.8.2-shaded-protobuf
- org.apache.orc.orc-shims dari 1.7.8 hingga 1.8.2
- org.apache.xbean.xbean-asm9-shaded dari 4.20 hingga 4.22
- org.apache.zookeeper.zookeeper dari 3.6.2 hingga 3.6.3
- org.apache.zookeeper.zookeeper-jute dari 3.6.2 hingga 3.6.3
- org.eclipse.jetty.jetty-client dari 9.4.46.v20220331 hingga 9.4.50.v20221201
- org.eclipse.jetty.jetty-continuation dari 9.4.46.v20220331 menjadi 9.4.50.v20221201
- org.eclipse.jetty.jetty-http dari 9.4.46.v20220331 hingga 9.4.50.v20221201
- org.eclipse.jetty.jetty-io dari 9.4.46.v20220331 menjadi 9.4.50.v20221201
- org.eclipse.jetty.jetty-jndi dari 9.4.46.v20220331 menjadi 9.4.50.v20221201
- org.eclipse.jetty.jetty-plus dari 9.4.46.v20220331 menjadi 9.4.50.v20221201
- org.eclipse.jetty.jetty-proxy dari 9.4.46.v20220331 hingga 9.4.50.v20221201
- org.eclipse.jetty.jetty-security dari 9.4.46.v20220331 hingga 9.4.50.v20221201
- org.eclipse.jetty.jetty-server dari 9.4.46.v20220331 hingga 9.4.50.v20221201
- org.eclipse.jetty.jetty-servlet dari 9.4.46.v20220331 menjadi 9.4.50.v20221201
- org.eclipse.jetty.jetty-servlets dari 9.4.46.v20220331 hingga 9.4.50.v20221201
- org.eclipse.jetty.jetty-util dari 9.4.46.v20220331 menjadi 9.4.50.v20221201
- org.eclipse.jetty.jetty-util-ajax dari versi 9.4.46.v20220331 menjadi versi 9.4.50.v20221201
- org.eclipse.jetty.jetty-webapp dari 9.4.46.v20220331 hingga 9.4.50.v20221201
- org.eclipse.jetty.jetty-xml dari 9.4.46.v20220331 hingga 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-api dari 9.4.46.v20220331 ke 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-client dari 9.4.46.v20220331 hingga 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-common dari 9.4.46.v20220331 ke 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-server dari 9.4.46.v20220331 ke 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-servlet dari 9.4.46.v20220331 ke 9.4.50.v20221201
- org.hibernate.validator.hibernate-validator dari 6.1.0.Final ke 6.1.7.Final
- org.mlflow.mlflow-spark dari 2.1.1 hingga 2.2.0
- org.postgresql.postgresql dari 42.3.3 hingga 42.3.8
- org.roaringbitmap.RoaringBitmap dari 0.9.25 ke 0.9.39
- org.roaringbitmap.shims dari 0.9.25 hingga 0.9.39
- org.rocksdb.rocksdbjni dari 6.28.2 hingga 7.8.3
- org.scala-lang.scala-compiler_2.12 dari 2.12.14 menjadi 2.12.15
- org.scala-lang.scala-library_2.12 dari 2.12.14 menjadi 2.12.15
- org.scala-lang.scala-reflect_2.12 dari 2.12.14 menjadi 2.12.15
- org.scalanlp.breeze-macros_2.12 dari 1.2 hingga 2.1.0
- org.scalanlp.breeze_2.12 dari 1.2 ke 2.1.0
- org.slf4j.jcl-over-slf4j dari 1.7.36 ke 2.0.6
- org.slf4j.jul-to-slf4j dari 1.7.36 ke 2.0.6
- org.slf4j.slf4j-api dari 1.7.36 hingga 2.0.6
- org.threeten.threeten-extra dari 1.5.0 ke 1.7.1
- org.wildfly.openssl.wildfly-openssl dari 1.0.7.Final hingga 1.1.3.Final
- org.yaml.snakeyaml dari 1.24 hingga 1.33
Apache Spark
Databricks Runtime 13.0 mencakup Apache Spark 3.4.0.
- Spark SQL
- Spark Core
- Streaming Terstruktur
- Spark Connect
- PySpark
- MLLIB
- SparkR
- UI Langsung dan Layanan Server Riwayat
- Membangun
Spark SQL
Fitur
- Menerapkan dukungan untuk nilai DEFAULT untuk kolom dalam tabel (SPARK-38334)
- Menambahkan Dataset.as(StructType) (SPARK-39625)
- Mendukung SQL dengan parameterisasi (SPARK-41271, SPARK-42702)
- Menambahkan fungsi unpivot/melt (SPARK-38864, SPARK-39876)
- Mendukung "alias referensi kolom lateral" (SPARK-27561)
- Dukungan untuk klausa offset hasil (SPARK-28330, SPARK-39159)
- Dukungan untuk tipe data Timestamp tanpa zona waktu (SPARK-35662)
- Mendukung subkueri skalar dalam perjalanan waktu (SPARK-39306)
- Buat Catalog API kompatibel dengan namespace 3-layer (SPARK-39235)
- Mendukung penanda waktu dalam detik untuk TimeTravel menggunakan opsi Dataframe (SPARK-39633)
- Menambahkan SparkSession.config(Map) (SPARK-40163)
- Mendukung pengubahan database default dari katalog sesi (SPARK-35242)
- Dukungan Protobuf untuk Spark - from_protobuf AND to_protobuf (SPARK-40654)
- Tambahkan klausa WHEN NOT MATCHED BY SOURCE ke MERGE INTO (SPARK-40921)
- Melonggarkan batasan urutan untuk CREATE TABLE opsi kolom (SPARK-40944)
- Equivalen dalam SQL untuk perintah overwrite Dataframe (SPARK-40956)
- Dukungan Hasilkan tanpa output anak yang diperlukan untuk menghosting referensi luar (SPARK-41441)
- ORDER BY SEMUA (SPARK-41637)
- GROUP BY SEMUA (SPARK-41635)
- Menambahkan flatMapSortedGroups dan cogroupSorted (SPARK-38591)
- Mendukung subkueri dengan predikat non-kesetaraan yang berkorelasi (SPARK-36114)
- Mendukung subkueri dengan korelasi melalui UNION/INTERSECT/EXCEPT (SPARK-36124)
Kepatuhan ANSI
- Mode ANSI SQL: selalu mengembalikan null pada akses yang tidak valid ke kolom peta (SPARK-40066)
- Dukungan untuk pengidentifikasi berkutip ganda (SPARK-40585)
- Mode ANSI SQL: Round/Bround harus mengembalikan kesalahan pada luapan bilangan bulat (SPARK-42045)
- Mendukung pengubahan integral ke interval ANSI (SPARK-40008)
- Mendukung pemeran desimal ke interval ANSI (SPARK-40014)
- Mengembalikan jenis interval ANSI yang lebih luas dari fungsi persentil (SPARK-40151)
- Mendukung pemeran interval ANSI ke desimal (SPARK-39470)
- Mendukung pengubahan interval ke integral dalam mode ANSI (SPARK-39451)
- Memperkuat penggunaan SQLSTATE untuk kelas kesalahan (SPARK-41994)
Functions
- Mendukung fungsi generator bernilai tabel dalam klausa FROM (SPARK-41594)
- Mendukung Fungsi Agregat ANSI: REGR_SXY (SPARK-37681)
- Mendukung Fungsi Agregat ANSI: REGR_R2 (SPARK-37641)
- Mendukung Fungsi Agregat ANSI: REGR_SXX (SPARK-37672)
- Mendukung Fungsi Agregat ANSI: REGR_SYY (SPARK-37702)
- Dukungan untuk Fungsi Agregat ANSI: REGR_SLOPE (SPARK-39230)
- Mendukung Fungsi Agregat ANSI: REGR_INTERCEPT (SPARK-37623)
- Mendukung fungsi agregasi ANSI PERCENTILE_CONT sebagai fungsi jendela (SPARK-38219)
- Mendukung Fungsi Agregasi ANSI: PERCENTILE_DISC (SPARK-37691)
- Mendukung fungsi SPLIT_PART (SPARK-38063)
- Mendukung fungsi TRY_AVG (SPARK-38589)
- Dukungan untuk fungsi TRY_TO_BINARY (SPARK-38590)
- Mendukung fungsi SQL TO_NUMBER dan TRY_TO_NUMBER sesuai dengan spesifikasi baru (SPARK-38796)
- Mendukung spesifikasi dan fungsi nilai umum ANSI - USER (SPARK-39138)
- Mendukung fungsi TO_CHAR dan TRY_TO_CHAR untuk memformat nilai Desimal sebagai string (SPARK-28516)
- Mendukung fungsi agregat ANY_VALUE (SPARK-39213)
- Mendukung fungsi EQUAL_NUL (SPARK-39305)
- Mendukung fungsi agregat MEDIAN (SPARK-39320)
- Mendukung fungsi REGEXP_COUNT (SPARK-39618)
- Mendukung fungsi REGEXP_INSTR (SPARK-39744)
- Mendukung fungsi REGEXP_SUBSTR (SPARK-39695)
- Mendukung fungsi UNPIVOT (SPARK-39876)
- Mendukung fungsi TRY_TO_TIMESTAMP (SPARK-39795)
- Mendukung pengodean dan dekode URL sebagai fungsi bawaan serta merapikan fungsi terkait URL (SPARK-39741)
- Mendukung MODE fungsi agregat (SPARK-39808)
- Mendukung fungsi GET (SPARK-40109 )
- Menambahkan alias fungsi: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
- Meningkatkan fungsi TO_BINARY (SPARK-40112)
- CURRENT_SCHEMA Dukungan (SPARK-41323)
- Mendukung masking data fungsi bawaan MASK (SPARK-40687)
- Mendukung fungsi tingkat tinggi: ARRAY_COMPACT (SPARK-41235)
- Mendukung fungsi ARRAY_APPEND (SPARK-41232)
- Mendukung fungsi ARRAY_INSERT (SPARK-41234)
- Dukungan untuk fungsi LUHN_CHECK (SPARK-42191)
- Dukungan ARRAY_SORT(kolom, komparator) (SPARK-39925)
Sumber Data
- Statistik Kolom Dukungan di DS v2 (SPARK-41378)
- Storage Partitioned Join (SPJ) di DS v2 (SPARK-37375)
- Operasi tingkat baris dalam DS v2 (SPARK-35801)
- Menambahkan mix SupportsReportOrdering dalam antarmuka untuk Pemindaian DS v2 (SPARK-38647)
- Jenis INFER DATE untuk inferensi skema CSV (SPARK-39469)
- Mendukung metrik driver di API metrik kustom DS v2 (SPARK-39635)
- Distribusi dan pemesanan mendukung fungsi DS v2 secara tertulis (SPARK-39607)
- Dukungan StringEndsWith/Contains turun ke Parquet sehingga kami dapat memanfaatkan filter kamus (SPARK-39002)
- Mendukung UDT di pembaca vektorisasi Spark Parquet (SPARK-39086)
- Perluas kolom METADATA untuk mendukung indeks baris untuk file Parquet (SPARK-37980)
- Mendukung pembacaan tipe FIXED_LEN_BYTE_ARRAY parquet (SPARK-41096)
- Mengoptimalkan urutan predikat pemfilteran (SPARK-40045)
- Mendukung kueri CTE dan tabel sementara dengan MSSQL JDBC (SPARK-37259)
- Dukungan ignoreCorruptFiles dan ignoreMissingFiles dalam opsi Sumber Data (SPARK-38767)
- Tarik keluar tulis v1 ke WriteFiles (SPARK-41407)
- Menambahkan padding karakter sisi baca untuk mencakup file data eksternal (SPARK-40697)
Pengoptimalan Kueri
- Menggabungkan subkueri skalar yang tidak berkorelasi (SPARK-34079)
- Aktifkan Gabungan filter Bloom secara default (SPARK-38841)
- Hapus perbedaan yang tidak perlu dalam ekspresi agregat dengan distinctKeys (SPARK-38832)
- Mendukung pendorongan predikat dan pemangkasan kolom untuk CTE yang dicabut (SPARK-37670)
- Hapus join eksternal jika fungsi agregat tidak membedakan duplikat di sisi yang dialirkan (SPARK-38886)
- Hapus gabungan luar kiri/kanan jika hanya kolom sisi kiri/kanan yang dipilih dan kunci gabungan di sisi lain unik (SPARK-39172)
- Optimalkan pengurutan global ke RepartitionByExpression (SPARK-39911)
- Mengoptimalkan aturan TransposeWindow (SPARK-38034)
- Tingkatkan EliminateSorts untuk mendukung penghapusan pengurutan melalui LocalLimit (SPARK-40050)
- Dorong batas lokal ke kedua sisi jika kondisi penggabungan kosong (SPARK-40040)
- Menambahkan PushProjectionThroughLimit untuk Pengoptimal (SPARK-40501)
- Dukung PIVOT/UNPIVOT dengan menggabungkan anak-anak (SPARK-41195)
- Dukungan untuk pemangkasan kolom dengan beberapa filter nondeterministik (SPARK-41017)
- Meningkatkan partisi dan pemesanan output dengan cache AQE (SPARK-41048)
- Tingkatkan performa multi like dengan membuat predikat pohon ekspresi yang seimbang (SPARK-41167)
- Hapus Sortir jika merupakan turunan dari RepartitionByExpression (SPARK-36703)
- Menggunakan statistik kolom yang tersedia dari tahap kueri yang selesai (SPARK-39991)
- Penggunaan kembali ekspresi dalam WindowSpecDefinition (SPARK-41805)
- Tingkatkan AliasAwareOutputPartitioning dan AliasAwareQueryOutputOrdering untuk memperhitungkan semua alias (SPARK-40086, SPARK-42049)
- Mendorong batas bawah melalui UDF Python (SPARK-42115)
Pembuatan Kode dan Eksekusi Kueri
- Membuat defaultJoin di BroadcastNestedLoopJoinExec berjalan secara paralel (SPARK-40487)
- Dukungan Codegen untuk HiveGenericUDF (SPARK-42051)
- Memperkenalkan acak pada SinglePartition (SPARK-41986)
- Membuat DPP mendukung pemangkasan pada sisi yang memiliki Union (SPARK-39217)
Perubahan penting lainnya
- Dukungan Pengumpulan Statistik Partisi Otomatis (SPARK-38573)
- Format pesan kesalahan di Thrift Server (SPARK-40098)
- Tambahkan API ekstensi untuk normalisasi rencana dalam penembolokan (SPARK-41183)
- Refaktor jenis Spark dengan memperkenalkan jenis fisik (SPARK-41226)
- Dukungan field OneOf dan pemeriksaan rekursi (SPARK-41396)
- Memusatkan logika resolusi kolom (SPARK-41405)
- Meningkatkan validasi perubahan rencana (SPARK-42081)
- Memperkenalkan SparkPath untuk typeafety (SPARK-41970)
- Lempar Pengecualian untuk db_name.view_name saat membuat tampilan sementara oleh API Himpunan Data (SPARK-41090)
- Ubah nilai default argumen fungsi Mask dari -1 ke NULL (SPARK-42070)
Spark Core
Penonaktifan
- Hindari pengoperasian ulang tugas yang tidak perlu pada eksekutor yang telah dinonaktifkan jika data shuffle sudah dimigrasikan (SPARK-41469)
- Abaikan kegagalan tahap pengambilan yang disebabkan oleh eksekutor yang sudah dinonaktifkan (SPARK-40481)
- Aktifkan spark.storage.decommission.(rdd|shuffle)Blocks.enabled secara default (SPARK-40198)
- Menambahkan dukungan untuk penonaktifan YARN saat ESS dinonaktifkan (SPARK-30835)
Scheduler
- Membuat penjadwalan tahap mendukung mode kluster lokal (SPARK-41949)
- Mendukung profil sumber daya tugas tingkat tahap untuk kluster mandiri saat alokasi dinamis dinonaktifkan (SPARK-39853)
- Penundaan pada saat terputus (onDisconnected) untuk memungkinkan Driver menerima ExecutorExitCode (SPARK-39957)
- Meningkatkan perkiraan melalui metrik tahap tugas (SPARK-32170)
- Menambahkan dukungan penjadwalan sumber daya tingkat tahap untuk kluster mandiri (SPARK-39062)
- Meningkatkan proses LaunchTask untuk menghindari kegagalan Tahap yang disebabkan oleh pesan LaunchTask yang gagal dikirim (SPARK-39955)
Mencampuri
- Menambahkan metrik pembacaan berbasis sisi klien untuk Shuffle Berbasis Push (SPARK-36620)
- Mengacak metrik di sisi server untuk Pengacakan berbasis Push (SPARK-33573)
- Pastikan mergedShuffleCleaner telah dimatikan sebelum penutupan db (SPARK-40186)
- Menambahkan dukungan RocksDB untuk penyimpanan status layanan acak (SPARK-38888)
- Merangkum LevelDB yang digunakan untuk menyimpan status acak jarak jauh/eksternal sebagai DB (SPARK-38909)
- Aktifkan spark.dynamicAllocation.shuffleTracking.enabled secara default (SPARK-3984)
- Aktifkan layanan shuffle berbasis Push untuk menyimpan status di basis data tingkat Node Manager (NM) untuk restart yang mempertahankan pekerjaan (SPARK-33236)
- Hapus blok shuffle menggunakan layanan shuffle untuk eksekutor yang telah dirilis (SPARK-37618)
Perubahan penting lainnya
- Mendukung lingkungan khusus IPv6 (SPARK-39457)
- Aktifkan spark.kryo.unsafe secara default (SPARK-42137)
- Melarang penggunaan classpath kustom yang sewenang-wenang dengan pengguna proksi dalam mode kluster (SPARK-41958)
- Hindari pendaftaran ulang BlockManager jika eksekutor telah hilang (SPARK-41360)
- Hapus batasan bahwa hasil tugas tunggal harus pas dalam 2GB (SPARK-40622)
- Hapus dukungan konfigurasi spark.akka.* yang tidak digunakan lagi (SPARK-40401)
- Ubah pengelogan default menjadi stderr agar konsisten dengan perilaku log4j (SPARK-40406)
- Mengecualikan metadata DirectTaskResult saat menghitung ukuran hasil (SPARK-40261)
- Izinkan kustomisasi nomor partisi awal dalam perilaku take() (SPARK-40211)
- Gunakan kunci interupsibel alih-alih disinkronkan di Executor.updateDependencies() (SPARK-40235)
- Kegagalan tugas harus selalu memicu pendengar kegagalan tugas (SPARK-40106)
- Menambahkan kemampuan untuk menonaktifkan pengamatan atau polling secara selektif (SPARK-36462)
- Jangan menyimpan relasi siaran yang tidak diserialisasi pada driver (SPARK-39983)
- Memperbaiki kebuntuan antara TaskMemoryManager dan UnsafeExternalSorter.SpillableIterator (SPARK-39283)
- Mengekspos partisi angka dalam tahap ke TaskContext (SPARK-38679)
- Membuat faktor overhead memori dapat dikonfigurasi (SPARK-38194)
- Hindari menggunakan bash -c di ShellBasedGroupsMappingProvider (SPARK-38992)
Streaming Terstruktur
Fitur Utama
- Pelacakan Kemajuan Asinkron (SPARK-39591)
- Pemrosesan Berkeadaan Sewenang-wenang Python dalam Streaming Terstruktur (SPARK-40434)
- Dukungan Protobuf dalam Streaming Terstruktur (SPARK-40653)
- Memperbaiki pemfilteran rekaman terlambat untuk mendukung penautan operator stateful (SPARK-40925)
Perubahan penting lainnya
- Memperkenalkan pengelola berkas checkpoint streaming berdasarkan antarmuka Abortable Hadoop (SPARK-40039)
- Hentikan Trigger.Once dan Promosikan Trigger.AvailableNow (SPARK-39805)
- Mengekspos informasi tabel katalog ke rencana logis dalam kueri streaming (SPARK-39564)
- Mendukung pengumpulan metrik dari sink streaming (SPARK-38564)
- Menghentikan DStream API (SPARK-42075)
- Ubah nilai default konfigurasi pengambilan offset Kafka (SPARK-40844)
- Menyediakan sesi Spark kloningan di DataFrame dalam fungsi pengguna sebagai sink foreachBatch di PySpark (SPARK-41379)
Spark Connect
Klien Python
- Menerapkan DataFrame API (SPARK-41279)
- Terapkan COLUMN API (SPARK-41282)
- Mengimplementasikan Fungsi API (SPARK-41283)
- Menerapkan SparkSession API (SPARK-41281)
- Menerapkan API I/O (SPARK-41284)
- Terapkan API Katalog (SPARK-41289)
- Dukungan untuk Fungsi yang Ditentukan Pengguna di Python (SPARK-41661)
- Dukungan untuk Pandas/Arrow Function API (SPARK-42393)
- Dukungan untuk konfigurasi Runtime SQL (SPARK-42499)
- Pembangunan, pengemasan, dan infrastruktur untuk Spark Connect (SPARK-41286)
- Ketik anotasi untuk Klien Spark Connect Python (SPARK-40451)
Klien Scala
- Menerapkan Klien Scala dasar (SPARK-41534, SPARK-42133, SPARK-42043, SPARK-41822)
- Menerapkan SparkSession API (SPARK-42639, SPARK-42581, SPARK-42564, SPARK-42544, SPARK-42631)
- Menerapkan Dataframe API (SPARK-42440, SPARK-42559, SPARK-42558, SPARK-42556, SPARK-42468, SPARK-42529, SPARK-42561, SPARK-42894, SPARK-41874, SPARK-42691, SPARK-42692, SPARK-42481, SPARK-42541, SPARK-42542, SPARK-42520, SPARK-41823)
- Terapkan COLUMN API (SPARK-42441, SPARK-42560)
- Implement Functions API (SPARK-42461, SPARK-42579, SPARK-42527, SPARK-42531, SPARK-42495, SPARK-42557)
- Menerapkan API I/O (SPARK-42457, SPARK-42555, SPARK-42690, SPARK-42878, SPARK-42757, SPARK-42482, SPARK-42733, SPARK-42518)
- Menerapkan konfigurasi Runtime SQL (SPARK-42586)
- Dukungan Fungsi Dasar yang Ditentukan Pengguna (SPARK-42283, SPARK-42653, SPARK-42543)
- Dukungan API Jenis Dasar (SPARK-42580, SPARK-42605)
- Infrastruktur pengujian untuk Spark Connect (SPARK-42172, SPARK-42377, SPARK-42599)
- Menerapkan Dukungan REPL (SPARK-42656, SPARK-42884)
PySpark
API Panda pada Spark
- Peningkatan besar
- Pemrosesan Berkeadaan Sewenang-wenang Python dalam Streaming Terstruktur (SPARK-40434)
- Menerapkan parameter yang hilang pada API pandas (SPARK-42883)
- Dukungan Pandas 1.5 (SPARK-40576)
- Fitur utama
- Menerapkan Series.searchsorted (SPARK-40330)
- Menerapkan Series.autocorr (SPARK-38774)
- Menerapkan DataFrame.mode (SPARK-40138)
- Menerapkan DataFrame.boxplot dan DataFrame.plot.box (SPARK-38993)
- Menerapkan DataFrame.corrwith (SPARK-38907)
- Menerapkan DataFrame.resample dan Series.resample (SPARK-39081)
- Menerapkan DataFrame.interpolate dan Series.interpolate (SPARK-38844)
- Menerapkan DataFrame.ewm dan Series.ewm (SPARK-38785)
- Menerapkan GroupBy.prod (SPARK-40334)
- Menerapkan GroupBy.nth (SPARK-40333)
- Menerapkan GroupBy.quantile (SPARK-40332)
- Menerapkan GroupBy.sem (SPARK-40305)
- Menerapkan GroupBy.mad (SPARK-39284)
- Menerapkan GroupBy.skew (SPARK-39246)
- Menerapkan GroupBy.ewm (SPARK-39129)
- Mendukung pengindeksan posisi GroupBy (SPARK-38947)
Perubahan penting lainnya
- Peningkatan besar
- Menyediakan profiler memori untuk fungsi yang ditentukan pengguna PySpark (SPARK-40281)
- Buat Catalog API kompatibel dengan namespace 3-layer (SPARK-39235)
- Dukungan input NumPy di PySpark (SPARK-39405)
- Peningkatan penanganan kesalahan PySpark (SPARK-41597)
- Fitur utama
- Mendukung SQL berparameter di PySpark (SPARK-41666)
- Menerapkan fungsi 'median' (SPARK-40003)
- Menerapkan fungsi 'mode' (SPARK-40007)
- Menerapkan fungsi 'unpivot/melt' (SPARK-39877)
- Mendukung Varchar di PySpark (SPARK-39760)
- Mendukung CharType di PySpark (SPARK-39809)
MLLIB
- Menerapkan Distributor PyTorch (SPARK-41589)
- Menyatukan validasi data (SPARK-38584)
- Mengurangi ukuran pemindahan ALS (SPARK-40476, SPARK-40745)
- Penghapusan duplikat fitur regresi isotonik (SPARK-41008)
- KMeans memblokir vektor input (SPARK-30661)
- Menambahkan skor relevansi untuk evaluasi nDCG (SPARK-39446)
SparkR
- Menambahkan unpivot / melt (SPARK-41267)
- Menambahkan fungsi array_sort(kolom, komparator) (SPARK-40167)
- Mendukung beberapa drop "Kolom" dalam R (SPARK-40087)
- Dukungan Arrow 9.0.0 dengan SparkR (SPARK-40114)
- Buat CATALOG API kompatibel dengan namespace 3 lapisan (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
- Dukungan R 4.2.0 (SPARK-39372)
Antarmuka Pengguna Langsung dan Layanan Server Riwayat
- Skalabilitas Spark UI yang lebih baik dan stabilitas Driver untuk aplikasi besar (SPARK-41053)
- Gunakan RocksDB untuk spark.history.store.hybridStore.diskBackend secara default (SPARK-42277)
- Mengelompokkan eksekusi berlapis di bawah eksekusi akar (SPARK-41752)
- Tampilkan properti metrik di tab lingkungan (SPARK-39110)
- Perbaiki ukuran input dan rekaman StagePage yang tidak ditampilkan saat rekaman lebih besar dari nol(SPARK-34777)
- Meningkatkan performa JsonProtocol pengelogan peristiwa dengan menggunakan Jackson alih-alih Json4s (SPARK-39489)
- Dukungan untuk spark.history.fs.update.batchSize (SPARK-39225)
Bangun
- Memperbarui cloudpickle ke v2.2.0 (SPARK-40991)
- Menghentikan Dukungan Python 3.7 (SPARK-39861)
- Mendukung Python 3.11 (SPARK-41454)
- Perbarui dev.ludovic.netlib ke 3.0.2 (SPARK-40251)
- Perbarui Breeze ke 2.0 (SPARK-39616)
- Memperbarui versi slf4j ke 2.0.6 (SPARK-41561)
- Memperbarui versi kubernetes-client ke 6.4.1 (SPARK-42362)
- Perbarui rocksdbjni ke 7.9.2 ( SPARK-42129)
- Memperbarui Apache Arrow ke 11.0.0 (SPARK-42161)
- Tingkatkan Apache Kafka ke 3.3.2 (SPARK-42109)
Pembaruan pemeliharaan
Lihat Pembaruan Pemeliharaan Databricks Runtime 13.0.
Lingkungan sistem
- Sistem Operasi: Ubuntu 22.04.2 LTS
- Java: Zulu 8.68.0.21-CA-linux64
- Scala: 2.12.15
- Python: 3.10.6
- R: 4.2.2
- Danau Delta: 2.3.0
Pustaka Python yang diinstal
| Perpustakaan | Versi | Perpustakaan | Versi | Perpustakaan | Versi |
|---|---|---|---|---|---|
| direktori aplikasi | 1.4.4 | argon2-cffi | 21.3.0 | Pengikatan Argon2-cffi | 21.2.0 |
| asttoken | 2.2.1 | atribut | 21.4.0 | panggilan balik | 0.2.0 |
| beautifulsoup4 | 4.11.1 | hitam | 22.6.0 | pemutih | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
| sertifikat | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klik | 8.0.4 | kriptografi | 37.0.1 |
| pengendara sepeda | 0.11.0 | Cython | 0.29.32 | dbus-python | 1.2.18 |
| debugpy | 1.5.1 | dekorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.6 | konversi docstring ke markdown | 0.12 | titik masuk | 0,4 |
| menjalankan | 1.2.0 | gambaran umum fasset | 1.0.2 | fastjsonschema | 2.16.3 |
| filelock | 3.10.7 | alat pengelola font | 4.25.0 | googleapis-common-protos | 1.56.4 |
| grpcio | 1.48.1 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| IDNA | 3.3 | importlib-metadata | 4.6.4 | ipykernel | 6.17.1 |
| ipython | 8.10.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| Jedi | 0.18.1 | Jeepney | 0.7.1 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.16.0 |
| jupyter-client (klien Jupyter) | 7.3.4 | jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | gantungan kunci | 23.5.0 | kiwisolver | 1.4.2 |
| launchpadlib | 1.10.16 | lazr.restfulclient (klien layanan web yang menggunakan RESTful) | 0.14.4 | lazr.uri | 1.0.6 |
| MarkupSafe | 2.0.1 | matplotlib | 3.5.2 | matplotlib-inline | 0.1.6 |
| Mccabe | 0.7.0 | penyetelan salah | 0.8.4 | more-itertools | 8.10.0 |
| ekstensi mypy | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.5.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| buku catatan | 6.4.12 | numpy (perpustakaan Python untuk operasi numerik) | 1.21.5 | oauthlib | 3.2.0 |
| kemasan | 21.3 | Panda | 1.4.4 | Pandocfilters | 1.5.0 |
| pengurai | 0.8.3 | spesifikasi jalur | 0.9.0 | korban | 0.5.2 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | Bantal | 9.2.0 |
| pipa | 22.2.2 | Platformdirs | 2.5.2 | plotly | 5.9.0 |
| pengaya | 1.0.0 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
| protobuf | 3.19.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 7.0.0 |
| pycparser | 2.21 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
| pytoolconfig | 1.2.2 | pytz | 2022.1 | pyzmq | 23.2.0 |
| permohonan | 2.28.1 | tali | 1.7.0 | s3transfer | 0.6.0 |
| scikit-learn | 1.1.1 | scipy (perpustakaan Python untuk komputasi ilmiah) | 1.9.1 | Seaborn (perpustakaan Python untuk visualisasi data) | 0.11.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 63.4.1 |
| Enam | 1.16.0 | alat penyaring sup | 2.3.1 | ssh-import-id | 5.11 |
| stack-data | 0.6.2 | statsmodels (paket Python untuk pemodelan statistik) | 0.13.2 | ketekunan | 8.0.1 |
| selesai | 0.13.1 | jalur uji | 0.6.0 | threadpoolctl | 2.2.0 |
| Tokenisasi-RT | 4.2.1 | tomli | 2.0.1 | Tornado | 6.1 |
| traitlets=5.0.5 | 5.1.1 | ujson | 5.4.0 | unattended-upgrades (pembaruan otomatis) | 0.1 |
| urllib3 | 1.26.11 | virtualenv | 20.16.3 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | webencodings=0.5.1 | 0.5.1 | apa itu patch | 1.0.2 |
| wheel | 0.37.1 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
| zipp | 1.0.0 |
Pustaka R yang diinstal
Pustaka R diinstal dari cuplikan Microsoft CRAN pada 2023-02-10.
| Perpustakaan | Versi | Perpustakaan | Versi | Perpustakaan | Versi |
|---|---|---|---|---|---|
| anak panah | 10.0.1 | askpass | 1.1 | pastikanbahwa | 0.2.1 |
| pemindahan fitur terbalik | 1.4.1 | dasar | 4.2.2 | base64enc | 0.1-3 |
| sedikit | 4.0.5 | bit-64 | 4.0.5 | blob | 1.2.3 |
| sepatu boot | 1.3-28 | seduh | 1,0-8 | Brio | 1.1.3 |
| sapu | 1.0.3 | bslib | 0.4.2 | cashmere | 1.0.6 |
| layanan panggilan | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| kronogram | 2.3-59 | kelas | 7.3-21 | CLI | 3.6.0 |
| pemangkas | 0.8.0 | Jam | 0.6.1 | kluster | 2.1.4 |
| codetools | 0.2-19 | ruang warna | 2.1-0 | commonmark | 1.8.1 |
| pengompilasi | 4.2.2 | konfigurasi | 0.3.1 | cpp11 | 0.4.3 |
| kriyon | 1.5.2 | kredensial | 1.3.2 | melengkung | 5.0.0 |
| data.table (sebuah paket untuk pengolahan data table) | 1.14.6 | kumpulan data | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.3.0 | deskripsi | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.31 | penerangan dari atas | 0.4.2 |
| dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
| elipsis | 0.3.2 | menilai | 0.20 | penggemar | 1.0.4 |
| warna | 2.1.1 | pemetaan cepat | 1.1.0 | fontawesome | 0.5.0 |
| Since there's no context indicating that "forcats" should be translated differently, the translation remains as "forcats". | 1.0.0 | foreach (pengulangan untuk setiap elemen) | 1.5.2 | asing | 0.8-82 |
| tempa | 0.2.0 | fs | 1.6.1 | masa depan | 1.31.0 |
| menerapkan di masa depan | 1.10.0 | kumur | 1.3.0 | Generik | 0.1.3 |
| Gert | 1.9.2 | ggplot2 | 3.4.0 | GH | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-6 | variabel global | 0.16.2 |
| lem | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| Gower | 1.0.1 | grafis | 4.2.2 | grDevices | 4.2.2 |
| kisi | 4.2.2 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtabel | 0.3.1 | helm keselamatan | 1.2.0 | tempat perlindungan | 2.5.1 |
| lebih tinggi | 0.10 | HMS | 1.1.2 | htmltools | 0.5.4 |
| htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
| Id | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.7 | iterator (alat pengulangan) | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.4 | KernSmooth | 2.23-20 | knitr | 1.42 |
| pelabelan | 0.4.2 | nanti | 1.3.0 | rangka | 0.20-45 |
| lahar | 1.7.1 | siklus hidup | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.1 | magrittr | 2.0.3 | Markdown | 1.5 |
| Massa | 7.3-58.2 | Matriks | 1.5-1 | memosankan | 2.0.1 |
| metode | 4.2.2 | mgcv | 1.8-41 | pantomim | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.10 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | Agustus 2016 - Januari 2017 | openssl | 2.0.5 | paralel | 4.2.2 |
| secara paralel | 1.34.0 | pilar | 1.8.1 | pkgbuild | 1.4.0 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
| plogr | 0.2.0 | plyr | 1.8.8 | pujian | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | ProsesX | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | kemajuan | 1.2.2 |
| progresr | 0.13.0 | janji | 1.2.0.1 | Proto | 1.0.0 |
| proksi | 0,4-27 | P.S. | 1.7.2 | menggeram lembut | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest (algoritma pembelajaran mesin) | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
| pembaca | 2.1.3 | readxl (membaca file Excel) | 1.4.2 | Resep | 1.0.4 |
| pertandingan ulang | 1.0.1 | Pertandingan Ulang 2 | 2.1.2 | pengontrol jarak jauh | 2.4.2 |
| contoh replikasi | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2,20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.20 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | Sass | 0.4.5 | timbangan | 1.2.1 |
| selektor | 0,4-2 | informasi sesi | 1.2.2 | bentuk | 1.4.6 |
| mengkilap | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr - paket R untuk analisis data dan pembelajaran mesin | 1.7.9 |
| SparkR | 3.4.0 | spasial | 7.3-15 | garis lengkung | 4.2.2 |
| sqldf | 0,4-11 | SQUAREM | 2021.1 | statistik | 4.2.2 |
| statistik4 | 4.2.2 | string | 1.7.12 | stringr | 1.5.0 |
| bertahan hidup | 3.5-3 | Sistem | 3.4.1 | systemfonts | 1.0.4 |
| bahasa pemrograman Tcl/Tk | 4.2.2 | ujiitu | 3.1.6 | pemformatan teks | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | perubahan waktu | 0.2.0 | WaktuTanggal | 4022.108 |
| tinytex | 0,44 | alat | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | gunakan ini | 2.1.6 | utf8 | 1.2.3 |
| Utilitas | 4.2.2 | UUID (Pengidentifikasi Unik Universal) | 1.1-0 | vctrs | 0.5.2 |
| viridisLite | 0.4.1 | Vroom | 1.6.1 | Waldo | 0.4.0 |
| kumis | 0.4.1 | dengan | 2.5.0 | xfun | 0,37 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | Zip | 2.2.2 |
Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)
| ID Grup | Artefak ID | Versi |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Klien Amazon Kinesis | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | AWS Java SDK untuk CloudHSM | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config (konfigurasi SDK Java untuk AWS) | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-impor-ekspor | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | AWS-Java-SDK-Pembelajaran Mesin | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks (SDK Java untuk OpsWorks) | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) | 1.12.390 |
| com.amazonaws | SDK Java untuk Storage Gateway AWS | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | AWS Java SDK Dukungan | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | aliran | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | bayangan-kriogenik | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | teman sekelas | 1.3.4 |
| com.fasterxml.jackson.core | Jackson Annotations | 2.14.2 |
| com.fasterxml.jackson.core | jackson-core | 2.14.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
| com.fasterxml.jackson.datatype | Jackson-datatype-joda | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
| com.github.ben-manes.caffeine | kafein | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | referensi_asli-java | 1.1 |
| com.github.fommil.netlib | referensi_asli-java | 1.1-asli |
| com.github.fommil.netlib | sistem_asli-java | 1.1 |
| com.github.fommil.netlib | sistem_asli-java | 1.1-asli |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-asli |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-asli |
| com.github.luben | zstd-jni | 1.5.2-5 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | Gson | 2.8.9 |
| com.google.crypto.tink | tink | 1.7.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | jambu biji | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.1.214 |
| com.helger | pembuat profil | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | kode_sumber_2.12 | 0.1.9 |
| com.microsoft.azure | Azure Data Lake Store SDK | 2.3.9 |
| com.ning | compress-lzf (algoritma kompresi) | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | JSON | 1.8 |
| com.thoughtworks.paranamer | Paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | konfigurasi | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| koleksi umum | koleksi umum | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| unggah berkas pada commons | unggah berkas pada commons | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging (perpustakaan Java untuk fungsi pencatatan) | commons-logging (perpustakaan Java untuk fungsi pencatatan) | 1.1.3 |
| kolam umum | kolam umum | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | bosan | 3.0.3 |
| dev.ludovic.netlib | LAPACK | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | kompresor udara | 0,21% |
| io.delta | delta-sharing-spark_2.12 | 0.6.3 |
| io.dropwizard.metrics | inti metrik | 4.2.10 |
| io.dropwizard.metrics | metrik-graphite | 4.2.10 |
| io.dropwizard.metrics | metrik-pemeriksaan kesehatan | 4.2.10 |
| io.dropwizard.metrics | metrik-jetty9 | 4.2.10 |
| io.dropwizard.metrics | metrik-jmx | 4.2.10 |
| io.dropwizard.metrics | metrik-json | 4.2.10 |
| io.dropwizard.metrics | metrik-jvm | 4.2.10 |
| io.dropwizard.metrics | metrik-servlets | 4.2.10 |
| io.netty | netty-all | 4.1.87.Final |
| io.netty | Netty Buffer | 4.1.87.Final |
| io.netty | netty-codec | 4.1.87.Final |
| io.netty | netty-kodek-http | 4.1.87.Final |
| io.netty | netty-codec-http2 | 4.1.87.Final |
| io.netty | netty-codec-socks | 4.1.87.Final |
| io.netty | netty-common | 4.1.87.Final |
| io.netty | netty-handler | 4.1.87.Final |
| io.netty | netty-handler-proxy | 4.1.87.Final |
| io.netty | netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) | 4.1.87.Final |
| io.netty | netty-transport | 4.1.87.Final |
| io.netty | netty-transport-classes-epoll (kelas transportasi netty - epoll) | 4.1.87.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-umum | 4.1.87.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_umum | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway (gateway pendorong sederhana) | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | pengumpul | 0.12.0 |
| jakarta.anotasi | jakarta.anotasi-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivasi | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Java Transaction API (JTA) | 1.1 |
| javax.transaction | Transaction-API | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| Javolution | Javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | mentimun asinan | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| jaring.bunga salju | snowflake-ingest-sdk | 0.9.6 |
| jaring.bunga salju | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_gabungan_semua | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | StringTemplate | 3.2.1 |
| org.apache.ant | semut | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | format tanda panah | 11.0.0 |
| org.apache.arrow | inti-memori-panah | 11.0.0 |
| org.apache.arrow | Arrow-Memory-Netty | 11.0.0 |
| org.apache.arrow | panah-vektor | 11.0.0 |
| org.apache.avro | Avro | 1.11.1 |
| org.apache.avro | avro-ipc | 1.11.1 |
| org.apache.avro | avro-mapred | 1.11.1 |
| org.apache.commons | commons-koleksi4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | Commons-Math3 | 3.6.1 |
| org.apache.commons | commons-text (teks umum) | 1.10.0 |
| org.apache.curator | kurator-klien | 2.13.0 |
| org.apache.curator | kerangka kurator | 2.13.0 |
| org.apache.curator | kurasi resep | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | pertandingan derbi | 10.14.2.0 |
| org.apache.hadoop | hadoop-klien-waktu proses | 3.3.4 |
| org.apache.hive | hive-beeline (antarmuka perintah untuk Apache Hive) | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) | 2.3.9 |
| org.apache.hive | Hive-shims | 2.3.9 |
| org.apache.hive | API penyimpanan hive | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) | 2.3.9 |
| org.apache.hive.shims | Pengatur Jadwal Hive Shims | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | tanaman ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
| org.apache.logging.log4j | log4j-api | 2.19.0 |
| org.apache.logging.log4j | log4j-core | 2.19.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.8.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.8.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.8.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.22 |
| org.apache.yetus | anotasi audiens | 0.13.0 |
| org.apache.zookeeper | penjaga kebun binatang | 3.6.3 |
| org.apache.zookeeper | penjaga kebun binatang-jute | 3.6.3 |
| org.checkerframework | pemeriksa kualitas | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | Pengompilasi Umum | 3.0.16 |
| org.codehaus.janino | Januari | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.50.v20221201 |
| org.eclipse.jetty | lanjutan dermaga | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-http (protokol HTTP untuk server Jetty) | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-io | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-jndi | 9.4.50.v20221201 |
| org.eclipse.jetty | Jetty Plus | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty proxy | 9.4.50.v20221201 |
| org.eclipse.jetty | keamanan jetty | 9.4.50.v20221201 |
| org.eclipse.jetty | Jetty Server | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlet | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlets | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.50.v20221201 |
| org.eclipse.jetty | Aplikasi web Jetty | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-xml | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | WebSocket-API | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-klien | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.50.v20221201 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-pemindai lokasi | 2.6.1 |
| org.glassfish.hk2 | hk2-utilitas | 2.6.1 |
| org.glassfish.hk2 | osgi-penanda-sumber-daya | 1.0.3 |
| org.glassfish.hk2.external | aopalliance (dikemas ulang) | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-inti | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey biasa | 2.36 |
| org.glassfish.jersey.core | Jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | Hibernate Validator | 6.1.7.Terakhir |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | anotasi | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client (klien Java untuk MariaDB) | 2.7.4 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.8 |
| org.roaringbitmap | RoaringBitmap | 0.9.39 |
| org.roaringbitmap | ganjal | 0.9.39 |
| org.rocksdb | rocksdbjni | 7.8.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | antarmuka-uji | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 2.0.6 |
| org.slf4j | jul-to-slf4j | 2.0.6 |
| org.slf4j | slf4j-api | 2.0.6 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1,33 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |