Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Catatan rilis berikut memberikan informasi tentang Databricks Runtime 15.4 LTS, didukung oleh Apache Spark 3.5.0.
Databricks merilis versi ini pada Agustus 2024.
Catatan
LTS berarti versi ini berada di bawah dukungan jangka panjang. Lihat siklus hidup versi Databricks Runtime LTS.
Petunjuk / Saran
Untuk melihat catatan rilis untuk versi Databricks Runtime yang telah mencapai akhir dukungan (EoS), lihat Catatan rilis akhir dukungan Databricks Runtime. Versi EoS Databricks Runtime telah dihentikan dan mungkin tidak diperbarui.
Perubahan perilaku
-
Menggunakan
VARIANTsebagai jenis input atau output dengan Python UDF, UDAF, atau UDTF menyebabkan pengecualian - spark.sql.legacy.jdbc.useNullCalendar sekarang diaktifkan secara default
- Ubah ke mode pengikatan skema default untuk tampilan
-
Melarang penggunaan sintaksis
!yang tidak terdokumentasi bukannyaNOTdi luar ekspresi boolean - Melarang sintaks definisi kolom yang tidak terdokumentasi dalam tampilan
- Penanganan kesalahan yang konsisten untuk decoding Base64 di Spark dan Photon
-
Menambahkan batasan
CHECKpada kolom yang tidak valid sekarang mengembalikan kelas kesalahan UNRESOLVED_COLUMN.WITH_SUGGESTION - spark.sql.legacy.jdbc.useNullCalendar sekarang diaktifkan secara default
- pyodbc diperbarui dari 4.0.38 ke 4.0.39
Menggunakan VARIANT sebagai jenis input atau output dengan Python UDF, UDAF, atau UDTF melemparkan pengecualian
[Perubahan yang mengganggu] Dalam Databricks Runtime 15.3 dan versi di atasnya, memanggil fungsi Python yang ditentukan pengguna (UDF), fungsi agregat yang ditentukan pengguna (UDAF), atau fungsi tabel yang ditentukan pengguna (UDTF) yang menggunakan jenis VARIANT sebagai argumen atau nilai pengembalian akan menghasilkan pengecualian. Perubahan ini dilakukan untuk mencegah masalah yang mungkin terjadi karena nilai yang tidak valid yang dikembalikan oleh salah satu fungsi ini. Untuk mempelajari lebih lanjut tentang jenis VARIANT, lihat menggunakan VARIAN untuk menyimpan data semi-terstruktur.
spark.sql.legacy.jdbc.useNullCalendar sekarang diaktifkan secara default
spark.sql.legacy.jdbc.useNullCalendar sekarang diatur ke true secara default. Jika perubahan ini akan merusak kueri Anda (seperti yang mengembalikan TIMESTAMP nilai), atur ke false dalam kode Anda.
Ubah ke mode pengikatan skema default untuk tampilan
Tampilan sekarang beradaptasi dengan perubahan skema dalam kueri yang mendasarinya dengan menggunakan kompensasi skema dan aturan konversi data yang reguler. Ini adalah perubahan dari default BINDING mode sebelumnya, yang memunculkan kesalahan ketika transmisi aman tidak dapat dilakukan saat merujuk tampilan.
Lihat fungsi CREATE VIEW dan cast.
Melarang penggunaan sintaksis yang tidak terdokumentasi ! alih-alih NOT di luar ekspresi boolean
Dengan rilis ini, penggunaan ! sebagai sinonim untuk NOT luar ekspresi boolean tidak lagi diizinkan. Misalnya, pernyataan seperti berikut: CREATE ... IF ! EXISTS, IS ! NULL, properti kolom atau bidang ! NULL, ! IN dan ! BETWEEN, harus diganti dengan: CREATE ... IF NOT EXISTS, IS NOT NULL, properti kolom atau bidang NOT NULL, NOT IN dan NOT BETWEEN.
Perubahan ini memastikan konsistensi, selaras dengan standar SQL, dan membuat SQL Anda lebih portabel.
Operator ! awalan boolean (misalnya, !is_mgr atau !(true AND false)) tidak terpengaruh oleh perubahan ini.
Melarang sintaks definisi kolom yang tidak terdokumentasi dalam tampilan
Databricks mendukung CREATE VIEW dengan kolom yang diberi nama dan komentar kolom. Sebelumnya, spesifikasi jenis kolom, batasan NOT NULL, atau DEFAULT telah diizinkan. Dengan rilis ini, Anda tidak dapat lagi menggunakan sintaks ini.
Perubahan ini memastikan konsistensi, selaras dengan standar SQL, dan mendukung peningkatan di masa mendatang.
Penanganan kesalahan yang konsisten untuk decoding Base64 di Spark dan Photon
Rilis ini mengubah cara Photon menangani kesalahan decoding Base64 agar sesuai dengan penanganan Spark dari kesalahan ini. Sebelum perubahan ini, jalur pembuatan kode Photon dan Spark terkadang gagal menaikkan pengecualian penguraian, sementara Spark dalam mode interpretasi dengan benar menaikkan IllegalArgumentException atau ConversionInvalidInputError. Pembaruan ini memastikan bahwa Photon secara konsisten menimbulkan pengecualian yang sama dengan Spark selama kesalahan decoding Base64, memberikan penanganan kesalahan yang lebih dapat diprediksi dan dapat diandalkan.
Menambahkan batasan CHECK pada kolom yang tidak valid sekarang mengembalikan kelas kesalahan UNRESOLVED_COLUMN.WITH_SUGGESTION.
Untuk memberikan pesan kesalahan yang lebih berguna, dalam Databricks Runtime 15.3 ke atas, pernyataan ALTER TABLE ADD CONSTRAINT yang menyertakan batasan CHECK yang mereferensikan nama kolom yang tidak valid mengembalikan UNRESOLVED_COLUMN. WITH_SUGGESTION kelas kesalahan. Sebelumnya, sebuah INTERNAL_ERROR dikembalikan.
spark.sql.legacy.jdbc.useNullCalendar sekarang diaktifkan secara default
### spark.sql.legacy.jdbc.useNullCalendar sekarang diatur ke true sebagai pengaturan default. Jika perubahan ini akan merusak kueri Anda (seperti yang mengembalikan TIMESTAMP nilai), atur ke false dalam kode Anda.
pyodbc diperbarui dari 4.0.38 ke 4.0.39
Paket pyodbc diperbarui dari versi 4.0.38 ke versi 4.0.39. Perubahan ini diperlukan karena bug ditemukan di versi 4.0.38 dan versi tersebut telah dihapus dari PyPI.
Fitur dan peningkatan baru
- Fungsi validasi UTF-8
- API Dataset Bertipe dengan UDF Scala
- Aktifkan UniForm Iceberg menggunakan ALTER TABLE
- fungsi try_url_decode
- Secara opsional memungkinkan pengoptimal untuk mengandalkan batasan kunci asing yang tidak diberlakukan
- Pekerjaan yang diparalelkan untuk penulisan ulang selektif
- Peningkatan performa untuk mengubah umpan data dengan penimpaan selektif
-
Peningkatan latensi kueri untuk perintah
COPY INTO - Dukungan untuk menghilangkan fitur tabel batasan pemeriksaan
- Komputasi khusus (sebelumnya komputasi pengguna tunggal) mendukung kontrol akses terperinci, tampilan materialisasi, dan tabel streaming (Pratinjau Umum)
- Dukungan yang diperluas untuk pustaka Java dan Scala
- Dukungan yang diperluas untuk operasi Himpunan Data Scala
- Scala telah tersedia secara umum di sistem komputasi standar Unity Catalog
- Akses yang dikelola oleh Katalog Unity ke layanan cloud eksternal menggunakan kredensial layanan (Pratinjau Umum)
Fungsi validasi UTF-8
Rilis ini memperkenalkan fungsi berikut untuk memvalidasi string UTF-8:
- is_valid_utf8 memverifikasi apakah string adalah string UTF-8 yang valid.
- make_valid_utf8 mengonversi string UTF-8 yang berpotensi tidak valid ke string UTF-8 yang valid menggunakan karakter substitusi
- validate_utf8 menimbulkan kesalahan jika input bukan string UTF-8 yang valid.
-
try_validate_utf8 mengembalikan
NULLjika input bukan string UTF-8 yang valid.
API Himpunan Data yang Ditik dengan UDF Scala
Rilis ini mencakup dukungan tambahan untuk API Himpunan Data yang diketik dengan fungsi yang ditentukan pengguna Scala (tidak termasuk fungsi agregat yang ditentukan pengguna) pada komputasi yang didukung Katalog Unity dengan mode akses standar (sebelumnya mode akses bersama). Lihat API Dataset Berjenis.
Mengaktifkan UniForm Iceberg menggunakan ALTER TABLE
Anda sekarang dapat mengaktifkan UniForm Iceberg pada tabel yang ada tanpa menulis ulang file data. Lihat Aktifkan pembacaan Iceberg pada tabel yang sudah ada.
fungsi try_url_decode
Rilis ini memperkenalkan fungsi try_url_decode , yang mendekode string yang dikodekan URL. Jika string tidak dalam format yang benar, fungsi mengembalikan NULL alih-alih menimbulkan kesalahan.
Secara opsional memungkinkan pengoptimal untuk mengandalkan batasan kunci asing yang tidak diberlakukan
Untuk meningkatkan performa kueri, Anda sekarang dapat menentukan kata kunci RELY pada batasan FOREIGN KEY saat Anda CREATE atau ALTER tabel.
Proses kerja paralel untuk penimpaan selektif
Penimpaan selektif menggunakan replaceWhere sekarang menjalankan tugas penghapusan dan penyisipan data baru secara paralel, meningkatkan kinerja kueri dan pemanfaatan kluster.
Peningkatan performa untuk mengubah umpan data dengan penimpaan selektif
Penimpaan selektif menggunakan replaceWhere pada tabel dengan umpan data perubahan tidak lagi menulis file data perubahan terpisah untuk data yang disisipkan. Operasi ini menggunakan kolom _change_type tersembunyi yang ada di file data Parquet yang mendasar untuk merekam perubahan tanpa amplifikasi tulis.
Untuk perintah COPY INTO, latensi kueri yang ditingkatkan
Rilis ini mencakup perubahan yang meningkatkan latensi kueri untuk COPY INTO perintah. Peningkatan ini diimplementasikan dengan membuat pemuatan status oleh RocksDB state store menjadi asinkron. Dengan perubahan ini, Anda akan melihat peningkatan pada waktu mulai untuk kueri dengan status besar, seperti kueri dengan sejumlah besar file yang sudah diserap.
Dukungan untuk menghilangkan fitur tabel batasan pemeriksaan
Sekarang Anda dapat menghilangkan fitur tabel checkConstraints dari tabel Delta menggunakan ALTER TABLE table_name DROP FEATURE checkConstraints. Lihat Menonaktifkan batasan pemeriksaan.
Komputasi khusus (sebelumnya komputasi pengguna tunggal) mendukung kontrol akses terperinci, tampilan materialisasi, dan tabel streaming (Pratinjau Umum)
Ketika ruang kerja diaktifkan untuk komputasi tanpa server, Databricks Runtime 15.4 LTS menambahkan dukungan untuk kontrol akses terperintah pada komputasi khusus. Saat kueri mengakses salah satu objek berikut, sumber daya komputasi khusus pada Databricks Runtime 15.4 LTS meneruskan kueri ke komputasi tanpa server untuk menjalankan pemfilteran data:
- Tampilan yang didefinisikan pada tabel di mana pengguna tidak memiliki hak istimewa
SELECT. - Tampilan dinamis.
- Tabel dengan filter baris atau masker kolom diterapkan.
- Tampilan terwujud dan tabel streaming.
Kueri ini tidak didukung pada komputasi khusus yang menjalankan Databricks Runtime 15.3 ke bawah.
Untuk informasi selengkapnya, lihat Kontrol akses terperindar pada komputasi khusus.
Dukungan diperluas untuk pustaka Java dan Scala
Mulai dari Databricks Runtime 15.4 LTS, semua pustaka Java dan Scala yang dibundel dengan Databricks Runtime tersedia di semua mode akses komputasi saat Anda menggunakan Unity Catalog. Untuk mempelajari selengkapnya tentang dukungan bahasa pada komputasi yang mendukung Katalog Unity, lihat Persyaratan dan batasan komputasi standar.
Dukungan yang diperluas untuk operasi Himpunan Data Scala
Dengan rilis ini, sumber daya komputasi yang didukung Unity Catalog yang menggunakan mode akses standar mendukung operasi Dataset Scala berikut: map, mapPartitions, foreachPartition, flatMap, reduce dan filter.
Scala adalah GA pada komputasi standar Unity Catalog
Dengan rilis ini, Scala umumnya tersedia pada komputasi yang diaktifkan dengan Unity Catalog dalam mode akses standar, termasuk dukungan untuk fungsi yang ditentukan pengguna skalar (UDF). Streaming Terstruktur, UDF Apache Hive, dan fungsi agregat yang ditentukan pengguna Apache Hive tidak didukung. Untuk daftar lengkap batasan, lihat Persyaratan dan batasan komputasi standar.
Akses yang diatur oleh Unity Catalog ke layanan cloud eksternal menggunakan kredensial layanan (Pratinjau Umum)
Kredensial layanan memungkinkan autentikasi sederhana dan aman dengan layanan penyewa cloud Anda menggunakan Identitas terkelola Azure (MI) dan Katalog Unity. Lihat Membuat kredensial layanan.
Perbaikan bug
Peningkatan pustaka
- Pustaka Python yang ditingkatkan:
- azure-core dari 1.30.1 hingga 1.30.2
- google-auth dari 2.29.0 ke 2.31.0
- google-cloud-storage dari 2.16.0 hingga 2.17.0
- google-resumable-media dari 2.7.0 hingga 2.7.1
- googleapis-common-protos dari 1.63.0 hingga 1.63.2
- mlflow-skinny dari 2.11.3 hingga 2.11.4
- proto-plus dari 1.23.0 hingga 1.24.0
- s3transfer dari 0.10.1 ke 0.10.2
- Pustaka R yang ditingkatkan:
- Pustaka Java yang ditingkatkan:
- com.databricks.databricks-sdk-java dari 0.17.1 hingga 0.27.0
- com.ibm.icu.icu4j dari 72.1 hingga 75.1
- software.amazon.cryptools.AmazonCorrettoCryptoProvider dari 1.6.1-linux-x86_64 hingga 1.6.2-linux-x86_64
Apache Spark
Databricks Runtime 15.4 LTS mencakup Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam versi sebelumnya, serta yang berikut ini:
- [SPARK-48503] [DBRRM-1150][sc-172196][SQL] Izinkan pengelompokan pada ekspresi dalam subkueri skalar, jika terikat ke baris luar
- [SPARK-48834] [BEHAVE-79][sc-170972][SQL] Nonaktifkan input/output varian ke UDF skalar Python, UDTF, UDAF selama kompilasi kueri
- [SPARK-48441] [SC-170980][sql][WARMFIX] Perbaiki perilaku StringTrim untuk kolase non-UTF8_BINARY
- [SPARK-48440] [SC-170895][sql][WARMFIX] Perbaiki perilaku StringTranslate untuk kolase non-UTF8_BINARY
- [SPARK-48872] [SC-170866][python] Mengurangi overhead dari _capture_call_site
-
[SPARK-48862] [SC-170845][python][CONNECT] Hindari memanggil
_proto_to_stringsaat tingkat INFO tidak diaktifkan - [SPARK-48852] [SC-170837][connect] Perbaiki fungsi pemangkasan string dalam connect
- [SPARK-48791] [SC-170658][core] Memperbaiki regresi kinerja yang disebabkan oleh overhead pendaftaran akumulator dengan memanfaatkan CopyOnWriteArrayList
-
[SPARK-48118] [SQL] Mendukung
SPARK_SQL_LEGACY_CREATE_HIVE_TABLEvariabel lingkungan - [SPARK-48241] [SC-165811][sql] Kegagalan penguraian CSV dengan kolom jenis char/varchar
- [SPARK-48168] [SC-166900][sql] Penambahan dukungan operator pergeseran bitwise
- [SPARK-48148] [SC-165630][core] Objek JSON tidak boleh dimodifikasi saat dibaca sebagai STRING
- [SPARK-46625] [SC-170561] CTE dengan klausa Pengidentifikasi sebagai referensi
-
[SPARK-48771] [SC-170546][sql] Percepat
LogicalPlanIntegrity.validateExprIdUniquenessuntuk rencana kueri yang besar -
[SPARK-48831] [BEHAVE-76][sc-170554][CONNECT] Buat nama kolom default
castkompatibel dengan Spark Classic - [SPARK-48623] [SC-170544][core] Migrasi pengelogan terstruktur [Bagian 2]
-
[SPARK-48296] [SC-166138][sql] Dukungan Codegen untuk
to_xml - [SPARK-48027] [SC-165154][sql] InjectRuntimeFilter untuk gabungan multi-tingkat harus memeriksa jenis gabungan anak
- [SPARK-48686] [SC-170365][sql] Meningkatkan performa ParserUtils.unescapeSQLString
-
[SPARK-48798] [SC-170588][python] Memperkenalkan
spark.profile.renderuntuk pembuatan profil berbasis SparkSession - [SPARK-48048] [SC-169099] Kembali "[SC-164846][connect][SS] Menambahkan dukungan pendengar sisi klien untuk Scala"
- [SPARK-47910] [SC-168929][core] menutup aliran saat DiskBlockObjectWriter closeResources untuk menghindari kebocoran memori
- [SPARK-48816] [SC-170547][sql] Singkatan untuk konverter interval di UnivocityParser
- [SPARK-48589] [SC-170132][sql][SS] Tambahkan opsi snapshotStartBatchId dan snapshotPartitionId ke sumber data states.
- [SPARK-48280] [SC-170293][sql] Meningkatkan area permukaan pengujian kolase menggunakan ekspresi berjalan
- [SPARK-48837] [SC-170540][ml] Di CountVectorizer, hanya membaca parameter biner sekali per transformasi, bukan sekali per baris
- [SPARK-48803] [SC-170541][sql] Melempar kesalahan internal dalam serializer Orc(De) agar selaras dengan ParquetWriteSupport
- [SPARK-48764] [SC-170129][python] Memfilter bingkai terkait IPython dari tumpukan pengguna
-
[SPARK-48818] [SC-170414][python] Menyederhanakan fungsi
percentile - [SPARK-48479] [SC-169079][sql] Dukungan membuat UDF SQL skalar dan tabel di parser
- [SPARK-48697] [SC-170122][lc-4703][SQL] Tambahkan filter string sadar kolase
- [SPARK-48800] [SC-170409][connect][SS] Meningkatkan Stabilitas ClientStreamingQuerySuite
-
[SPARK-48738] [SC-169814][sql] Koreksi sejak versi untuk alias fungsi bawaan
random,position,mod,cardinality,current_schema,user,session_user,char_length,character_length - [SPARK-48638] [SC-169575][connect] Tambahkan dukungan ExecutionInfo untuk DataFrame
- [SPARK-48064] [SC-164697][sql] Memperbarui pesan kesalahan untuk kelas kesalahan terkait rutin
- [SPARK-48810] [SAMBUNGKAN] SESI stop() API harus idempogen dan tidak gagal jika sesi sudah ditutup oleh server
- [SPARK-48650] [15.x][python] Tampilkan situs panggilan yang benar dari IPython Notebook
- [SPARK-48271] [SC-166076][sql] Ubah kesalahan kecocokan di RowEncoder menjadi UNSUPPORTED_DATA_TYPE_FOR_ENCODER
- [SPARK-48709] [SC-169603][sql] Memperbaiki ketidakcocokan resolusi jenis varchar untuk DataSourceV2 CTAS
- [SPARK-48792] [SC-170335][sql] Perbaiki regresi untuk INSERT dengan daftar kolom parsial ke tabel dengan karakter/varchar
-
[SPARK-48767] [SC-170330][sql] Perbaiki beberapa perintah kesalahan saat data jenis
varianttidak valid -
[SPARK-48719] [SC-170339][sql] Perbaiki bug perhitungan
RegrSlope&RegrInterceptketika parameter pertama null - [SPARK-48815] [SC-170334][connect] Memperbarui lingkungan saat menghentikan sesi koneksi
- [SPARK-48646] [SC-169020][python] Perbaiki docstring dan petunjuk tipe API sumber data Python
- [SPARK-48806] [SC-170310][sql] Berikan pengecualian aktual saat url_decode gagal
- [SPARK-47777] [SC-168818] memperbaiki pengujian koneksi sumber data streaming python
-
[SPARK-48732] [SC-169793][sql] Pembersihan penggunaan api yang tidak digunakan lagi terkait dengan
JdbcDialect.compileAggregate - [SPARK-48675] [SC-169538][sql] Perbaiki tabel cache dengan kolom kolase
- [SPARK-48623] [SC-169034][core] Migrasi Pengelogan Terstruktur
- [SPARK-48655] [SC-169542][sql] SPJ: Tambahkan tes untuk melewatkan pengacakan dalam kueri agregat
- [SPARK-48586] [SC-169808][ss] Hapus akuisisi kunci di doMaintenance() dengan membuat salinan mendalam pemetaan file di RocksDBFileManager di load()
- [SPARK-48799] [Backport][15.x][SC-170283][ss] Penerapan versi refaktor untuk metadata operator baca/tulis dan pemanggil
- [SPARK-48808] [SC-170309][sql] Memperbaiki NPE saat menghubungkan thriftserver melalui Hive 1.2.1 dan skema hasilnya kosong
- [SPARK-48715] [SC-170291][sql] Mengintegrasikan validasi UTF8String ke dalam implementasi fungsi string sadar kolase
- [SPARK-48747] [SC-170120][sql] Tambahkan iterator titik kode ke UTF8String
- [SPARK-48748] [SC-170115][sql] Cache numChars di UTF8String
- [SPARK-48744] [SC-169817][core] Entri log harus dibangun hanya sekali
-
[SPARK-46122] [SC-164313][sql] Atur
spark.sql.legacy.createHiveTableByDefaultkefalsesecara default - [SPARK-48765] [SC-170119][deploy] Meningkatkan evaluasi nilai default untuk SPARK_IDENT_STRING
- [SPARK-48759] [SC-170128][sql] Tambahkan dokumen migrasi untuk perubahan perilaku CREATE TABLE AS SELECT sejak Spark 3.4
- [SPARK-48598] [SC-169484][python][CONNECT] Menyebarkan skema cache dalam operasi dataframe
-
[SPARK-48766] [SC-170126][python] Dokumentasikan perbedaan perilaku
extractionantaraelement_atdantry_element_at -
[SPARK-48768] [SC-170124][python][CONNECT] Tidak seharusnya meng-cache
explain - [SPARK-48770] [Backport][15.x][SC-170133][ss] Ubah untuk membaca metadata operator satu kali pada driver untuk memeriksa apakah kita dapat menemukan info untuk numColsPrefixKey yang digunakan untuk kueri agregasi jendela sesi.
-
[SPARK-48656] [SC-169529][core] Lakukan pemeriksaan panjang dan munculkan kesalahan COLLECTION_SIZE_LIMIT_EXCEEDED di
CartesianRDD.getPartitions - [SPARK-48597] [SC-168817][sql] Memperkenalkan penanda untuk properti isStreaming dalam representasi teks rencana logis
- [SPARK-48472] [SC-169044][sql] Aktifkan ekspresi refleksi dengan string yang disusun
- [SPARK-48699] [SC-169597][sql] Memperbaiki kolasi API
- [SPARK-48682] [SC-169812][sql][BEHAVE-58] Gunakan ICU dalam ekspresi InitCap untuk string UTF8_BINARY
- [SPARK-48282] [SC-169813][sql] Mengubah logika pencarian string untuk kolase UTF8_BINARY_LCASE (StringReplace, FindInSet)
- [SPARK-47353] [SC-169599][sql] Aktifkan dukungan kolase untuk ekspresi Mode
- [SPARK-48320] [SPARK-48490] Sinkronkan sifat Pengelogan dan kasus pengujian terbaru dari OSS Spark
- [SPARK-48629] [SC-169479] Memigrasikan kode residu ke kerangka kerja pengelogan terstruktur
- [SPARK-48681] [SC-169469][sql][BEHAVE-58] Gunakan ICU dalam ekspresi Bawah/Atas untuk string UTF8_BINARY
- [SPARK-48573] [15.x][sc-169582][SQL] Tingkatkan versi ICU
- [SPARK-48687] [Backport][15.x][SS] Tambahkan perubahan untuk melakukan validasi skema status dan pembaruan pada driver untuk kueri stateful
- [SPARK-47579] [15.x][sc-167310][CORE][part4] Migrasi logInfo dengan variabel ke kerangka kerja pengelogan terstruktur
- [SPARK-48008] [SC-167363][1/2] Mendukung UDAF di Spark Connect
- [SPARK-48578] [SC-169505][sql] menambahkan fungsi terkait validasi string UTF8
- [SPARK-48670] [SC-169598][sql] Memberikan saran sebagai bagian dari pesan kesalahan ketika nama kolase yang tidak valid diberikan
- [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPA... … RK-48291] Kerangka kerja log terstruktur di sisi Java
- [SPARK-47599] [15.x][sc-166000][MLLIB] MLLib: Migrasi logWarn dengan variabel ke kerangka kerja pengelogan terstruktur
- [SPARK-48706] [SC-169589][python] Python UDF pada fungsi tingkat lebih tinggi tidak boleh menghasilkan kesalahan bawaan
- [SPARK-48498] [BEHAVE-38][sc-168060][SQL] Selalu lakukan padding karakter dalam predikat
- [SPARK-48662] [SC-169533][sql] Perbaiki ekspresi StructsToXml dengan kolase
- [SPARK-48482] [SC-167702][python][15.x] dropDuplicates dan dropDuplicatesWithinWatermark harus menerima argumen panjang variabel
- [SPARK-48678] [SC-169463][core] Pengoptimalan performa untuk SparkConf.get(ConfigEntry)
- [SPARK-48576] [SQL] Ganti nama UTF8_BINARY_LCASE menjadi UTF8_LCASE
- [SPARK-47927] [SC-164123][sql]: Memperbaiki atribut nullability dalam dekoder UDF
- [SPARK-47579] [SC-165297][core][PART1] Migrasi logInfo dengan variabel ke kerangka kerja pengelogan terstruktur (baru)
-
[SPARK-48695] [SC-169473][python]
TimestampNTZType.fromInternaltidak menggunakan metode yang tidak digunakan lagi - [SPARK-48431] [SC-167290][lc-4066][SQL] Jangan meneruskan predikat pada kolom kolase ke pembaca file
- [SPARK-47579] Batalkan "[SC-165297][core][PART1] Memigrasikan logInfo dengan variabel ke kerangka kerja pengelogan terstruktur"
- [SPARK-47585] [SC-164306][sql] SQL core: Memigrasikan logInfo dengan variabel ke kerangka kerja pengelogan terstruktur
- [SPARK-48466] [SC-169042][sql] Buat simpul khusus untuk EmptyRelation di AQE
- [SPARK-47579] [SC-165297][core][PART1] Migrasi logInfo dengan variabel ke kerangka kerja pengelogan terstruktur
- [SPARK-48410] [SC-168320][sql] Perbaiki ekspresi InitCap untuk kolase ICU UTF8_BINARY_LCASE &
- [SPARK-48318] [SC-167709][sql] Aktifkan dukungan gabungan hash untuk semua kolase (jenis kompleks)
- [SPARK-48435] [SC-168128][sql] Kolase UNICODE tidak boleh mendukung kesetaraan biner
- [SPARK-48555] [SC-169041][sql][PYTHON][connect] Dukungan menggunakan Kolom sebagai parameter untuk beberapa fungsi dalam pyspark/scala
-
[SPARK-48591] [SC-169081][python] Tambahkan fungsi pembantu untuk menyederhanakan
Column.py - [SPARK-48574] [SC-169043][sql] Perbaiki dukungan untuk StructTypes dengan kolase
- [SPARK-48305] [SC-166390][sql] Tambahkan dukungan kolase untuk ekspresi CurrentLike
- [SPARK-48342] [SC-168941][sql] Pengenalan SQL Scripting Parser
- [SPARK-48649] [SC-169024][sql] Tambahkan konfigurasi "ignoreInvalidPartitionPaths" dan "spark.sql.files.ignoreInvalidPartitionPaths" untuk memungkinkan mengabaikan jalur partisi yang tidak valid
- [SPARK-48000] [SC-167194][sql] Aktifkan dukungan gabungan hash untuk semua pengurutan (StringType)
- [SPARK-48459] [SC-168947][connect][PYTHON] Implementasi DataFrameQueryContext di Spark Connect
- [SPARK-48602] [SC-168692][sql] Membuat generator csv mendukung gaya output yang berbeda dengan spark.sql.binaryOutputStyle
- [SPARK-48283] [SC-168129][sql] Ubah perbandingan string untuk UTF8_BINARY_LCASE
- [SPARK-48610] [SC-168830][sql] refaktor: gunakan idMap tambahan alih-alih OP_ID_TAG
- [SPARK-48634] [SC-169021][python][CONNECT] Hindari menginisialisasi threadpool secara statis di ExecutePlanResponseReattachableIterator
- [SPARK-47911] [SC-164658][sql] Memperkenalkan BinaryFormatter universal untuk membuat output biner konsisten
- [SPARK-48642] [SC-168889][core] Kesalahan SparkOutOfMemoryError palsu yang disebabkan oleh menghentikan tugas selama penumpahan
- [SPARK-48572] [SC-168844][sql] Perbaiki ekspresi DateSub, DateAdd, WindowTime, TimeWindow, dan SessionWindow
- [SPARK-48600] [SC-168841][sql] Memperbaiki ekspresi FrameLessOffsetWindowFunction dengan pengubahan tipe data secara implisit
- [SPARK-48644] [SC-168933][sql] Lakukan pemeriksaan panjang dan memunculkan kesalahan COLLECTION_SIZE_LIMIT_EXCEEDED di Hex.hex
- [SPARK-48587] [SC-168824][varian] Hindari amplifikasi penyimpanan saat mengakses sub-Varian
-
[SPARK-48647] [SC-168936][python][CONNECT] Perbaiki pesan kesalahan untuk
YearMonthIntervalTypedidf.collect - [SPARK-48307] [SC-167802][sql] InlineCTE harus menjaga hubungan yang tidak terkait dalam node WithCTE asli
- [SPARK-48596] [SC-168581][sql] Peningkatan perf untuk menghitung string heksa untuk waktu yang lama
- [SPARK-48621] [SC-168726][sql] Perbaiki penyederhanaan Like dalam Pengoptimal untuk string yang disusun
- [SPARK-47148] [SC-164179][sql] Hindari menghasilkan AQE ExchangeQueryStageExec saat pembatalan
- [SPARK-48584] [SC-168579][sql] Peningkatan kinerja untuk unescapePathName
- [SPARK-48281] [SC-167260][sql] Mengubah logika pencarian string untuk kolase UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
- [SPARK-48577] [SC-168826][sql] Penggantian urutan byte UTF-8 tidak valid
-
[SPARK-48595] [SC-168580][core] Pembersihan penggunaan API usang terkait dengan
commons-compress - [SPARK-48030] [SC-164303][sql] SPJ: simpan sementara rowOrdering dan structType untuk InternalRowComparableWrapper
- [SPARK-48004] [SC-164005][sql] Tambahkan sifat WriteFilesExecBase untuk penulisan v1
- [SPARK-48551] [SC-168438][sql] Peningkatan kinerja untuk escapePathName
- [SPARK-48565] [SC-168437][ui] Perbaiki tampilan thread dump di UI
- [SPARK-48364] [SC-166782][sql] Tambahkan transmisi jenis AbstractMapType dan perbaiki peta parameter RaiseError untuk bekerja dengan string yang disusun
- [SPARK-48421] [SC-168689][sql] SPJ: Tambahkan dokumentasi
-
[SPARK-48604] [SC-168698][sql] Ganti panggilan metode
new ArrowType.Decimal(precision, scale)yang tidak digunakan lagi - [SPARK-46947] [SC-157561][core] Tunda inisialisasi manajer memori hingga plugin Driver dimuat
- [SPARK-48411] [SC-168576][ss][PYTHON] Tambahkan uji E2E untuk DropDuplicateWithinWatermark
- [SPARK-48543] [SC-168697][ss] Melacak kegagalan validasi baris status menggunakan kelas kesalahan eksplisit
- [SPARK-48221] [SC-167143][sql] Mengubah logika pencarian string untuk pengurutan UTF8_BINARY_LCASE (Berisi, Diawali, Diakhiri, StringLocate)
- [SPARK-47415] [SC-168441][sql] Tambahkan dukungan kolase untuk ekspresi Levenshtein
- [SPARK-48593] [SC-168719][python][CONNECT] Perbaiki representasi string fungsi lambda
- [SPARK-48622] [SC-168710][sql] ambil SQLConf hanya sekali saat menyelesaikan nama kolom
-
[SPARK-48594] [SC-168685][python][CONNECT] Ganti nama bidang
parentmenjadichilddiColumnAlias - [SPARK-48403] [SC-168319][sql] Perbaiki ekspresi Lower & Upper untuk kolase ICU UTF8_BINARY_LCASE &
- [SPARK-48162] [SC-166062][sql] Tambahkan dukungan kolase untuk ekspresi MISC
- [SPARK-48518] [SC-167718][core] Membuat kompresi LZF dapat berjalan secara paralel
-
[SPARK-48474] [SC-167447][core] Perbaiki nama kelas log di
SparkSubmitArguments&SparkSubmit - [SPARK-48012] [SC-168267][sql] SPJ: Mendukung Ekspresi Transfrom untuk Acak Satu Sisi
- [SPARK-48552] [SC-168212][sql] inferensi skema CSV multibaris juga harus melemparkan FAILED_READ_FILE
- [SPARK-48560] [SC-168268][ss][PYTHON] Membuat StreamingQueryListener.spark dapat diatur
- [SPARK-48569] [SC-168321][ss][CONNECT] Menangani kasus tepi di query.name
- [SPARK-47260] [SC-167323][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_3250
- [SPARK-48564] [SC-168327][python][CONNECT] Menyebarkan skema cache dalam operasi yang ditetapkan
- [SPARK-48155] [SC-165910][sql] AQEPropagateEmptyRelation untuk bergabung harus memeriksa apakah anak yang tersisa hanyalah BroadcastQueryStageExec
- [SPARK-48506] [SC-167720][core] Nama pendek codec kompresi tidak peka huruf besar/kecil kecuali untuk pengelogan peristiwa
- [SPARK-48447] [SC-167607][ss] Periksa kelas penyedia penyimpanan status sebelum memanggil konstruktor
- [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff dan DateTimeUtils.timestampAdd tidak boleh memberikan pengecualian INTERNAL_ERROR
- [SPARK-48513] [Backport][15.x][SC-168085][ss] Tambahkan kelas error untuk kompatibilitas skema status dan sedikit refactoring
- [SPARK-48413] [SC-167669][sql] ALTER COLUMN dengan kolase
-
[SPARK-48561] [SC-168250][ps][CONNECT] Lempar
PandasNotImplementedErroruntuk fungsi plot yang tidak didukung - [SPARK-48465] [SC-167531][sql] Hindari penyebaran hubungan kosong no-op
- [SPARK-48553] [SC-168166][python][CONNECT] Cache lebih banyak properti
- [SPARK-48540] [SC-168069][core] Hindari pengaturan pemuatan output ivy ke stdout
- [SPARK-48535] [SC-168057][ss] Memperbarui dokumen konfigurasi untuk menunjukkan kemungkinan masalah kehilangan/kerusakan data jika konfigurasi pengabaian nilai null dalam penggabungan aliran-aliran diaktifkan.
- [SPARK-48536] [SC-168059][python][CONNECT] Menyimpan skema yang ditentukan oleh pengguna di applyInPandas dan applyInArrow
- [SPARK-47873] [SC-163473][sql] Tulis string kolase ke metastore Apache Hive menggunakan jenis string reguler
- [SPARK-48461] [SC-167442][sql] Ganti NullPointerExceptions dengan kelas kesalahan dalam ekspresi AssertNotNull
- [SPARK-47833] [SC-163191][sql][CORE] Menyediakan tumpukan pemanggil untuk checkAndGlobPathIfNecessary AnalysisException
- [SPARK-47898] [SC-163146][sql] Port HIVE-12270: Tambahkan dukungan DBTokenStore ke token delegasi HS2
- [SPARK-47578] [SC-167497][r] Migrasi RPackageUtils dengan variabel ke kerangka kerja pengelogan terstruktur
-
[SPARK-47875] [SC-162935][core] Hapus
spark.deploy.recoverySerializer -
[SPARK-47552] [SC-160880][core] Atur
spark.hadoop.fs.s3a.connection.establish.timeoutmenjadi 30 detik jika tidak ada - [SPARK-47972] [SC-167692][sql] Batasi ekspresi CAST untuk kolase
- [SPARK-48430] [SC-167489][sql] Perbaiki ekstraksi nilai peta saat peta berisi string kolase
- [SPARK-47318] [SC-162712][core][3.5] Menambahkan putaran HKDF ke derivasi kunci AuthEngine untuk mengikuti praktik KEX standar
- [SPARK-48503] [BEHAVE-29][es-1135236][SQL] Memperbaiki subkueri skalar yang tidak valid dengan group-by pada kolom yang tidak setara yang diizinkan secara tidak benar
-
[SPARK-48508] [SC-167695][connect][PYTHON] Cache skema yang ditentukan pengguna di
DataFrame.{to, mapInPandas, mapInArrow} - [SPARK-23015] [SC-167188][windows] Perbaiki bug di Windows di mana memulai beberapa instans Spark dalam detik yang sama menyebabkan kegagalan
- [SPARK-45891] [SC-167608]Kembalikan " Jelaskan skema penghancurkan untuk Varian"
- [SPARK-48391] [SC-167554][core] Menggunakan addAll alih-alih fungsi add dalam metode dari fromAccumulatorInfos pada Kelas TaskMetrics
- [SPARK-48496] [SC-167600][core] Gunakan instans Pola regex statis di JavaUtils.timeStringAs dan JavaUtils.byteStringAs
- [SPARK-48476] [SC-167488][sql] perbaiki pesan kesalahan NPE untuk null delmiter csv
- [SPARK-48489] [SC-167598][sql] Melemparkan kesalahan yang lebih baik bagi pengguna saat membaca skema ilegal dari Sumber Data teks
- [SPARK-48471] [SC-167324][core] Meningkatkan panduan dokumentasi dan penggunaan untuk server riwayat
- [SPARK-45891] [SC-167597] Menjelaskan skema penghancurkan untuk Varian
-
[SPARK-47333] [SC-159043][sql] Gunakan checkInputDataTypes untuk memeriksa jenis parameter fungsi
to_xml - [SPARK-47387] [SC-159310][sql] Hapus beberapa kelas kesalahan yang tidak digunakan
- [SPARK-48265] [ES-1131440][sql] Batas infer grup jendela batch harus melakukan pelipatan konstan
- [SPARK-47716] [SC-167444][sql] Hindari konflik nama tampilan dalam kasus pengujian pengurutan semantik SQLQueryTestSuite
- [SPARK-48159] [SC-167141][sql] Memperluas dukungan untuk string berkolasi pada ekspresi tanggal dan waktu
- [SPARK-48462] [SC-167271][sql][Tests] Gunakan denganSQLConf dalam pengujian: Refaktor HiveQuerySuite dan HiveTableScanSuite
-
[SPARK-48392] [SC-167195][core] Memuat juga
spark-defaults.confketika disediakan--properties-file - [SPARK-48468] [SC-167417] Menambahkan antarmuka LogicalQueryStage dalam katalis
- [SPARK-47578] [SC-164988][core] Backport manual untuk Spark PR #46309: Migrasi logWarning dengan variabel ke kerangka kerja pengelogan terstruktur
- [SPARK-48415] [SC-167321]Kembalikan "[PYTHON] Refactor TypeName untuk mendukung jenis data berparameter"
- [SPARK-46544] [SC-151361][sql] Dukungan v2 DESCRIBE TABLE DIPERPANJANG dengan statistik tabel
- [SPARK-48325] [SC-166963][core] Selalu tentukan pesan di ExecutorRunner.killProcess
- [SPARK-46841] [SC-167139][sql] Tambahkan dukungan pengurutan untuk lokal ICU dan spesifikasi pengurutan
- [SPARK-47221] [SC-157870][sql] Menggunakan tanda tangan dari CsvParser ke AbstractParser
-
[SPARK-47246] [SC-158138][sql] Ganti
InternalRow.fromSeqdengannew GenericInternalRowuntuk menyimpan konversi koleksi - [SPARK-47597] [SC-163932][streaming] Backport manual untuk Spark PR #46192: Streaming: Memigrasikan logInfo dengan variabel ke kerangka kerja pengelogan terstruktur
-
[SPARK-48415] [SC-167130][python] Refaktor
TypeNameuntuk mendukung tipe data parameter -
[SPARK-48434] [SC-167132][python][CONNECT] Buat
printSchemamenggunakan skema cache - [SPARK-48432] [ES-1097114][sql] Hindari membuka kotak bilangan bulat di UnivocityParser
- [SPARK-47463] [SC-162840][sql] Gunakan V2Predicate untuk membungkus ekspresi dengan jenis pengembalian boolean
- [SPARK-47781] [SC-162293][sql] Menangani desimal skala negatif untuk sumber data JDBC
- [SPARK-48394] [SC-166966][core] Membersihkan mapIdToMapIndex pada pembatalan pendaftaran mapoutput
- [SPARK-47072] [SC-156933][sql] Perbaiki format interval yang didukung dalam pesan kesalahan
- [SPARK-47001] [SC-162487][sql] Verifikasi pengurangan beban dalam pengoptimal
-
[SPARK-48335] [SC-166387][python][CONNECT] Membuat
_parse_datatype_stringkompatibel dengan Spark Connect -
[SPARK-48329] [SC-166518][sql] Aktifkan
spark.sql.sources.v2.bucketing.pushPartValues.enabledsecara default - [SPARK-48412] [SC-166898][python] Refaktor penguraian JSON tipe data
- [SPARK-48215] [SC-166781][sql] Memperluas dukungan untuk string kolase pada ekspresi date_format
- [SPARK-45009] [SC-166873][sql][FOLLOW UP] Tambahkan kelas kesalahan dan tes untuk dekorelasi subkueri predikat dalam kondisi join yang mereferensikan kedua elemen anak join
- [SPARK-47960] [SC-165295][ss][15.x] Izinkan menautkan operator stateful lainnya setelah operator transformWithState.
- [SPARK-48340] [SC-166468][python] Dukung TimestampNTZ menentukan skema hilang prefer_timestamp_ntz
- [SPARK-48157] [SC-165902][sql] Tambahkan dukungan kolase untuk ekspresi CSV
- [SPARK-48158] [SC-165652][sql] Tambahkan dukungan kolase untuk ekspresi XML
- [SPARK-48160] [SC-166064][sql] Tambahkan dukungan kolase untuk ekspresi XPATH
- [SPARK-48229] [SC-165901][sql] Tambahkan dukungan kolase untuk ekspresi inputFile
- [SPARK-48367] [SC-166487][connect] Memperbaiki lint-scala agar scalafmt dapat mendeteksi dan memformat file dengan benar
- [SPARK-47858] [SC-163095][spark-47852][PYTHON][sql] Pemfaktoran ulang struktur untuk konteks kesalahan DataFrame
- [SPARK-48370] [SC-166787][connect] Checkpoint dan localCheckpoint di klien Scala Spark Connect
- [SPARK-48247] [SC-166028][python] Gunakan semua nilai dalam dict saat menyimpulkan skema MapType
-
[SPARK-48395] [SC-166794][python] Perbaikan
StructType.treeStringuntuk jenis berparameter -
[SPARK-48393] [SC-166784][python] Pindahkan sekelompok konstanta ke
pyspark.util -
[SPARK-48372] [SC-166776][spark-45716][PYTHON] Implementasikan
StructType.treeString - [SPARK-48258] [SC-166467][python][CONNECT] Titik Pemeriksaan dan Pemeriksaan Lokal di Spark Connect
Lihat pembaruan pemeliharaan Databricks Runtime 15.4 LTS.
Lingkungan sistem
-
Sistem Operasi: Ubuntu 22.04.4 LTS
- Catatan: Ini adalah versi Ubuntu yang digunakan oleh kontainer Databricks Runtime. Kontainer Databricks Runtime berjalan pada komputer virtual penyedia cloud, yang mungkin menggunakan versi Ubuntu atau distribusi Linux yang berbeda.
- Java: Zulu 8.78.0.19-CA-linux64
- Scala: 2.12.15
- Python: 3.11.11
- R: 4.3.2
- Delta Lake : 3.2.0
Pustaka Python yang diinstal
| Perpustakaan | Versi | Perpustakaan | Versi | Perpustakaan | Versi |
|---|---|---|---|---|---|
| asttoken | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.2 |
| Azure Storage Blob | 12.19.1 | Azure Storage File Data Lake | 12.14.0 | panggilan balik | 0.2.0 |
| hitam | 23.3.0 | blinker | 1.4 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools (perangkat untuk caching) | 5.3.3 | sertifikat | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| klik | 8.0.4 | cloudpickle (perpustakaan Python untuk serialisasi objek) | 2.2.1 | komunikasi | 0.1.2 |
| konturpy | 1.0.5 | kriptografi | 41.0.3 | pengendara sepeda | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | penghias | 5.1.1 | distlib | 0.3.8 |
| titik masuk | 0,4 | menjalankan | 0.8.3 | Tinjauan Fasilitas | 1.1.1 |
| filelock | 3.13.4 | alat pengelola font | 4.25.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth (autentikasi Google) | 2.31.0 |
| google-cloud-core | 2.4.1 | Penyimpanan Cloud Google | 2.17.0 | google-crc32c | 1.5.0 |
| google-resumable-media (layanan media berkelanjutan dari Google) | 2.7.1 | googleapis-common-protos | 1.63.2 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | httplib2 | 0.20.2 | IDNA | 3.4 |
| importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | Jedi | 0.18.1 | Jeepney | 0.7.1 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | gantungan kunci | 23.5.0 | kiwisolver | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient (klien layanan web yang menggunakan RESTful) | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny (versi ringan) | 2.11.4 |
| more-itertools | 8.10.0 | ekstensi mypy | 0.4.3 | nest-asyncio | 1.5.6 |
| numpy (perpustakaan Python untuk operasi numerik) | 1.23.5 | oauthlib | 3.2.0 | kemasan | 23.2 |
| Panda | 1.5.3 | pengurai | 0.8.3 | spesifikasi jalur | 0.10.3 |
| kambing hitam | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Bantal | 9.4.0 | pipa | 23.2.1 | platformdir | 3.10.0 |
| secara plot | 5.9.0 | prompt-toolkit | 3.0.36 | proto-plus | 1.24.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 14.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modul | 0.2.8 | pyccolo | 0.0.52 |
| pycparser | 2.21 | pydantic (perpustakaan Python untuk validasi data) | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.39 |
| pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 |
| pytz | 2022.7 | PyYAML (paket untuk memproses bahasa YAML dalam Python) | 6.0 | pyzmq | 23.2.0 |
| permintaan | 2.31.0 | Rsa | 4.9 | s3transfer | 0.10.2 |
| scikit-learn | 1.3.0 | scipy (perpustakaan Python untuk komputasi ilmiah) | 1.11.1 | Seaborn (perpustakaan Python untuk visualisasi data) | 0.12.2 |
| SecretStorage | 3.3.1 | setuptools | 68.0.0 | Enam | 1.16.0 |
| smmap | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels (paket Python untuk pemodelan statistik) | 0.14.0 | kegigihan | 8.2.2 |
| threadpoolctl | 2.2.0 | Tokenisasi-RT | 4.2.1 | Tornado | 6.3.2 |
| sifat | 5.7.1 | ekstensi pengetikan (typing_extensions) | 4.10.0 | tzdata | 2022.1 |
| ujson | 5.4.0 | pemutakhiran-tanpa-pengawasan | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| wheel | 0.38.4 | zipp | 3.11.0 |
Perpustakaan R yang terinstal
Pustaka R diinstal dari cuplikan CRAN Posit Package Manager pada 2024-02-05: https://packagemanager.posit.co/cran/2024-02-05/.
| Perpustakaan | Versi | Perpustakaan | Versi | Perpustakaan | Versi |
|---|---|---|---|---|---|
| anak panah | 14.0.0.2 | askpass | 1.2.0 | pastikanbahwa | 0.2.1 |
| pemindahan fitur ke versi lama (backports) | 1.4.1 | dasar | 4.3.2 | base64enc | 0.1-3 |
| bigD | 0.2.0 | sedikit | 4.0.5 | bit-64 | 4.0.5 |
| bitops | 1.0-7 | blob | 1.2.4 | sepatu bot | 1.3-28 |
| menyeduh | 1.0-10 | Brio | 1.1.4 | sapu | 1.0.5 |
| bslib | 0.6.1 | cashmere | 1.0.8 | layanan panggilan | 3.7.3 |
| caret | 6.0-94 | cellranger | 1.1.0 | kronogram | 2.3-61 |
| kelas | 7.3-22 | CLI | 3.6.2 | pemangkas | 0.8.0 |
| Jam | 0.7.0 | kluster | 2.1.4 | codetools | 0.2-19 |
| ruang warna | 2.1-0 | commonmark | 1.9.1 | pengompilasi | 4.3.2 |
| konfigurasi | 0.3.2 | Bimbang | 1.2.0 | cpp11 | 0.4.7 |
| kriyon | 1.5.2 | kredensial | 2.0.1 | melengkung | 5.2.0 |
| data.table (sebuah paket untuk pengolahan data table) | 1.15.0 | kumpulan data | 4.3.2 | DBI | 1.2.1 |
| dbplyr | 2.4.0 | deskripsi | 1.4.3 | devtools | 2.4.5 |
| bagan | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.34 |
| pencahayaan redup | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | elipsis | 0.3.2 | menilai | 0.23 |
| penggemar | 1.0.6 | warna | 2.1.1 | peta cepat | 1.1.1 |
| fontawesome | 0.5.2 | untuk kucing | 1.0.0 | foreach (pengulangan untuk setiap elemen) | 1.5.2 |
| asing | 0.8-85 | bengkel pandai besi | 0.2.0 | Fs | 1.6.3 |
| masa depan | 1.33.1 | menerapkan di masa depan | 1.11.1 | kumur | 1.5.2 |
| produk generik | 0.1.3 | Gert | 2.0.1 | ggplot2 | 3.4.4 |
| GH | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | variabel global | 0.16.2 | lem | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Gower | 1.0.1 |
| grafik | 4.3.2 | grDevices | 4.3.2 | kisi | 4.3.2 |
| gridExtra | 2.3 | gsubfn | 0,7 | GT | 0.10.1 |
| dapat di-gt | 0.3.4 | helm keselamatan | 1.3.1 | tempat perlindungan | 2.5.4 |
| lebih tinggi | 0.10 | HMS | 1.1.3 | htmltools | 0.5.7 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
| httr2 | 1.0.0 | Id | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-14 | isoband | 0.2.7 | pengiterasi | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | JuicyJuice | 0.1.0 |
| KernSmooth | 2.23-21 | rajut | 1,45 | pelabelan | 0.4.3 |
| nanti | 1.3.2 | rangka | 0.21-8 | lahar | 1.7.3 |
| siklus hidup | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | Markdown | 1.12 | massa | 7.3-60 |
| Matriks | 1.5-4.1 | memosankan | 2.0.1 | metode | 4.3.2 |
| mgcv | 1.8-42 | pantomim | 0.12 | miniUI | 0.1.1.1 |
| mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | Agustus 2016 - Januari 2017 | openssl | 2.1.1 | paralel | 4.3.2 |
| secara paralel | 1.36.0 | pilar | 1.9.0 | pkgbuild | 1.4.3 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
| plogr | 0.2.0 | plyr | 1.8.9 | pujian | 1.0.0 |
| prettyunits | 1.2.0 | Proc | 1.18.5 | ProsesX | 3.8.3 |
| prodlim | 28 Agustus 2023 | profvis | 0.3.8 | kemajuan | 1.2.3 |
| progresr | 0.14.0 | janji-janji | 1.2.1 | Proto | 1.0.0 |
| proksi | 0,4-27 | P.S. | 1.7.6 | menggeram lembut | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.2.7 | randomForest (algoritma pembelajaran mesin) | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | dapat direaksi | 0.4.4 |
| reactR | 0.5.0 | pembaca | 2.1.5 | readxl (membaca file Excel) | 1.4.3 |
| Resep | 1.0.9 | pertandingan ulang | 2.0.0 | pertandingan ulang 2 | 2.1.2 |
| remote kontrol | 2.4.2.1 | contoh yang dapat direproduksi ("reprex") | 2.1.0 | reshape2 | 1.4.4 |
| rlang | 1.1.3 | rmarkdown | 2,25 | RODBC | 1.3-23 |
| roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
| Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
| rversions | 2.1.2 | rvest | 1.0.3 | Sass | 0.4.8 |
| skala | 1.3.0 | selektor | 0,4-2 | Informasi sesi | 1.2.2 |
| bentuk | 1.4.6 | mengilap | 1.8.0 | sourcetools | 0.1.7-1 |
| sparklyr - paket R untuk analisis data dan pembelajaran mesin | 1.8.4 | spasial | 7.3-15 | garis lengkung | 4.3.2 |
| sqldf | 0,4-11 | SQUAREM | 2021.1 | statistik | 4.3.2 |
| statistik4 | 4.3.2 | string | 1.8.3 | stringr | 1.5.1 |
| bertahan hidup | 3.5-5 | gaya berani | 3.33.1 | Sistem | 3.4.2 |
| systemfonts | 1.0.5 | bahasa pemrograman Tcl/Tk | 4.3.2 | ujiitu | 3.2.1 |
| pembentukan teks | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
| pilih rapi | 1.2.0 | rapi | 2.0.0 | perubahan waktu | 0.3.0 |
| TanggalWaktu | 4032.109 | tinytex | 0,49 | alat | 4.3.2 |
| tzdb | 0.4.0 | urlchecker | 1.0.1 | gunakan ini | 2.2.2 |
| utf8 | 1.2.4 | Utilitas | 4.3.2 | UUID (Pengidentifikasi Unik Universal) | 1.2-0 |
| V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
| Vroom | 1.6.5 | Waldo | 0.5.2 | kumis | 0.4.1 |
| dengan | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
| zeallot | 0.1.0 | Zip | 2.3.1 |
Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)
| ID Kelompok | Identifikasi Artefak | Versi |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Klien Amazon Kinesis | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.610 |
| com.amazonaws | AWS Java SDK untuk CloudHSM | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
| com.amazonaws | aws-java-sdk-config (konfigurasi SDK Java untuk AWS) | 1.12.610 |
| com.amazonaws | aws-java-sdk-core | 1.12.610 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.610 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.610 |
| com.amazonaws | aws-java-sdk-directory | 1.12.610 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.610 |
| com.amazonaws | aws-java-sdk-efs | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) | 1.12.610 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.610 |
| com.amazonaws | aws-java-sdk-emr | 1.12.610 |
| com.amazonaws | aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) | 1.12.610 |
| com.amazonaws | aws-java-sdk-glue | 1.12.610 |
| com.amazonaws | aws-java-sdk-iam | 1.12.610 |
| com.amazonaws | aws-java-sdk untuk layanan import/export | 1.12.610 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.610 |
| com.amazonaws | aws-java-sdk-kms | 1.12.610 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
| com.amazonaws | aws-java-sdk-logs | 1.12.610 |
| com.amazonaws | AWS-Java-SDK-Pembelajaran Mesin | 1.12.610 |
| com.amazonaws | aws-java-sdk-opsworks (SDK Java untuk OpsWorks) | 1.12.610 |
| com.amazonaws | aws-java-sdk-rds | 1.12.610 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.610 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ses | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
| com.amazonaws | aws-java-sdk-sns | 1.12.610 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.610 |
| com.amazonaws | aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) | 1.12.610 |
| com.amazonaws | SDK Java untuk Storage Gateway AWS | 1.12.610 |
| com.amazonaws | aws-java-sdk-sts | 1.12.610 |
| com.amazonaws | AWS Java SDK Dukungan | 1.12.610 |
| com.amazonaws | aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.610 |
| com.amazonaws | jmespath-java | 1.12.610 |
| com.clearspring.analytics | aliran | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.27.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | bayangan-kriogenik | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | teman sekelas | 1.3.4 |
| com.fasterxml.jackson.core | Jackson Annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | Jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | kafein | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | referensi_asli-java | 1.1 |
| com.github.fommil.netlib | referensi_asli-java | 1.1-asli |
| com.github.fommil.netlib | sistem_asli-java | 1.1 |
| com.github.fommil.netlib | sistem_asli-java | 1.1-asli |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-asli |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-asli |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | Gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | anotasi_rentan_kesalahan | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 26/05/2023 |
| com.google.guava | jambu biji | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | pembuat profil | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | kode_sumber_2.12 | 0.1.9 |
| com.microsoft.azure | Azure Data Lake Store SDK | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf (algoritma kompresi) | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | JSON | 1.8 |
| com.thoughtworks.paranamer | Paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typeafe | konfigurasi | 1.4.3 |
| com.typeafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| koleksi umum | koleksi umum | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| unggah berkas pada commons | unggah berkas pada commons | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging (perpustakaan Java untuk fungsi pencatatan) | commons-logging (perpustakaan Java untuk fungsi pencatatan) | 1.1.3 |
| kolam umum | kolam umum | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | Tidak peduli | 3.0.3 |
| dev.ludovic.netlib | LAPACK | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | kompresor udara | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.1.1 |
| io.dropwizard.metrics | metrik-anotasi | 4.2.19 |
| io.dropwizard.metrics | inti metrik | 4.2.19 |
| io.dropwizard.metrics | metrik-graphite | 4.2.19 |
| io.dropwizard.metrics | metrik-pemeriksaan kesehatan | 4.2.19 |
| io.dropwizard.metrics | metrik-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrik-jmx | 4.2.19 |
| io.dropwizard.metrics | metrik-json | 4.2.19 |
| io.dropwizard.metrics | metrik-jvm | 4.2.19 |
| io.dropwizard.metrics | metrik-servlet | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | Netty Buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-kodek-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | kelas netty-tcnative | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll (kelas transportasi netty - epoll) | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_umum | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway (gateway pendorong sederhana) | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | pengumpul | 0.12.0 |
| jakarta.anotasi | jakarta.anotasi-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivasi | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Java Transaction API (JTA) | 1.1 |
| javax.transaction | Transaction-API | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| Javolution | Javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | acar | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| jaring.bunga salju | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_gabungan_semua | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | StringTemplate | 3.2.1 |
| org.apache.ant | semut | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | format tanda panah | 15.0.0 |
| org.apache.arrow | inti-memori-panah | 15.0.0 |
| org.apache.arrow | Arrow-Memory-Netty | 15.0.0 |
| org.apache.arrow | panah-vektor | 15.0.0 |
| org.apache.avro | Avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-koleksi4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | Commons-Math3 | 3.6.1 |
| org.apache.commons | commons-text (teks umum) | 1.10.0 |
| org.apache.curator | klien-kurator | 2.13.0 |
| org.apache.curator | kerangka kurator | 2.13.0 |
| org.apache.curator | kurasi resep | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | pertandingan | 10.14.2.0 |
| org.apache.hadoop | lingkungan kerja klien Hadoop | 3.3.6 |
| org.apache.hive | hive-beeline (antarmuka perintah untuk Apache Hive) | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | apache hive-llap-client | 2.3.9 |
| org.apache.hive | apache hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) | 2.3.9 |
| org.apache.hive | Hive-shims | 2.3.9 |
| org.apache.hive | API penyimpanan hive | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) | 2.3.9 |
| org.apache.hive.shims | Pengatur Jadwal Hive Shims | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | tanaman anggur | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json (pola tata letak JSON di log4j) | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | berbayang xbean-asm9 | 4.23 |
| org.apache.yetus | penonton-penanda | 0.13.0 |
| org.apache.zookeeper | penjaga kebun binatang | 3.6.3 |
| org.apache.zookeeper | penjaga kebun binatang-jute | 3.6.3 |
| org.checkerframework | pemeriksa kualitas | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | Pengompilasi Umum | 3.0.16 |
| org.codehaus.janino | Januari | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | Koleksi gerhana | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | lanjutan dermaga | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http (protokol HTTP untuk server Jetty) | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | Jetty Plus | 9.4.52.v20230823 |
| org.eclipse.jetty | Jetty-Proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | keamanan jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | Jetty Server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | Aplikasi web Jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | WebSocket-API | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-klien | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-pemindai lokasi | 2.6.1 |
| org.glassfish.hk2 | hk2-utilitas | 2.6.1 |
| org.glassfish.hk2 | pelacak-sumber-osgi | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-terkenal kembali | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,40 |
| org.glassfish.jersey.containers | jersey-container-servlet-inti | 2,40 |
| org.glassfish.jersey.core | jersey-client | 2,40 |
| org.glassfish.jersey.core | jersey biasa | 2,40 |
| org.glassfish.jersey.core | Jersey-server | 2,40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,40 |
| org.hibernate.validator | Hibernate-validator | 6.1.7.Terakhir |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | pengelogan jboss | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | anotasi | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | pengganjal | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 8.11.4 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | antarmuka-uji | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | kompatibel dengan scalatest | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.2-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |