Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Nota
Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan dan akhir masa pakai. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.
Catatan rilis berikut memberikan informasi tentang Databricks Runtime 16.2, didukung oleh Apache Spark 3.5.2.
Databricks merilis versi ini pada Februari 2025.
Perubahan perilaku
ANALYZE sekarang melewati kolom dengan tipe yang tidak didukung
ANALYZE TABLE tidak lagi menghasilkan pesan kesalahan saat dijalankan pada tabel dengan jenis yang tidak didukung, seperti ARRAY atau MAP. Kolom yang tidak didukung sekarang dilewati secara otomatis. Pengguna yang telah menerapkan logika yang mengharapkan kesalahan ini harus memperbarui kode mereka.
Di Berbagi Delta, riwayat tabel diaktifkan secara default
Share yang dibuat menggunakan perintah SQL ALTER SHARE <share> ADD TABLE <table> sekarang memiliki fitur berbagi riwayat (WITH HISTORY) yang diaktifkan secara default. Lihat ALTER SHARE.
Pernyataan SQL kredensial mengembalikan kesalahan saat ada ketidakcocokan jenis kredensial
Dengan rilis ini, jika jenis kredensial yang ditentukan dalam pernyataan SQL manajemen kredensial tidak cocok dengan jenis argumen kredensial, kesalahan dikembalikan dan pernyataan tidak dijalankan. Misalnya, untuk pernyataan DROP STORAGE CREDENTIAL 'credential-name', jika credential-name bukan kredensial penyimpanan, pernyataan gagal dengan kesalahan.
Perubahan ini dilakukan untuk membantu mencegah kesalahan pengguna. Sebelumnya, pernyataan ini akan berjalan dengan sukses, bahkan jika kredensial yang diteruskan tidak cocok dengan jenis yang ditentukan. Misalnya, pernyataan berikut akan berhasil menghilangkan storage-credential: DROP SERVICE CREDENTIAL storage-credential.
Perubahan ini memengaruhi pernyataan berikut:
- DROP CREDENTIAL
- ALTER CREDENTIAL
- DESCRIBE CREDENTIAL
- GRANT...PADA...KREDENSIAL
- REVOKE...PADA...KREDENSIAL
- SHOW GRANTS AKTIFKAN...KREDENSIAL
Fitur dan peningkatan baru
-
Bangun aplikasi stateful kustom dengan
transformWithState - Mengautentikasi ke penyimpanan objek cloud dengan kredensial layanan
- Akses yang diatur oleh Katalog Unity ke layanan cloud eksternal menggunakan kredensial layanan kini tersedia secara umum (GA)
- Buku Catatan didukung sebagai file ruang kerja
-
Menggunakan
timestampdiff×tampadddalam ekspresi kolom yang dihasilkan - Dukungan untuk sintaks alur SQL
-
Membuat permintaan HTTP menggunakan fungsi
http_request -
Pembaruan ke
DESCRIBE TABLEmengembalikan metadata dalam bentuk JSON terstruktur - Pengurutan yang tidak sensitif terhadap spasi di bagian akhir
- Mengonversi tabel Apache Iceberg dengan pemartisian wadah menjadi tabel Delta yang tidak dipartisi
-
komputasi Mode Akses Standar (sebelumnya Mode Akses Bersama) sekarang mendukung metode Spark Scala
foreach,foreachBatch, danflatMapGroupsWithState
Bangun aplikasi kustom stateful dengan transformWithState
Anda sekarang dapat menggunakan transformWithState dan API terkait untuk menerapkan aplikasi stateful kustom sebagai bagian dari kueri Streaming Terstruktur. Lihat Membangun aplikasi stateful kustom.
Mengautentikasi ke penyimpanan objek cloud dengan kredensial layanan
Anda sekarang dapat menggunakan kredensial layanan Databricks untuk mengautentikasi ke penyimpanan objek cloud dengan Auto Loader. Lihat Mengonfigurasi aliran Auto Loader dalam mode pemberitahuan file.
Akses ke layanan cloud eksternal yang diatur oleh Unity Catalog menggunakan kredensial layanan sekarang sudah tersedia secara umum.
Kredensial layanan memungkinkan autentikasi sederhana dan aman dengan layanan penyewa cloud Anda dari Azure Databricks. Dengan Databricks Runtime 16.2, kredensial layanan umumnya tersedia dan sekarang mendukung SCALA SDK, selain SDK Python yang didukung di Pratinjau Umum. Lihat Membuat kredensial layanan.
Buku catatan didukung sebagai berkas ruang kerja
Di Databricks Runtime 16.2 ke atas, notebook didukung sebagai file ruang kerja. Anda sekarang dapat berinteraksi secara terprogram dengan notebook dari mana saja sistem file ruang kerja tersedia, termasuk menulis, membaca, dan menghapus buku catatan seperti file lainnya. Untuk mempelajari selengkapnya, lihat Membuat, memperbarui, dan menghapus file dan direktori secara terprogram.
Menggunakan timestampdiff & timestampadd dalam ekspresi kolom yang dihasilkan
Dalam Databricks Runtime 16.2 ke atas, Anda dapat menggunakan fungsi timestampdiff dan fungsi timestampadd dalam ekspresi kolom yang dihasilkan Delta Lake. Lihat kolom yang dihasilkan oleh Delta Lake.
Dukungan untuk sintaks alur SQL
Di Databricks Runtime 16.2 ke atas, Anda dapat menyusun alur SQL . Alur SQL menyusun kueri standar, seperti SELECT c2 FROM T WHERE c1 = 5, ke dalam urutan langkah demi langkah, seperti yang ditunjukkan dalam contoh berikut:
FROM T
|> SELECT c2
|> WHERE c1 = 5
Untuk mempelajari tentang sintaks yang didukung untuk alur SQL, lihat Sintaks Alur SQL.
Untuk latar belakang ekstensi lintas industri ini, lihat SQL Memiliki Masalah. Kita dapat memperbaikinya: Sintaks pipa dalam SQL (oleh Google Research).
Membuat permintaan HTTP menggunakan fungsi http_request
Di Databricks Runtime 16.2 ke atas, Anda dapat membuat koneksi HTTP dan melaluinya membuat permintaan HTTP menggunakan fungsi http_request.
Pembaruan ke DESCRIBE TABLE mengembalikan metadata sebagai JSON terstruktur
Di Databricks Runtime 16.2 ke atas, Anda dapat menggunakan perintah DESCRIBE TABLE AS JSON untuk mengembalikan metadata tabel sebagai dokumen JSON. Output JSON lebih terstruktur daripada laporan default yang dapat dibaca manusia dan dapat digunakan untuk menginterpretasikan skema tabel secara terprogram. Untuk mempelajari lebih lanjut, lihat DESCRIBE TABLE AS JSON.
Kolasi tidak sensitif terhadap spasi kosong di akhir
Databricks Runtime 16.2 menyediakan dukungan untuk pengurutan yang tidak sensitif terhadap spasi di akhir, menambah dukungan pengurutan yang sebelumnya telah ditambahkan pada Databricks Runtime 16.1. Misalnya, kolase ini memperlakukan 'Hello' dan 'Hello ' sama. Untuk mempelajari lebih lanjut, lihat kolasi RTRIM.
Mengonversi tabel Apache Iceberg dengan pemartisian wadah menjadi tabel Delta yang tidak dipartisi
Pernyataan CONVERT TO DELTA dan CREATE TABLE CLONE sekarang mendukung konversi tabel Apache Iceberg dengan partisi wadah ke tabel Delta yang tidak dipartisi.
Komputasi mode akses standar (sebelumnya mode akses bersama) sekarang mendukung metode Spark Scala foreach, foreachBatch, dan flatMapGroupsWithState
Dalam Databricks Runtime 16.2 ke atas, komputasi mode akses standar sekarang mendukung metode Scala DataStreamWriter.foreachBatch dan KeyValueGroupedDataset.flatMapGroupsWithState. Dalam Databricks Runtime 16.1 ke atas, komputasi mode akses standar sekarang mendukung metode Scala DataStreamWriter.foreach.
Perbaikan kesalahan program
Pemrosesan klon bertahap yang ditingkatkan
Rilis ini memperbaiki skenario kasus tertentu di mana inkremental CLONE mungkin menyalin ulang file yang sudah disalin dari tabel sumber ke tabel target. Lihat Mengkloning tabel di Azure Databricks.
Peningkatan pustaka
- Pustaka Python yang ditingkatkan:
- Pustaka R yang ditingkatkan:
- Pustaka Java yang ditingkatkan:
- org.json4s.json4s-ast_2.12 dari 3.7.0-M11 ke 4.0.7
- org.json4s.json4s-core_2.12 dari 3.7.0-M11 menjadi 4.0.7
- org.json4s.json4s-jackson_2.12 dari 3.7.0-M11 menjadi 4.0.7
- org.json4s.json4s-scalap_2.12 dari 3.7.0-M11 ke 4.0.7
Apache Spark
Databricks Runtime 16.2 mencakup Apache Spark 3.5.2. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 16.1 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:
-
[SPARK-49966] Balikkan “[SC-179501][sql] Gunakan
Invokeuntuk mengimplementasikanJsonToStructs(from_json)” - [SPARK-50904] [SC-186976][sql] Perbaiki eksekusi kueri pemrosesan ekspresi pengurutan
- [SPARK-49666] [SQL] Aktifkan pengujian pemangkasan untuk ekspresi InSet
- [SPARK-50669] [SC-184566][es-1327450][SQL] Ubah tanda tangan ekspresi TimestampAdd
-
[SPARK-50795] [16.x][sc-186719][SQL] Simpan timestamp sebagai tipe
longdalam LinkedHashMapdescribe - [SPARK-50870] [SC-186950][sql] Tambahkan zona waktu saat mentransmisikan ke tanda waktu di V2ScanRelationPushDown
- [SPARK-50735] [SC-186944][connect] Kegagalan dalam ExecuteResponseObserver menghasilkan permintaan pemasangan ulang tak terbatas
- [SPARK-50522] [SC-186500][sql] Dukungan untuk kolase yang tidak ditentukan
- [SPARK-50525] [SC-186058][sql] Tentukan Aturan Pengoptimal InsertMapSortInRepartitionExpressions
- [SPARK-50679] [SC-184572][sql] Ekspresi umum yang terduplikasi dalam berbagai pernyataan WITH harus diproyeksikan hanya sekali
- [SPARK-50847] [SC-186916] [SQL] Tolak ApplyCharTypePadding agar tidak diterapkan pada ekspresi In tertentu
- [SPARK-50714] [SC-186786][sql][SS] Aktifkan evolusi skema untuk TransformWithState ketika menggunakan pengodean Avro
-
[SPARK-50795] [SC-186390][sql] Menampilkan semua tanggal DESCRIBE AS JSON dalam format ISO-8601 dan tipe sebagai
dataType.simpleString - [SPARK-50561] [SC-185924][sql] Databricks Runtime 16.x cherrypick: Meningkatkan koersi jenis dan pemeriksaan batas untuk fungsi UNIFORM SQL
-
[SPARK-50700] [SC-184845][sql]
spark.sql.catalog.spark_catalogmendukung nilai ajaibbuiltin - [SPARK-50831] [SC-186736][sql] Aktifkan kolase pemangkasan secara default
-
[SPARK-50263] [SC-186793][connect] Ganti
System.currentTimeMillisdenganSystem.nanoTime - [SPARK-48730] [SC-184926][sql] Implement CreateSQLFunctionCommand untuk Fungsi Skalar dan Tabel SQL
- [SPARK-50830] [SC-186718] [SQL] Mengembalikan hasil single-pass sebagai hasil analisis eksekusi ganda
- [SPARK-50707] [SC-186098][sql] Aktifkan transmisi ke/dari char/varchar
- [SPARK-49490] [SC-182137][sql] Tambahkan tolok ukur untuk initCap
-
[SPARK-50529] [SC-184535][sql] Ubah perilaku char/varchar di bawah konfigurasi
spark.sql.preserveCharVarcharTypeInfo - [SPARK-49632] [SC-184179][sql] Hapus saran konfigurasi ANSI di CANNOT_PARSE_TIMESTAMP
- [SPARK-50815] [SC-186487][python][SQL] Memperbaiki bug di mana melewati Varian null dalam createDataFrame menyebabkannya gagal dan menambahkan dukungan Varian dalam createDataFrame di Spark Connect
-
[SPARK-50828] [SC-186493][python][ML][connect] Dianjurkan untuk tidak digunakan
pyspark.ml.connect - [SPARK-50600] [SC-186057][connect][SQL] Atur yang dianalisis ketika analisis gagal
- [SPARK-50824] [SC-186472][python] Hindari mengimpor paket Python opsional untuk diperiksa
- [SPARK-50755] [SC-185521][sql] Tampilan rencana cantik untuk InsertIntoHiveTable
- [SPARK-50789] [SC-186312][connect] Input untuk agregasi yang ditik harus dianalisis
- [SPARK-50791] [SC-185867][sc-186338][SQL] Perbaiki NPE dalam penanganan kesalahan State Store
-
[SPARK-50801] [SC-186365] [SQL] Perbaiki
PlanLogger.logPlanResolutionsehingga menunjukkan rencana yang belum dan sudah terselesaikan - [SPARK-50749] [SC-185925][sql] Perbaiki kesalahan pengurutan dalam metode CommutativeExpression.gatherCommutative
- [SPARK-50783] [SC-186347] Menstandarkan nama file hasil profiler JVM dan tata letaknya di DFS
- [SPARK-50790] [SC-186354][python] Terapkan penguraian json di pyspark
- [SPARK-50738] [SC-184856][python] Tingkatkan hitam ke 23.12.1
- [SPARK-50764] [SC-185930][python] Perbaiki docstring metode terkait xpath
-
[SPARK-50798] [SC-186277][sql] Tingkatkan
NormalizePlan - [SPARK-49883] [SC-183787][ss] Struktur Checkpoint State Store V2 Integrasi dengan RocksDB dan RocksDBFileManager
- [SPARK-50779] [SC-186062][sql] Menambahkan bendera fitur untuk kolase tingkat objek
- [SPARK-50778] [SC-186183][python] Tambahkan metadataColumn ke PySpark DataFrame
- [SPARK-49565] [SC-186056][sql] Databricks Runtime 16.x cherrypick: Meningkatkan alias ekspresi yang dihasilkan secara otomatis dengan operator SQL pipa
- [SPARK-50541] [16.x][sc-184937] Jelaskan Tabel Sebagai JSON
- [SPARK-50772] [SC-185923][sql] Databricks Runtime 16.x cherrypick: Pertahankan alias tabel setelah operator SET, EXTEND, DROP
- [SPARK-50769] [SC-185919][sql] Memperbaiki ClassCastException dalam HistogramNumeric
- [SPARK-49025] [SC-174667] Sinkronkan selisih kode Delta ke Databricks Runtime
- [SPARK-50752] [SC-185547][python][SQL] Memperkenalkan konfigurasi untuk menyetel Python UDF tanpa Panah
-
[SPARK-50705] [SC-185944][sql] Buat
QueryPlanbebas kunci - [SPARK-50690] [16.x][sc-184640][SQL] Perbaiki ketidaksesuaian dalam pengutipan kolom output kueri tampilan DESCRIBE TABLE
- [SPARK-50746] [SC-184932][sql] Ganti Dengan VariantPathSegment.
-
[SPARK-50715] [SC-185546][python][CONNECT]
SparkSession.Buildermengatur konfigurasi dalam batch - [SPARK-50480] [SC-183359][sql] Memperpanjang CharType dan VarcharType dari StringType
- [SPARK-50675] [SC-184539][sql] Dukungan kolase tingkat tabel dan tampilan
-
[SPARK-50409] [SC-184516][sql] Perbaiki pernyataan set untuk mengabaikan
;di akhirSET;,SET -v;danSET key; - [SPARK-50743] [SC-185528][sql] Normalisasi ID CTERelationDef dan CTERelationRef
- [SPARK-50693] [SC-184684][connect] Input untuk TypedScalaUdf harus dianalisis
- [SPARK-50744] [SC-184929][sql] Tambahkan kasus pengujian untuk prioritas resolusi nama tampilan/CTE
- [SPARK-50710] [SC-184767][connect] Tambahkan dukungan untuk koneksi ulang klien opsional ke sesi setelah rilis
- [SPARK-50703] [SC-184843][python] Menyempurnakan docstring regexp_replace, regexp_substr, dan regexp_instr
-
[SPARK-50716] [SC-184823][core] Perbaiki logika pembersihan untuk tautan simbolis dalam metode
JavaUtils.deleteRecursivelyUsingJavaIO - [SPARK-50630] [SC-184443][sql] Perbaiki dukungan ordinal GROUP BY untuk operator AGREGAT SQL pipa
- [SPARK-50614] [SC-184729][sql] Tambahkan dukungan penguraian Varian untuk Parquet
- [SPARK-50661] [SASP-4936] Tambahkan kompatibilitas mundur untuk klien lama FEB.
-
[SPARK-50676] [SC-184641][sql] Hapus
private lazy val mapValueContainsNullyang tidak digunakan dariElementAt -
[SPARK-50515] [SC-183813][core] Tambahkan antarmuka baca-saja ke
SparkConf - [SPARK-50697] [SC-184702][sql] Aktifkan rekursi ekor sedapat mungkin
- [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Perbaiki skema status untuk FlatMapGroupsWithState di spark connect saat tidak ada status awal
- [SPARK-50701] [SC-184704][python] Membuat penggambaran memerlukan versi plotly minimum
- [SPARK-50702] [SC-184727][python] Menyempurnakan docstring regexp_count, regexp_extract, dan regexp_extract_all
- [SPARK-50499] [SC-184177][python] Mengekspos metrik dari BasePythonRunner
- [SPARK-50692] [SC-184705][16.x] Tambahkan dukungan pushdown RPAD
- [SPARK-50682] [SC-184579][sql] Alias internal harus dikanoniskan
- [SPARK-50699] [SC-184695][python] Urai dan hasilkan string DDL dengan sesi tertentu
- [SPARK-50573] [SC-184568][ss] Menambahkan ID Skema Status ke Baris Status dalam evolusi skema
- [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Memperbaiki implementasi fungsi foreachBatch di Spark Connect Scala. untuk mendukung Himpunan Data[T].
- [SPARK-50689] [SC-184591][sql] Menerapkan urutan deterministik dalam daftar proyek LCA
- [SPARK-50696] [SC-184667][python] Optimalkan panggilan Py4J untuk metode parse DDL
- [SPARK-49670] [SC-182902][sql] Aktifkan penataan trim untuk semua ekspresi passthrough
-
[SPARK-50673] [SC-184565][ml] Hindari menelusuri koefisien model dua kali di konstruktor
Word2VecModel - [SPARK-50687] [SC-184588][python] Optimalkan logika untuk mendapatkan jejak tumpukan untuk DataFrameQueryContext
- [SPARK-50681] [SC-184662][python][CONNECT] Cache skema yang diurai untuk MapInXXX dan ApplyInXXX
- [SPARK-50674] [SC-184589][python] Perbaiki pemeriksaan keberadaan metode 'hentikan' dalam evaluasi UDTF
- [SPARK-50684] [SC-184582][python] Meningkatkan performa Py4J di DataFrameQueryContext
- [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Tambahkan dukungan untuk versi baru metadata status untuk TransformWithStateInPandas
- [SPARK-50602] [SC-184439][sql] Perbaiki transpose untuk menampilkan pesan kesalahan yang tepat ketika kolom indeks yang tidak valid ditentukan
- [SPARK-50650] [SC-184532][sql] Meningkatkan pencatatan log di Penganalisis sekali jalan
- [SPARK-50665] [SC-184533][sql] Ganti LocalRelation dengan ComparableLocalRelation di NormalizePlan
- [SPARK-50644] [SC-184486][sql] Baca varian struct di pembaca format Parquet.
- [SPARK-49636] [SC-184089][sql] Hapus rekomendasi konfigurasi ANSI di INVALID_ARRAY_INDEX dan INVALID_ARRAY_INDEX_IN_ELEMENT_AT
- [SPARK-50659] [SC-184514][sql] Refaktorisasi komputasi output Union untuk menggunakannya kembali di Analyzer sekali jalan
- [SPARK-50659] [SC-184512][sql] Pindahkan kesalahan terkait Union ke QueryCompilationErrors
- [SPARK-50530] [SC-183419][sql] Perbaiki perhitungan konteks jenis string implisit yang buruk
- [SPARK-50546] [SC-183807][sql] Tambahkan dukungan untuk konversi subkueri ke koersi jenis pengurutan
- [SPARK-50405] [SC-182889][sql] Menangani koersi tipe penyusunan jenis data kompleks dengan benar
- [SPARK-50637] [SC-184434][sql] Perbaiki gaya kode untuk Penganalisis sekali lintas
- [SPARK-50638] [SC-184435][sql] Refaktor resolusi tampilan ke dalam file terpisah untuk menggunakannya kembali di Penganalisis akses tunggal
- [SPARK-50615] [SC-184298][sql] Menerapkan varian ke dalam pemindaian.
- [SPARK-50619] [SC-184210][sql] Refaktor VariantGet.cast untuk memasukkan argumen cast
- [SPARK-50599] [SC-184058][sql] Buat trait DataEncoder yang memungkinkan enkoding Avro dan UnsafeRow
- [SPARK-50076] [SC-183809] Perbaiki logkey
- [SPARK-50597] [SC-183972][sql] Perombakan konstruksi batch di Optimizer.scala dan SparkOptimizer.scala
- [SPARK-50339] [SC-183063][spark-50360][SS] Aktifkan changelog untuk menyimpan informasi silsilah data
- [SPARK-50526] [SC-183811][ss] Tambahkan format pengkodean penyimpanan ke log offset dan blokir operator stateful yang tidak mendukung memanfaatkan Avro
- [SPARK-50540] [SC-183810][python][SS] Perbaiki skema string untuk StatefulProcessorHandle
- [SPARK-50157] [SC-183789][sql] Menggunakan SQLConf yang disediakan oleh SparkSession terlebih dahulu.
- [SPARK-48898] [SC-183793][sql] Atur nullability dengan benar dalam skema Varian
- [SPARK-50559] [SC-183814][sql] Menyimpan keluaran Kecuali, Potongan, dan Gabungan sebagai lazy vals.
- [SPARK-48416] [SC-183643][sql] Dukungan bertumpuk berkorelasi Dengan ekspresi
- [SPARK-50428] [SC-183566][ss][PYTHON] Mendukung TransformWithStateInPandas dalam kueri batch
- [SPARK-50063] [SC-183350][sql][CONNECT] Tambahkan dukungan untuk Varian di klien Spark Connect Scala
-
[SPARK-50544] [SC-183569][python][CONNECT] Implement
StructType.toDDL - [SPARK-50443] [SC-182590][ss] Memperbaiki kesalahan build Maven yang diperkenalkan oleh Guava cache di RocksDBStateStoreProvider
- [SPARK-50491] [SC-183434][sql] Perbaiki bug di mana blok BEGIN END kosong melempar kesalahan
-
[SPARK-50536] [SC-183443][core] Mencatat ukuran file arsip yang diunduh dalam
SparkContextdanExecutor - [SPARK-45891] [SC-183439][sql] Membangun kembali varian biner dari data yang dihancurkan.
- [SPARK-49565] [SC-183465][sql] Tambahkan sintaks pipa SQL untuk operator FROM
- [SPARK-50497] [SC-183338][sql] Menghentikan kueri dengan pesan yang sesuai jika MultiAlias berisi fungsi non-generator
- [SPARK-50460] [SC-183375][python][CONNECT] Generalisasi dan sederhanakan penanganan pengecualian Connect
-
[SPARK-50537] [SC-183452][connect][PYTHON] Perbaiki opsi kompresi yang ditimpa di
df.write.parquet - [SPARK-50329] [SC-183358][sql] perbaiki InSet$toString
-
[SPARK-50524] [SC-183364][sql] Turunkan pesan peringatan
RowBasedKeyValueBatch.spillke tingkat debug -
[SPARK-50528] [SC-183385][connect] Pindahkan
InvalidCommandInputke modul umum - [SPARK-50017] [SC-182438][ss] Mendukung enkode Avro untuk operator TransformWithState
-
[SPARK-50463] [SC-182833][sql] Memperbaiki
ConstantColumnVectordalam konversi Kolom ke Baris - [SPARK-50235] [SC-180786][sql] Bersihkan sumber daya ColumnVector setelah memproses semua baris di ColumnarToRowExec
- [SPARK-50516] [SC-183279][ss][MINOR] Perbaiki pengujian terkait status init untuk menggunakan StreamManualClock
- [SPARK-50478] [SC-183188][sql] Perbaiki pencocokan StringType
- [SPARK-50492] [SC-183177][ss] Memperbaiki java.util.NoSuchElementException ketika kolom waktu kejadian dihapus setelah dropDuplicatesWithinWatermark
- [SPARK-49566] [SC-182589][sql] Tambahkan sintaks pipa SQL untuk operator SET
- [SPARK-50449] [SC-183178][sql] Memperbaiki tata bahasa dalam Skrip SQL yang memungkinkan isi kosong pada perulangan, IF, dan CASE
-
[SPARK-50251] [SC-180970][python] Tambahkan
getSystemPropertyke PySparkSparkContext - [SPARK-50421] [SC-183091][core] Memperbaiki konfigurasi memori terkait eksekutor yang salah saat beberapa profil sumber daya berfungsi.
- [SPARK-49461] [SC-179572][ss] ID Titik Pemeriksaan Persisten untuk mengkomit log serta membacanya kembali
- [SPARK-50343] [SC-183119][spark-50344][SQL] Tambahkan sintaks pipa SQL untuk operator DROP dan AS
-
[SPARK-50481] [SC-182880][core] Tingkatkan
SortShuffleManager.unregisterShuffleuntuk mengabaikan logika pengolahan file checksum jika checksum dinonaktifkan -
[SPARK-50498] [SC-183090][python] Hindari panggilan py4j yang tidak perlu di
listFunctions -
[SPARK-50489] [SC-183053][sql][PYTHON] Memperbaiki self-join setelah
applyInArrow - [SPARK-49695] [SC-182967][sc-176968][SQL] Perbaikan xor push-down di Postgres
Dukungan untuk driver Databricks ODBC/JDBC
Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver dan pembaruan terbaru (unduh ODBC, unduh JDBC).
Pembaruan pemeliharaan
Lihat pembaruan pemeliharaan Databricks Runtime 16.2.
Lingkungan sistem
-
Sistem Operasi: Ubuntu 24.04.1 LTS
- Catatan: Ini adalah versi Ubuntu yang digunakan oleh kontainer Databricks Runtime. Kontainer Databricks Runtime berjalan pada komputer virtual penyedia cloud, yang mungkin menggunakan versi Ubuntu atau distribusi Linux yang berbeda.
- Java: Zulu17.54+21-CA
- Scala: 2.12.15
- Python: 3.12.3
- R: 4.4.0
- Danau Delta: 3.3.0
Perpustakaan Python yang Terpasang
| Perpustakaan | Versi | Perpustakaan | Versi | Perpustakaan | Versi |
|---|---|---|---|---|---|
| tipe beranotasi | 0.7.0 | asttoken | 2.0.5 | astunparse | 1.6.3 |
| perintah otomatis | 2.2.2 | azure-core | 1.31.0 | Azure Storage Blob | 12.23.0 |
| penyimpanan-berkas-datalake-azure | 12.17.0 | backports.tarfile | 1.2.0 | hitam | 24.4.2 |
| blinker | 1.7.0 | boto3 | 1.34.69 | botocore | 1.34.69 |
| cachetools (perangkat untuk caching) | 5.3.3 | sertifikat | 2024.6.2 | cffi | 1.16.0 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | Klik | 8.1.7 |
| cloudpickle (perpustakaan Python untuk serialisasi objek) | 2.2.1 | Komunikasi | 0.2.1 | konturpy | 1.2.0 |
| Kriptografi | 42.0.5 | pengendara sepeda | 0.11.0 | Cython | 3.0.11 |
| databricks-sdk | 0.30.0 | dbus-python | 1.3.2 | debugpy | 1.6.7 |
| Dekorator | 5.1.1 | Ditinggalkan | 1.2.14 | distlib | 0.3.8 |
| konversi docstring ke markdown | 0.11 | titik masuk | 0,4 | Mengeksekusi | 0.8.3 |
| ringkasan aspek | 1.1.1 | filelock | 3.15.4 | alat pengelola font | 4.51.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth (autentikasi Google) | 2.35.0 | google-cloud-core | 2.4.1 | Penyimpanan Awan Google | 2.18.2 |
| google-crc32c | 1.6.0 | google-resumable-media (layanan media berkelanjutan dari Google) | 2.7.2 | googleapis-common-protos | 1.65.0 |
| grpcio | 1.60.0 | grpcio-status | 1.60.0 | httplib2 | 0.20.4 |
| IDNA | 3.7 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 |
| memfleksi | 7.3.1 | ipyflow-core | 0.0.201 | ipykernel | 6.28.0 |
| ipython | 8.25.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.teks | 3.12.1 | Jedi | 0.19.1 | jmespath | 1.0.1 |
| joblib | 1.4.2 | jupyter_client | 8.6.0 | jupyter_core | 5.7.2 |
| kiwisolver | 1.4.4 | launchpadlib | 1.11.0 | lazr.restfulclient (klien layanan web yang menggunakan RESTful) | 0.14.6 |
| lazr.uri | 1.0.6 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| Mccabe | 0.7.0 | mlflow-skinny (versi ringan) | 2.15.1 | more-itertools | 10.3.0 |
| mypy | 1.10.0 | ekstensi mypy | 1.0.0 | nest-asyncio | 1.6.0 |
| nodeenv | 1.9.1 | numpy (perpustakaan Python untuk operasi numerik) | 1.26.4 | oauthlib | 3.2.2 |
| opentelemetry-api | 1.27.0 | opentelemetry-sdk | 1.27.0 | opentelemetry-konvensi-semantik | 0.48b0 |
| Kemasan | 24.1 | Panda | 1.5.3 | pengurai | 0.8.3 |
| spesifikasi jalur | 0.10.3 | kambing hitam | 0.5.6 | pexpect | 4.8.0 |
| bantal | 10.3.0 | Pip | 24,2 | platformdir | 3.10.0 |
| secara plot | 5.22.0 | colokan | 1.0.0 | prompt-toolkit | 3.0.43 |
| proto-plus | 1.24.0 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 15.0.2 | pyasn1 | 0.4.8 | modul pyasn1 | 0.2.8 |
| pyccolo | 0.0.65 | pycparser | 2.21 | pydantic (perpustakaan Python untuk validasi data) | 2.8.2 |
| pydantic_core | 2.20.1 | pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | PyJWT | 2.7.0 | pyodbc | 5.0.1 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | python-dateutil | 2.9.0.post0 |
| python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 | pytoolconfig | 1.2.6 |
| pytz | 2024.1 | PyYAML (paket untuk memproses bahasa YAML dalam Python) | 6.0.1 | pyzmq | 25.1.2 |
| Permintaan | 2.32.2 | tali | 1.12.0 | Rsa | 4.9 |
| s3transfer | 0.10.2 | scikit-learn | 1.4.2 | scipy (perpustakaan Python untuk komputasi ilmiah) | 1.13.1 |
| Seaborn (perpustakaan Python untuk visualisasi data) | 0.13.2 | setuptools | 74.0.0 | Enam | 1.16.0 |
| smmap | 5.0.0 | sqlparse | 0.5.1 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels (paket Python untuk pemodelan statistik) | 0.14.2 | kegigihan | 8.2.2 |
| threadpoolctl | 2.2.0 | Tokenisasi-RT | 4.2.1 | tomli | 2.0.1 |
| Tornado | 6.4.1 | traitlets | 5.14.3 | typeguard (penjaga tipe) | 4.3.0 |
| type-protobuf | 3.20.3 | type-psutil | 5.9.0 | type-pytz | 2023.3.1.1 |
| type-PyYAML | 6.0.0 | jenis permintaan | 2.31.0.0 | tipe-setuptools | 68.0.0.0 |
| tipe-enam | 1.16.0 | type-urllib3 | 1.26.25.14 | ekstensi pengetikan (typing_extensions) | 4.11.0 |
| ujson | 5.10.0 | peningkatan tanpa pengawas | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.26.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| apa itu patch | 1.0.2 | wheel | 0.43.0 | terbungkus | 1.14.1 |
| yapf | 0.33.0 | zipp | 3.17.0 |
Pustaka R yang dipasang
Pustaka R diinstal menggunakan snapshot dari Posit Package Manager CRAN pada 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.
| Perpustakaan | Versi | Perpustakaan | Versi | Perpustakaan | Versi |
|---|---|---|---|---|---|
| anak panah | 16.1.0 | askpass | 1.2.0 | pastikanbahwa | 0.2.1 |
| backport | 1.5.0 | dasar | 4.4.0 | base64enc | 0.1-3 |
| bigD | 0.2.0 | sedikit | 4.0.5 | bit-64 | 4.0.5 |
| bitops | 1,0-8 | blob | 1.2.4 | sepatu bot | 1.3-30 |
| Seduhan | 1.0-10 | Brio | 1.1.5 | sapu | 1.0.6 |
| bslib | 0.8.0 | cashmere | 1.1.0 | layanan panggilan | 3.7.6 |
| caret | 6.0-94 | cellranger | 1.1.0 | kronogram | 2.3-61 |
| kelas | 7.3-22 | CLI | 3.6.3 | pemangkas | 0.8.0 |
| jam | 0.7.1 | kluster | 2.1.6 | codetools | 0.2-20 |
| ruang warna | 2.1-1 | commonmark | 1.9.1 | kompilator | 4.4.0 |
| konfigurasi | 0.3.2 | Terbagi | 1.2.0 | cpp11 | 0.4.7 |
| Crayon | 1.5.3 | kredensial | 2.0.1 | melengkung | 5.2.1 |
| data.table (sebuah paket untuk pengolahan data table) | 1.15.4 | Kumpulan Data | 4.4.0 | DBI | 1.2.3 |
| dbplyr | 2.5.0 | deskripsi | 1.4.3 | devtools | 2.4.5 |
| bagan | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.36 |
| pencahayaan bawah | 0.4.4 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | elipsis | 0.3.2 | Evaluasi | 0.24.0 |
| penggemar | 1.0.6 | warna | 2.1.2 | pemetaan cepat | 1.2.0 |
| fontawesome | 0.5.2 | untuk kucing | 1.0.0 | foreach (pengulangan untuk setiap elemen) | 1.5.2 |
| asing | 0.8-86 | menempa | 0.2.0 | fs | 1.6.4 |
| masa depan | 1.34.0 | menerapkan di masa depan | 1.11.2 | kumur | 1.5.2 |
| Generik | 0.1.3 | Gert | 2.1.0 | ggplot2 | 3.5.1 |
| Gh | 1.4.1 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | variabel global | 0.16.3 | lem | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Gower | 1.0.1 |
| Grafik | 4.4.0 | grDevices | 4.4.0 | kisi | 4.4.0 |
| gridExtra | 2.3 | gsubfn | 0,7 | GT | 0.11.0 |
| gtable | 0.3.5 | helm keselamatan | 1.4.0 | tempat perlindungan | 2.5.4 |
| lebih tinggi | 0.11 | HMS | 1.1.3 | htmltools | 0.5.8.1 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.15 | httr | 1.4.7 |
| httr2 | 1.0.2 | Id | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-15 | isoband | 0.2.7 | iterator | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | JuicyJuice | 0.1.0 |
| KernSmooth | 2.23-22 | knitr | 1.48 | Pelabelan | 0.4.3 |
| nanti | 1.3.2 | Kisi | 0.22-5 | lahar | 1.8.0 |
| siklus hidup | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | Markdown | 1.13 | MASSA | 7.3-60.0.1 |
| Matriks | 1.6-5 | mengingat | 2.0.1 | Metode | 4.4.0 |
| mgcv | 1.9-1 | pantomim | 0.12 | miniUI | 0.1.1.1 |
| mlflow | 2.14.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.1 | nlme | 3.1-165 | nnet | 7.3-19 |
| numDeriv | Agustus 2016 - Januari 2017 | openssl | 2.2.0 | sejajar | 4.4.0 |
| secara paralel | 1.38.0 | pilar | 1.9.0 | pkgbuild | 1.4.4 |
| pkgconfig | 2.0.3 | pkgdown | 2.1.0 | pkgload | 1.4.0 |
| plogr | 0.2.0 | plyr | 1.8.9 | memuji | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | ProsesX | 3.8.4 |
| prodlim | 2024.06.25 | profvis | 0.3.8 | Kemajuan | 1.2.3 |
| progresr | 0.14.0 | Janji-janji | 1.3.0 | Proto | 1.0.0 |
| proksi | 0,4-27 | P.S. | 1.7.7 | menggeram lembut | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.3.2 | randomForest (algoritma pembelajaran mesin) | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.13 | RcppEigen | 0.3.4.0.0 | dapat direaksi | 0.4.4 |
| reactR | 0.6.0 | pembaca | 2.1.5 | readxl (membaca file Excel) | 1.4.3 |
| Resep | 1.1.0 | pertandingan ulang | 2.0.0 | pertandinganulang2 | 2.1.2 |
| Remote | 2.5.0 | Contoh yang dapat direproduksi | 2.1.1 | reshape2 | 1.4.4 |
| rlang | 1.1.4 | rmarkdown | 2.27 | RODBC | 1.3-23 |
| roxygen2 | 7.3.2 | rpart | 4.1.23 | rprojroot | 2.0.4 |
| Rserve | 1.8-13 | RSQLite | 2.3.7 | rstudioapi | 0.16.0 |
| rversions | 2.1.2 | rvest | 1.0.4 | Sass | 0.4.9 |
| timbangan | 1.3.0 | selektor | 0,4-2 | informasi sesi | 1.2.2 |
| bentuk | 1.4.6.1 | berkilau | 1.9.1 | sourcetools | 0.1.7-1 |
| sparklyr - paket R untuk analisis data dan pembelajaran mesin | 1.8.6 | SparkR | 3.5.2 | spasial | 7.3-17 |
| Splines | 4.4.0 | sqldf | 0,4-11 | SQUAREM | 2021.1 |
| Statistik | 4.4.0 | statistik4 | 4.4.0 | string | 1.8.4 |
| stringr | 1.5.1 | Kelangsungan hidup | 3.6-4 | Gaya percaya diri | 5.17.14.1 |
| Sistem | 3.4.2 | systemfonts | 1.1.0 | bahasa pemrograman Tcl/Tk | 4.4.0 |
| ujiitu | 3.2.1.1 | pembentukan teks | 0.4.0 | tibble | 3.2.1 |
| tidyr | 1.3.1 | tidyselect | 1.2.1 | tidyverse | 2.0.0 |
| perubahan waktu | 0.3.0 | tanggalWaktu | 4032.109 | tinytex | 0.52 |
| perkakas | 4.4.0 | tzdb | 0.4.0 | urlchecker | 1.0.1 |
| gunakan ini | 3.0.0 | utf8 | 1.2.4 | Utilitas | 4.4.0 |
| UUID (Pengidentifikasi Unik Universal) | 1.2-1 | V8 | 4.4.2 | vctrs | 0.6.5 |
| viridisLite | 0.4.2 | Vroom | 1.6.5 | Waldo | 0.5.2 |
| kumis | 0.4.1 | dengan | 3.0.1 | xfun | 0,46 |
| xml2 | 1.3.6 | xopen | 1.0.1 | xtable | 1.8-4 |
| yaml | 2.3.10 | zeallot | 0.1.0 | Zip | 2.3.1 |
Pustaka Java dan Scala terinstal (versi kluster Scala 2.12)
| ID Kelompok | ID Artefak | Versi |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client (klien Amazon Kinesis) | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.638 |
| com.amazonaws | AWS Java SDK untuk CloudHSM | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.638 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.638 |
| com.amazonaws | aws-java-sdk-config (konfigurasi SDK Java untuk AWS) | 1.12.638 |
| com.amazonaws | aws-java-sdk-core | 1.12.638 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.638 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.638 |
| com.amazonaws | aws-java-sdk-directory | 1.12.638 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.638 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.638 |
| com.amazonaws | aws-java-sdk-efs | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) | 1.12.638 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.638 |
| com.amazonaws | aws-java-sdk-emr | 1.12.638 |
| com.amazonaws | aws-java-sdk-glacier (perangkat pengembangan perangkat lunak untuk AWS Glacier) | 1.12.638 |
| com.amazonaws | aws-java-sdk-glue | 1.12.638 |
| com.amazonaws | aws-java-sdk-iam | 1.12.638 |
| com.amazonaws | aws-java-sdk-impor-ekspor | 1.12.638 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.638 |
| com.amazonaws | aws-java-sdk-kms | 1.12.638 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.638 |
| com.amazonaws | aws-java-sdk-logs | 1.12.638 |
| com.amazonaws | AWS-Java-SDK-Pembelajaran Mesin | 1.12.638 |
| com.amazonaws | aws-java-sdk-opsworks (SDK Java untuk OpsWorks) | 1.12.638 |
| com.amazonaws | aws-java-sdk-rds | 1.12.638 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.638 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.638 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ses | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.638 |
| com.amazonaws | aws-java-sdk-sns | 1.12.638 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.638 |
| com.amazonaws | aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) | 1.12.638 |
| com.amazonaws | SDK Java untuk Storage Gateway AWS | 1.12.638 |
| com.amazonaws | aws-java-sdk-sts | 1.12.638 |
| com.amazonaws | AWS Java SDK Dukungan | 1.12.638 |
| com.amazonaws | aws-java-sdk-swf-libraries (perpustakaan AWS) | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.638 |
| com.amazonaws | jmespath-java | 1.12.638 |
| com.clearspring.analytics | aliran | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.27.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-terlindung | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | Teman sekelas | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anotasi | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | Jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | kafein | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | referensi_asli-java | 1.1 |
| com.github.fommil.netlib | referensi_asli-java | 1.1-penduduk asli |
| com.github.fommil.netlib | sistem_asli-java | 1.1 |
| com.github.fommil.netlib | sistem_asli-java | 1.1-penduduk asli |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-penduduk asli |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-penduduk asli |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | Gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | anotasi_rentan_kesalahan | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 26/05/2023 |
| com.google.guava | jambu biji | 15.0 |
| com.google.protobuf | protobuf-java | 3.25.1 |
| com.helger | Penganalisa profil | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | kode_sumber_2.12 | 0.1.9 |
| com.microsoft.azure | Azure Data Lake Store SDK | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.3.jre8 |
| com.ning | compress-lzf (algoritma kompresi) | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | JSON | 1.8 |
| com.thoughtworks.paranamer | Paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | konfigurasi | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| Commons Collections | Commons Collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| unggah berkas pada commons | unggah berkas pada commons | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging (perpustakaan Java untuk fungsi pencatatan) | commons-logging (perpustakaan Java untuk fungsi pencatatan) | 1.1.3 |
| kolam umum | kolam umum | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | Blas | 3.0.3 |
| dev.ludovic.netlib | LAPACK | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | kompresor udara | 0.27 |
| io.delta | delta-sharing-client_2.12 | 1.2.2 |
| io.dropwizard.metrics | metrik dan anotasi | 4.2.19 |
| io.dropwizard.metrics | inti metrik | 4.2.19 |
| io.dropwizard.metrics | metrik-graphite | 4.2.19 |
| io.dropwizard.metrics | metrik-cek kesehatan | 4.2.19 |
| io.dropwizard.metrics | metrik-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrik-jmx | 4.2.19 |
| io.dropwizard.metrics | metrik-json | 4.2.19 |
| io.dropwizard.metrics | metrik-jvm | 4.2.19 |
| io.dropwizard.metrics | metrik-servlet | 4.2.19 |
| io.netty | netty-all | 4.1.108.Final |
| io.netty | Netty Buffer | 4.1.108.Final |
| io.netty | netty-codec | 4.1.108.Final |
| io.netty | netty-kodek-http | 4.1.108.Final |
| io.netty | netty-codec-http2 | 4.1.108.Final |
| io.netty | netty-codec-socks | 4.1.108.Final |
| io.netty | netty-common | 4.1.108.Final |
| io.netty | netty-handler | 4.1.108.Final |
| io.netty | netty-handler-proxy | 4.1.108.Final |
| io.netty | netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) | 4.1.108.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-Linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-windows-x86_64 |
| io.netty | netty-tcnative kelas | 2.0.61.Final |
| io.netty | netty-transport | 4.1.108.Final |
| io.netty | netty-transport-classes-epoll (kelas transportasi netty - epoll) | 4.1.108.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) | 4.1.108.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_umum | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway (gateway pendorong sederhana) | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | pengumpul | 0.12.0 |
| jakarta.anotasi | jakarta.anotasi-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivasi | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Java Transaction API (JTA) | 1.1 |
| javax.transaction | Transaction-API | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| Javolution | Javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | acar | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| jaring.bunga salju | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_gabungan_semua | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | StringTemplate | 3.2.1 |
| org.apache.ant | semut | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | format tanda panah | 15.0.0 |
| org.apache.arrow | Produksi Memori Arrow | 15.0.0 |
| org.apache.arrow | Arrow-Memory-Netty | 15.0.0 |
| org.apache.arrow | panah-vektor | 15.0.0 |
| org.apache.avro | Avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-koleksi4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | Commons-Math3 | 3.6.1 |
| org.apache.commons | commons-text (teks umum) | 1.10.0 |
| org.apache.curator | kurator-klien | 2.13.0 |
| org.apache.curator | kerangka kerja kurator | 2.13.0 |
| org.apache.curator | resep kurasi | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-klien-waktu jalan | 3.3.6 |
| org.apache.hive | hive-beeline (antarmuka perintah untuk Apache Hive) | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | apache hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) | 2.3.9 |
| org.apache.hive | Hive-shims | 2.3.9 |
| org.apache.hive | API penyimpanan hive | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) | 2.3.9 |
| org.apache.hive.shims | hive-shims-jadwal | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | tanaman anggur | 2.5.2 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json (pola tata letak JSON di log4j) | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | catatan audiens | 0.13.0 |
| org.apache.zookeeper | penjaga kebun binatang | 3.9.2 |
| org.apache.zookeeper | penjaga kebun binatang-jute | 3.9.2 |
| org.checkerframework | pemeriksa kualitas | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | Pengompilasi Umum | 3.0.16 |
| org.codehaus.janino | Januari | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | Koleksi gerhana | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-kelanjutan | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http (protokol HTTP untuk server Jetty) | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | Jetty Plus | 9.4.52.v20230823 |
| org.eclipse.jetty | Jetty-Proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | keamanan jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | Jetty Server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | Aplikasi web Jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | WebSocket-API | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-klien | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-pemindai lokasi | 2.6.1 |
| org.glassfish.hk2 | hk2-utilitas | 2.6.1 |
| org.glassfish.hk2 | osgi-penanda-sumber-daya | 1.0.3 |
| org.glassfish.hk2.external | aopalliance (dikemas ulang) | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-inti | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | kaus umum | 2.40 |
| org.glassfish.jersey.core | Jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | Hibernate Validator | 6.1.7.Terakhir |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Anotasi | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 4.0.7 |
| org.json4s | json4s-core_2.12 | 4.0.7 |
| org.json4s | json4s-jackson-core_2.12 | 4.0.7 |
| org.json4s | json4s-jackson_2.12 | 4.0.7 |
| org.json4s | json4s-scalap_2.12 | 4.0.7 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | pengganjal | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 9.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.9.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | antarmuka uji | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.16 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | kompatibel dengan scalatest | 3.2.16 |
| org.scalatest | scalatest-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.16 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.16 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.16 |
| org.scalatest | scalatest_2.12 | 3.2.16 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.4.1-linux-x86_64 |
| Stax | stax-api | 1.0.1 |