Databricks Runtime 14.1
Catatan rilis berikut memberikan informasi tentang Databricks Runtime 14.1, didukung oleh Apache Spark 3.5.0.
Databricks merilis versi ini pada Oktober 2023.
Tip
Untuk melihat catatan rilis untuk versi Databricks Runtime yang telah mencapai akhir dukungan (EoS), lihat Catatan rilis Databricks Runtime akhir dukungan. Versi EoS Databricks Runtime telah dihentikan dan mungkin tidak diperbarui.
Fitur dan peningkatan baru
- array_insert() berbasis 1 untuk indeks negatif
- Titik pemeriksaan Delta v2 diaktifkan secara default dengan pengklusteran cairan
- Hilangkan fitur tabel Delta di Pratinjau Umum
- Berbagi Delta: Penerima dapat melakukan kueri batch pada tabel bersama dengan vektor penghapusan (Pratinjau Umum)
- Berbagi Delta: Penerima dapat melakukan kueri batch pada tabel bersama dengan pemetaan kolom (Pratinjau Umum)
- Streaming dari tampilan Katalog Unity di Pratinjau Umum
- Konektor Apache Pulsar di Pratinjau Umum
- Driver Snowflake yang ditingkatkan
- Variabel Sesi SQL
- Pemanggilan parameter bernama untuk SQL dan Python UDF.
- Argumen tabel ke fungsi mendukung pemartisian dan pengurutan.
- Fungsi SQL bawaan baru dan yang disempurnakan
- Peningkatan penanganan subkueri berkorelasi
array_insert() berbasis 1 untuk indeks negatif
Fungsi array_insert ini berbasis 1 untuk indeks positif dan negatif. Sekarang menyisipkan elemen baru di akhir array input untuk indeks -1. Untuk mengembalikan perilaku sebelumnya, atur spark.sql.legacy.negativeIndexInArrayInsert ke true.
Titik pemeriksaan Delta v2 diaktifkan secara default dengan pengklusteran cairan
Tabel Delta yang baru dibuat dengan pengklusteran cairan menggunakan titik pemeriksaan v2 secara default. Lihat Kompatibilitas untuk tabel dengan pengklusteran cairan.
Hilangkan fitur tabel Delta di Pratinjau Umum
Sekarang Anda dapat menghapus beberapa fitur tabel untuk tabel Delta. Dukungan saat ini termasuk menjatuhkan deletionVectors dan v2Checkpoint. Lihat Menghilangkan fitur tabel Delta.
Berbagi Delta: Penerima dapat melakukan kueri batch pada tabel bersama dengan vektor penghapusan (Pratinjau Umum)
Penerima Berbagi Delta sekarang dapat melakukan kueri batch pada tabel bersama yang menggunakan vektor penghapusan. Lihat Menambahkan tabel dengan vektor penghapusan atau pemetaan kolom ke berbagi, Membaca tabel dengan vektor penghapusan atau pemetaan kolom diaktifkan, dan Membaca tabel dengan vektor penghapusan atau pemetaan kolom diaktifkan.
Berbagi Delta: Penerima dapat melakukan kueri batch pada tabel bersama dengan pemetaan kolom (Pratinjau Umum)
Penerima Berbagi Delta sekarang dapat melakukan kueri batch pada tabel bersama yang menggunakan pemetaan kolom. Lihat Menambahkan tabel dengan vektor penghapusan atau pemetaan kolom ke berbagi, Membaca tabel dengan vektor penghapusan atau pemetaan kolom diaktifkan, dan Membaca tabel dengan vektor penghapusan atau pemetaan kolom diaktifkan.
Streaming dari tampilan Katalog Unity di Pratinjau Umum
Anda sekarang dapat menggunakan Streaming Terstruktur untuk melakukan pembacaan streaming dari tampilan yang terdaftar di Katalog Unity. Azure Databricks hanya mendukung pembacaan streaming dari tampilan yang ditentukan terhadap tabel Delta. Lihat Membaca tampilan Katalog Unity sebagai aliran.
Konektor Apache Pulsar di Pratinjau Umum
Anda sekarang dapat menggunakan Streaming Terstruktur untuk mengalirkan data dari Apache Pulsar di Azure Databricks. Lihat Streaming dari Apache Pulsar.
Driver Snowflake yang ditingkatkan
Driver Snowflake JDBC sekarang menggunakan versi 3.13.33.
Variabel Sesi SQL
Rilis ini memperkenalkan kemampuan untuk mendeklarasikan variabel sementara dalam sesi yang dapat diatur dan kemudian dirujuk dari dalam kueri. Lihat Variabel.
Pemanggilan parameter bernama untuk SQL dan Python UDF.
Anda sekarang dapat menggunakan pemanggilan parameter Bernama di SQL dan Python UDF.
Argumen tabel ke fungsi mendukung pemartisian dan pengurutan.
Anda sekarang dapat menggunakan PARTITION BY klausa dan ORDER BY untuk mengontrol bagaimana argumen tabel diteruskan ke fungsi selama pemanggilan fungsi.
Fungsi SQL bawaan baru dan yang disempurnakan
Fungsi bawaan berikut telah ditambahkan:
- from_xml: Mengurai XML
STRINGke dalamSTRUCT. - schema_of_xml: Mendapatkan skema dari XML
STRING. - session_user: Mengembalikan pengguna yang masuk.
- try_reflect: Menampilkan alih-alih
NULLpengecualian jika metode Java gagal.
Fungsi bawaan berikut telah ditingkatkan:
- mode: Dukungan untuk parameter opsional yang memaksa hasil deterministik.
- to_char: Dukungan baru untuk
DATE, ,TIMESTAMPdanBINARY. - to_varchar: Dukungan baru untuk
DATE, ,TIMESTAMPdanBINARY.
Peningkatan penanganan subkueri berkorelasi
Kemampuan untuk memproses korelasi dalam subkueri telah diperpanjang:
- Tangani batas dan urutan menurut dalam subkueri skalar berkorelasi (lateral).
- Mendukung fungsi jendela dalam subkueri skalar yang berkorelasi.
- Mendukung referensi berkorelasi dalam predikat gabungan untuk subkueri skalar dan lateral
Perubahan perilaku
Pemeriksaan jenis ketat di pembaca Photon Parquet
Foton gagal saat mencoba membaca nilai desimal dari kolom Parquet yang bukan jenis desimal. Photon juga gagal saat membaca array byte panjang tetap dari Parquet sebagai string.
Peningkatan pustaka
- Pustaka Python yang ditingkatkan:
- filelock dari 3.12.2 ke 3.12.3
- s3transfer dari 0.6.1 ke 0.6.2
- Pustaka Java yang ditingkatkan:
- com.uber.h3 dari 3.7.0 ke 3.7.3
- io.airlift.aircompressor dari 0,24 hingga 0,25
- io.delta.delta-sharing-spark_2.12 dari 0.7.1 hingga 0.7.5
- io.netty.netty-all dari 4.1.93.Final ke 4.1.96.Final
- io.netty.netty-buffer dari 4.1.93.Final ke 4.1.96.Final
- io.netty.netty-codec dari 4.1.93.Final ke 4.1.96.Final
- io.netty.netty-codec-http dari 4.1.93.Final ke 4.1.96.Final
- io.netty.netty-codec-http2 dari 4.1.93.Final ke 4.1.96.Final
- io.netty.netty-codec-socks dari 4.1.93.Final ke 4.1.96.Final
- io.netty.netty-common dari 4.1.93.Final hingga 4.1.96.Final
- io.netty.netty-handler dari 4.1.93.Final ke 4.1.96.Final
- io.netty.netty-handler-proxy dari 4.1.93.Final ke 4.1.96.Final
- io.netty.netty-resolver dari 4.1.93.Final ke 4.1.96.Final
- io.netty.netty-transport dari 4.1.93.Final ke 4.1.96.Final
- io.netty.netty-transport-classes-epoll dari 4.1.93.Final ke 4.1.96.Final
- io.netty.netty-transport-classes-kqueue dari 4.1.93.Final ke 4.1.96.Final
- io.netty.netty-transport-native-epoll dari 4.1.93.Final-linux-x86_64 ke 4.1.96.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue dari 4.1.93.Final-osx-x86_64 ke 4.1.96.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common dari 4.1.93.Final hingga 4.1.96.Final
- net.snowflake.snowflake-jdbc dari 3.13.29 hingga 3.13.33
- org.apache.orc.orc-core dari 1.9.0-shaded-protobuf ke 1.9.1-shaded-protobuf
- org.apache.orc.orc-mapreduce dari 1.9.0-shaded-protobuf ke 1.9.1-shaded-protobuf
- org.apache.orc.orc-shims dari 1.9.0 hingga 1.9.1
Apache Spark
Databricks Runtime 14.1 mencakup Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 14.0 (EoS), serta perbaikan bug dan peningkatan tambahan berikut yang dilakukan pada Spark:
- [SPARK-45088] [DBRRM-557] Kembalikan "[SC-142785][PYTHON][CONNECT] Buat pekerjaan getitem dengan kolom duplikat"
- [SPARK-43453] [DBRRM-557]Kembalikan "[SC-143135][PS] Abaikan
nameskapanMultiIndexaxis=1untukconcat" - [SPARK-45225] [SC-143207][SQL] XML: Dukungan URL file XSD
- [SPARK-45156] [SC-142782][SQL] Membungkus
inputNamedengan backtick diNON_FOLDABLE_INPUTkelas kesalahan - [SPARK-44910] [SC-143082][SQL] Encoders.bean tidak mendukung superclasses dengan argumen jenis generik
- [SPARK-43453] [SC-143135][PS]
namesAbaikan kapanaxis=1MultiIndexuntukconcat - [SPARK-44463] [SS][SAMBUNGKAN] Meningkatkan penanganan kesalahan untuk Connect steaming Python worker
- [SPARK-44960] [SC-141023][UI] Ringkasan kesalahan unescape dan consist di seluruh halaman UI
- [SPARK-44788] [SC-142980][SAMBUNGKAN][PyTHON][SQL] Tambahkan from_xml dan schema_of_xml ke fungsi pyspark, spark connect, dan sql
- [SPARK-44614] [SC-138460][PyTHON][SAMBUNGKAN][3.5] Tambahkan paket yang hilang di setup.py
- [SPARK-45151] [SC-142861][CORE][UI] Dukungan Pembuangan Utas Tingkat Tugas
- [SPARK-45056] [SC-142779][PyTHON][SS][SAMBUNGKAN] Pengujian penghentian untuk streamingQueryListener dan foreachBatch
- [SPARK-45084] [SC-142828][SS] StateOperatorProgress untuk menggunakan nomor partisi acak efektif yang akurat
- [SPARK-44872] [SC-142405][SAMBUNGKAN] Server menguji infra dan ReattachableExecuteSuite
- [SPARK-45197] [SC-142984][CORE] Buat
StandaloneRestServerpenambahanJavaModuleOptionske driver - [SPARK-44404] [SC-139601][SQL] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
- [SPARK-44647] [SC-142297][SQL] Mendukung SPJ di mana kunci gabungan kurang dari kunci kluster
- [SPARK-45088] [SC-142785][PyTHON][SAMBUNGKAN] Bekerja
getitemdengan kolom duplikat - [SPARK-45128] [SC-142851][SQL] Dukungan
CalendarIntervalTypedalam Panah - [SPARK-45130] [SC-142976][SAMBUNGKAN][ML][PyTHON] Hindari model ML Spark connect untuk mengubah dataframe panda input
- [SPARK-45034] [SC-142959][SQL] Mendukung fungsi mode deterministik
- [SPARK-45173] [SC-142931][UI] Menghapus beberapa file sourceMapping yang tidak perlu di UI
- [SPARK-45162] [SC-142781][SQL] Mendukung peta dan parameter array yang dibangun melalui
call_function - [SPARK-45143] [SC-142840][PyTHON][SAMBUNGKAN] Membuat PySpark kompatibel dengan PyArrow 13.0.0
- [SPARK-45174] [SC-142837][CORE] Dukung
spark.deploy.maxDrivers - [SPARK-45167] [SC-142956][SAMBUNGKAN][PyTHON] Klien Python harus memanggil
release_all - [SPARK-36191] [SC-142777][SQL] Menangani batas dan urutan menurut dalam subkueri skalar berkorelasi (lateral)
- [SPARK-45159] [SC-142829][PyTHON] Menangani argumen bernama hanya jika diperlukan
- [SPARK-45133] [SC-142512][SAMBUNGKAN] Buat kueri Spark Connect SELESAI ketika tugas hasil terakhir selesai
- [SPARK-44801] [SC-140802][SQL][UI] Mengambil analisis kueri yang gagal di Listener dan UI
- [SPARK-45139] [SC-142527][SQL] Menambahkan DatabricksDialect untuk menangani konversi jenis SQL
- [SPARK-45157] [SC-142546][SQL] Hindari check-in berulang
if[On|Off|HeapColumnVector - [SPARK-45077] Kembalikan "[SC-142069][UI] Peningkatan dagre-d3.js dari 04.3 ke 0.6.4"
- [SPARK-45145] [SC-142521][CONTOH] Menambahkan contoh JavaSparkSQLCli
- [SPARK-43295] Kembalikan "[SC-142254][PS] Kolom jenis string dukungan untuk
DataFrameGroupBy.sum" - [SPARK-44915] [SC-142383][CORE] Memvalidasi checksum data acak PVC yang dilepaskan sebelum pemulihan
- [SPARK-45147] [SC-142524][CORE] Hapus
System.setSecurityManagerpenggunaan - [SPARK-45104] [SC-142206][UI] Tingkatkan
graphlib-dot.min.jske 1.0.2 - [SPARK-44238] [SC-141606][CORE][SQL] Memperkenalkan metode baru
readFromdengan input array byte untukBloomFilter - [SPARK-45060] [SC-141742][SQL] Memperbaiki kesalahan internal dari
to_char()NULLformat - [SPARK-43252] [SC-142381][SQL] Ganti kelas
_LEGACY_ERROR_TEMP_2016kesalahan dengan kesalahan internal - [SPARK-45069] [SC-142279][SQL] Variabel SQL harus selalu diselesaikan setelah referensi luar
- [SPARK-44911] [SC-142388][SQL] Membuat tabel apache hive dengan kolom yang tidak valid harus mengembalikan kelas kesalahan
- [SPARK-42754] [SC-125567][SQL][UI] Memperbaiki masalah kompatibilitas mundur dalam eksekusi SQL berlapis
- [SPARK-45121] [SC-142375][SAMBUNGKAN][PS] Dukungan
Series.emptyuntuk Spark Connect. - [SPARK-44805] [SC-142203][SQL] getBytes/getShorts/getInts/etc. harus bekerja di vektor kolom yang memiliki kamus
- [SPARK-45027] [SC-142248][PyTHON] Sembunyikan fungsi/variabel internal dari
pyspark.sql.functionspenyelesaian otomatis - [SPARK-45073] [SC-141791][PS][SAMBUNGKAN] Ganti
LastNotNulldenganLast(ignoreNulls=True) - [SPARK-44901] [SC-141676][SQL] Backport manual: Tambahkan API dalam metode 'analisis' Python UDTF untuk mengembalikan ekspresi partisi/pengurutan
- [SPARK-45076] [SC-141795][PS] Beralih ke fungsi bawaan
repeat - [SPARK-44162] [SC-141605][CORE] Mendukung G1GC dalam metrik spark
- [SPARK-45053] [SC-141733][PyTHON][MINOR] Peningkatan log dalam versi python tidak cocok
- [SPARK-44866] [SC-142221][SQL] Tambahkan
SnowflakeDialectuntuk menangani jenis BOOLEAN dengan benar - [SPARK-45064] [SC-141775][PyTHON][SAMBUNGKAN] Tambahkan parameter yang hilang
scalediceil/ceiling - [SPARK-45059] [SC-141757][SAMBUNGKAN][PyTHON] Menambahkan
try_reflectfungsi ke Scala dan Python - [SPARK-43251] [SC-142280][SQL] Ganti kelas
_LEGACY_ERROR_TEMP_2015kesalahan dengan kesalahan internal - [SPARK-45052] [SC-141736][SQL][PyTHON][SAMBUNGKAN] Membuat nama kolom output alias fungsi konsisten dengan SQL
- [SPARK-44239] [SC-141502][SQL] Memori bebas yang dialokasikan oleh vektor besar ketika vektor direset
- [SPARK-43295] [SC-142254][PS] Mendukung kolom jenis string untuk
DataFrameGroupBy.sum - [SPARK-45080] [SC-142062][SS] Secara eksplisit memanggil dukungan untuk kolom di sumber data streaming DSv2
- [SPARK-45036] [SC-141768][SQL] SPJ: Menyederhanakan logika untuk menangani distribusi terkluster sebagian
- [SPARK-45077] [SC-142069][UI] Tingkatkan dagre-d3.js dari 0.4.3 ke 0.6.4
- [SPARK-45091] [SC-142020][PyTHON][SAMBUNGKAN][SQL] Fungsi
floor/round/broundmenerima jenis Kolomscale - [SPARK-45090] [SC-142019][PyTHON][SAMBUNGKAN]
DataFrame.{cube, rollup}ordinal kolom dukungan - [SPARK-44743] [SC-141625][SQL] Tambahkan
try_reflectfungsi - [SPARK-45086] [SC-142052][UI] Menampilkan heksadesimal untuk kode hash kunci utas
- [SPARK-44952] [SC-141644][SQL][PyTHON] Mendukung argumen bernama dalam UDF Pandas agregat
- [SPARK-44987] [SC-141552][SQL] Menetapkan nama ke kelas kesalahan
_LEGACY_ERROR_TEMP_1100 - [SPARK-45032] [SC-141730][SAMBUNGKAN] Memperbaiki peringatan kompilasi yang terkait dengan
Top-level wildcard is not allowed and will error under -Xsource:3 - [SPARK-45048] [SC-141629][SAMBUNGKAN] Menambahkan pengujian tambahan untuk klien Python dan eksekusi yang dapat dilampirkan
- [SPARK-45072] [SC-141807][SAMBUNGKAN] Memperbaiki cakupan luar untuk kelas amonit
- [SPARK-45033] [SC-141759][SQL] Mendukung peta berdasarkan parameter
sql() - [SPARK-45066] [SC-141772][SQL][PyTHON][SAMBUNGKAN] Membuat fungsi
repeatmenerima jenis kolomn - [SPARK-44860] [SC-141103][SQL] Menambahkan fungsi SESSION_USER
- [SPARK-45074] [SC-141796][PyTHON][SAMBUNGKAN]
DataFrame.{sort, sortWithinPartitions}ordinal kolom dukungan - [SPARK-45047] [SC-141774][PyTHON][SAMBUNGKAN]
DataFrame.groupByordinal dukungan - [SPARK-44863] [SC-140798][UI] Menambahkan tombol untuk mengunduh cadangan utas sebagai txt di antarmuka pengguna Spark
- [SPARK-45026] [SC-141604][SAMBUNGKAN]
spark.sqlharus mendukung tipe data yang tidak kompatibel dengan panah - [SPARK-44999] [SC-141145][CORE] Refaktor
ExternalSorteruntuk mengurangi pemeriksaanshouldPartitionsaat memanggilgetPartition - [SPARK-42304] [SC-141501][SQL] Ganti nama
_LEGACY_ERROR_TEMP_2189menjadiGET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION - [SPARK-43781] [SC-139450][SQL] Perbaiki IllegalStateException saat mengkogrup dua himpunan data yang berasal dari sumber yang sama
- [SPARK-45018] [SC-141516][PyTHON][SAMBUNGKAN] Tambahkan CalendarIntervalType ke Klien Python
- [SPARK-45024] [SC-141513][PyTHON][SAMBUNGKAN] Memfilter beberapa konfigurasi dalam Pembuatan Sesi
- [SPARK-45017] [SC-141508][PyTHON] Tambahkan
CalendarIntervalTypeke PySpark - [SPARK-44720] [SC-139375][SAMBUNGKAN] Membuat Himpunan Data menggunakan Encoder alih-alih AgnosticEncoder
- [SPARK-44982] [SC-141027][SAMBUNGKAN] Menandai konfigurasi server Spark Connect sebagai statis
- [SPARK-44839] [SC-140900][SS][SAMBUNGKAN] Pengelogan Kesalahan yang Lebih Baik saat pengguna mencoba membuat serialisasi sesi spark
- [SPARK-44865] [SC-140905][SS] Membuat kolom metadata dukungan StreamingRelationV2
- [SPARK-45001] [SC-141141][PyTHON][SAMBUNGKAN] Menerapkan DataFrame.foreachPartition
- [SPARK-44497] [SC-141017][WEBUI] Perlihatkan id partisi tugas dalam tabel Tugas
- [SPARK-45006] [SC-141143][UI] Gunakan format tanggal yang sama dari elemen tanggal UI lainnya untuk sumbu x garis waktu
- [SPARK-45000] [SC-141135][PyTHON][SAMBUNGKAN] Menerapkan DataFrame.foreach
- [SPARK-44967] [SC-141137][SQL][SAMBUNGKAN] Unit harus dipertimbangkan terlebih dahulu sebelum menggunakan Boolean untuk TreeNodeTag
- [SPARK-44993] [SC-141088][CORE] Tambahkan
ShuffleChecksumUtils.compareChecksumsdengan menggunakan kembaliShuffleChecksumTestHelp.compareChecksums - [SPARK-44807] [SC-140176][SAMBUNGKAN] Menambahkan Dataset.metadataColumn ke Klien Scala
- [SPARK-44965] [SC-141098][PyTHON] Sembunyikan fungsi/variabel internal dari
pyspark.sql.functions - [SPARK-44983] [SC-141030][SQL] Mengonversi biner ke string dengan
to_charuntuk format:hex, ,base64utf-8 - [SPARK-44980] [DBRRM-462][SC-141024][PyTHON][SAMBUNGKAN] Perbaiki namedtuples yang diwariskan agar berfungsi di createDataFrame
- [SPARK-44985] [SC-141033][CORE] Gunakan toString alih-alih stacktrace untuk threadDump reaper tugas
- [SPARK-44984] [SC-141028][PyTHON][SAMBUNGKAN] Hapus
_get_aliasdari DataFrame - [SPARK-44975] [SC-141013][SQL] Menghapus penimpaan binaryArithmetic yang tidak berguna diselesaikan
- [SPARK-44969] [SC-140957][SQL] Gunakan
ArrayInsertkembali diArrayAppend - [SPARK-44549] [SC-140714][SQL] Mendukung fungsi jendela dalam subkueri skalar berkorelasi
- [SPARK-44938] [SC-140811][SQL] Ubah nilai default menjadi
spark.sql.maxSinglePartitionBytes128m - [SPARK-44918] [SC-140816][SQL][PyTHON] Mendukung argumen bernama dalam UDF Python/Pandas skalar
- [SPARK-44966] [SC-140907][CORE][SAMBUNGKAN] Ubah yang tidak pernah diubah
varmenjadival - [SPARK-41471] [SC-140804][SQL] Kurangi acak Spark saat hanya satu sisi gabungan adalah KeyGroupedPartitioning
- [SPARK-44214] [SC-140528][CORE] Mendukung UI Log Langsung Driver Spark
- [SPARK-44861] [SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
- [SPARK-44776] [SC-140519][SAMBUNGKAN] Menambahkan ProducedRowCount ke SparkListenerConnectOperationFinished
- [SPARK-42017] [SC-140765][PyTHON][SAMBUNGKAN]
df['col_name']harus memvalidasi nama kolom - [SPARK-40178] [SC-140433][SQL][COONECT] Mendukung petunjuk coalesce dengan mudah untuk PySpark dan R
- [SPARK-44840] [SC-140593][SQL] Membuat
array_insert()berbasis 1 untuk indeks negatif - [SPARK-44939] [SC-140778][R] Mendukung Java 21 di SparkR SystemRequirements
- [SPARK-44936] [SC-140770][CORE] Menyederhanakan log saat Spark HybridStore mencapai batas memori
- [SPARK-44908] [SC-140712][ML][SAMBUNGKAN] Memperbaiki fungsionalitas param foldCol validator silang
- [SPARK-44816] [SC-140717][SAMBUNGKAN] Meningkatkan pesan kesalahan ketika kelas UDF tidak ditemukan
- [SPARK-44909] [SC-140710][ML] Lewati server streaming log distributor obor awal saat tidak tersedia
- [SPARK-44920] [SC-140707][CORE] Gunakan await() alih-alih awaitUninterruptibly() di TransportClientFactory.createClient()
- [SPARK-44905] [SC-140703][SQL] Stateful lastRegex menyebabkan NullPointerException pada evaluasi untuk regexp_replace
- [SPARK-43987] [SC-139594][Acak] Memisahkan finalizeShuffleMerge Processing ke Kumpulan Utas Khusus
- [SPARK-42768] [SC-140549][SQL] Aktifkan paket cache menerapkan AQE secara default
- [SPARK-44741] [SC-139447][CORE] Mendukung MetricFilter berbasis regex di
StatsdSink - [SPARK-44751] [SC-140532][SQL] Implementasi Antarmuka FileFormat XML
- [SPARK-44868] [SC-140438][SQL] Mengonversi tanggalwaktu menjadi string menurut
to_char/to_varchar - [SPARK-44748] [SC-140504][SQL] Eksekusi kueri untuk klausa PARTITION BY dalam argumen TABEL UDTF
- [SPARK-44873] [SC-140427] Mendukung perubahan tampilan dengan kolom berlapis di klien Apache Hive
- [SPARK-44876] [SC-140431][PyTHON] Perbaiki Python UDF yang dioptimalkan panah pada Spark Connect
- [SPARK-44520] [SC-137845][SQL] Ganti istilah UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY dengan UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY dan pengungkapan AE root
- [SPARK-42664] [SC-139769][SAMBUNGKAN] Fungsi dukungan
bloomFilteruntukDataFrameStatFunctions - [SPARK-43567] [SC-139227][PS] Dukungan
use_na_sentineluntukfactorize - [SPARK-44859] [SC-140254][SS] Memperbaiki nama properti yang salah dalam dokumen streaming terstruktur
- [SPARK-44822] [SC-140182][PyTHON][SQL] Membuat UDTF Python secara default non-deterministik
- [SPARK-44731] [SC-139524][PyTHON][SAMBUNGKAN] Membuat TimestampNTZ berfungsi dengan literal di Python Spark Connect
- [SPARK-44836] [SC-140180][PyTHON] Refaktor Panah Python UDTF
- [SPARK-44714] [SC-139238] Kemudahan pembatasan resolusi LCA mengenai kueri dengan
- [SPARK-44749] [SC-139664][SQL][PyTHON] Mendukung argumen bernama dalam Python UDTF
- [SPARK-44737] [SC-139512][SQL][UI] Tidak boleh menampilkan kesalahan format json di halaman SQL untuk non-SparkThrowables pada Tab SQL
- [SPARK-44665] [SC-139307][PyTHON] Menambahkan dukungan untuk pandas DataFrame assertDataFrameEqual
- [SPARK-44736] [SC-139622][SAMBUNGKAN] Menambahkan Dataset.explode ke Spark Connect Scala Client
- [SPARK-44732] [SC-139422][SQL] Dukungan sumber data XML bawaan
- [SPARK-44694] [SC-139213][PyTHON][SAMBUNGKAN] Merefaktor sesi aktif dan mengeksposnya sebagai API
- [SPARK-44652] [SC-138881] Memunculkan kesalahan ketika hanya satu df yang Tidak Ada
- [SPARK-44562] [SC-138824][SQL] Menambahkan OptimizeOneRowRelationSubquery dalam batch Subkueri
- [SPARK-44717] [SC-139319][PyTHON][PS] Menghormati TimestampNTZ dalam pengambilan sampel ulang
- [SPARK-42849] [SC-139365] [SQL] Variabel Sesi
- [SPARK-44236] [SC-139239][SQL] Nonaktifkan WholeStageCodegen saat diatur
spark.sql.codegen.factoryModeke NO_CODEGEN - [SPARK-44695] [SC-139316][PyTHON] Meningkatkan pesan kesalahan untuk
DataFrame.toDF - [SPARK-44680] [SC-139234][SQL] Meningkatkan kesalahan untuk parameter di
DEFAULT - [SPARK-43402] [SC-138321][SQL] FileSourceScanExec mendukung pendorongan filter data dengan subkueri skalar
- [SPARK-44641] [SC-139216][SQL] Hasil yang salah dalam skenario tertentu ketika SPJ tidak dipicu
- [SPARK-44689] [SC-139219][SAMBUNGKAN] Membuat penanganan pengecualian fungsi
SparkConnectPlanner#unpackScalarScalaUDFlebih universal - [SPARK-41636] [SC-139061][SQL] Pastikan
selectFiltersmengembalikan predikat dalam urutan deterministik - [SPARK-44132] [SC-139197][SQL] Mewujudkan
Streamnama kolom gabungan untuk menghindari kegagalan codegen - [SPARK-42330] [SC-138838][SQL] Tetapkan nama
RULE_ID_NOT_FOUNDke kelas kesalahan_LEGACY_ERROR_TEMP_2175 - [SPARK-44683] [SC-139214][SS] Tingkat pengelogan tidak diteruskan ke penyedia penyimpanan status RocksDB dengan benar
- [SPARK-44658] [SC-138868][CORE]
ShuffleStatus.getMapStatusharus kembaliNonealih-alihSome(null) - [SPARK-44603] [SC-138353] Menambahkan pyspark.testing ke setup.py
- [SPARK-44252] [SC-137505][SS] Tentukan kelas kesalahan baru dan terapkan untuk kasus di mana status pemuatan dari DFS gagal
- [SPARK-29497] [DBRRM-396][SC-138477][SAMBUNGKAN] Lempar kesalahan ketika UDF tidak dapat dideserialisasi.
- [SPARK-44624] [DBRRM-396][SC-138900][SAMBUNGKAN] Coba Lagi ExecutePlan jika permintaan awal tidak menjangkau server
- [SPARK-41400] [DBRRM-396][SC-138287][SAMBUNGKAN] Menghapus Dependensi Katalis Klien Connect
- [SPARK-44059] [SC-138833][SQL] Menambahkan pesan kesalahan yang lebih baik untuk SQL bernama argumnts
- [SPARK-44620] [SC-138831][SQL][PS][SAMBUNGKAN] Pertahankan
ResolvePivotPlan_ID_TAG - [SPARK-43838] [SC-137413][SQL] Memperbaiki subkueri pada tabel tunggal dengan memiliki klausul tidak dapat dioptimalkan
- [SPARK-44555] [SC-138820][SQL] Gunakan checkError() untuk memeriksa Pengecualian di command Suite & tetapkan beberapa nama kelas kesalahan
- [SPARK-44280] [SC-138821][SQL] Menambahkan convertJavaTimestampToTimestamp di JDBCDialect API
- [SPARK-44602] [SC-138337][SQL][SAMBUNGKAN][PS] Pertahankan
WidenSetOperationTypesPlan_ID_TAG - [SPARK-42941] [SC-138389][SS][SAMBUNGKAN] Python StreamingQueryListener
- [SPARK-43838] Kembalikan "[SC-137413][SQL] Perbaiki subkueri pada ta tunggal...
- [SPARK-44538] [SC-138178][SAMBUNGKAN][SQL] Kembalikan Row.jsonValue dan teman
- [SPARK-44421] [SC-138434][SPARK-44423][SAMBUNGKAN] Eksekusi yang dapat dilepaskan kembali di Spark Connect
- [SPARK-43838] [SC-137413][SQL] Memperbaiki subkueri pada tabel tunggal dengan memiliki klausul tidak dapat dioptimalkan
- [SPARK-44587] [SC-138315][SQL][SAMBUNGKAN] Meningkatkan batas rekursi protobuf marshaller
- [SPARK-44605] [SC-138338][CORE] Perbaiki API ShuffleWriteProcessor internal
- [SPARK-44394] [SC-138291][SAMBUNGKAN][WEBUI] Menambahkan halaman UI Spark untuk Spark Connect
- [SPARK-44585] [SC-138286][MLLIB] Memperbaiki kondisi peringatan di MLLib RankingMetrics ndcgAk
- [SPARK-44198] [SC-138137][CORE] Mendukung penyebaran tingkat log ke pelaksana
- [SPARK-44454] [SC-138071][SQL][HIVE] Mundur dukungan HiveShim getTablesByType
- [SPARK-44425] [SC-138135][SAMBUNGKAN] Memvalidasi bahwa sessionId yang disediakan pengguna adalah UUID
- [SPARK-43611] [SC-138051][SQL][PS][CONNCECT] Pertahankan
ExtractWindowExpressionsPLAN_ID_TAG - [SPARK-44560] [SC-138117][PyTHON][SAMBUNGKAN] Meningkatkan pengujian dan dokumentasi untuk Arrow Python UDF
- [SPARK-44482] [SC-138067][SAMBUNGKAN] Menyambungkan server harus dapat menentukan alamat pengikatan
- [SPARK-44528] [SC-138047][SAMBUNGKAN] Mendukung penggunaan hasattr() yang tepat untuk Menghubungkan dataframe
- [SPARK-44525] [SC-138043][SQL] Meningkatkan pesan kesalahan saat Metode pemanggilan tidak ditemukan
- [SPARK-44355] [SC-137878][SQL] Memindahkan WithCTE ke dalam kueri perintah
Dukungan driver Databricks ODBC/JDBC
Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).
Lihat Pembaruan pemeliharaan Databricks Runtime 14.1.
Lingkungan sistem
- Sistem Operasi: Ubuntu 22.04.3 LTS
- Java: Zulu 8.72.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- Danau Delta: 3.0.0
Pustaka Python yang diinstal
| Pustaka | Versi | Pustaka | Versi | Pustaka | Versi |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttoken | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | hitam | 22.6.0 | pemutih | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klik | 8.0.4 | komunikasi | 0.1.2 |
| konturpy | 1.0.5 | cryptography | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0.11 | titik masuk | 0,4 |
| menjalankan | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.18.0 |
| filelock | 3.12.3 | fonttools | 4.25.0 | Pustaka runtime GCC | 1.10.0 |
| googleapis-common-protos | 1.60.0 | grpcio | 1.48.2 | grpcio-status | 1.48.1 |
| httplib2 | 0.20.2 | idna | 3.4 | importlib-metadata | 4.6.4 |
| ipykernel | 6.25.0 | ipython | 8.14.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | jedi | 0.18.1 | Jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.17.3 | jupyter-client | 7.3.4 | jupyter-server | 1.23.4 |
| jupyter_core | 5.2.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keyring | 23.5.0 | kiwisolver | 1.4.4 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lxml | 4.9.1 |
| MarkupSafe | 2.1.1 | matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 |
| Mccabe | 0.7.0 | mistune | 0.8.4 | more-itertools | 8.10.0 |
| ekstensi mypy | 0.4.3 | nbclassic | 0.5.2 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| nodeenv | 1.8.0 | buku catatan | 6.5.2 | notebook_shim | 0.2.2 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | packaging | 22.0 |
| pandas | 1.5.3 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.10.3 | patsy | 0.5.3 | pexpect=4.8.0 | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.4.0 | pip | 22.3.1 |
| platformdir | 2.5.2 | plotly | 5.9.0 | pluggy | 1.0.0 |
| prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 | protobuf | 4.24.0 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 8.0.0 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| permintaan | 2.28.1 | tali | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 65.6.3 | six | 1.16.0 |
| sniffio | 1.2.0 | soupsieve | 2.3.2.post1 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.13.5 | tenacity | 8.1.0 |
| terminado | 0.17.1 | threadpoolctl | 2.2.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tomli | 2.0.1 | tornado | 6.1 |
| traitlets=5.0.5 | 5.7.1 | typing_extensions | 4.4.0 | ujson | 5.4.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.14 | virtualenv | 20.16.7 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | webencodings=0.5.1 | 0.5.1 |
| websocket-client | 0.58.0 | whatthepatch | 1.0.2 | wheel | 0.38.4 |
| widgetsnbextension | 3.6.1 | yapf | 0.31.0 | zipp | 1.0.0 |
| SciPy | 1.10.1 |
Pustaka R yang diinstal
Pustaka R diinstal dari rekam jepret CRAN Manajer Paket Posit pada 2023-02-10.
| Pustaka | Versi | Pustaka | Versi | Pustaka | Versi |
|---|---|---|---|---|---|
| anak panah | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | dasar | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.4 |
| boot | 1.3-28 | brew | 1,0-8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | caret | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | kelas | 7.3-22 | cli | 3.6.1 |
| clipr | 0.8.0 | Jam | 0.7.0 | klaster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | Berkonflik | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | informasi masuk | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | datasets | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
| devtools | 2.4.5 | bagan | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | ellipsis | 0.3.2 |
| evaluate | 0,21% | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-82 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | generics | 0.1.3 | Gert | 1.9.2 |
| ggplot2 | 3.4.2 | GH | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0,7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0.10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1,43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| lava | 1.7.2.1 | lifecycle | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
| MASS | 7.3-60 | Matrix | 1.5-4.1 | memoise | 2.0.1 |
| methods | 4.3.1 | mgcv | 1.8-42 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | kemajuan | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proksi | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | bentuk | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| SparkR | 3.5.0 | spatial | 7.3-15 | splines | 4.3.1 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.1 |
| stats4 | 4.3.1 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-5 | sys | 3.4.2 | systemfonts | 1.0.4 |
| tcltk | 4.3.1 | testthat | 3.1.10 | pembahasan teks | 0.3.6 |
| tibble | 3.2.1 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 2.0.0 | pertukaran waktu | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0,45 | alat | 4.3.1 | tzdb | 0.4.0 |
| urlchecker | 1.0.1 | usethis | 2.2.2 | utf8 | 1.2.3 |
| utils | 4.3.1 | uuid | 1.1-0 | vctrs | 0.6.3 |
| viridisLite | 0.4.2 | vroom | 1.6.3 | waldo | 0.5.1 |
| whisker | 0.4.1 | withr | 2.5.0 | xfun | 0,39 |
| xml2 | 1.3.5 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.3.0 |
Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)
| ID Grup | ID Artefak | Versi |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.7.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-asli |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-asli |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-asli |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-asli |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-spark_2.12 | 0.7.5 |
| io.dropwizard.metrics | metrik-anotasi | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | kelas netty-tcnative | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | collector | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | acar | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.33 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,40 |
| org.glassfish.jersey.core | jersey-client | 2,40 |
| org.glassfish.jersey.core | jersey-common | 2,40 |
| org.glassfish.jersey.core | jersey-server | 2,40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | anotasi | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.9 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | kompatibel dengan skalar | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |