Bagikan melalui

Databricks Runtime 11.3 LTS

  • Artikel

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 11.3 LTS, didukung oleh Apache Spark 3.3.0. Databricks merilis versi ini pada Oktober 2022.

Catatan

LTS berarti versi ini berada di bawah dukungan jangka panjang. Lihat Siklus hidup versi LTS Runtime Databricks.

Tip

Untuk melihat catatan rilis untuk versi Databricks Runtime yang telah mencapai akhir dukungan (EoS), lihat Catatan rilis Databricks Runtime akhir dukungan. Versi EoS Databricks Runtime telah dihentikan dan mungkin tidak diperbarui.

Perubahan perilaku

[Perubahan menerobos] Versi Python baru memerlukan pembaruan klien Databricks Connect V1 Python

Untuk menerapkan patch keamanan yang diperlukan, versi Python di Databricks Runtime 11.3 LTS ditingkatkan dari 3.9.5 ke 3.9.19. Karena perubahan ini dapat menyebabkan kesalahan pada klien yang menggunakan fungsi PySpark tertentu, setiap klien yang menggunakan Databricks Connect V1 untuk Python dengan Databricks Runtime 11.3 LTS harus diperbarui ke Python 3.9.7 atau yang lebih baru.

Fitur dan peningkatan baru

Pemicu Streaming Terstruktur sekali tidak digunakan lagi

Trigger.Once Pengaturan tidak digunakan lagi. Databricks merekomendasikan Anda menggunakan Trigger.AvailableNow. Lihat Mengonfigurasi interval pemicu Streaming Terstruktur.

Mengubah jalur sumber untuk Auto Loader

Anda sekarang dapat mengubah jalur input direktori untuk Auto Loader yang dikonfigurasi dengan mode daftar direktori tanpa harus memilih direktori titik pemeriksaan baru. Lihat Mengubah jalur sumber untuk Auto Loader.

Konektor Databricks Kinesis sekarang mendukung pembacaan dari aliran Data Kinesis dalam mode EFO

Anda sekarang dapat menggunakan sumber streaming terstruktur Databricks Kinesis di Databricks Runtime 11.3 LTS untuk menjalankan kueri yang dibaca dari aliran Data Kinesis dalam mode fan-out yang ditingkatkan. Ini memungkinkan throughput khusus per pecahan, per konsumen dan merekam pengiriman dalam mode pendorongan.

Fungsi geospasial H3 baru dan menambahkan dukungan Photon untuk semua fungsi H3

Memperkenalkan 4 fungsi H3 baru, , h3_maxchild, h3_minchildh3_pointash3, dan h3_pointash3string. Fungsi-fungsi ini tersedia di SQL, Scala, dan Python. Semua ekspresi H3 sekarang didukung di Photon. Lihat Fungsi geospasial H3.

Fitur baru untuk I/O Prediktif

Photon mendukung mode rentang untuk menjalankan bingkai, menggunakan RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon juga mendukung mode rentang untuk bingkai yang berkembang, menggunakan RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Meningkatkan partisi awal untuk memindai kueri selektif

Nilai partisi awal yang akan dipindai telah ditingkatkan menjadi 10 untuk kueri selektif dengan take/tail/limit di kluster yang diaktifkan Photon dan LIMIT di Databricks SQL. Dengan 10 partisi, Anda dapat menghindari overhead meluncurkan beberapa pekerjaan kecil dan peningkatan skala yang lambat. Anda juga dapat mengonfigurasi ini melalui spark.sql.limit.selectiveInitialNumPartitions.

Visualisasi versi paket AQE baru

Memperkenalkan versi paket AQE yang memungkinkan Anda memvisualisasikan pembaruan rencana runtime Anda dari eksekusi kueri adaptif (AQE).

Pelacakan kemajuan asinkron baru dan mode pembersihan log

Memperkenalkan mode Streaming Terstruktur yang disebut pelacakan kemajuan asinkron dan pembersihan log asinkron. Mode pembersihan log asinkron menurunkan latensi kueri streaming dengan menghapus log yang digunakan untuk pelacakan kemajuan di latar belakang.

Streaming Terstruktur di Unity Catalog sekarang mendukung display()

Sekarang Anda dapat menggunakan display() saat menggunakan Streaming Terstruktur untuk bekerja dengan tabel yang terdaftar di Katalog Unity.

Peristiwa alur sekarang dicatat dalam format JSON

Azure Databricks sekarang menulis peristiwa alur ke log driver dalam format JSON. Meskipun setiap peristiwa akan dapat diurai JSON, peristiwa besar mungkin tidak berisi semua bidang, atau bidang mungkin terpotong. Setiap peristiwa dicatat dalam satu baris dengan awalan Event received: . Berikut ini adalah contoh peristiwa.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Pemrosesan Stateful Arbitrer dalam Streaming Terstruktur dengan Python

Memperkenalkan applyInPandasWithState fungsi yang dapat digunakan untuk melakukan pemrosesan stateful arbitrer di PySpark. Ini setara dengan flatMapGroupsWithState fungsi di Java API.

Inferensi tanggal dalam file CSV

Memperkenalkan inferensi kolom jenis tanggal yang ditingkatkan dalam file CSV. Saat format tanggal konsisten di seluruh rekaman untuk kolom, kolom tersebut dapat disimpulkan sebagai DateType. Anda juga dapat memiliki kombinasi format tanggal di berbagai kolom. Azure Databricks dapat secara otomatis menyimpulkan format tanggal untuk setiap kolom. Kolom tanggal dalam file CSV sebelum Databricks Runtime 11.3 LTS dibiarkan sebagai StringType.

Mengkloning dukungan untuk tabel Apache Parquet dan Apache Iceberg (Pratinjau Umum)

Kloning sekarang dapat digunakan untuk membuat dan memperbarui tabel Delta secara bertahap yang mencerminkan tabel Apache Parquet dan Apache Iceberg. Anda dapat memperbarui tabel Parquet sumber anda dan secara bertahap menerapkan perubahan ke tabel Delta kloning mereka dengan perintah kloning. Lihat Mengkloning parquet dan tabel Iceberg secara bertahap ke Delta Lake.

Gunakan SQL untuk menentukan lokasi penyimpanan tingkat skema dan katalog untuk tabel terkelola Katalog Unity

Anda sekarang dapat menggunakan MANAGED LOCATION perintah SQL untuk menentukan lokasi penyimpanan cloud untuk tabel terkelola di tingkat katalog dan skema. Lihat MEMBUAT KATALOG dan MEMBUAT SKEMA.

Perubahan perilaku

Databricks Connect 11.3.2

Pembaruan klien Databricks Connect 11.3.2 sekarang didukung. Lihat Catatan rilis Databricks Connect dan Databricks Connect.

Konektor Snowflake Azure Databricks yang diperbarui

Konektor Azure Databricks Snowflake telah diperbarui ke versi terbaru kode dari repositori sumber terbuka, Sumber Data Snowflake untuk Apache Spark. Ini sekarang sepenuhnya kompatibel dengan Databricks Runtime 11.3 LTS, termasuk pushdown predikat dan pushdown rencana kueri internal sambil mempertahankan semua fitur versi sumber terbuka.

Cache Hadoop untuk S3A sekarang dinonaktifkan

Cache Hadoop (FileSystem Apache Hadoop Main 3.3.4 API) untuk S3A sekarang dinonaktifkan. Ini untuk menyelaraskan dengan konektor penyimpanan cloud lainnya. Untuk beban kerja yang mengandalkan penembolokan sistem file, pastikan bahwa sistem file yang baru dibuat disediakan dengan konfigurasi Hadoop yang benar, termasuk penyedia kredensial.

Skema pengumpulan statistik Delta Lake sekarang cocok dengan urutan kolom dalam definisi skema tabel

Perubahan ini mengatasi bug dalam protokol Delta Lake di mana statistik tidak dikumpulkan untuk kolom karena ketidakcocokan dalam DataFrame dan pengurutan kolom tabel. Dalam beberapa kasus, Anda mungkin mengalami penurunan performa tulis karena koleksi statistik pada bidang yang sebelumnya tidak terlaruti. Lihat Melewatkan data untuk Delta Lake.

applyInPandasWithState memunculkan kesalahan jika kueri mengalami pengacakan setelah operator

Operator applyInPandasWithState melemparkan kesalahan jika kueri memiliki shuffle setelah operator. Ini terjadi ketika pengguna menambahkan shuffle setelah operasi, atau pengoptimal atau sink menambahkan secara implisit shuffle .

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • distlib dari 0.3.5 hingga 0.3.6
  • Pustaka R yang ditingkatkan:
    • sapu dari 1.0.0 hingga 1.0.1
    • callr dari 3.7.1 ke 3.7.2
    • dplyr dari 1.0.9 hingga 1.0.10
    • dtplyr dari 1.2.1 ke 1.2.2
    • forcats dari 0.5.1 hingga 0.5.2
    • dari 1.27.0 hingga 1.28.0
    • future.apply dari 1.9.0 hingga 1.9.1
    • gert dari 1.7.0 hingga 1.8.0
    • global dari 0,16,0 ke 0,16,1
    • dapat di gtable dari 0.3.0 hingga 0.3.1
    • dari 2.5.0 hingga 2.5.1
    • hms dari 1.1.1 hingga 1.1.2
    • httr dari 1.4.3 hingga 1.4.4
    • rajut dari 1,39 hingga 1,40
    • modelr dari 0.1.8 hingga 0.1.9
    • pilar dari 1.8.0 hingga 1.8.1
    • progressr dari 0.10.1 ke 0.11.0
    • readxl dari 1.4.0 hingga 1.4.1
    • reprex dari 2.0.1 ke 2.0.2
    • rlang dari 1.0.4 ke 1.0.5
    • rmarkdown dari 2.14 ke 2.16
    • RSQLite dari 2.2.15 ke 2.2.16
    • rstudioapi dari 0,13 hingga 0,14
    • rversion dari 2.1.1 hingga 2.1.2
    • rvest dari 1.0.2 hingga 1.0.3
    • skala dari 1.2.0 ke 1.2.1
    • sparklyr dari 1.7.7 ke 1.7.8
    • stringr dari 1.4.0 hingga 1.4.1
    • bertahan hidup dari 3,2-13 hingga 3,4-0
    • tinytex dari 0,40 hingga 0,41
    • viridisLite dari 0.4.0 ke 0.4.1
  • Pustaka Java yang ditingkatkan:
    • com.fasterxml.jackson.core.jackson-anotasi dari 2.13.3 hingga 2.13.4
    • com.fasterxml.jackson.core.jackson-core dari 2.13.3 ke 2.13.4
    • com.fasterxml.jackson.core.jackson-databind dari 2.13.3 ke 2.13.4
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor dari 2.13.3 ke 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-joda dari 2.13.3 hingga 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 dari 2.13.3 hingga 2.13.4
    • com.fasterxml.jackson.module.jackson-module-paranamer dari 2.13.3 hingga 2.13.4
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 dari 2.13.3 hingga 2.13.4
    • org.apache.hadoop.hadoop-client-api dari 3.3.2-databricks ke 3.3.4-databricks
    • org.apache.hadoop.hadoop-client-runtime dari 3.3.2 hingga 3.3.4
    • org.apache.orc.orc-core dari 1.7.5 hingga 1.7.6
    • org.apache.orc.orc-mapreduce dari 1.7.5 hingga 1.7.6
    • org.apache.orc.orc-shims dari 1.7.5 hingga 1.7.6
    • org.apache.parquet.parquet-column dari 1.12.0-databricks-0004 hingga 1.12.0-databricks-0007
    • org.apache.parquet.parquet-common dari 1.12.0-databricks-0004 hingga 1.12.0-databricks-0007
    • org.apache.parquet.parquet-encoding dari 1.12.0-databricks-0004 ke 1.12.0-databricks-0007
    • org.apache.parquet.parquet-format-structures dari 1.12.0-databricks-0004 hingga 1.12.0-databricks-0007
    • org.apache.parquet.parquet-hadoop dari 1.12.0-databricks-0004 ke 1.12.0-databricks-0007
    • org.apache.parquet.parquet-jackson dari 1.12.0-databricks-0004 ke 1.12.0-databricks-0007
    • org.glassfish.jersey.containers.jersey-container-servlet dari 2.34 hingga 2.36
    • org.glassfish.jersey.containers.jersey-container-servlet-core dari 2.34 hingga 2.36
    • org.glassfish.jersey.core.jersey-client dari 2.34 hingga 2.36
    • org.glassfish.jersey.core.jersey-common dari 2.34 hingga 2.36
    • org.glassfish.jersey.core.jersey-server dari 2.34 hingga 2.36
    • org.glassfish.jersey.inject.jersey-hk2 dari 2.34 hingga 2.36

Apache Spark

Databricks Runtime 11.3 LTS mencakup Apache Spark 3.3.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 11.2 (EoS), serta perbaikan bug dan peningkatan tambahan berikut yang dilakukan pada Spark:

  • [SPARK-39957] [WARMFIX][SC-111425][CORE] Penundaan padaDisconnected untuk mengaktifkan Driver menerima ExecutorExitCode
  • [SPARK-39955] [WARMFIX][SC-111424][CORE] Meningkatkan proses LaunchTask untuk menghindari kegagalan Tahap yang disebabkan oleh pesan LaunchTask yang gagal dikirim
  • [SPARK-40474] [SC-106248][Cherry-Pick] Perilaku inferensi skema CSV yang benar untuk kolom tanggalwaktu dan memperkenalkan deteksi otomatis untuk bidang Tanggal
  • [SPARK-40535] [SC-111243][SQL] Memperbaiki bug buffer AggregatingAccumulator tidak akan dibuat jika baris input kosong
  • [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PyTHON] Menerapkan applyInPandasWithState di PySpark
  • [SPARK-40460] [SC-110832][SS] Memperbaiki metrik streaming saat memilih _metadata
  • [SPARK-40324] [SC-109943][SQL] Menyediakan konteks kueri ParseException
  • [SPARK-40466] [SC-110899][SS] Meningkatkan pesan kesalahan saat DSv2 dinonaktifkan saat DSv1 tidak tersedia
  • [SPARK-40456] [SC-110848][SQL] PartitionIterator.hasNext harus murah untuk dipanggil berulang kali
  • [SPARK-40169] [SC-110772][SQL] Jangan pushdown filter Parquet tanpa referensi ke skema data
  • [SPARK-40467] [SC-110759][SS] Pisahkan FlatMapGroupsWithState ke beberapa suite pengujian
  • [SPARK-40468] [SC-110813][SQL] Memperbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih
  • [SPARK-40291] [SC-110085][SQL] Meningkatkan pesan untuk kolom yang tidak berada dalam grup berdasarkan kesalahan klausa
  • [SPARK-40398] [SC-110762][CORE][SQL] Gunakan Perulangan alih-alih Arrays.stream api
  • [SPARK-40433] [SC-110684][SS][PyTHON] Tambahkan keJVMRow di PythonSQLUtils untuk mengonversi Acar Baris PySpark ke Baris JVM
  • [SPARK-40414] [SC-110568][SQL][PyTHON] Jenis generik lainnya di PythonArrowInput dan PythonArrowOutput
  • [SPARK-40352] [SC-109945][SQL] Menambahkan alias fungsi: len, datepart, dateadd, date_diff dan curdate
  • [SPARK-40470] [SC-110761][SQL] Menangani GetArrayStructFields dan GetMapValue dalam fungsi "arrays_zip"
  • [SPARK-40387] [SC-110685][SQL] Meningkatkan implementasi Spark Decimal
  • [SPARK-40429] [SC-110675][SQL] Hanya atur KeyGroupedPartitioning saat kolom yang direferensikan ada di output
  • [SPARK-40432] [SC-110716][SS][PyTHON] Memperkenalkan GroupStateImpl dan GroupStateTimeout di PySpark
  • [SPARK-39915] [SC-110496][SQL] Pastikan partisi output ditentukan pengguna di AQE
  • [SPARK-29260] [SQL] Dukungan ALTER DATABASE SET LOCATION jika HMS mendukung
  • [SPARK-40185] [SC-110056][SQL] Hapus saran kolom saat daftar kandidat kosong
  • [SPARK-40362] [SC-110401][SQL] Memperbaiki kanonikalisasi BinaryComparison
  • [SPARK-40411] [SC-110381][SS] Refaktor FlatMapGroupsWithStateExec untuk memiliki sifat induk
  • [SPARK-40293] [SC-110084][SQL] Membuat pesan kesalahan tabel V2 lebih bermakna
  • [SPARK-38734] [SC-110383][SQL] Menghapus kelas kesalahan INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][SQL] Memperbaiki nama kolom dalam fungsi "arrays_zip" saat array direferensikan dari struct berlapis
  • [SPARK-40276] [SC-109674][CORE] Mengurangi ukuran hasil RDD.takeOrdered
  • [SPARK-40197] [SC-109176][SQL] Ganti rencana kueri dengan konteks untuk MULTI_VALUE_SUBQUERY_ERROR
  • [SPARK-40300] [SC-109942][SQL] Bermigrasi ke DATATYPE_MISMATCH kelas kesalahan
  • [SPARK-40149] [SC-110055][SQL] Menyebarkan kolom metadata melalui Project
  • [SPARK-40280] [SC-110146][SQL] Menambahkan dukungan untuk pendorongan parquet ke bawah untuk int yang dianomasi dan panjang
  • [SPARK-40220] [SC-110143][SC-109175][SQL] Jangan keluarkan peta kosong parameter pesan kesalahan
  • [SPARK-40295] [SC-110070][SQL] Izinkan fungsi v2 dengan arg harfiah dalam distribusi/pemesanan tulis
  • [SPARK-40156] [SC-109264][SQL] url_decode() jika mengembalikan kelas kesalahan
  • [SPARK-39195] [SQL] Spark OutputCommitCoordinator harus membatalkan tahap ketika file yang diterapkan tidak konsisten dengan status tugas
  • [SPARK-40260] [SC-109424][SQL] Menggunakan kelas kesalahan dalam kesalahan kompilasi GROUP BY posisi
  • [SPARK-40205] [SC-110144][SC-109082][SQL] Menyediakan konteks kueri ELEMENT_AT_BY_INDEX_ZERO
  • [SPARK-40112] [SC-109676][SQL] Meningkatkan fungsi TO_BINARY()
  • [SPARK-40209] [SC-109081][SQL] Jangan ubah nilai interval Desimal dalam changePrecision() kesalahan
  • [SPARK-40319] [SC-109873][SQL] Menghapus metode kesalahan eksekusi kueri duplikat untuk PARSE_DATETIME_BY_NEW_PARSER
  • [SPARK-40222] [SC-109209][SQL] Try_add/try_divide/try_subtract/try_multiply numerik harus melemparkan kesalahan dari anak-anak mereka
  • [SPARK-40183] [SC-108907][SQL] Gunakan NUMERIC_VALUE_OUT_OF_RANGE kelas kesalahan untuk luapan dalam konversi desimal
  • [SPARK-40180] [SC-109069][SQL] Format pesan kesalahan menurut spark-sql
  • [SPARK-40153] [SC-109165][SQL] Menyatukan fungsi yang diselesaikan dan fungsi bernilai tabel
  • [SPARK-40308] [SC-109880][SQL] Perbolehkan argumen pembatas yang tidak dapat dilipat berfungsi str_to_map
  • [SPARK-40219] [SC-110052][SC-109663][SQL] Rencana logis tampilan yang diselesaikan harus menyimpan skema untuk menghindari pencarian redundan
  • [SPARK-40098] [SC-109939][SC-108693][SQL] Memformat pesan kesalahan di Thrift Server
  • [SPARK-39917] [SC-109038][SQL] Gunakan kelas kesalahan yang berbeda untuk luapan aritmatika numerik/interval
  • [SPARK-40033] [SC-109875][SQL] Dukungan pemangkasan skema berlapis melalui element_at
  • [SPARK-40194] [SC-109660][SQL] Fungsi SPLIT pada regex kosong harus memotong string kosong berikutnya.
  • [SPARK-40228] [SC-109835][SQL] Jangan menyederhanakan multiLike jika anak bukan ekspresi murah
  • [SPARK-40039] [SC-109896][SC-109260][SS] Memperkenalkan manajer file titik pemeriksaan streaming berdasarkan antarmuka Abortable Hadoop
  • [SPARK-40285] [SC-109679][SQL] Menyederhanakan roundTo[Numeric] untuk Spark Decimal
  • [SPARK-39896] [SC-109658][SQL] UnwrapCastInBinaryComparison harus berfungsi ketika literal downcast In/InSet gagal
  • [SPARK-40040] [SC-109662][SQL] Dorong batas lokal ke kedua sisi jika kondisi gabungan kosong
  • [SPARK-40055] [SC-109075][SQL] listCatalogs juga harus mengembalikan spark_catalog bahkan ketika implementasi spark_catalog adalah defaultSessionCatalog
  • [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N) mungkin tidak membuat bagian Non-AQE partisi N
  • [SPARK-40207] [SC-109401][SQL] Tentukan nama kolom saat tipe data tidak didukung oleh sumber data
  • [SPARK-40245] [SC-109295][SQL] Memperbaiki pemeriksaan kesetaraan FileScan saat kolom partisi atau filter data tidak dibaca
  • [SPARK-40113] [SC-109405][SQL] Implementasi antarmuka Reactor ParquetScanBuilder DataSourceV2
  • [SPARK-40211] [SC-109226][CORE][SQL] Perbolehkan kustomisasi nomor partisi awal dalam perilaku take()
  • [SPARK-40252] [SC-109379][SQL] Ganti Stream.collect(Collectors.joining) dengan StringJoiner Api
  • [SPARK-40247] [SC-109272][SQL] Memperbaiki pemeriksaan kesetaraan BitSet
  • [SPARK-40067] [SQL] Gunakan Table#name() alih-alih Scan#name() untuk mengisi nama tabel di simpul BatchScan di SparkUI
  • [SPARK-39966] [SQL] Menggunakan Filter V2 di SupportsDelete
  • [SPARK-39607] [SC-109268][SQL][DSV2] Distribusi dan pemesanan mendukung fungsi V2 secara tertulis
  • [SPARK-40224] [SC-109271][SQL] Buat memori rilis ObjectHashAggregateExec bersemangat saat fallback ke berbasis pengurutan
  • [SPARK-40013] [SQL] Ekspresi DS V2 harus memiliki default toString
  • [SPARK-40214] [SC-109079][PyTHON][SQL] tambahkan 'get' ke fungsi
  • [SPARK-40192] [SC-109089][SQL][ML] Hapus groupby redundan
  • [SPARK-40146] [SC-108694][SQL] Cukup codegen untuk mendapatkan nilai peta
  • [SPARK-40109] [SQL] Fungsi SQL baru: get()
  • [SPARK-39929] [SQL] DS V2 mendukung fungsi string push down (non ANSI)
  • [SPARK-39819] [SQL] Pendorongan agregat DS V2 dapat berfungsi dengan N Teratas atau Penomoran (Urutkan dengan ekspresi)
  • [SPARK-40213] [SC-109077][SQL] Mendukung konversi nilai ASCII untuk karakter Latin-1
  • [SPARK-39887] [SQL] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
  • [SPARK-39764] [SQL] Membuat PhysicalOperation sama dengan ScanOperation
  • [SPARK-39964] [SQL] Pushdown DS V2 harus menyatukan jalur terjemahan
  • [SPARK-39528] [SQL] Menggunakan Filter V2 di SupportsRuntimeFiltering
  • [SPARK-40066] [SQL] Mode ANSI: selalu mengembalikan null pada akses yang tidak valid ke kolom peta
  • [SPARK-39912] [SPARK-39828][SQL] Menyempurnakan CatalogImpl
  • [SPARK-39833] [SC-108736][SQL] Nonaktifkan indeks kolom Parquet di DSv1 untuk memperbaiki masalah kebenaran dalam kasus partisi dan kolom data yang tumpang tindih
  • [SPARK-39880] [SQL] Perintah V2 SHOW FUNCTIONS harus mencetak nama fungsi yang memenuhi syarat seperti v1
  • [SPARK-39767] [SQL] Hapus UnresolvedDBObjectName dan tambahkan UnresolvedIdentifier
  • [SPARK-40163] [SC-108740][SQL] feat: SparkSession.config(Map)
  • [SPARK-40136] [SQL] Memperbaiki fragmen konteks kueri SQL
  • [SPARK-40107] [SC-108689][SQL] Menarik keluar konversi empty2null dari FileFormatWriter
  • [SPARK-40121] [PyTHON][SQL] Menginisialisasi proyeksi yang digunakan untuk Python UDF
  • [SPARK-40128] [SQL] Buat VectorizedColumnReader mengenali DELTA_LENGTH_BYTE_ARRAY sebagai pengodean kolom mandiri
  • [SPARK-40132] [ML] Pulihkan rawPredictionCol ke MultilayerPerceptronClassifier.setParams
  • [SPARK-40050] [SC-108696][SQL] Tingkatkan EliminateSorts untuk mendukung penghapusan pengurutan melalui LocalLimit
  • [SPARK-39629] [SQL] Mendukung FUNGSI SHOW v2
  • [SPARK-39925] [SC-108734][SQL] Menambahkan kelebihan beban array_sort(kolom, komparator) ke operasi DataFrame
  • [SPARK-40117] [PyTHON][SQL] Mengonversi kondisi ke java di DataFrameWriterV2.overwrite
  • [SPARK-40105] [SQL] Meningkatkan partisi ulang di ReplaceCTERefWithRepartition
  • [SPARK-39503] [SQL] Menambahkan nama katalog sesi untuk tabel dan fungsi database v1
  • [SPARK-39889] [SQL] Gunakan kelas kesalahan yang berbeda untuk numerik/interval yang dibagi 0
  • [SPARK-39741] [SQL] Mendukung pengodean/dekode url sebagai fungsi bawaan dan merapikan fungsi terkait url
  • [SPARK-40102] [SQL] Gunakan SparkException alih-alih IllegalStateException di SparkPlan
  • [SPARK-40014] [SQL] Mendukung pemeran desimal ke interval ANSI
  • [SPARK-39776] [SQL][IKUTI] Memperbarui UT planStabilitySuite dalam mode ANSI
  • [SPARK-39963] [SQL] Menyederhanakan SimplifyCasts.isWiderCast

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 11.3.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.19
  • R: 4.1.3
  • Danau Delta: 2.1.0

Pustaka Python yang diinstal

Pustaka Versi Pustaka Versi Pustaka Versi
argon2-cffi 20.1.0 async-generator 1.10 attrs 21.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 hitam 22.3.0
pemutih 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 klik 8.0.3 cryptography 3.4.8
cycler 0.10.0 Cython 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 decorator 5.1.0 defusedxml 0.7.1
distlib 0.3.6 titik masuk 0,3 facets-overview 1.0.0
filelock 3.8.0 idna 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 mistune 0.8.4 ekstensi mypy 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 buku catatan 6.4.5 numpy 1.20.3
packaging 21.0 pandas 1.3.4 pandocfilters 1.4.3
parso 0.8.2 pathspec 0.9.0 patsy 0.5.2
pexpect=4.8.0 4.8.0 pickleshare 0.7.5 Pillow 8.4.0
pip 21.2.4 platformdir 2.5.2 plotly 5.9.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 permintaan 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets=5.0.5 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings=0.5.1 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret Microsoft CRAN pada 2022-09-08.

Pustaka Versi Pustaka Versi Pustaka Versi
askpass 1.1 assertthat 0.2.1 backports 1.4.1
dasar 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.1
bslib 0.4.0 cachem 1.0.6 callr 3.7.2
caret 6.0-93 cellranger 1.1.0 chron 2.3-57
kelas 7.3-20 cli 3.3.0 clipr 0.8.0
klaster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 informasi masuk 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 ellipsis 0.3.2 evaluate 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.2 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.28.0 future.apply 1.9.1 gargle 1.2.0
generics 0.1.3 Gert 1.8.0 ggplot2 3.3.6
GH 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.1 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 graphics 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.1 hardhat 1.2.0
haven 2.5.1 highr 0,9 hms 1.1.2
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.4 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.40 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 lifecycle 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matrix 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0.12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.9 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pillar 1.8.1
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
kemajuan 1.2.2 progressr 0.11.0 promises 1.2.0.1
proto 1.0.0 proksi 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.1
recipes 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.2 reshape2 1.4.4
rlang 1.0.5 rmarkdown 2,16 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.16 rstudioapi 0.14
rversions 2.1.2 rvest 1.0.3 sass 0.4.2
scales 1.2.1 selectr 0.4-2 sessioninfo 1.2.2
bentuk 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.1 survival 3.4-0 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
pembahasan teks 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0.41 alat 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.1 vroom 1.5.7 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-app_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21%
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty kelas netty-tcnative 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collector 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine acar 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet parquet-encoding 1.12.0-databricks-0007
org.apache.parquet parquet-format-structures 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark tidak digunakan 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1