Bagikan melalui

Databricks Runtime 11.3 LTS (EoS)

Nota

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 11.3 LTS, didukung oleh Apache Spark 3.3.0. Databricks merilis versi ini pada Oktober 2022.

Nota

LTS berarti versi ini berada di bawah dukungan jangka panjang. Lihat Siklus hidup versi Databricks Runtime LTS.

Perubahan perilaku

[Perubahan menerobos] Versi Python baru memerlukan pembaruan klien Databricks Connect V1 Python

Nota

Pembaruan berikutnya memindahkan versi Python di Databricks Runtime 11.3 LTS ke 3.9.21. Versi 3.9.21 tidak memperkenalkan perubahan perilaku apa pun.

Untuk menerapkan patch keamanan yang diperlukan, versi Python di Databricks Runtime 11.3 LTS diperbarui dari 3.9.5 ke 3.9.19. Karena perubahan ini dapat menyebabkan kesalahan pada klien yang menggunakan fungsi PySpark tertentu, setiap klien yang menggunakan Databricks Connect V1 untuk Python dengan Databricks Runtime 11.3 LTS harus diperbarui ke Python 3.9.7 atau yang lebih baru.

Fitur dan peningkatan baru

Python ditingkatkan dari 3.9.19 ke 3.9.21

Versi Python di Databricks Runtime 11.3 LTS diperbarui dari 3.9.19 ke 3.9.21.

Pemicu "Trigger Once" pada Streaming Terstruktur tidak lagi disarankan digunakan

Trigger.Once Pengaturan tidak digunakan lagi. Databricks merekomendasikan Anda menggunakan Trigger.AvailableNow. Lihat Konfigurasi Interval Pemicu Streaming Terstruktur.

Mengubah jalur sumber untuk Auto Loader

Anda sekarang dapat mengubah jalur input direktori untuk Auto Loader yang dikonfigurasi dengan mode daftar direktori tanpa harus memilih direktori titik pemeriksaan baru. Lihat Mengubah jalur sumber untuk Auto Loader.

Konektor Databricks Kinesis sekarang mendukung pembacaan aliran data Kinesis dalam mode EFO.

Anda sekarang dapat menggunakan sumber streaming terstruktur Databricks Kinesis di Databricks Runtime 11.3 LTS untuk menjalankan kueri yang dibaca dari aliran Data Kinesis dalam mode fan-out yang ditingkatkan. Ini memungkinkan lalu lintas data khusus per pecahan data, per konsumen, dan pengiriman catatan dalam mode push.

Fungsi geospasial H3 baru dan menambahkan dukungan Photon untuk semua fungsi H3

Memperkenalkan 4 fungsi H3 baru, , h3_maxchild, h3_minchildh3_pointash3, dan h3_pointash3string. Fungsi-fungsi ini tersedia di SQL, Scala, dan Python. Semua ekspresi H3 sekarang didukung di Photon. Lihat fungsi geospasial H3 .

Fitur baru untuk I/O Prediktif

Photon mendukung mode rentang untuk menjalankan frame, dengan menggunakan RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon juga mendukung mode rentang untuk bingkai yang berkembang, menggunakan RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Meningkatkan partisi awal untuk memindai kueri selektif

Nilai partisi awal yang akan dipindai telah ditingkatkan menjadi 10 untuk kueri selektif dengan take/tail/limit di kluster yang diaktifkan Photon dan LIMIT di Databricks SQL. Dengan 10 partisi, Anda dapat menghindari overhead meluncurkan beberapa pekerjaan kecil dan peningkatan skala yang lambat. Anda juga dapat mengonfigurasi ini melalui spark.sql.limit.selectiveInitialNumPartitions.

Visualisasi versi rencana AQE baru

Memperkenalkan versi paket AQE yang memungkinkan Anda memvisualisasikan pembaruan rencana runtime Anda dari eksekusi kueri adaptif (AQE).

Pelacakan kemajuan asinkron baru dan mode pembersihan log

Memperkenalkan mode Streaming Terstruktur yang disebut pelacakan kemajuan asinkron dan pembersihan log asinkron. Mode pembersihan log asinkron menurunkan latensi kueri streaming dengan menghapus log yang digunakan untuk pelacakan kemajuan di latar belakang.

Streaming Terstruktur di Unity Catalog sekarang mendukung display()

Sekarang Anda dapat menggunakan display() saat menggunakan Streaming Terstruktur untuk bekerja dengan tabel yang terdaftar di Katalog Unity.

Peristiwa pipeline dicatat dalam format JSON

Azure Databricks sekarang menulis peristiwa alur ke log driver dalam format JSON. Meskipun setiap peristiwa akan dapat diurai JSON, peristiwa besar mungkin tidak berisi semua bidang, atau bidang mungkin terpotong. Setiap peristiwa dicatat dalam satu baris dengan awalan Event received: . Berikut ini adalah contoh peristiwa.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Pemrosesan Berstatus Sewenang-wenang pada Streaming Terstruktur menggunakan Python

Memperkenalkan fungsi applyInPandasWithState yang dapat digunakan untuk melakukan pemrosesan stateful secara sewenang-wenang dalam PySpark. Ini setara dengan flatMapGroupsWithState fungsi di Java API.

Inferensi tanggal dalam file CSV

Memperkenalkan kolom jenis tanggal yang inferensinya telah ditingkatkan dalam file CSV. Saat format tanggal konsisten di seluruh rekaman untuk kolom, kolom tersebut dapat disimpulkan sebagai DateType. Anda juga dapat memiliki kombinasi format tanggal di berbagai kolom. Azure Databricks dapat secara otomatis menyimpulkan format tanggal untuk setiap kolom. Kolom tanggal dalam file CSV sebelum Databricks Runtime 11.3 LTS dibiarkan sebagai StringType.

Dukungan untuk mengkloning tabel Apache Parquet dan Apache Iceberg (Pratinjau Umum)

Kloning sekarang dapat digunakan untuk membuat dan memperbarui tabel Delta secara bertahap yang mencerminkan tabel Apache Parquet dan Apache Iceberg. Anda dapat memperbarui tabel Parquet sumber Anda dan secara bertahap menerapkan perubahan ke tabel Delta hasil kloning mereka dengan menggunakan perintah kloning. Lihat Pengkloningan bertahap tabel Parquet dan Apache Iceberg ke Delta Lake.

Gunakan SQL untuk menentukan lokasi penyimpanan tingkat skema dan katalog untuk tabel terkelola Katalog Unity

Anda sekarang dapat menggunakan MANAGED LOCATION perintah SQL untuk menentukan lokasi penyimpanan cloud untuk tabel terkelola di tingkat katalog dan skema. Lihat CREATE CATALOG dan CREATE SCHEMA.

Perubahan perilaku

Databricks Connect 11.3.2

Pembaruan klien Databricks Connect 11.3.2 sekarang didukung. Lihat Databricks Connect dan catatan rilis Databricks Connect.

Konektor Snowflake Azure Databricks yang diperbarui

Konektor Azure Databricks Snowflake telah diperbarui ke versi terbaru kode dari repositori sumber terbuka, Sumber Data Snowflake untuk Apache Spark. Sekarang sepenuhnya kompatibel dengan Databricks Runtime 11.3 LTS, dengan dukungan pushdown predikat dan pushdown rencana kueri internal, sambil mempertahankan semua fitur dari versi sumber terbuka.

Cache Hadoop untuk S3A sekarang dinonaktifkan

Cache Hadoop (FileSystem Apache Hadoop Main 3.3.4 API) untuk S3A sekarang dinonaktifkan. Ini untuk menyelaraskan dengan konektor penyimpanan cloud lainnya. Untuk beban kerja yang mengandalkan caching sistem file, pastikan bahwa sistem file yang baru dibuat dilengkapi dengan konfigurasi Hadoop yang tepat, termasuk penyedia kredensial.

Skema pengumpulan statistik Delta Lake sekarang cocok dengan urutan kolom dalam definisi skema tabel

Perubahan ini mengatasi bug dalam protokol Delta Lake di mana statistik tidak dikumpulkan untuk kolom karena ketidakcocokan dalam DataFrame dan pengurutan kolom tabel. Dalam beberapa kasus, Anda mungkin mengalami penurunan performa tulis karena koleksi statistik pada bidang yang sebelumnya tidak terlacak. Lihat Data Skipping.

applyInPandasWithState menghasilkan kesalahan jika kueri mengalami pengacakan setelah operator

Operator applyInPandasWithState menghasilkan kesalahan apabila kueri memiliki shuffle setelah operator. Ini terjadi ketika pengguna menambahkan shuffle setelah operasi, atau pengoptimal atau sink menambahkan secara implisit shuffle .

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • distlib dari 0.3.5 hingga 0.3.6
  • Pustaka R yang ditingkatkan:
    • broom dari 1.0.0 ke 1.0.1
    • callr dari 3.7.1 ke 3.7.2
    • dplyr dari 1.0.9 hingga 1.0.10
    • dtplyr dari 1.2.1 ke 1.2.2
    • forcats dari 0.5.1 hingga 0.5.2
    • versi mendatang dari 1.27.0 hingga 1.28.0
    • future.apply dari 1.9.0 hingga 1.9.1
    • gert dari 1.7.0 hingga 1.8.0
    • global dari 0,16,0 ke 0,16,1
    • gtable dari versi 0.3.0 ke 0.3.1
    • haven dari 2.5.0 hingga 2.5.1
    • hms dari 1.1.1 hingga 1.1.2
    • httr dari 1.4.3 hingga 1.4.4
    • knitr dari 1.39 hingga 1.40
    • modelr dari 0.1.8 ke 0.1.9
    • pilar dari 1.8.0 hingga 1.8.1
    • progressr dari 0.10.1 ke 0.11.0
    • readxl dari 1.4.0 hingga 1.4.1
    • reprex dari 2.0.1 ke 2.0.2
    • rlang dari 1.0.4 ke 1.0.5
    • rmarkdown dari 2.14 ke 2.16
    • RSQLite dari 2.2.15 ke 2.2.16
    • rstudioapi dari 0,13 hingga 0,14
    • rversion dari 2.1.1 hingga 2.1.2
    • rvest dari 1.0.2 hingga 1.0.3
    • skala dari 1.2.0 ke 1.2.1
    • sparklyr dari 1.7.7 ke 1.7.8
    • stringr dari 1.4.0 hingga 1.4.1
    • bertahan hidup dari 3,2-13 hingga 3,4-0
    • tinytex dari 0,40 hingga 0,41
    • viridisLite dari 0.4.0 ke 0.4.1
  • Pustaka Java yang ditingkatkan:
    • com.fasterxml.jackson.core.jackson-annotations dari 2.13.3 ke 2.13.4
    • com.fasterxml.jackson.core.jackson-core dari 2.13.3 ke 2.13.4
    • com.fasterxml.jackson.core.jackson-databind dari 2.13.3 ke 2.13.4
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor dari 2.13.3 ke 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-joda dari 2.13.3 hingga 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 dari 2.13.3 hingga 2.13.4
    • com.fasterxml.jackson.module.jackson-module-paranamer dari 2.13.3 hingga 2.13.4
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 dari 2.13.3 hingga 2.13.4
    • org.apache.hadoop.hadoop-client-api dari 3.3.2-databricks ke 3.3.4-databricks
    • org.apache.hadoop.hadoop-client-runtime dari 3.3.2 hingga 3.3.4
    • org.apache.orc.orc-core dari 1.7.5 hingga 1.7.6
    • org.apache.orc.orc-mapreduce dari 1.7.5 hingga 1.7.6
    • org.apache.orc.orc-shims dari 1.7.5 hingga 1.7.6
    • org.apache.parquet.parquet-column dari 1.12.0-databricks-0004 hingga 1.12.0-databricks-0007
    • org.apache.parquet.parquet-common dari 1.12.0-databricks-0004 hingga 1.12.0-databricks-0007
    • org.apache.parquet.parquet-encoding dari 1.12.0-databricks-0004 ke 1.12.0-databricks-0007
    • org.apache.parquet.parquet-format-structures dari 1.12.0-databricks-0004 ke 1.12.0-databricks-0007
    • org.apache.parquet.parquet-hadoop dari 1.12.0-databricks-0004 ke 1.12.0-databricks-0007
    • org.apache.parquet.parquet-jackson dari 1.12.0-databricks-0004 ke 1.12.0-databricks-0007
    • org.glassfish.jersey.containers.jersey-container-servlet dari 2.34 hingga 2.36
    • org.glassfish.jersey.containers.jersey-container-servlet-core dari 2.34 hingga 2.36
    • org.glassfish.jersey.core.jersey-client dari 2.34 hingga 2.36
    • org.glassfish.jersey.core.jersey-common dari 2.34 hingga 2.36
    • org.glassfish.jersey.core.jersey-server dari 2.34 hingga 2.36
    • org.glassfish.jersey.inject.jersey-hk2 dari 2.34 hingga 2.36

Apache Spark

Databricks Runtime 11.3 LTS mencakup Apache Spark 3.3.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 11.2 (EoS), serta perbaikan bug dan peningkatan tambahan berikut yang dilakukan pada Spark:

  • [SPARK-39957] [WARMFIX][sc-111425][CORE] Tunda onDisconnected untuk memungkinkan Driver menerima ExecutorExitCode
  • [SPARK-39955] [WARMFIX][sc-111424][CORE] Meningkatkan proses LaunchTask untuk menghindari kegagalan Tahap yang disebabkan oleh pesan LaunchTask yang gagal dikirim
  • [SPARK-40474] [SC-106248][cherry-pick] Koreksi inferensi skema CSV untuk kolom tanggal waktu dan memperkenalkan deteksi otomatis untuk bidang tanggal
  • [SPARK-40535] [SC-111243][sql] Memperbaiki bug di mana buffer dari AggregatingAccumulator tidak akan dibuat jika baris input kosong
  • [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Implementasikan applyInPandasWithState di PySpark
  • [SPARK-40460] [SC-110832][ss] Perbaiki metrik streaming saat memilih _metadata
  • [SPARK-40324] [SC-109943][sql] Menyediakan konteks kueri ParseException
  • [SPARK-40466] [SC-110899][ss] Tingkatkan pesan kesalahan saat DSv2 dinonaktifkan sementara DSv1 tidak tersedia
  • [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext harus murah untuk memanggil berulang kali
  • [SPARK-40169] [SC-110772][sql] Jangan melakukan pushdown filter Parquet yang tidak mengacu pada skema data
  • [SPARK-40467] [SC-110759][ss] Memisahkan FlatMapGroupsWithState menjadi beberapa suite pengujian
  • [SPARK-40468] [SC-110813][sql] Perbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih
  • [SPARK-40291] [SC-110085][sql] Meningkatkan pesan untuk kolom yang tidak berada dalam grup berdasarkan kesalahan klausa
  • [SPARK-40398] [SC-110762][core][SQL] Gunakan Perulangan alih-alih Arrays.stream API
  • [SPARK-40433] [SC-110684][ss][PYTHON] Tambahkan toJVMRow di PythonSQLUtils untuk mengonversi baris PySpark yang di-pickle ke Baris JVM
  • [SPARK-40414] [SC-110568][sql][PYTHON] Jenis generik lainnya pada PythonArrowInput dan PythonArrowOutput
  • [SPARK-40352] [SC-109945][sql] Tambahkan alias fungsi: len, datepart, dateadd, date_diff dan curdate
  • [SPARK-40470] [SC-110761][sql] Tangani GetArrayStructFields dan GetMapValue di dalam fungsi "arrays_zip"
  • [SPARK-40387] [SC-110685][sql] Meningkatkan implementasi Spark Decimal
  • [SPARK-40429] [SC-110675][sql] Hanya atur KeyGroupedPartitioning saat kolom yang direferensikan ada di output
  • [SPARK-40432] [SC-110716][ss][PYTHON] Perkenalkan GroupStateImpl dan GroupStateTimeout di PySpark
  • [SPARK-39915] [SC-110496][sql] Pastikan partisi output ditentukan pengguna dalam AQE
  • [SPARK-29260] [SQL] Dukungan ALTER DATABASE SET LOCATION jika HMS mendukung
  • [SPARK-40185] [SC-110056][sql] Hapus saran kolom saat daftar kandidat kosong
  • [SPARK-40362] [SC-110401][sql] Memperbaiki kanonisasi BinaryComparison
  • [SPARK-40411] [SC-110381][ss] Refaktor FlatMapGroupsWithStateExec untuk memiliki sifat induk
  • [SPARK-40293] [SC-110084][sql] Membuat pesan kesalahan tabel V2 lebih bermakna
  • [SPARK-38734] [SC-110383][sql] Hapus kelas kesalahan INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][sql] Perbaiki nama kolom dalam fungsi "arrays_zip" saat array direferensikan dari struktur berlapis
  • [SPARK-40276] [SC-109674][core] Kurangi ukuran hasil RDD.takeOrdered
  • [SPARK-40197] [SC-109176][sql] Ganti rencana kueri dengan konteks untuk MULTI_VALUE_SUBQUERY_ERROR
  • [SPARK-40300] [SC-109942][sql] Migrasi ke DATATYPE_MISMATCH kelas kesalahan
  • [SPARK-40149] [SC-110055][sql] Sebarkan kolom metadata melalui Project
  • [SPARK-40280] [SC-110146][sql] Tambahkan dukungan push down untuk parquet pada int dan long yang diannotasi
  • [SPARK-40220] [SC-110143][sc-109175][SQL] Jangan keluarkan peta kosong parameter pesan kesalahan
  • [SPARK-40295] [SC-110070][sql] Izinkan fungsi v2 dengan argumen literal dalam pengaturan distribusi/penulisan
  • [SPARK-40156] [SC-109264][sql] url_decode() seharusnya mengembalikan kelas kesalahan
  • [SPARK-39195] [SQL] Spark OutputCommitCoordinator harus membatalkan tahapan ketika file yang dikomit tidak konsisten dengan status tugas
  • [SPARK-40260] [SC-109424][sql] Gunakan kelas kesalahan dalam kesalahan kompilasi terkait posisi GROUP BY
  • [SPARK-40205] [SC-110144][sc-109082][SQL] Menyediakan konteks kueri ELEMENT_AT_BY_INDEX_ZERO
  • [SPARK-40112] [SC-109676][sql] Meningkatkan fungsi TO_BINARY()
  • [SPARK-40209] [SC-109081][sql] Jangan ubah nilai interval Desimal dalam changePrecision() ketika terjadi kesalahan
  • [SPARK-40319] [SC-109873][sql] Hapus metode kesalahan eksekusi kueri duplikat untuk PARSE_DATETIME_BY_NEW_PARSER
  • [SPARK-40222] [SC-109209][sql] Numeric try_add/try_divide/try_subtract/try_multiply harus melemparkan kesalahan dari anak-anak mereka
  • [SPARK-40183] [SC-108907][sql] Gunakan kelas kesalahan NUMERIC_VALUE_OUT_OF_RANGE untuk luapan dalam konversi desimal
  • [SPARK-40180] [SC-109069][sql] Format pesan kesalahan dengan spark-sql
  • [SPARK-40153] [SC-109165][sql] Menyatukan fungsi penyelesaian dan fungsi bernilai tabel
  • [SPARK-40308] [SC-109880][sql] Izinkan argumen pemisah yang tidak dapat dilipat berfungsi str_to_map
  • [SPARK-40219] [SC-110052][sc-109663][SQL] Rencana logis tampilan yang diselesaikan harus menyimpan skema untuk menghindari pencarian berlebihan
  • [SPARK-40098] [SC-109939][sc-108693][SQL] Format pesan kesalahan di Thrift Server
  • [SPARK-39917] [SC-109038][sql] Gunakan kelas kesalahan yang berbeda untuk luapan aritmatika numerik/interval
  • [SPARK-40033] [SC-109875][sql] Dukungan pemangkasan skema berlapis melalui element_at
  • [SPARK-40194] [SC-109660][sql] FUNGSI SPLIT pada regex kosong harus memotong string kosong berikutnya.
  • [SPARK-40228] [SC-109835][sql] Jangan menyederhanakan multiLike jika anak bukan ekspresi murah
  • [SPARK-40039] [SC-109896][sc-109260][SS] Memperkenalkan manajer file titik pemeriksaan streaming berdasarkan antarmuka Abortable Hadoop
  • [SPARK-40285] [SC-109679][sql] Sederhanakan roundTo[Numeric] untuk Spark Decimal
  • [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison dapat berfungsi ketika nilai literal untuk downcast In/InSet gagal
  • [SPARK-40040] [SC-109662][sql] Dorong batas lokal ke kedua sisi jika kondisi gabungan kosong
  • [SPARK-40055] [SC-109075][sql] listCatalogs juga harus mengembalikan spark_catalog bahkan ketika implementasi spark_catalog adalah defaultSessionCatalog
  • [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) mungkin tidak membuat partisi N Non-AQE
  • [SPARK-40207] [SC-109401][sql] Tentukan nama kolom saat tipe data tidak didukung oleh sumber data
  • [SPARK-40245] [SC-109295][sql] Perbaiki pemeriksaan kesetaraan FileScan saat kolom partisi atau filter data tidak dibaca
  • [SPARK-40113] [SC-109405][sql] Implementasi antarmuka DataSourceV2 pada Reactor ParquetScanBuilder
  • [SPARK-40211] [SC-109226][core][SQL] Izinkan kustomisasi nomor partisi awal dalam perilaku take()
  • [SPARK-40252] [SC-109379][sql] Ganti Stream.collect(Collectors.joining) dengan StringJoiner Api
  • [SPARK-40247] [SC-109272][sql] Perbaiki pemeriksaan kesetaraan BitSet
  • [SPARK-40067] [SQL] Gunakan Table#name() alih-alih Scan#name() untuk mengisi nama tabel dalam node BatchScan di SparkUI
  • [SPARK-39966] [SQL] Gunakan Filter V2 di SupportsDelete
  • [SPARK-39607] [SC-109268][sql][DSV2] Distribusi dan pemesanan mendukung fungsi V2 secara tertulis
  • [SPARK-40224] [SC-109271][sql] Buat ObjectHashAggregateExec melepaskan memori dengan cepat saat beralih ke metode berbasis pengurutan.
  • [SPARK-40013] [SQL] Ekspresi DS V2 harus memiliki nilai default
  • [SPARK-40214] [SC-109079][python][SQL] tambahkan 'get' ke fungsi
  • [SPARK-40192] [SC-109089][sql][ML] Hapus groupby redundan
  • [SPARK-40146] [SC-108694][sql] Permudah codegen untuk mendapatkan nilai dari peta
  • [SPARK-40109] [SQL] Fungsi SQL baru: get()
  • [SPARK-39929] [SQL] DS V2 mendukung fungsi push down string (non ANSI)
  • [SPARK-39819] [SQL] DS V2 dorongan agregat dapat bekerja dengan Top N atau Paging (Pengurutan menggunakan ekspresi)
  • [SPARK-40213] [SC-109077][sql] Mendukung konversi nilai ASCII untuk karakter Latin-1
  • [SPARK-39887] [SQL] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
  • [SPARK-39764] [SQL] Membuat Operasi Fisik sama dengan ScanOperation
  • [SPARK-39964] [SQL] DS V2 pushdown harus menyatukan jalur terjemahan
  • [SPARK-39528] [SQL] Gunakan Filter V2 di SupportsRuntimeFiltering
  • [SPARK-40066] [SQL] mode ANSI: selalu mengembalikan null pada akses yang tidak valid ke kolom peta
  • [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
  • [SPARK-39833] [SC-108736][sql] Nonaktifkan indeks kolom Parquet di DSv1 untuk memperbaiki masalah kebenaran dalam kasus partisi dan kolom data yang tumpang tindih
  • Perintah [SPARK-39880] [SQL] V2 SHOW FUNCTIONS harus mencetak nama fungsi yang memenuhi syarat seperti v1
  • [SPARK-39767] [SQL] Hapus UnresolvedDBObjectName dan tambahkan UnresolvedIdentifier
  • [SPARK-40163] [SC-108740][sql] feat: SparkSession.config(Peta)
  • [SPARK-40136] [SQL] Perbaiki fragmen konteks kueri SQL
  • [SPARK-40107] [SC-108689][sql] Tarik keluar konversi empty2null dari FileFormatWriter
  • [SPARK-40121] [PYTHON][sql] Inisialisasi proyeksi yang digunakan untuk Python UDF
  • [SPARK-40128] [SQL] Buat VectorizedColumnReader mengenali DELTA_LENGTH_BYTE_ARRAY sebagai pengodean kolom mandiri
  • [SPARK-40132] [ML] Pulihkan rawPredictionCol ke MultilayerPerceptronClassifier.setParams
  • [SPARK-40050] [SC-108696][sql] Penyempurnaan EliminateSorts untuk mendukung penghapusan urutan melalui LocalLimit
  • [SPARK-39629] [SQL] Dukungan v2 SHOW FUNCTIONS
  • [SPARK-39925] [SC-108734][sql] Tambahkan kelebihan array_sort(kolom, komparator) ke operasi DataFrame
  • [SPARK-40117] [PYTHON][sql] Konversi kondisi ke java di DataFrameWriterV2.overwrite
  • [SPARK-40105] [SQL] Tingkatkan repartisi di ReplaceCTERefWithRepartition
  • [SPARK-39503] [SQL] Tambahkan nama katalog sesi untuk tabel dan fungsi database v1
  • [SPARK-39889] [SQL] Gunakan kelas error yang berbeda untuk numerik/interval dibagi dengan 0
  • [SPARK-39741] [SQL] Dukungan URL encode/decode sebagai fungsi bawaan dan merapikan fungsi-fungsi terkait URL
  • [SPARK-40102] [SQL] Gunakan SparkException alih-alih IllegalStateException di SparkPlan
  • [SPARK-40014] [SQL] Dukungan untuk mengonversi desimal ke interval ANSI
  • [SPARK-39776] [SQL][follow] Update UT of PlanStabilitySuite dalam mode ANSI
  • [SPARK-39963] [SQL] Sederhanakan SimplifyCasts.isWiderCast

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 11.3.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 20.04.5 LTS
    • Catatan: Ini adalah versi Ubuntu yang digunakan oleh kontainer Databricks Runtime. Kontainer Databricks Runtime berjalan pada komputer virtual penyedia cloud, yang mungkin menggunakan versi Ubuntu atau distribusi Linux yang berbeda.
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.21
  • R: 4.1.3
  • Danau Delta: 2.1.0

Pustaka Python yang diinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
argon2-cffi 20.1.0 pembangkit asinkron 1.10 atribut 21.2.0
panggilan balik 0.2.0 backports.entry-points-selectable 1.1.1 hitam 22.3.0
pemutih 4.0.0 boto3 1.21.18 botocore 1.24.18
sertifikat 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 klik 8.0.3 Kriptografi 3.4.8
pengendara sepeda 0.10.0 Cython 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 penghias 5.1.0 defusedxml 0.7.1
distlib 0.3.6 titik masuk 0,3 gambaran umum aspek 1.0.0
filelock 3.8.0 IDNA 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
Jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client (klien Jupyter) 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline (modul untuk menampilkan grafik secara inline) 0.1.2 penyetelan salah 0.8.4 mypy-extensions 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.4.5 numpy (perpustakaan Python untuk operasi numerik) 1.20.3
pengemasan 21.0 Panda 1.3.4 Pandocfilters 1.4.3
pengurai 0.8.2 spesifikasi jalur 0.9.0 kambing hitam 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Bantal 8.4.0
pipa 21.2.4 platformdirs 2.5.2 plotly 5.9.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy (perpustakaan Python untuk komputasi ilmiah) 1.7.1
Seaborn (perpustakaan Python untuk visualisasi data) 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
Enam 1.16.0 ssh-import-id 5.10 statsmodels (paket Python untuk pemodelan statistik) 0.12.2
kegigihan 8.0.1 selesai 0.9.4 jalur uji 0.5.0
threadpoolctl 2.2.0 Tokenisasi-RT 4.2.1 tomli 2.0.1
Tornado 6.1 traitlets 5.1.0 ekstensi-pengetikan 3.10.0.2
pembaruan otomatis tanpa pengawasan 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 pengkodean web 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Pustaka R yang diinstal

Pustaka R diinstal dari snapshot Microsoft CRAN pada 2022-09-08. Rekam jepret tidak lagi tersedia.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
askpass 1.1 pastikanbahwa 0.2.1 pemindahan fitur ke versi lama (backports) 1.4.1
dasar 4.1.3 base64enc 0.1-3 sedikit 4.0.4
bit-64 4.0.5 blob 1.2.3 sepatu bot 1.3-28
menyeduh 1.0-7 Brio 1.1.3 sapu 1.0.1
bslib 0.4.0 cashmere 1.0.6 layanan panggilan 3.7.2
caret 6.0-93 cellranger 1.1.0 kronogram 2.3-57
kelas 7.3-20 CLI 3.3.0 pemangkas 0.8.0
kluster 2.1.3 codetools 0.2-18 ruang warna 2.0-3
commonmark 1.8.0 pengkompilasi 4.1.3 config 0.3.1
cpp11 0.4.2 kriyon 1.5.1 kredensial 1.3.2
melengkung 4.3.2 data.table (sebuah paket untuk pengolahan data table) 1.14.2 kumpulan data 4.1.3
DBI 1.1.3 dbplyr 2.2.1 deskripsi 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
pencahayaan turun 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 elipsis 0.3.2 menilai 0.16
penggemar 1.0.3 warna-warna 2.1.1 pemetaan cepat 1.1.0
fontawesome 0.3.0 untuk kucing 0.5.2 foreach (pengulangan untuk setiap elemen) 1.5.2
asing 0.8-82 bengkel pandai besi 0.2.0 fs 1.5.2
masa depan 1.28.0 menerapkan di masa depan 1.9.1 kumur 1.2.0
obat generik 0.1.3 Gert 1.8.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
variabel global 0.16.1 lem 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 Grafik 4.1.3
grDevices 4.1.3 kisi 4.1.3 gridExtra 2.3
gsubfn 0.7 gtabel 0.3.1 topi keras 1.2.0
tempat aman 2.5.1 lebih tinggi 0,9 HMS 1.1.2
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.4 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Pengiterasi 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.40 Pelabelan 0.4.2 nanti 1.3.0
rangka 0.20-45 lahar 1.6.10 siklus hidup 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Markdown 1.1 Massa 7.3-56 Matrix 1.4-1
memosankan 2.0.1 Metode 4.1.3 mgcv 1.8-40
pantomim 0.12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.9 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv Agustus 2016 - Januari 2017 openssl 2.0.2
paralel 4.1.3 secara paralel 1.32.1 pilar 1.8.1
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
pujian 1.0.0 prettyunits 1.1.1 pROC 1.18.0
ProsesX 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Kemajuan 1.2.2 progresr 0.11.0 janji 1.2.0.1
proto 1.0.0 proksi 0,4-27 P.S. 1.7.1
menggeram lembut 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest (algoritma pembelajaran mesin) 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 alat baca 2.1.2 readxl (membaca file Excel) 1.4.1
recipes 1.0.1 pertandingan ulang 1.0.1 pertandingan ulang 2 2.1.2
pengontrol jarak jauh 2.4.2 contoh replikasi 2.0.2 reshape2 1.4.4
rlang 1.0.5 rmarkdown 2,16 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.16 rstudioapi 0.14
rversions 2.1.2 rvest 1.0.3 Sass 0.4.2
timbangan / sisik 1.2.1 selektor 0,4-2 informasi sesi 1.2.2
bentuk 1.4.6 mengkilap 1.7.2 sourcetools 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 spasial 7.3-11
garis lengkung 4.1.3 sqldf 0,4-11 SQUAREM 2021.1
statistik 4.1.3 statistik4 4.1.3 string 1.7.8
stringr 1.4.1 bertahan hidup 3.4-0 Sistem 3.4
systemfonts 1.0.4 bahasa pemrograman Tcl/Tk 4.1.3 ujiitu 3.1.4
pemformatan teks 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 TanggalWaktu 4021.104
tinytex 0.41 perangkat 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 gunakan ini 2.1.6 utf8 1.2.2
Utilitas 4.1.3 UUID (Pengidentifikasi Unik Universal) 1.1-0 vctrs 0.4.1
viridisLite 0.4.1 Vroom 1.5.7 Waldo 0.4.0
kumis 0,4 dengan 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Kelompok Identifikasi Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.189
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-impor-ekspor 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.189
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.189
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS Java SDK Dukungan 1.12.189
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware bayangan-kriogenik 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core Jackson Annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine kafein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib rujukan_asli-java-natives 1.1
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib native_sistem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava jambu biji 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger pembuat profil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi kode_sumber_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf (algoritma kompresi) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Tidak peduli 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0,21%
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics inti metrik 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrik-jmx 4.1.1
io.dropwizard.metrics metrik-json 4.1.1
io.dropwizard.metrics metrik-jvm 4.1.1
io.dropwizard.metrics metrik-servlet 4.1.1
io.netty netty-all 4.1.74.Final
io.netty Netty Buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) 4.1.74.Final
io.netty Kelas netty-tcnative 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_umum 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction Transaction-API 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine mentimun acar 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
jaring.bunga salju snowflake-jdbc 3.13.14
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr StringTemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format tanda panah 7.0.0
org.apache.arrow inti-memori-panah 7.0.0
org.apache.arrow Arrow-Memory-Netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-koleksi4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons Commons-Math3 3.6.1
org.apache.commons commons-text (teks umum) 1.9
org.apache.curator kurator dan klien 2.13.0
org.apache.curator kerangka kerja kurator 2.13.0
org.apache.curator kurasi resep 2.13.0
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop lingkungan kerja klien Hadoop 3.3.4
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API penyimpanan hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.9
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy tanaman anggur 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet parquet-encoding 1.12.0-databricks-0007
org.apache.parquet parquet-format-structures 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus anotasi penonton 0.5.0
org.apache.zookeeper penjaga kebun binatang 3.6.2
org.apache.zookeeper penjaga kebun binatang-jute 3.6.2
org.checkerframework pemeriksa kualitas 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty lanjutan dermaga 9.4.46.v20220331
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty Plus 9.4.46.v20220331
org.eclipse.jetty Jetty-Proxy 9.4.46.v20220331
org.eclipse.jetty keamanan jetty 9.4.46.v20220331
org.eclipse.jetty Jetty Server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Aplikasi web Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-klien 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utilitas 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-inti 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey biasa 2.36
org.glassfish.jersey.core Jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator Hibernate Validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client (klien Java untuk MariaDB) 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap pengganjal 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark tidak digunakan 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel makro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on