Databricks Runtime 11.3 LTS (EoS)

Catatan

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan dan akhir masa pakai. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 11.3 LTS, didukung oleh Apache Spark 3.3.0. Databricks merilis versi ini pada Oktober 2022.

Catatan

LTS berarti versi ini berada di bawah dukungan jangka panjang. Lihat Siklus hidup Databricks Runtime LTS.

Perubahan perilaku

[Perubahan menerobos] Versi Python baru memerlukan pembaruan klien Python Databricks Connect V1

Catatan

Pembaruan berikutnya memindahkan versi Python di Databricks Runtime 11.3 LTS ke 3.9.21. Versi 3.9.21 tidak memperkenalkan perubahan perilaku apa pun.

Untuk menerapkan patch keamanan yang diperlukan, versi Python di Databricks Runtime 11.3 LTS diperbarui dari 3.9.5 ke 3.9.19. Karena perubahan ini dapat menyebabkan kesalahan pada klien yang menggunakan fungsi PySpark tertentu, setiap klien yang menggunakan Databricks Connect V1 untuk Python dengan Databricks Runtime 11.3 LTS harus diperbarui ke Python 3.9.7 atau yang lebih baru.

Fitur dan peningkatan baru

Python ditingkatkan dari 3.9.19 ke 3.9.21

Versi Python di Databricks Runtime 11.3 LTS diperbarui dari 3.9.19 ke 3.9.21.

Pemicu satu kali pada Streaming Terstruktur tidak digunakan lagi

Trigger.Once Pengaturan tidak digunakan lagi. Databricks merekomendasikan Anda menggunakan Trigger.AvailableNow. Lihat Konfigurasi interval pemicu pada Streaming Terstruktur.

Mengubah jalur sumber untuk Auto Loader

Anda sekarang dapat mengubah jalur input direktori untuk Auto Loader yang dikonfigurasi dengan mode daftar direktori tanpa harus memilih direktori titik pemeriksaan baru. Lihat Mengubah jalur sumber untuk Auto Loader.

Konektor Databricks Kinesis sekarang mendukung pembacaan dari aliran Data Kinesis dalam mode EFO

Anda sekarang dapat menggunakan sumber streaming terstruktur Databricks Kinesis di Databricks Runtime 11.3 LTS untuk menjalankan kueri yang dibaca dari aliran Data Kinesis dalam mode fan-out yang ditingkatkan. Ini memungkinkan throughput khusus per pecahan, per konsumen dan merekam pengiriman dalam mode pendorongan.

Fungsi geospasial H3 baru dan menambahkan dukungan Photon untuk semua fungsi H3

Memperkenalkan 4 fungsi H3 baru, , h3_maxchild, h3_minchildh3_pointash3, dan h3_pointash3string. Fungsi-fungsi ini tersedia di SQL, Scala, dan Python. Semua ekspresi H3 sekarang didukung di Photon. Lihat H3 fungsi geospasial.

Fitur baru untuk I/O Prediktif

Photon mendukung mode rentang untuk menjalankan frame, menggunakan RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon juga mendukung mode rentang untuk bingkai yang berkembang, menggunakan RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Meningkatkan partisi awal untuk memindai kueri selektif

Nilai partisi awal yang akan dipindai telah ditingkatkan menjadi 10 untuk kueri selektif dengan take/tail/limit di kluster yang diaktifkan Photon dan LIMIT di Databricks SQL. Dengan 10 partisi, Anda dapat menghindari biaya tambahan dalam meluncurkan pekerjaan-pekerjaan kecil dan proses peningkatan skala yang lambat. Anda juga dapat mengonfigurasi ini melalui spark.sql.limit.selectiveInitialNumPartitions.

Visualisasi versi rencana AQE baru

Memperkenalkan versi paket AQE yang memungkinkan Anda memvisualisasikan pembaruan rencana runtime Anda dari eksekusi kueri adaptif (AQE).

Pelacakan kemajuan asinkron baru dan mode pembersihan log

Memperkenalkan mode Streaming Terstruktur yang disebut pelacakan kemajuan asinkron dan pembersihan log asinkron. Mode pembersihan log asinkron menurunkan latensi kueri streaming dengan menghapus log yang digunakan untuk pelacakan kemajuan di latar belakang.

Streaming Terstruktur di Unity Catalog sekarang mendukung display()

Sekarang Anda dapat menggunakan display() saat menggunakan Streaming Terstruktur untuk bekerja dengan tabel yang terdaftar di Katalog Unity.

Peristiwa pipeline sekarang dicatat dalam format JSON

Azure Databricks sekarang menulis peristiwa alur ke log driver dalam format JSON. Meskipun setiap peristiwa akan dapat diurai JSON, peristiwa besar mungkin tidak berisi semua bidang, atau bidang mungkin terpotong. Setiap peristiwa dicatat dalam satu baris dengan awalan Event received: . Berikut ini adalah contoh peristiwa.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Pemrosesan Stateful Sewenang-wenang dalam Streaming Terstruktur dengan Python

Memperkenalkan fungsi applyInPandasWithState yang dapat digunakan untuk melakukan pemrosesan stateful sewenang-wenang di PySpark. Ini setara dengan fungsi flatMapGroupsWithState di API Java.

Inferensi tanggal dalam file CSV

Memperkenalkan peningkatan dalam inferensi kolom jenis tanggal pada file CSV. Saat format tanggal konsisten di seluruh rekaman untuk kolom, kolom tersebut dapat disimpulkan sebagai DateType. Anda juga dapat memiliki kombinasi format tanggal di berbagai kolom. Azure Databricks dapat secara otomatis menyimpulkan format tanggal untuk setiap kolom. Kolom tanggal dalam file CSV sebelum Databricks Runtime 11.3 LTS dibiarkan sebagai StringType.

Dukungan untuk mengkloning tabel Apache Parquet dan Apache Iceberg (Pratinjau Umum)

Kloning sekarang dapat digunakan untuk membuat dan memperbarui tabel Delta secara bertahap yang mencerminkan tabel Apache Parquet dan Apache Iceberg. Anda dapat memperbarui tabel Parquet sumber Anda dan secara bertahap menerapkan perubahan ke tabel Delta hasil kloningnya dengan perintah clone. Lihat Pengkloningan bertahap tabel Parquet dan Apache Iceberg ke Delta Lake.

Gunakan SQL untuk menentukan lokasi penyimpanan tingkat skema dan katalog untuk tabel terkelola Katalog Unity

Anda sekarang dapat menggunakan MANAGED LOCATION perintah SQL untuk menentukan lokasi penyimpanan cloud untuk tabel terkelola di tingkat katalog dan skema. Lihat CREATE CATALOG dan CREATE SCHEMA.

Perubahan perilaku

Databricks Connect 11.3.2

Pembaruan klien Databricks Connect 11.3.2 sekarang didukung. Lihat Databricks Connect dan catatan rilis Databricks Connect.

Konektor Azure Databricks Snowflake yang diperbarui

Konektor Azure Databricks Snowflake telah diperbarui ke versi terbaru kode dari repositori sumber terbuka, Snowflake Data Source for Apache Spark. Ini sekarang sepenuhnya kompatibel dengan Databricks Runtime 11.3 LTS, termasuk pushdown predikat dan pushdown rencana kueri internal, sambil mempertahankan semua fitur versi open-source.

Cache Hadoop untuk S3A sekarang dinonaktifkan

Cache Hadoop (FileSystem Apache Hadoop Main 3.3.4 API) untuk S3A sekarang dinonaktifkan. Ini untuk menyelaraskan dengan konektor penyimpanan cloud lainnya. Untuk beban kerja yang mengandalkan penyimpanan dalam cache sistem file, pastikan bahwa sistem file yang baru dibuat dilengkapi dengan konfigurasi Hadoop yang benar, termasuk penyedia kredensial.

Skema pengumpulan statistik Delta Lake sekarang cocok dengan urutan kolom dalam definisi skema tabel

Perubahan ini mengatasi bug dalam protokol Delta Lake di mana statistik tidak dikumpulkan untuk kolom karena ketidakcocokan dalam DataFrame dan pengurutan kolom tabel. Dalam beberapa kasus, Anda mungkin mengalami penurunan kinerja penulisan karena pengumpulan data statistik pada bidang yang sebelumnya tidak terpantau. Lihat Data Skipping.

applyInPandasWithState menghasilkan kesalahan jika kueri mengalami pengacakan setelah operator

Operator applyInPandasWithState melemparkan kesalahan jika kueri memiliki shuffle setelah operator. Ini terjadi ketika pengguna menambahkan shuffle setelah operasi, atau pengoptimal atau sink menambahkan shuffle secara implisit.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • distlib dari 0.3.5 hingga 0.3.6
  • Pustaka R yang ditingkatkan:
    • broom dari 1.0.0 ke 1.0.1
    • callr dari 3.7.1 ke 3.7.2
    • dplyr dari 1.0.9 hingga 1.0.10
    • dtplyr dari 1.2.1 ke 1.2.2
    • forcats dari 0.5.1 hingga 0.5.2
    • pembaruan dari 1.27.0 ke 1.28.0
    • future.apply dari 1.9.0 hingga 1.9.1
    • gert dari 1.7.0 hingga 1.8.0
    • global dari 0,16,0 ke 0,16,1
    • gtable dari versi 0.3.0 ke 0.3.1
    • haven dari 2.5.0 ke 2.5.1
    • hms dari 1.1.1 hingga 1.1.2
    • httr dari 1.4.3 hingga 1.4.4
    • rajut dari 1,39 hingga 1,40
    • modelr dari 0.1.8 hingga 0.1.9
    • pilar dari 1.8.0 hingga 1.8.1
    • progressr dari 0.10.1 ke 0.11.0
    • readxl dari 1.4.0 hingga 1.4.1
    • reprex dari 2.0.1 ke 2.0.2
    • rlang dari 1.0.4 ke 1.0.5
    • rmarkdown dari 2.14 ke 2.16
    • RSQLite dari 2.2.15 ke 2.2.16
    • rstudioapi dari 0,13 hingga 0,14
    • rversion dari 2.1.1 hingga 2.1.2
    • rvest dari 1.0.2 hingga 1.0.3
    • skala dari 1.2.0 ke 1.2.1
    • sparklyr dari 1.7.7 ke 1.7.8
    • stringr dari 1.4.0 hingga 1.4.1
    • bertahan hidup dari 3,2-13 hingga 3,4-0
    • tinytex dari 0,40 hingga 0,41
    • viridisLite dari 0.4.0 ke 0.4.1
  • Pustaka Java yang ditingkatkan:
    • com.fasterxml.jackson.core.jackson-anotasi dari 2.13.3 hingga 2.13.4
    • com.fasterxml.jackson.core.jackson-core dari 2.13.3 ke 2.13.4
    • com.fasterxml.jackson.core.jackson-databind dari 2.13.3 ke 2.13.4
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor dari 2.13.3 ke 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-joda dari 2.13.3 hingga 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 dari 2.13.3 hingga 2.13.4
    • com.fasterxml.jackson.module.jackson-module-paranamer dari 2.13.3 hingga 2.13.4
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 dari 2.13.3 hingga 2.13.4
    • org.apache.hadoop.hadoop-client-api dari 3.3.2-databricks ke 3.3.4-databricks
    • org.apache.hadoop.hadoop-client-runtime dari 3.3.2 hingga 3.3.4
    • org.apache.orc.orc-core dari 1.7.5 hingga 1.7.6
    • org.apache.orc.orc-mapreduce dari 1.7.5 hingga 1.7.6
    • org.apache.orc.orc-shims dari 1.7.5 hingga 1.7.6
    • org.apache.parquet.parquet-column dari 1.12.0-databricks-0004 hingga 1.12.0-databricks-0007
    • org.apache.parquet.parquet-common dari 1.12.0-databricks-0004 hingga 1.12.0-databricks-0007
    • org.apache.parquet.parquet-encoding dari 1.12.0-databricks-0004 ke 1.12.0-databricks-0007
    • org.apache.parquet.parquet-format-structures dari 1.12.0-databricks-0004 hingga 1.12.0-databricks-0007
    • org.apache.parquet.parquet-hadoop dari 1.12.0-databricks-0004 ke 1.12.0-databricks-0007
    • org.apache.parquet.parquet-jackson dari 1.12.0-databricks-0004 ke 1.12.0-databricks-0007
    • org.glassfish.jersey.containers.jersey-container-servlet dari 2.34 hingga 2.36
    • org.glassfish.jersey.containers.jersey-container-servlet-core dari 2.34 hingga 2.36
    • org.glassfish.jersey.core.jersey-client dari 2.34 hingga 2.36
    • org.glassfish.jersey.core.jersey-common dari versi 2.34 ke 2.36
    • org.glassfish.jersey.core.jersey-server dari 2.34 hingga 2.36
    • org.glassfish.jersey.inject.jersey-hk2 dari 2.34 hingga 2.36

Apache Spark

Databricks Runtime 11.3 LTS mencakup Apache Spark 3.3.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 11.2 (EoS), serta perbaikan bug dan peningkatan tambahan berikut yang dilakukan pada Spark:

  • [SPARK-39957] [WARMFIX][sc-111425][CORE] Penundaan eksekusi onDisconnected untuk memungkinkan Driver menerima ExecutorExitCode
  • [SPARK-39955] [WARMFIX][sc-111424][CORE] Meningkatkan proses LaunchTask untuk menghindari kegagalan Tahap yang disebabkan oleh pesan LaunchTask yang gagal dikirim
  • [SPARK-40474] [SC-106248][cherry-pick] Memperbaiki perilaku inferensi skema CSV untuk kolom tanggal dan waktu serta memperkenalkan deteksi otomatis untuk bidang tanggal
  • [SPARK-40535] [SC-111243][sql] Perbaiki bug pada buffer AggregatingAccumulator yang tidak akan dibuat jika baris inputnya kosong
  • [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Menerapkan applyInPandasWithState di PySpark
  • [SPARK-40460] [SC-110832][ss] Perbaiki metrik streaming saat memilih _metadata
  • [SPARK-40324] [SC-109943][sql] Menyediakan konteks kueri ParseException
  • [SPARK-40466] [SC-110899][ss] Meningkatkan pesan kesalahan saat DSv2 dinonaktifkan sementara DSv1 tidak tersedia
  • [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext harus murah untuk dipanggil berulang kali
  • [SPARK-40169] [SC-110772][sql] Jangan melakukan pushdown filter Parquet yang tidak merujuk pada skema data.
  • [SPARK-40467] [SC-110759][ss] Membagi FlatMapGroupsWithState menjadi beberapa suite pengujian
  • [SPARK-40468] [SC-110813][sql] Perbaiki pemangkasan kolom di CSV saat _corrupt_record dipilih
  • [SPARK-40291] [SC-110085][sql] Meningkatkan pesan untuk kolom yang tidak berada dalam grup berdasarkan kesalahan klausa
  • [SPARK-40398] [SC-110762][core][SQL] Gunakan Loop alih-alih Arrays.stream API
  • [SPARK-40433] [SC-110684][ss][PYTHON] Tambahkan toJVMRow di PythonSQLUtils untuk mengonversi Row PySpark yang terseial ke Row JVM
  • [SPARK-40414] [SC-110568][sql][PYTHON] Jenis generik lainnya di PythonArrowInput dan PythonArrowOutput
  • [SPARK-40352] [SC-109945][sql] Tambahkan alias fungsi: len, datepart, dateadd, date_diff dan curdate
  • [SPARK-40470] [SC-110761][sql] Handle GetArrayStructFields dan GetMapValue dalam fungsi "arrays_zip"
  • [SPARK-40387] [SC-110685][sql] Meningkatkan implementasi Spark Decimal
  • [SPARK-40429] [SC-110675][sql] Hanya atur KeyGroupedPartitioning saat kolom yang direferensikan ada di output
  • [SPARK-40432] [SC-110716][ss][PYTHON] Memperkenalkan GroupStateImpl dan GroupStateTimeout di PySpark
  • [SPARK-39915] [SC-110496][sql] Pastikan partisi output ditentukan pengguna di AQE
  • [SPARK-29260] [SQL] Dukungan ALTER DATABASE SET LOCATION jika HMS mendukung
  • [SPARK-40185] [SC-110056][sql] Hapus saran kolom saat daftar kandidat kosong
  • [SPARK-40362] [SC-110401][sql] Perbaiki kanonisasi BinaryComparison
  • [SPARK-40411] [SC-110381][ss] Refaktorisasi FlatMapGroupsWithStateExec agar memiliki sifat induk
  • [SPARK-40293] [SC-110084][sql] Membuat pesan kesalahan tabel V2 lebih bermakna
  • [SPARK-38734] [SC-110383][sql] Hapus kelas kesalahan INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][sql] Perbaiki nama kolom dalam fungsi "arrays_zip" saat array direferensikan dari struktur berlapis
  • [SPARK-40276] [SC-109674][core] Kurangi ukuran hasil dari RDD.takeOrdered
  • [SPARK-40197] [SC-109176][sql] Ganti rencana kueri dengan konteks untuk MULTI_VALUE_SUBQUERY_ERROR
  • [SPARK-40300] [SC-109942][sql] Migrasi ke kelas kesalahan DATATYPE_MISMATCH
  • [SPARK-40149] [SC-110055][sql] Sebarkan kolom metadata melalui Project
  • [SPARK-40280] [SC-110146][sql] Tambahkan dukungan untuk pushdown parquet untuk int dan long yang diberi anotasi
  • [SPARK-40220] [SC-110143][sc-109175][SQL] Jangan keluarkan peta kosong parameter pesan kesalahan
  • [SPARK-40295] [SC-110070][sql] Izinkan fungsi v2 dengan arg harfiah dalam distribusi/pemesanan tulis
  • [SPARK-40156] [SC-109264][sql] url_decode() harus mengembalikan kelas kesalahan
  • [SPARK-39195] [SQL] Spark OutputCommitCoordinator harus membatalkan tahapan ketika file yang telah dikomit tidak konsisten dengan status tugas
  • [SPARK-40260] [SC-109424][sql] Gunakan kelas kesalahan untuk menyusun kesalahan di GROUP BY sebuah posisi
  • [SPARK-40205] [SC-110144][sc-109082][SQL] Menyediakan konteks pencarian untuk ELEMENT_AT_BY_INDEX_ZERO
  • [SPARK-40112] [SC-109676][sql] Meningkatkan fungsi TO_BINARY()
  • [SPARK-40209] [SC-109081][sql] Jangan ubah nilai interval Desimal dalam changePrecision() ketika terjadi kesalahan.
  • [SPARK-40319] [SC-109873][sql] Hapus metode kesalahan eksekusi kueri duplikat untuk PARSE_DATETIME_BY_NEW_PARSER
  • [SPARK-40222] [SC-109209][sql] Numeric try_add/try_divide/try_subtract/try_multiply harus melemparkan kesalahan dari anak-anak mereka
  • [SPARK-40183] [SC-108907][sql] Gunakan kelas kesalahan NUMERIC_VALUE_OUT_OF_RANGE untuk luapan dalam konversi desimal
  • [SPARK-40180] [SC-109069][sql] Format pesan kesalahan dengan spark-sql
  • [SPARK-40153] [SC-109165][sql] Menyatukan fungsi pemecahan masalah dan fungsi bernilai tabel
  • [SPARK-40308] [SC-109880][sql] Izinkan argumen pemisah yang tidak dapat dilipat ke fungsi str_to_map
  • [SPARK-40219] [SC-110052][sc-109663][SQL] Rencana logis tampilan yang diselesaikan harus menyimpan skema untuk menghindari pencarian berlebihan
  • [SPARK-40098] [SC-109939][sc-108693][SQL] Format pesan kesalahan di Thrift Server
  • [SPARK-39917] [SC-109038][sql] Gunakan kelas kesalahan yang berbeda untuk luapan aritmatika numerik/interval
  • [SPARK-40033] [SC-109875][sql] Dukungan pemangkasan skema berlapis melalui element_at
  • [SPARK-40194] [SC-109660][sql] SPLIT pada regex kosong harus memotong string kosong berikutnya.
  • [SPARK-40228] [SC-109835][sql] Jangan menyederhanakan multiLike jika anak bukan ekspresi murah
  • [SPARK-40039] [SC-109896][sc-109260][SS] Memperkenalkan manajer file titik pemeriksaan streaming berdasarkan antarmuka Abortable Hadoop
  • [SPARK-40285] [SC-109679][sql] Menyederhanakan roundTo[Numeric] untuk Spark Decimal
  • [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison harus berfungsi ketika literal downcast In/InSet gagal.
  • [SPARK-40040] [SC-109662][sql] Terapkan pembatas lokal ke kedua sisi jika syarat gabungan kosong
  • [SPARK-40055] [SC-109075][sql] listCatalogs juga harus mengembalikan spark_catalog bahkan ketika implementasi spark_catalog adalah defaultSessionCatalog
  • [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) mungkin tidak membuat N partisi pada bagian Non-AQE
  • [SPARK-40207] [SC-109401][sql] Tentukan nama kolom saat tipe data tidak didukung oleh sumber data
  • [SPARK-40245] [SC-109295][sql] Perbaiki pemeriksaan kesetaraan FileScan saat kolom filter partisi atau data tidak dibaca
  • [SPARK-40113] [SC-109405][sql] Implementasi antarmuka Reactor ParquetScanBuilder DataSourceV2
  • [SPARK-40211] [SC-109226][core][SQL] Izinkan kustomisasi nomor partisi awal dalam perilaku take()
  • [SPARK-40252] [SC-109379][sql] Ganti Stream.collect(Collectors.joining) dengan StringJoiner Api
  • [SPARK-40247] [SC-109272][sql] Perbaiki pemeriksaan kesetaraan BitSet
  • [SPARK-40067] [SQL] Gunakan Table#name() alih-alih Scan#name() untuk mengisi nama tabel di simpul BatchScan di SparkUI
  • [SPARK-39966] [SQL] Menggunakan Filter V2 di SupportsDelete
  • [SPARK-39607] [SC-109268][sql][DSV2] Distribusi dan pemesanan mendukung fungsi V2 secara tertulis
  • [SPARK-40224] [SC-109271][sql] Membuat ObjectHashAggregateExec melepaskan memori dengan cepat saat beralih ke berbasis pengurutan
  • [SPARK-40013] [SQL] Ekspresi DS V2 harus memiliki default toString
  • [SPARK-40214] [SC-109079][python][SQL] tambahkan 'get' ke fungsi
  • [SPARK-40192] [SC-109089][sql][ML] Hapus groupby yang berlebihan
  • [SPARK-40146] [SC-108694][sql] Sederhanakan proses codegen untuk mendapatkan nilai peta
  • [SPARK-40109] [SQL] Fungsi SQL baru: get()
  • [SPARK-39929] [SQL] DS V2 mendukung fungsi string push down (non ANSI)
  • [SPARK-39819] [SQL] Pendorongan agregat DS V2 dapat berfungsi dengan N Teratas atau Penomoran (Urutkan dengan ekspresi)
  • [SPARK-40213] [SC-109077][sql] Mendukung konversi nilai ASCII untuk karakter Latin-1
  • [SPARK-39887] [SQL] RemoveRedundantAliases harus menyimpan alias yang membuat output simpul proyeksi unik
  • [SPARK-39764] [SQL] Membuat PhysicalOperation sama dengan ScanOperation
  • [SPARK-39964] [SQL] Pushdown pada DS V2 harus menyatukan jalur translasi
  • [SPARK-39528] [SQL] Menggunakan Filter V2 di SupportsRuntimeFiltering
  • [SPARK-40066] [SQL] Mode ANSI: selalu mengembalikan null pada akses yang tidak valid ke kolom peta
  • [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
  • [SPARK-39833] [SC-108736][sql] Nonaktifkan indeks kolom Parquet di DSv1 untuk memperbaiki masalah kebenaran dalam kasus partisi dan kolom data yang tumpang tindih
  • [SPARK-39880] [SQL] V2 SHOW FUNCTIONS perintah harus mencetak nama fungsi yang memenuhi syarat seperti v1
  • [SPARK-39767] [SQL] Hapus UnresolvedDBObjectName dan tambahkan UnresolvedIdentifier
  • [SPARK-40163] [SC-108740][sql] feat: SparkSession.config(Peta)
  • [SPARK-40136] [SQL] Memperbaiki fragmen konteks kueri SQL
  • [SPARK-40107] [SC-108689][sql] Memisahkan konversi dari kosong menjadi null dari FileFormatWriter
  • [SPARK-40121] [PYTHON][sql] Inisialisasi proyeksi yang digunakan untuk UDF Python
  • [SPARK-40128] [SQL] Buat VectorizedColumnReader mengenali DELTA_LENGTH_BYTE_ARRAY sebagai pengodean kolom mandiri
  • [SPARK-40132] [ML] Pulihkan rawPredictionCol ke MultilayerPerceptronClassifier.setParams
  • [SPARK-40050] [SC-108696][sql] Enhance EliminateSorts untuk mendukung penghapusan pengurutan melalui LocalLimit
  • [SPARK-39629] [SQL] Dukungan v2 SHOW FUNCTIONS
  • [SPARK-39925] [SC-108734][sql] Tambahkan kelebihan beban array_sort(kolom, komparator) ke operasi DataFrame
  • [SPARK-40117] [PYTHON][sql] Konversi kondisi ke java di DataFrameWriterV2.overwrite
  • [SPARK-40105] [SQL] Meningkatkan partisi ulang dalam ReplaceCTERefWithRepartition
  • [SPARK-39503] [SQL] Menambahkan nama katalog sesi untuk tabel dan fungsi database v1
  • [SPARK-39889] [SQL] Gunakan kelas kesalahan yang berbeda untuk numerik/interval yang dibagi 0
  • [SPARK-39741] [SQL] Mendukung pengodean/dekode url sebagai fungsi bawaan dan merapikan fungsi terkait url
  • [SPARK-40102] [SQL] Gunakan SparkException alih-alih IllegalStateException di SparkPlan
  • [SPARK-40014] [SQL] Mendukung pengubahan desimal menjadi interval ANSI
  • [SPARK-39776] [SQL][lanjut] Perbarui pengujian unit untuk PlanStabilitySuite dalam mode ANSI
  • [SPARK-39963] [SQL] Menyederhanakan SimplifyCasts.isWiderCast

Pembaruan pemeliharaan

Lihat pembaruan pemeliharaan Databricks Runtime 11.3.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 20.04.5 LTS
    • Catatan: Ini adalah versi Ubuntu yang digunakan oleh kontainer Databricks Runtime. Kontainer Databricks Runtime berjalan pada komputer virtual penyedia cloud, yang mungkin menggunakan versi Ubuntu atau distribusi Linux yang berbeda.
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.21
  • R: 4.1.3
  • Danau Delta: 2.1.0

Perpustakaan Python terinstal

Pustaka Versi Pustaka Versi Pustaka Versi
argon2-cffi 20.1.0 pembangkit asinkron 1.10 atribut 21.2.0
panggilan balik 0.2.0 backports.entry-points-selectable 1.1.1 hitam 22.3.0
pemutih 4.0.0 boto3 1.21.18 botocore 1.24.18
sertifikat 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 klik 8.0.3 Kriptografi 3.4.8
pengendara sepeda 0.10.0 Cython 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 penghias 5.1.0 defusedxml 0.7.1
distlib 0.3.6 titik masuk 0,3 gambaran umum aspek 1.0.0
filelock 3.8.0 IDNA 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
Jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client (klien Jupyter) 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 penyetelan salah 0.8.4 ekstensi mypy 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 buku catatan 6.4.5 numpy (perpustakaan Python untuk operasi numerik) 1.20.3
pengemasan 21.0 Panda 1.3.4 Pandocfilters 1.4.3
pengurai 0.8.2 spesifikasi jalur 0.9.0 kambing hitam 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Bantal 8.4.0
pipa 21.2.4 platformdir 2.5.2 plotly 5.9.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 permintaan 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy (perpustakaan Python untuk komputasi ilmiah) 1.7.1
Seaborn (perpustakaan Python untuk visualisasi data) 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
Enam 1.16.0 ssh-import-id 5.10 statsmodels (paket Python untuk pemodelan statistik) 0.12.2
kegigihan 8.0.1 selesai 0.9.4 jalur uji 0.5.0
threadpoolctl 2.2.0 Tokenisasi-RT 4.2.1 tomli 2.0.1
Tornado 6.1 traitlets=5.0.5 5.1.0 ekstensi-pengetikan 3.10.0.2
pembaruan otomatis tanpa pengawasan 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings=0.5.1 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Pustaka R yang diinstal

Perpustakaan R diinstal dari snapshot CRAN Microsoft pada 2022-09-08. Rekam jepret tidak lagi tersedia.

Pustaka Versi Pustaka Versi Pustaka Versi
askpass 1.1 pastikanbahwa 0.2.1 pemindahan fitur ke versi lama (backports) 1.4.1
dasar 4.1.3 base64enc 0.1-3 sedikit 4.0.4
bit-64 4.0.5 blob 1.2.3 sepatu bot 1.3-28
menyeduh 1.0-7 Brio 1.1.3 sapu 1.0.1
bslib 0.4.0 cashmere 1.0.6 layanan panggilan 3.7.2
caret 6.0-93 cellranger 1.1.0 kronogram 2.3-57
kelas 7.3-20 CLI 3.3.0 pemangkas 0.8.0
kluster 2.1.3 codetools 0.2-18 ruang warna 2.0-3
commonmark 1.8.0 pengkompilasi 4.1.3 konfig 0.3.1
cpp11 0.4.2 kriyon 1.5.1 kredensial 1.3.2
melengkung 4.3.2 data.table (sebuah paket untuk pengolahan data table) 1.14.2 kumpulan data 4.1.3
DBI 1.1.3 dbplyr 2.2.1 deskripsi 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
pencahayaan turun 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 elipsis 0.3.2 menilai 0,16
penggemar 1.0.3 warna-warna 2.1.1 pemetaan cepat 1.1.0
fontawesome 0.3.0 untuk kucing 0.5.2 foreach (pengulangan untuk setiap elemen) 1.5.2
asing 0.8-82 bengkel pandai besi 0.2.0 fs 1.5.2
masa depan 1.28.0 menerapkan di masa depan 1.9.1 kumur 1.2.0
obat generik 0.1.3 Gert 1.8.0 ggplot2 3.3.6
GH 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
variabel global 0.16.1 lem 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 Grafik 4.1.3
grDevices 4.1.3 kisi 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.1 topi keras 1.2.0
tempat aman 2.5.1 lebih tinggi 0,9 HMS 1.1.2
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.4 Id 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Pengiterasi 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.40 Pelabelan 0.4.2 nanti 1.3.0
rangka 0.20-45 lahar 1.6.10 siklus hidup 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Markdown 1.1 Massa 7.3-56 Matriks 1.4-1
memosankan 2.0.1 Metode 4.1.3 mgcv 1.8-40
pantomim 0.12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.9 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv Agustus 2016 - Januari 2017 openssl 2.0.2
paralel 4.1.3 secara paralel 1.32.1 pilar 1.8.1
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
pujian 1.0.0 prettyunits 1.1.1 Proc 1.18.0
ProsesX 3.7.0 prodlim 2019.11.13 profvis 0.3.7
kemajuan 1.2.2 progresr 0.11.0 janji 1.2.0.1
Proto 1.0.0 proksi 0,4-27 P.S. 1.7.1
menggeram lembut 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest (algoritma pembelajaran mesin) 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 pembaca 2.1.2 readxl (membaca file Excel) 1.4.1
Resep 1.0.1 pertandingan ulang 1.0.1 pertandingan ulang 2 2.1.2
pengontrol jarak jauh 2.4.2 contoh replikasi 2.0.2 reshape2 1.4.4
rlang 1.0.5 rmarkdown 2,16 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.16 rstudioapi 0.14
rversions 2.1.2 rvest 1.0.3 Sass 0.4.2
timbangan / sisik 1.2.1 selektor 0,4-2 informasi sesi 1.2.2
bentuk 1.4.6 mengkilap 1.7.2 sourcetools 0.1.7
sparklyr - paket R untuk analisis data dan pembelajaran mesin 1.7.8 SparkR 3.3.0 spasial 7.3-11
garis lengkung 4.1.3 sqldf 0,4-11 SQUAREM 2021.1
statistik 4.1.3 statistik4 4.1.3 string 1.7.8
stringr 1.4.1 bertahan hidup 3.4-0 Sistem 3.4
systemfonts 1.0.4 bahasa pemrograman Tcl/Tk 4.1.3 ujiitu 3.1.4
pembentukan teks 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 TanggalWaktu 4021.104
tinytex 0.41 perangkat 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 gunakan ini 2.1.6 utf8 1.2.2
Utilitas 4.1.3 UUID (Pengidentifikasi Unik Universal) 1.1-0 vctrs 0.4.1
viridisLite 0.4.1 Vroom 1.5.7 Waldo 0.4.0
kumis 0,4 dengan 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 Zip 2.2.0

Pustaka Java dan Scala terinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.189
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-impor-ekspor 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.189
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.189
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS Java SDK Dukungan 1.12.189
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware bayangan-kriogenik 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core Jackson Annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine kafein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib rujukan_asli-java-natives 1.1
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib native_sistem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava jambu biji 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger pembuat profil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi kode_sumber_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf (algoritma kompresi) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfig 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Tidak peduli 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0,21%
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics inti metrik 4.1.1
io.dropwizard.metrics metrik-graphite 4.1.1
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.1.1
io.dropwizard.metrics metrik-jetty9 4.1.1
io.dropwizard.metrics metrik-jmx 4.1.1
io.dropwizard.metrics metrik-json 4.1.1
io.dropwizard.metrics metrik-jvm 4.1.1
io.dropwizard.metrics metrik-servlet 4.1.1
io.netty netty-all 4.1.74.Final
io.netty Netty Buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) 4.1.74.Final
io.netty netty-tcnative-kelas 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_umum 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction Transaction-API 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
jaring.bunga salju snowflake-jdbc 3.13.14
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr StringTemplate 3.2.1
org.apache.ant semut 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format tanda panah 7.0.0
org.apache.arrow inti-memori-panah 7.0.0
org.apache.arrow Arrow-Memory-Netty 7.0.0
org.apache.arrow panah-vektor 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-koleksi4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons Commons-Math3 3.6.1
org.apache.commons commons-text (teks umum) 1.9
org.apache.curator kurator dan klien 2.13.0
org.apache.curator kerangka kerja kurator 2.13.0
org.apache.curator kurasi resep 2.13.0
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop hadoop-klien-api 3.3.4-databricks
org.apache.hadoop lingkungan kerja klien Hadoop 3.3.4
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API penyimpanan hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.9
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy tanaman anggur 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-kolom 1.12.0-databricks-0007
org.apache.parquet parquet umum 1.12.0-databricks-0007
org.apache.parquet pengkodean parquet 1.12.0-databricks-0007
org.apache.parquet parquet-format-struktur 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parkquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean berbayang xbean-asm9 4.20
org.apache.yetus anotasi penonton 0.5.0
org.apache.zookeeper penjaga kebun binatang 3.6.2
org.apache.zookeeper penjaga kebun binatang-jute 3.6.2
org.checkerframework pemeriksa kualitas 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty lanjutan dermaga 9.4.46.v20220331
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty Plus 9.4.46.v20220331
org.eclipse.jetty Jetty-Proxy 9.4.46.v20220331
org.eclipse.jetty keamanan jetty 9.4.46.v20220331
org.eclipse.jetty Jetty Server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Aplikasi web Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-klien 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utilitas 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-inti 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey biasa 2.36
org.glassfish.jersey.core Jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator Hibernate Validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client (klien Java untuk MariaDB) 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap pengganjal 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark tidak digunakan 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel makro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on