Databricks Runtime 14.0 (EoS)

Nota

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan dan akhir masa pakai. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 14.0, didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada September 2023.

Fitur dan peningkatan baru

Pelacakan baris adalah GA

Pelacakan baris untuk Delta Lake sekarang siap digunakan secara luas. Lihat Pelacakan baris di Databricks.

I/O prediktif untuk pembaruan adalah GA

I/O prediktif untuk pembaruan sekarang tersedia secara umum. Lihat Apa itu I/O prediktif?.

Vektor penghapusan adalah GA

Vektor penghapusan sekarang tersedia secara umum. Lihat Vektor penghapusan di Databricks.

Spark 3.5.0 adalah GA

Apache Spark 3.5.0 sekarang tersedia secara umum. Lihat Rilis Spark 3.5.0.

Pratinjau publik untuk fungsi tabel yang didefinisikan pengguna di Python

Fungsi tabel yang ditentukan pengguna (UDTF) memungkinkan Anda mendaftarkan fungsi yang mengembalikan tabel alih-alih nilai skalar. Lihat fungsi tabel yang ditentukan pengguna Python (UDTF).

Pratinjau publik untuk konkurensi tingkat baris

Konkurensi tingkat baris mengurangi konflik antara operasi tulis bersamaan dengan mendeteksi perubahan di tingkat baris dan secara otomatis menyelesaikan perubahan bersaing dalam penulisan bersamaan yang memperbarui atau menghapus baris yang berbeda dalam file data yang sama. Lihat Konkurensi tingkat baris.

Direktori kerja default saat ini telah berubah

Direktori kerja default saat ini (CWD) untuk kode yang dijalankan secara lokal sekarang adalah direktori yang berisi buku catatan atau skrip yang dijalankan. Ini termasuk kode seperti kode %sh dan kode Python atau R yang tidak menggunakan Spark. Lihat Apa direktori kerja saat ini yang default?.

Masalah umum dengan sparklyr

Versi paket yang sparklyr diinstal (versi 1.8.1) tidak kompatibel dengan Databricks Runtime 14.0. Untuk menggunakan sparklyr, instal versi 1.8.3 atau lebih tinggi.

Memperkenalkan Spark Connect dalam arsitektur kluster bersama

Dengan Databricks Runtime 14.0 ke atas, kluster bersama sekarang menggunakan Spark Connect dengan Driver Spark dari Python REPL secara default. API Spark internal tidak lagi dapat diakses dari kode pengguna.

Spark Connect berinteraksi dengan Spark Driver dari REPL, bukan integrasi REPL lama.

Mencantumkan pembaruan API versi Spark yang tersedia

Aktifkan Photon dengan mengatur runtime_engine = PHOTON, dan aktifkan aarch64 dengan memilih jenis instans graviton. Azure Databricks mengatur versi Databricks Runtime yang benar. Sebelumnya, API versi Spark akan mengembalikan runtime khusus implementasi untuk setiap versi. Lihat GET /api/2.0/clusters/spark-versions di Referensi REST API.

Perubahan mendasar

Di Databricks Runtime 14.0 ke atas, kluster dengan mode akses standar (sebelumnya mode akses bersama) menggunakan Spark Connect untuk komunikasi server klien. Ini termasuk perubahan berikut.

Untuk informasi selengkapnya tentang batasan mode akses standar, lihat Persyaratan dan batasan komputasi standar.

Python pada kluster dengan mode akses standar (sebelumnya mode akses bersama)

  • sqlContext tidak tersedia. Azure Databricks merekomendasikan penggunaan variabel spark untuk instans SparkSession.
  • Konteks Spark (sc) tidak lagi tersedia di Notebook, atau saat menggunakan Databricks Connect pada kluster dengan mode akses standar. Fungsi berikut sc tidak lagi tersedia:
    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
  • Fitur Info Dataset tidak lagi didukung.
  • Tidak ada lagi dependensi pada JVM saat mengkueri Apache Spark dan sebagai konsekuensinya, API internal yang terkait dengan JVM, seperti _jsc, _jconf_jvm_jsparkSession_jreader_jc, _jseq, _jdf, _jmap, dan _jcols tidak lagi didukung.
  • Saat mengakses nilai konfigurasi dengan hanya menggunakan spark.conf, yang dapat diakses adalah nilai konfigurasi runtime dinamis.
  • Perintah analisis Lakeflow Spark Declarative Pipelines belum didukung pada kluster bersama.

Delta pada kluster dengan mode akses standar (sebelumnya mode akses bersama)

  • Dalam Python, tidak ada lagi dependensi pada JVM saat mengkueri Apache Spark. API internal yang terkait dengan JVM, seperti DeltaTable._jdt, , DeltaTableBuilder._jbuilderDeltaMergeBuilder._jbuilder, dan DeltaOptimizeBuilder._jbuilder tidak lagi didukung.

SQL pada kluster dengan mode akses standar (sebelumnya mode akses bersama)

  • DBCACHE dan DBUNCACHE perintah tidak lagi didukung.
  • Kasus penggunaan langka seperti cache table db as show databases tidak lagi didukung.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • asttokens dari 2.2.1 ke 2.0.5
    • attrs dari 21.4.0 hingga 22.1.0
    • botocore dari 1.27.28 ke 1.27.96
    • certifi dari 14/09/2022 hingga 07/12/2022
    • kriptografi dari 37.0.1 hingga 39.0.1
    • debugpy dari 1.6.0 hingga 1.6.7
    • docstring-to-markdown dari 0,12 ke 0,11
    • melaksanakan dari versi 1.2.0 ke versi 0.8.3
    • ringkasan faset dari 1.0.3 hingga 1.1.1
    • googleapis-common-protos dari 1.56.4 hingga 1.60.0
    • grpcio dari 1.48.1 ke 1.48.2
    • idna dari 3.3 hingga 3.4
    • ipykernel dari 6.17.1 ke 6.25.0
    • ipython dari 8.10.0 hingga 8.14.0
    • Jinja2 dari 2.11.3 hingga 3.1.2
    • jsonschema dari 4.16.0 ke 4.17.3
    • jupyter_core dari 4.11.2 ke 5.2.0
    • kiwisolver dari 1.4.2 ke 1.4.4
    • MarkupSafe dari 2.0.1 hingga 2.1.1
    • matplotlib dari 3.5.2 ke 3.7.0
    • nbconvert dari 6.4.4 ke 6.5.4
    • nbformat dari 5.5.0 hingga 5.7.0
    • nest-asyncio dari 1.5.5 hingga 1.5.6
    • notebook dari 6.4.12 hingga 6.5.2
    • numpy dari 1.21.5 hingga 1.23.5
    • kemasan dari 21,3 hingga 22,0
    • pandas dari 1.4.4 hingga 1.5.3
    • pathspec dari 0.9.0 hingga 0.10.3
    • patsy dari 0.5.2 hingga 0.5.3
    • Perangkat lunak Pillow dari versi 9.2.0 hingga 9.4.0
    • pip dari 22.2.2 ke 22.3.1
    • protobuf dari 3.19.4 ke 4.24.0
    • pytoolconfig dari 1.2.2 ke 1.2.5
    • pytz dari 2022.1 hingga 2022.7
    • s3transfer dari 0.6.0 hingga 0.6.1
    • seaborn dari 0.11.2 hingga 0.12.2
    • setuptools dari 63.4.1 hingga 65.6.3
    • soupsieve dari 2.3.1 ke 2.3.2.post1
    • stack-data dari 0.6.2 hingga 0.2.0
    • statsmodels dari 0.13.2 ke 0.13.5
    • terminado dari 0.13.1 hingga 0.17.1
    • traitlet dari 5.1.1 hingga 5.7.1
    • typing_extensions dari 4.3.0 ke 4.4.0
    • urllib3 dari 1.26.11 hingga 1.26.14
    • virtualenv dari 20.16.3 hingga 20.16.7
    • roda dari 0.37.1 hingga 0.38.4
  • Pustaka R yang ditingkatkan:
    • panah dari 10.0.1 hingga 12.0.1
    • dasar dari 4.2.2 ke 4.3.1
    • blob dari 1.2.3 hingga 1.2.4
    • broom dari 1.0.3 hingga 1.0.5
    • bslib dari 0.4.2 ke 0.5.0
    • cachem dari 1.0.6 hingga 1.0.8
    • caret dari 6,0-93 hingga 6,0-94
    • chron dari 2,3-59 ke 2,3-61
    • kelas dari 7.3-21 hingga 7.3-22
    • cli dari 3.6.0 hingga 3.6.1
    • jam dari 0.6.1 hingga 0.7.0
    • commonmark dari 1.8.1 hingga 1.9.0
    • compiler dari 4.2.2 ke 4.3.1
    • cpp11 dari 0.4.3 hingga 0.4.4
    • curl dari 5.0.0 ke 5.0.1
    • data.table dari 1.14.6 hingga 1.14.8
    • himpunan data dari 4.2.2 hingga 4.3.1
    • dbplyr dari 2.3.0 ke 2.3.3
    • Ikhtisar dari 0.6.31 hingga 0.6.33
    • downlit dari versi 0.4.2 ke versi 0.4.3
    • dplyr dari 1.1.0 ke 1.1.2
    • dtplyr dari 1.2.2 ke 1.3.1
    • evaluasi dari 0,20 hingga 0,21
    • fastmap dari 1.1.0 hingga 1.1.1
    • fontawesome dari 0.5.0 hingga 0.5.1
    • fs dari 1.6.1 hingga 1.6.2
    • masa depan dari 1.31.0 ke 1.33.0
    • future.apply dari 1.10.0 hingga 1.11.0
    • kumur dari 1.3.0 hingga 1.5.1
    • ggplot2 dari 3.4.0 ke 3.4.2
    • gh dari 1.3.1 ke 1.4.0
    • glmnet dari 4,1-6 hingga 4,1-7
    • googledrive dari 2.0.0 hingga 2.1.1
    • googlesheets4 dari 1.0.1 hingga 1.1.1
    • grafik dari 4.2.2 hingga 4.3.1
    • grDevices dari 4.2.2 ke 4.3.1
    • kisi dari 4.2.2 hingga 4.3.1
    • gtable dari 0.3.1 hingga 0.3.3
    • hardhat dari 1.2.0 hingga 1.3.0
    • paket haven dari 2.5.1 hingga 2.5.3
    • hms dari 1.1.2 ke 1.1.3
    • htmltool dari 0.5.4 hingga 0.5.5
    • htmlwidgets dari 1.6.1 ke 1.6.2
    • httpuv dari 1.6.8 hingga 1.6.11
    • httr dari 1.4.4 hingga 1.4.6
    • ipred dari 0,9-13 ke 0,9-14
    • jsonlite dari 1.8.4 ke 1.8.7
    • KernSmooth dari 2,23-20 ke 2,23-21
    • knitr dari 1,42 hingga 1,43
    • kemudian dari 1.3.0 hingga 1.3.1
    • kisi dari 0,20-45 hingga 0,21-8
    • lava dari 1.7.1 hingga 1.7.2.1
    • lubridat dari 1.9.1 hingga 1.9.2
    • diskon dari 1.5 hingga 1.7
    • massa dari 7.3-58.2 ke 7.3-60
    • Matriks dari 1,5-1 hingga 1,5-4.1
    • metode dari 4.2.2 hingga 4.3.1
    • mgcv dari 1,8-41 ke 1,8-42
    • modelr versi 0.1.10 ke versi 0.1.11
    • nnet dari 7,3-18 hingga 7,3-19
    • openssl dari 2.0.5 hingga 2.0.6
    • paralel dari 4.2.2 hingga 4.3.1
    • secara paralel dari 1.34.0 hingga 1.36.0
    • pilar dari 1.8.1 hingga 1.9.0
    • pkgbuild dari 1.4.0 ke 1.4.2
    • pkgload dari 1.3.2 ke 1.3.2.1
    • pROC dari 1.18.0 ke 1.18.4
    • processx dari 3.8.0 hingga 3.8.2
    • prodlim dari 2019.11.13 hingga 2023.03.31
    • profvis dari 0.3.7 hingga 0.3.8
    • ps dari 1.7.2 ke 1.7.5
    • Rcpp dari 1.0.10 hingga 1.0.11
    • readr dari 2.1.3 hingga 2.1.4
    • readxl dari 1.4.2 ke 1.4.3
    • resep dari 1.0.4 hingga 1.0.6
    • rlang dari 1.0.6 ke 1.1.1
    • rmarkdown dari 2.20 ke 2.23
    • Rserve dari 1,8-12 ke 1,8-11
    • RSQLite dari 2.2.20 ke 2.3.1
    • rstudioapi dari 0,14 hingga 0,15,0
    • sass dari 0.4.5 hingga 0.4.6
    • mengkilap dari 1.7.4 hingga 1.7.4.1
    • sparklyr diupgrade dari 1.7.9 ke 1.8.1
    • SparkR dari 3.4.1 ke 3.5.0
    • spline dari 4.2.2 ke 4.3.1
    • statistik dari 4.2.2 hingga 4.3.1
    • stats4 dari 4.2.2 hingga 4.3.1
    • Bertahan hidup pada rentang 3,5-3 hingga 3,5-5.
    • sys dari 3.4.1 hingga 3.4.2
    • tcltk dari 4.2.2 ke 4.3.1
    • testthat dari 3.1.6 ke 3.1.10
    • tibble dari 3.1.8 ke 3.2.1
    • tidyverse dari 1.3.2 hingga 2.0.0
    • tinytex dari 0,44 hingga 0,45
    • alat dari 4.2.2 hingga 4.3.1
    • tzdb dari 0.3.0 hingga 0.4.0
    • usethis dari 2.1.6 hingga 2.2.2
    • utils dari 4.2.2 ke 4.3.1
    • vctrs dari 0.5.2 hingga 0.6.3
    • viridisLite dari 0.4.1 ke 0.4.2
    • vroom dari 1.6.1 hingga 1.6.3
    • waldo dari 0.4.0 hingga 0.5.1
    • xfun dari 0,37 hingga 0,39
    • xml2 dari 1.3.3 hingga 1.3.5
    • zip dari 2.2.2 hingga 2.3.0
  • Pustaka Java yang ditingkatkan:
    • com.fasterxml.jackson.core.jackson-annotations dari versi 2.14.2 ke versi 2.15.2
    • com.fasterxml.jackson.core.jackson-core dari 2.14.2 ke 2.15.2
    • com.fasterxml.jackson.core.jackson-databind dari 2.14.2 ke 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor dari 2.14.2 hingga 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda dari 2.14.2 hingga 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 dari 2.13.4 hingga 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer dari 2.14.2 hingga 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 dari 2.14.2 hingga 2.15.2
    • com.github.luben.zstd-jni dari 1.5.2-5 ke 1.5.5-4
    • com.google.code.gson.gson dari 2.8.9 ke 2.10.1
    • com.google.crypto.tink.tink dari 1.7.0 hingga 1.9.0
    • commons-codec.commons-codec dari 1.15 hingga 1.16.0
    • commons-io.commons-io dari 2.11.0 hingga 2.13.0
    • io.airlift.aircompressor dari 0.21 hingga 0.24
    • io.dropwizard.metrics.metrics-core dari 4.2.10 menjadi 4.2.19
    • io.dropwizard.metrics.metrics-graphite dari 4.2.10 hingga 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks dari 4.2.10 hingga 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 dari 4.2.10 hingga 4.2.19
    • io.dropwizard.metrics.metrics-jmx dari 4.2.10 ke 4.2.19
    • io.dropwizard.metrics.metrics-json dari 4.2.10 ke 4.2.19
    • io.dropwizard.metrics.metrics-jvm dari 4.2.10 ke 4.2.19
    • io.dropwizard.metrics.metrics-servlets dari 4.2.10 hingga 4.2.19
    • io.netty.netty-all dari 4.1.87.Final ke 4.1.93.Final
    • io.netty.netty-buffer diperbarui dari versi 4.1.87.Final ke 4.1.93.Final
    • io.netty.netty-codec dari 4.1.87.Final ke 4.1.93.Final
    • io.netty.netty-codec-http dari 4.1.87.Final ke 4.1.93.Final
    • io.netty.netty-codec-http2 dari 4.1.87.Final ke 4.1.93.Final
    • io.netty.netty-codec-socks diperbarui dari versi 4.1.87.Final ke 4.1.93.Final
    • io.netty.netty-common dari 4.1.87.Final hingga 4.1.93.Final
    • io.netty.netty-handler dari 4.1.87.Final ke 4.1.93.Final
    • io.netty.netty-handler-proxy dari 4.1.87.Final ke 4.1.93.Final
    • io.netty.netty-resolver dari 4.1.87.Final ke 4.1.93.Final
    • io.netty.netty-transport dari versi 4.1.87.Final ke versi 4.1.93.Final
    • io.netty.netty-transport-classes-epoll dari 4.1.87.Final ke 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue dari 4.1.87.Final ke 4.1.93.Final
    • io.netty.netty-transport-native-epoll dari 4.1.87.Final-linux-x86_64 ke 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue dari 4.1.87.Final-osx-x86_64 ke 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common dari 4.1.87.Final ke 4.1.93.Final
    • org.apache.arrow.arrow-format dari 11.0.0 hingga 12.0.1
    • org.apache.arrow.arrow-memory-core dari 11.0.0 hingga 12.0.1
    • org.apache.arrow.arrow-memory-netty dari 11.0.0 hingga 12.0.1
    • org.apache.arrow.arrow-vector dari 11.0.0 hingga 12.0.1
    • org.apache.avro.avro dari 1.11.1 hingga 1.11.2
    • org.apache.avro.avro-ipc dari 1.11.1 hingga 1.11.2
    • org.apache.avro.avro-mapred dari 1.11.1 ke 1.11.2
    • org.apache.commons.commons-compress dari 1.21 hingga 1.23.0
    • org.apache.hadoop.hadoop-client-runtime dari 3.3.4 hingga 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api dari 2.19.0 hingga 2.20.0
    • org.apache.logging.log4j.log4j-api dari 2.19.0 hingga 2.20.0
    • org.apache.logging.log4j.log4j-core dari 2.19.0 hingga 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl dari 2.19.0 hingga 2.20.0
    • org.apache.orc.orc-core dari 1.8.4-shaded-protobuf ke 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce dari 1.8.4-shaded-protobuf ke 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims dari 1.8.4 hingga 1.9.0
    • org.apache.xbean.xbean-asm9-shaded dari 4.22 hingga 4.23
    • org.checkerframework.checker-qual dari 3.19.0 hingga 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet dari 2.36 hingga 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core dari 2.36 hingga 2.40
    • org.glassfish.jersey.core.jersey-client dari 2.36 hingga 2.40
    • org.glassfish.jersey.core.jersey-common dari 2.36 hingga 2.40
    • org.glassfish.jersey.core.jersey-server dari 2.36 hingga 2.40
    • org.glassfish.jersey.inject.jersey-hk2 dari 2.36 hingga 2.40
    • org.javassist.javassist dari 3.25.0-GA ke 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client dari 2.7.4 hingga 2.7.9
    • org.postgresql.postgresql dari 42.3.8 hingga 42.6.0
    • org.roaringbitmap.RoaringBitmap dari 0.9.39 ke 0.9.45
    • org.roaringbitmap.shims dari 0.9.39 hingga 0.9.45
    • org.rocksdb.rocksdbjni dari 7.8.3 hingga 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 dari 2.4.3 hingga 2.9.0
    • org.slf4j.jcl-over-slf4j dari versi 2.0.6 ke versi 2.0.7
    • org.slf4j.jul-to-slf4j dari 2.0.6 ke 2.0.7
    • org.slf4j.slf4j-api dari 2.0.6 hingga 2.0.7
    • org.xerial.snappy.snappy-java dari 1.1.10.1 hingga 1.1.10.3
    • org.yaml.snakeyaml dari 1.33 hingga 2.0

Apache Spark

Databricks Runtime 14.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 13.3 LTS, serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Perbaiki fungsi aes_decrypt dan ln di Connect
  • [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] Perbaiki namedtuples yang diwariskan agar berfungsi dalam createDataFrame
  • [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] CodeGenerator Cache harus spesifik untuk classloader
  • [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Membuat Kueri Streaming berfungsi dengan manajemen artefak Connect
  • [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] Membuat ArrowDeserializer berfungsi dengan kelas yang dihasilkan REPL
  • [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Memperbaiki UDF Python yang dioptimalkan dengan Arrow pada Spark Connect
  • [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Mendukung fungsi protobuf python untuk Spark Connect
  • [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Hapus fungsi uuid/random/chr dari PySpark
  • [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Perbaiki nilai metadata untuk Artefak
  • [SPARK-44822] [DBRRM-464][python][SQL] Membuat UDTF Python secara default non-deterministik
  • [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Refaktor Apache Arrow Python UDTF
  • [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Tambahkan metadata klien yang hilang ke panggilan
  • [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: Objek 'NoneType' tidak memiliki atribut 'message'
  • [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager untuk melacak semua eksekusi
  • [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Nonaktifkan pengoptimalan panah secara default untuk UDTF Python
  • [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Menjalankan ExecuteGrpcResponseSender dalam eksekusi yang dapat disambungkan kembali di utas baru untuk memperbaiki kontrol alur
  • [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Jadikan semua iterator menjadi CloseableIterators
  • [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Coba Lagi ExecutePlan jika permintaan awal tidak menjangkau server di klien Python
  • [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Coba Lagi ExecutePlan jika permintaan awal tidak mencapai server
  • [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Kesalahan yang dipindahkan ke sq/api juga harus menggunakan AnalysisException
  • [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Tambahkan objek Encoders
  • [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Tindak lanjut penghentian kueri streaming saat sesi klien habis untuk Spark Connect
  • [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] Melepaskan Eksekusi di ExecutePlanResponseReattachableIterator setelah memperoleh kesalahan dari server
  • [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Hapus Dependensi Katalis Klien Connect
  • [SPARK-44664] [DBRRM-396][python][CONNECT] Rilis eksekusi saat menutup iterator di klien Python
  • [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Hapus direktori berbasis sesi saat cache sesi terisolasi dikeluarkan
  • [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Jangan biarkan iterator yang menggantung
  • [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Klien Python untuk menghubungkan kembali ke eksekusi yang ada di Spark Connect
  • [SPARK-44637] [SC-138571] Menyinkronkan akses ke ExecuteResponseObserver
  • [SPARK-44538] [SC-138178][connect][SQL] Mengaktifkan kembali Row.jsonValue dan kawan-kawan
  • [SPARK-44421] [SC-138434][spark-44423][CONNECT] Eksekusi yang dapat disambungkan kembali di Spark Connect
  • [SPARK-44418] [SC-136807][python][CONNECT] Tingkatkan protobuf dari 3.19.5 ke 3.20.3
  • [SPARK-44587] [SC-138315][sql][CONNECT] Tingkatkan batas rekursi pemroses protobuf
  • [SPARK-44591] [SC-138292][connect][SQL] Tambahkan jobTags ke SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368][sql] DeduplicateRelations harus mempertahankan metadata Alias saat membuat instans baru
  • [SPARK-44542] [SC-138323][core] Memuat kelas SparkExitCode dengan cepat dalam penangan pengecualian
  • [SPARK-44264] [SC-138143][python] Pengujian End-to-End untuk Deepspeed
  • [SPARK-43997] [SC-138347][connect] Tambahkan dukungan untuk UDF Java
  • [SPARK-44507] [SQL][connect][14.x][14.0] Pindahkan AnalysisException ke sql/api
  • [SPARK-44453] [SC-137013][python] Gunakan difflib untuk menampilkan kesalahan dalam assertDataFrameEqual
  • [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Tambahkan halaman UI Spark untuk Spark Connect
  • [SPARK-44611] [SC-138415][connect] Jangan mengecualikan scala-xml
  • [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Memindahkan inferensi encoder ke sql/api
  • [SPARK-43744] [SC-138289][connect][14.x][14.0] Perbaiki masalah pemuatan kelas cau...
  • [SPARK-44590] [SC-138296][sql][CONNECT] Hapus batas jumlah catatan batch panah untuk SqlCommandResult
  • [SPARK-43968] [SC-138115][python] Meningkatkan pesan kesalahan untuk UDTF Python dengan jumlah output yang salah
  • [SPARK-44432] [SC-138293][ss][CONNECT] Menghentikan kueri streaming saat waktu sesi habis di Spark Connect
  • [SPARK-44584] [SC-138295][connect] Atur informasi client_type untuk AddArtifactsRequest dan ArtifactStatusesRequest di Klien Scala
  • [SPARK-44552] [14.0][sc-138176][SQL] Hapus definisi private object ParseState dari IntervalUtils
  • [SPARK-43660] [SC-136183][connect][PS] Aktifkan resample dengan Spark Connect
  • [SPARK-44287] [SC-136223][sql] Gunakan API PartitionEvaluator di operator RowToColumnarExec & ColumnarToRowExec SQL.
  • [SPARK-39634] [SC-137566][sql] Izinkan pemisahan file dalam kombinasi dengan pembuatan indeks baris
  • [SPARK-44533] [SC-138058][python] Tambahkan dukungan untuk akumulator, siaran, dan file Spark dalam analisis Python UDTF
  • [SPARK-44479] [SC-138146][python] Perbaikan ArrowStreamPandasUDFSerializer untuk menerima DataFrame pandas tanpa kolom
  • [SPARK-44425] [SC-138177][connect] Validasi bahwa sessionId yang disediakan pengguna adalah UUID
  • [SPARK-44535] [SC-138038][connect][SQL] Pindahkan API Streaming yang diperlukan ke sql/api
  • [SPARK-44264] [SC-136523][ml][PYTHON] Tulis Deepspeed Distributed Learning Class DeepspeedTorchDistributor
  • [SPARK-42098] [SC-138164][sql] Memperbaiki ResolveInlineTables yang tidak dapat memproses ekspresi RuntimeReplaceable
  • [SPARK-44060] [SC-135693][sql] Code-gen untuk build side outer shuffled hash join
  • [SPARK-44496] [SC-137682][sql][CONNECT] Pindahkan Antarmuka yang diperlukan oleh SCSC ke sql/api
  • [SPARK-44532] [SC-137893][connect][SQL] Move ArrowUtils to sql/api
  • [SPARK-44413] [SC-137019][python] Mengklarifikasi kesalahan untuk jenis data arg yang tidak didukung dalam assertDataFrameEqual
  • [SPARK-44530] [SC-138036][core][CONNECT] Pindahkan SparkBuildInfo ke common/util
  • [SPARK-36612] [SC-133071][sql] Mendukung gabungan luar kiri dengan membangun dari kiri atau gabungan luar kanan dengan membangun dari kanan dalam gabungan hash yang diacak
  • [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils menghasilkan parameter yang salah untuk jar
  • [SPARK-44449] [SC-137818][connect] Upcasting untuk Deserialisasi Arrow langsung
  • [SPARK-44131] [SC-136346][sql] Tambahkan call_function dan call_udf tidak digunakan lagi untuk API Scala
  • [SPARK-44541] [SQL] Hapus fungsi hasRangeExprAgainstEventTimeCol yang tidak berguna dari UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859][sql] Filter maxRows/maxRowsPerPartition adalah 0 jika kondisi adalah FalseLiteral
  • [SPARK-44540] [SC-137873][ui] Hapus lembar gaya dan file javascript jsonFormatter yang tidak digunakan
  • [SPARK-44466] [SC-137856][sql] Mengecualikan konfigurasi yang dimulai dengan SPARK_DRIVER_PREFIX dan SPARK_EXECUTOR_PREFIX dari modifiedConfigs
  • [SPARK-44477] [SC-137508][sql] Perlakukan TYPE_CHECK_FAILURE_WITH_HINT sebagai subkelas kesalahan
  • [SPARK-44509] [SC-137855][python][CONNECT] Tambahkan API pembatalan pekerjaan yang diatur di klien Spark Connect Python
  • [SPARK-44059] [SC-137023] Menambahkan dukungan penganalisis dari argumen bernama untuk fungsi bawaan
  • [SPARK-38476] [SC-136448][core] Gunakan kelas kesalahan di org.apache.spark.storage
  • [SPARK-44486] [SC-137817][python][CONNECT] Mengimplementasikan fitur PyArrow self_destruct untuk toPandas
  • [SPARK-44361] [SC-137200][sql] Gunakan PARTITIONEvaluator API di MapInBatchExec
  • [SPARK-44510] [SC-137652][ui] Perbarui dataTables ke 1.13.5 dan hapus beberapa file png yang tidak dicapai
  • [SPARK-44503] [SC-137808][sql] Tambahkan tata bahasa SQL untuk klausa PARTITION BY dan ORDER BY setelah argumen TABLE untuk panggilan TVF
  • [SPARK-38477] [SC-136319][core] Gunakan kelas kesalahan di org.apache.spark.shuffle
  • [SPARK-44299] [SC-136088][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567][connect] Spark Connect gangguan halus yang terperinci
  • [SPARK-44380] [SC-137415][sql][PYTHON] Dukungan untuk Python UDTF untuk dianalisis di Python
  • [SPARK-43923] [SC-137020][connect] Posting event listenerBus selama…
  • [SPARK-44303] [SC-136108][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885][ui] Perbaiki kolom HeapHistogram ditampilkan secara tak terduga dengan kotak pilih semua
  • [SPARK-44409] [SC-136975][sql] Tangani char/varchar di Dataset.to agar konsisten dengan orang lain
  • [SPARK-44334] [SC-136576][sql][UI] Status dalam respons REST API untuk DDL/DML yang gagal tanpa ada pekerjaan harus GAGAL daripada SELESAI
  • [SPARK-42309] [SC-136703][sql] Memperkenalkan INCOMPATIBLE_DATA_TO_TABLE dan sub kelas.
  • [SPARK-44367] [SC-137418][sql][UI] Tampilkan pesan kesalahan pada UI untuk setiap kueri yang gagal
  • [SPARK-44474] [SC-137195][connect] Aktifkan kembali "Pengujian mengamati respons" di SparkConnectServiceSuite
  • [SPARK-44320] [SC-136446][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[1067.1150.1220.1265.1277]
  • [SPARK-44310] [SC-136055][connect] Log startup Connect Server harus menampilkan nama host dan port
  • [SPARK-44309] [SC-136193][ui] Tampilkan Tambahkan/Hapus Waktu untuk Eksekutor pada Tab Eksekutor
  • [SPARK-42898] [SC-137556][sql] Menandai bahwa konversi string/tanggal tidak memerlukan zona waktu
  • [SPARK-44475] [SC-137422][sql][CONNECT] Relokasi DataType dan Parser ke sql/api
  • [SPARK-44484] [SC-137562][ss]Tambahkan batchDuration ke metode json StreamingQueryProgress
  • [SPARK-43966] [SC-137559][sql][PYTHON] Mendukung fungsi bernilai tabel non-deterministik
  • [SPARK-44439] [SC-136973][connect][SS]Memperbaiki listListeners untuk hanya mengirim ID-ID kembali kepada klien
  • [SPARK-44341] [SC-137054][sql][PYTHON] Tentukan logika komputasi melalui PARTitionEvaluator API dan gunakan di WindowExec dan WindowInPandasExec
  • [SPARK-43839] [SC-132680][sql] Konversi _LEGACY_ERROR_TEMP_1337 ke UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778][connect][SS]Tambahkan dukungan untuk Pendengar Streaming di Scala untuk Spark Connect
  • [SPARK-44260] [SC-135618][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[1215-1245-2329] & Gunakan checkError() untuk memeriksa Pengecualian di _CharVarchar_Suite
  • [SPARK-42454] [SC-136913][sql] SPJ: merangkum semua parameter terkait SPJ di BatchScanExec
  • [SPARK-44292] [SC-135844][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221][connect] Deserialisasi Panah Langsung
  • [SPARK-44324] [SC-137172][sql][CONNECT] Pindahkan CaseInsensitiveMap ke sql/api
  • [SPARK-44395] [SC-136744][sql] Tambahkan pengujian kembali ke StreamingTableSuite
  • [SPARK-44481] [SC-137401][connect][PYTHON] Jadikan pyspark.sql.is_remote sebuah API
  • [SPARK-44278] [SC-137400][connect] Terapkan pencegat server GRPC yang membersihkan properti lokal utas
  • [SPARK-44264] [SC-137211][ml][PYTHON] Mendukung Pelatihan Fungsi Terdistribusi Menggunakan Deepspeed
  • [SPARK-44430] [SC-136970][sql] Tambahkan penyebab ke AnalysisException ketika opsi tidak valid
  • [SPARK-44264] [SC-137167][ml][PYTHON] Menggabungkan FunctionPickler Ke Dalam TorchDistributor
  • [SPARK-44216] [SC-137046] [PyTHON] Membuat API assertSchemaEqual menjadi publik
  • [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
  • [SPARK-43203] [SC-134528][sql] Pindahkan semua kotak Drop Table ke DataSource V2
  • [SPARK-43755] [SC-137171][connect][MINOR] Buka AdaptiveSparkPlanHelper.allChildren alih-alih menggunakan salinan di MetricGenerator
  • [SPARK-44264] [SC-137187][ml][PYTHON] Merestrukturisasi TorchDistributor Untuk Memungkinkan Penunjuk Fungsi "run_training_on_file" Kustom
  • [SPARK-43755] [SC-136838][connect] Pindahkan eksekusi dari SparkExecutePlanStreamHandler ke utas yang berbeda
  • [SPARK-44411] [SC-137198][sql] Gunakan PARTITIONEvaluator API di ArrowEvalPythonExec dan BatchEvalPythonExec
  • [SPARK-44375] [SC-137197][sql] Gunakan PARTITIONEvaluator API di DebugExec
  • [SPARK-43967] [SC-137057][python] Mendukung UDTF reguler Python dengan nilai pengembalian kosong
  • [SPARK-43915] [SC-134766][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929][python][CONNECT] Dukungan Python UDTF di Spark Connect
  • [SPARK-44154] [SC-137050][sql] Menambahkan lebih banyak pengujian unit ke BitmapExpressionUtilsSuite dan melakukan peningkatan kecil pada Ekspresi Agregat Bitmap
  • [SPARK-44169] [SC-135497][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578][connect][SQL] Remove StructType.toAttributes
  • [SPARK-43964] [SC-136676][sql][PYTHON] Mendukung UDTF Python yang dioptimalkan panah
  • [SPARK-44321] [SC-136308][connect] Decouple ParseException dari AnalysisException
  • [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Mengaktifkan kembali test_artifact dengan perubahan yang relevan
  • [SPARK-44145] [SC-136698][sql] Callback saat siap dieksekusi
  • [SPARK-43983] [SC-136404][python][ML][connect] Aktifkan pengujian estimator validasi silang
  • [SPARK-44399] [SC-136669][pyhton][CONNECT] Impor SparkSession di UDF Python hanya ketika useArrow tidak ada
  • [SPARK-43631] [SC-135300][connect][PS] Memungkinkan Series.interpolate dengan Spark Connect
  • [SPARK-44374] [SC-136544][python][ML] Tambahkan kode contoh untuk ML terdistribusi untuk spark connect
  • [SPARK-44282] [SC-135948][connect] Siapkan penguraian DataType untuk digunakan di Klien Spark Connect Scala
  • [SPARK-44052] [SC-134469][connect][PS] Tambahkan util untuk mendapatkan kelas Kolom atau DataFrame yang tepat untuk Spark Connect.
  • [SPARK-43983] [SC-136404][python][ML][connect] Implementasikan estimator untuk validasi silang
  • [SPARK-44290] [SC-136300][connect] File dan arsip berbasis sesi di Spark Connect
  • [SPARK-43710] [SC-134860][ps][CONNECT] functions.date_part Dukungan untuk Spark Connect
  • [SPARK-44036] [SC-134036][connect][PS] Cleanup & mengonsolidasikan tiket untuk menyederhanakan tugas.
  • [SPARK-44150] [SC-135790][python][CONNECT] Transmisi Panah Eksplisit untuk jenis pengembalian yang tidak cocok di Arrow Python UDF
  • [SPARK-43903] [SC-134754][python][CONNECT] Tingkatkan dukungan input ArrayType di Arrow Python UDF
  • [SPARK-44250] [SC-135819][ml][PYTHON][connect] Mengimplementasikan evaluator klasifikasi
  • [SPARK-44255] [SC-135704][sql] Relokasi StorageLevel ke common/utils
  • [SPARK-42169] [SC-135735] [SQL] Menerapkan pembuatan kode untuk fungsi to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][PYTHON] Refactor PythonUDTFRunner untuk mengirim jenis pengembaliannya secara terpisah
  • [SPARK-43353] [SC-132734][python] Memigrasikan kesalahan sesi yang tersisa ke kelas kesalahan
  • [SPARK-44133] [SC-134795][python] Upgrade MyPy dari 0,920 ke 0,982
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde dalam format JSON
  • [SPARK-43353] Batalkan "[SC-132734][es-729763][PYTHON] Memigrasikan kesalahan sesi yang tersisa ke kelas kesalahan"
  • [SPARK-44100] [SC-134576][ml][CONNECT][python] Pindahkan namespace dari pyspark.mlv2 ke pyspark.ml.connect
  • [SPARK-44220] [SC-135484][sql] Pindahkan StringConcat ke sql/api
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] Tambahkan pola opsional untuk Catalog.listFunctions
  • [SPARK-43982] [SC-134529][ml][PYTHON][connect] Mengimplementasikan estimator pipeline untuk ML pada Spark Connect
  • [SPARK-43888] [SC-132893][core] Relokasi Pengelogan ke common/utils
  • [SPARK-42941] Batalkan perubahan “[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde dalam format JSON”
  • [SPARK-43624] [SC-134557][ps][CONNECT] Tambahkan EWM ke SparkConnectPlanner.
  • [SPARK-43981] [SC-134137][python][ML] Implementasi penyimpanan / pemuatan dasar untuk ML pada spark connect
  • [SPARK-43205] [SC-133371][sql] perbaiki SQLQueryTestSuite
  • [SPARK-43376] Batalkan "[SC-130433][sql] Tingkatkan penggunaan kembali subkueri dengan cache tabel"
  • [SPARK-44040] [SC-134366][sql] Perbaiki statistik komputasi saat simpul AggregateExec di atas QueryStageExec
  • [SPARK-43919] [SC-133374][sql] Memisahkan fungsionalitas JSON dari Row
  • [SPARK-42618] [SC-134433][python][PS] Peringatan untuk perubahan perilaku terkait panda dalam rilis utama berikutnya
  • [SPARK-43893] [SC-133381][python][CONNECT] Dukungan tipe data non-atomik di UDF Python yang teroptimasi Arrow
  • [SPARK-43627] [SC-134290][spark-43626][PS][connect] Aktifkan pyspark.pandas.spark.functions.{kurt, skew} di Spark Connect.
  • [SPARK-43798] [SC-133990][sql][PYTHON] Dukungan Python fungsi tabel yang ditentukan pengguna
  • [SPARK-43616] [SC-133849][ps][CONNECT] Aktifkan pyspark.pandas.spark.functions.mode di Spark Connect
  • [SPARK-43133] [SC-133728] Dukungan Scala Client DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Fix (NullOps|NumOps).(eq|ne) for Spark Connect.
  • [SPARK-43645] [SC-134151][spark-43622][PS][connect] Aktifkan pyspark.pandas.spark.functions.{var, stddev} di Spark Connect
  • [SPARK-43617] [SC-133893][ps][CONNECT] Aktifkan pyspark.pandas.spark.functions.product di Spark Connect
  • [SPARK-43610] [SC-133832][connect][PS] Enable InternalFrame.attach_distributed_column in Spark Connect.
  • [SPARK-43621] [SC-133852][ps][CONNECT] Aktifkan pyspark.pandas.spark.functions.repeat di Spark Connect
  • [SPARK-43921] [SC-133461][protobuf] Menghasilkan file deskriptor Protobuf pada waktu build
  • [SPARK-43613] [SC-133727][ps][CONNECT] Aktifkan pyspark.pandas.spark.functions.covar di Spark Connect
  • [SPARK-43376] [SC-130433][sql] Meningkatkan penggunaan kembali subkueri dengan cache tabel
  • [SPARK-43612] [SC-132011][connect][PYTHON] Implement SparkSession.addArtifact(s) pada klien Python
  • [SPARK-43920] [SC-133611][sql][CONNECT] Buat modul sql/api
  • [SPARK-43097] [SC-133372][ml] Estimator regresi logistik Pyspark ML baru yang diterapkan di atas distributor
  • [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Make MLv2 (ML on spark connect) mendukung pandas >= 2.0
  • [SPARK-43024] [SC-132716][python] Tingkatkan pandas ke 2.0.0
  • [SPARK-43881] [SC-133140][sql][PYTHON][connect] Tambahkan pola opsional untuk Catalog.listDatabases
  • [SPARK-39281] [SC-131422][sql] Mempercepat inferensi jenis Tanda Waktu dengan format warisan dalam sumber data JSON/CSV
  • [SPARK-43792] [SC-132887][sql][PYTHON][connect] Tambahkan pola opsional untuk Catalog.listCatalogs
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378][sql][PYTHON] Mendukung jenis tanda waktu berlapis
  • [SPARK-43353] [SC-132734][python] Memigrasikan kesalahan sesi yang tersisa ke kelas kesalahan
  • [SPARK-43304] [SC-129969][connect][PYTHON] Migrasikan NotImplementedError ke PySparkNotImplementedError
  • [SPARK-43516] [SC-132202][ml][PYTHON][connect] Antarmuka dasar sparkML untuk spark3.5: estimator/transformer/model/evaluator
  • [SPARK-43128] Membatalkan “[SC-131628][connect][SS] Membuat recentProgress dan lastProgress mengembalikan StreamingQueryProgress konsisten dengan Api Scala asli”
  • [SPARK-43543] [SC-131839][python] Perbaiki perilaku MapType berlapis di Pandas UDF
  • [SPARK-38469] [SC-131425][core] Gunakan kelas kesalahan di org.apache.spark.network
  • [SPARK-43309] [SC-129746][spark-38461][CORE] Perpanjang INTERNAL_ERROR dengan kategori dan tambahkan kelas kesalahan INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653] Memindahkan kerangka kerja Kesalahan ke modul utils umum
  • [SPARK-43440] [SC-131229][python][CONNECT] Mendukung pendaftaran Python UDF yang dioptimalkan dengan Arrow
  • [SPARK-43528] [SC-131531][sql][PYTHON] Mendukung nama bidang duplikat di createDataFrame dengan pandas DataFrame
  • [SPARK-43412] [SC-130990][python][CONNECT] Memperkenalkan SQL_ARROW_BATCHED_UDF EvalType untuk UDF Python yang dioptimalkan panah
  • [SPARK-40912] [SC-130986][core]Overhead Pengecualian dalam KryoDeserializationStream
  • [SPARK-39280] [SC-131206][sql] Mempercepat inferensi jenis Tanda Waktu dengan format yang disediakan pengguna dalam sumber data JSON/CSV
  • [SPARK-43473] [SC-131372][python] Mendukung tipe struct dalam createDataFrame dari pandas DataFrame
  • [SPARK-43443] [SC-131024][sql] Tambahkan tolok ukur untuk inferensi jenis Tanda Waktu saat menggunakan nilai yang tidak valid
  • [SPARK-41532] [SC-130523][connect][CLIENT] Tambahkan pengecekan untuk operasi yang melibatkan beberapa data frame
  • [SPARK-43296] [SC-130627][connect][PYTHON] Memigrasikan kesalahan sesi Spark Connect ke kelas kesalahan
  • [SPARK-43324] [SC-130455][sql] Menangani perintah UPDATE untuk sumber berbasis delta
  • [SPARK-43347] [SC-130148][python] Hapus Dukungan Python 3.7
  • [SPARK-43292] [SC-130525][core][CONNECT] Pindahkan ExecutorClassLoader ke modul core dan sederhanakan Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Tambahkan pemuat data distributor obor yang memuat data dari data partisi spark
  • [SPARK-43331] [SC-130061][connect] Tambahkan Spark Connect di SparkSession.interruptAll
  • [SPARK-43306] [SC-130320][python] Migrasikan ValueError dari jenis Spark SQL ke kelas kesalahan
  • [SPARK-43261] [SC-129674][python] Migrasikan TypeError dari jenis Spark SQL ke kelas kesalahan.
  • [SPARK-42992] [SC-129465][python] Perkenalkan PySparkRuntimeError
  • [SPARK-16484] [SC-129975][sql] Tambahkan dukungan untuk Datasketches HllSketch
  • [SPARK-43165] [SC-128823][sql] Memindahkan canWrite ke DataTypeUtils
  • [SPARK-43082] [SC-129112][connect][PYTHON] UDF Python yang dioptimalkan oleh Apache Arrow di Spark Connect
  • [SPARK-43084] [SC-128654] [SS] Menambahkan dukungan applyInPandasWithState untuk spark connect
  • [SPARK-42657] [SC-128621][connect] Dukungan untuk menemukan dan mentransfer file kelas REPL sisi klien ke server sebagai artefak
  • [SPARK-43098] [SC-77059][sql] Perbaiki bug COUNT kebenaran saat subkueri skalar memiliki klausa GROUP BY
  • [SPARK-42884] [SC-126662][connect] Tambahkan integrasi Amonite REPL
  • [SPARK-42994] [SC-128333][ml][CONNECT] PyTorch Distributor mendukung Mode Lokal
  • [SPARK-41498] [SC-125343]Kembalikan " Sebarkan metadata melalui Union"
  • [SPARK-42993] [SC-127829][ml][CONNECT] Membuat Distributor PyTorch kompatibel dengan Spark Connect
  • [SPARK-42683] [LC-75] Ganti nama kolom metadata yang bertentangan secara otomatis
  • [SPARK-42874] [SC-126442][sql] Aktifkan kerangka kerja pengujian file emas baru untuk analisis untuk semua file input
  • [SPARK-42779] [SC-126042][sql] Izinkan penulisan V2 menunjukkan ukuran partisi pemindahan berdasarkan saran
  • [SPARK-42891] [SC-126458][connect][PYTHON] Implement CoGrouped Map API
  • [SPARK-42791] [SC-126134][sql] Buat kerangka kerja pengujian file emas baru untuk analisis
  • [SPARK-42615] [SC-124237][connect][PYTHON] Refaktor RPC AnalyzePlan dan tambahkan session.version
  • [SPARK-41302] Batalkan "[ALL TESTS][sc-122423][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40770] [SC-122652][python] Peningkatan pesan kesalahan pada applyInPandas terkait ketidakcocokan skema
  • [SPARK-40770] Batalkan “[ALL TESTS][sc-122652][PYTHON] Peningkatan pesan kesalahan untuk applyInPandas pada ketidakcocokan skema”
  • [SPARK-42398] [SC-123500][sql] Memperbaiki nilai kolom default antarmuka DS v2
  • [SPARK-40770] [ALL TESTS][sc-122652][PYTHON] Peningkatan pesan kesalahan untuk applyInPandas terkait ketidakcocokan skema
  • [SPARK-40770] Membatalkan perubahan “[SC-122652][python] Peningkatan pesan kesalahan dalam applyInPandas untuk ketidakcocokan skema"
  • [SPARK-40770] [SC-122652][python] Peningkatan pesan kesalahan pada applyInPandas terkait ketidakcocokan skema
  • [SPARK-42038] [ALL TESTS] Kembali "Kembalikan "[SC-122533][sql] SPJ: Mendukung distribusi terkluster sebagian""
  • [SPARK-42038] Batalkan "[SC-122533][sql] SPJ: Mendukung distribusi terkluster sebagian"
  • [SPARK-42038] [SC-122533][sql] SPJ: Mendukung distribusi berkluster sebagian
  • [SPARK-40550] [SC-120989][sql] DataSource V2: Menangani perintah DELETE untuk sumber berbasis delta
  • [SPARK-40770] Membatalkan perubahan “[SC-122652][python] Peningkatan pesan kesalahan dalam applyInPandas untuk ketidakcocokan skema"
  • [SPARK-40770] [SC-122652][python] Peningkatan pesan kesalahan pada applyInPandas terkait ketidakcocokan skema
  • [SPARK-41302] Batalkan “[SC-122423][sql] Tetapkan nama ke _LEGACY_ERROR_TEMP_1185”
  • [SPARK-40550] Membatalkan "[SC-120989][sql] DataSource V2: Mengelola perintah DELETE untuk sumber berbasis delta"
  • [SPARK-42123] Balikkan "[SC-121453][sql] Sertakan nilai default kolom dalam DESCRIBE dan output SHOW CREATE TABLE"
  • [SPARK-42146] [SC-121172][core] Memperbaiki Utils#setStringField agar build maven berhasil saat modul sql menggunakan metode ini
  • [SPARK-42119] Membatalkan “[SC-121342][sql] Tambahkan fungsi bernilai tabel bawaan sebaris dan inline_outer”

Sorotan

  • Perbaiki aes_decrypt dan lnfungsi di Connect SPARK-45109
  • Memperbaiki tuple bernama yang diwariskan agar berfungsi di createDataFrame SPARK-44980
  • Cache CodeGenerator sekarang bersifat spesifik untuk classloader [SPARK-44795]
  • Ditambahkan SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
  • Membuat Kueri Streaming berfungsi dengan manajemen artefak Connect [SPARK-44794]
  • ArrowDeserializer bekerja dengan kelas yang dihasilkan oleh REPL [SPARK-44791]
  • Memperbaiki UDF Python yang dioptimalkan Panah pada Spark Connect [SPARK-44876]
  • Dukungan klien Scala dan Go di Spark Connect SPARK-42554SPARK-43351
  • Dukungan ML terdistribusi berbasis PyTorch untuk Spark Connect SPARK-42471
  • Dukungan Streaming Terstruktur untuk Spark Connect di Python dan Scala SPARK-42938
  • Dukungan API Pandas untuk Python Spark Connect Client SPARK-42497
  • Memperkenalkan Arrow Python UDF SPARK-40307
  • Mendukung Python fungsi tabel yang ditentukan pengguna SPARK-43798
  • Memigrasikan kesalahan PySpark ke dalam kelas kesalahan SPARK-42986
  • PySpark Test Framework SPARK-44042
  • Menambahkan dukungan untuk Datasketches HllSketch SPARK-16484
  • Peningkatan Fungsi SQL Terbawakan SPARK-41231
  • Klausa IDENTIFIER SPARK-43205
  • Tambahkan fungsi SQL ke Scala, Python, dan R API SPARK-43907
  • Menambahkan dukungan argumen bernama untuk fungsi SQL SPARK-43922
  • Hindari pengoperasian ulang tugas yang tidak perlu pada eksekutor yang sudah dinonaktifkan dan hilang, jika data acak telah dimigrasikan SPARK-41469
  • ML terdistribusi <> spark connect SPARK-42471
  • DeepSpeed Distributor SPARK-44264
  • Menerapkan changelog checkpointing untuk penyimpanan status RocksDB SPARK-43421
  • Memperkenalkan propagasi tanda air di antara operator SPARK-42376
  • Memperkenalkan dropDuplicatesWithinWatermark SPARK-42931
  • Penyempurnaan manajemen memori pengelola penyimpanan status RocksDB SPARK-43311

Spark Connect

  • Refaktorisasi modul SQL menjadi SQL dan SQL-API untuk menghasilkan satu set dependensi minimum yang dapat dibagikan antara klien Scala Spark Connect serta Spark, dan menghindari penarikan semua dependensi transitif Spark. SPARK-44273
  • Memperkenalkan klien Scala untuk Spark Connect SPARK-42554
  • Dukungan API Pandas untuk Python Spark Connect Client SPARK-42497
  • Dukungan ML terdistribusi berbasis PyTorch untuk Spark Connect SPARK-42471
  • Dukungan Streaming Terstruktur untuk Spark Connect di Python dan Scala SPARK-42938
  • Versi awal klien Go SPARK-43351
  • Banyak peningkatan kompatibilitas antara Spark asli dan klien Spark Connect di seluruh Python dan Scala
  • Peningkatan debugabilitas dan penanganan permintaan untuk aplikasi klien (pemrosesan asinkron, percobaan ulang, kueri berumur panjang)

Spark SQL

Features

  • Tambahkan kolom metadata untuk blok file berupa posisi mulai dan panjang SPARK-42423
  • Mendukung parameter posisi dalam Scala/Java sql() SPARK-44066
  • Menambahkan dukungan parameter bernama di parser untuk panggilan fungsi SPARK-43922
  • Mendukung SELECT DEFAULT dengan ORDER BY, LIMIT, OFFSET untuk relasi sumber INSERT SPARK-43071
  • Menambahkan tata bahasa SQL untuk klausul PARTITION BY dan ORDER BY setelah argumen TABLE untuk panggilan TVF SPARK-44503
  • Sertakan nilai default kolom dalam DESCRIBE dan output SHOW CREATE TABLE SPARK-42123
  • Menambahkan pola opsional untuk Catalog.listCatalogs SPARK-43792
  • Menambahkan pola opsional untuk Catalog.listDatabases SPARK-43881
  • Panggilan balik saat siap untuk eksekusi SPARK-44145
  • Dukungan pernyataan "Insert By Name" SPARK-42750
  • Menambahkan call_function untuk Scala API SPARK-44131
  • Alias kolom turunan yang stabil SPARK-40822
  • Mendukung ekspresi konstanta umum sebagai nilai CREATE/REPLACE TABLE OPTIONS SPARK-43529
  • Mendukung subkueri dengan korelasi melalui INTERSECT/EXCEPT SPARK-36124
  • Klausa IDENTIFIER SPARK-43205
  • MODE ANSI: Conv harus mengembalikan kesalahan jika terjadi overflow pada konversi internal SPARK-42427

Functions

  • Menambahkan dukungan untuk Datasketches HllSketch SPARK-16484
  • Mendukung mode CBC dengan aes_encrypt()/aes_decrypt() SPARK-43038
  • Mendukung aturan pengurai argumen TABLE untuk TableValuedFunction SPARK-44200
  • Menerapkan fungsi bitmap SPARK-44154
  • Menambahkan fungsi try_aes_decrypt() SPARK-42701
  • array_insert harus gagal pada indeks 0 SPARK-43011
  • Menambahkan alias to_varchar untuk to_char SPARK-43815
  • Fungsi tingkat tinggi: implementasi array_compact SPARK-41235
  • Menambahkan dukungan penganalisis argumen bernama untuk fungsi bawaan SPARK-44059
  • Tambahkan NULL untuk INSERT pada daftar kolom yang ditentukan pengguna yang lebih sedikit daripada tabel target SPARK-42521.
  • Menambahkan dukungan untuk IV aes_encrypt dan AAD SPARK-43290
  • Fungsi DECODE menghasilkan hasil yang salah ketika diberikan NULL SPARK-41668
  • Mengaktifkan udf 'luhn_check' SPARK-42191
  • Mendukung resolusi alias kolom lateral implisit pada Agregat SPARK-41631
  • Mendukung alias implisit untuk kolom lateral dalam kueri dengan Window SPARK-42217
  • Menambahkan alias fungsi 3-args DATE_ADD dan DATE_DIFF SPARK-43492

Sumber Data

  • Dukungan Char/Varchar untuk JDBC Catalog SPARK-42904
  • Mendukung Pengambilan Kata Kunci SQL Secara Dinamis Melalui JDBC API dan TVF SPARK-43119
  • DataSource V2: Menangani perintah MERGE untuk sumber berbasis delta SPARK-43885
  • DataSource V2: Menangani perintah MERGE untuk sumber berbasis grup SPARK-43963
  • DataSource V2: Menangani perintah UPDATE untuk sumber berbasis grup SPARK-43975
  • DataSource V2: Mengizinkan mewakili pembaruan sebagai penghapusan dan penyisipan SPARK-43775
  • Perbolehkan dialek jdbc untuk mengambil alih kueri yang digunakan untuk membuat tabel SPARK-41516
  • SPJ: Mendukung distribusi terkluster sebagian SPARK-42038
  • DSv2 memungkinkan CTAS/RTAS untuk mencadangkan skema ketidaknullan SPARK-43390
  • Menambahkan spark.sql.files.maxPartitionNum SPARK-44021
  • Menangani perintah UPDATE untuk sumber berbasis delta SPARK-43324
  • Izinkan penulisan V2 untuk menunjukkan ukuran partisi shuffle saran SPARK-42779
  • Mendukung codec kompresi lz4raw untuk Parquet SPARK-43273
  • Avro: penulisan serikat kompleks SPARK-25050
  • Mempercepat inferensi jenis Tanda Waktu dengan format yang disediakan pengguna dalam sumber data JSON/CSV SPARK-39280
  • Avro untuk mendukung tipe desimal kustom yang berbasis Long SPARK-43901
  • Hindari pengacakan di Storage-Partitioned Join saat kunci partisi tidak cocok, tetapi ekspresi gabungan tetap kompatibel. SPARK-41413
  • Mengubah tipe biner menjadi tipe data yang tidak didukung dalam format CSV SPARK-42237
  • Izinkan Avro mengonversi jenis union ke SQL dengan nama bidang stabil dengan tipe SPARK-43333
  • Mempercepat inferensi jenis Tanggal/Waktu dengan format warisan pada sumber data JSON/CSV SPARK-39281

Pengoptimalan Kueri

  • Dukungan eliminasi subekspresi untuk ekspresi pintasan SPARK-42815
  • Meningkatkan estimasi statistik penggabungan jika satu sisi dapat mempertahankan keunikan SPARK-39851
  • Perkenalkan batas grup pada jendela untuk filter berbasis peringkat guna mengoptimalkan komputasi top-k SPARK-37099
  • Memperbaiki perilaku null IN (daftar kosong) dalam aturan pengoptimalan SPARK-44431
  • Menyimpulkan dan mendorong batas jendela melalui jendela jika partitionSpec kosong SPARK-41171
  • Hapus gabungan luar jika semuanya merupakan fungsi agregat yang berbeda SPARK-42583
  • Ciutkan dua jendela yang berdekatan dengan partisi/urutan yang sama dalam subkueri SPARK-42525
  • Mendorong batas bawah melalui Python UDF SPARK-42115
  • Mengoptimalkan urutan pemfilteran predikat SPARK-40045

Pembuatan Kode dan Eksekusi Kueri

  • Filter runtime harus mendukung sisi gabungan acak multi-tingkat sebagai sisi pembuatan filter SPARK-41674
  • Dukungan Codegen untuk HiveSimpleUDF SPARK-42052
  • Dukungan Codegen untuk HiveGenericUDF SPARK-42051
  • Dukungan Codegen untuk build side pada outer shuffled hash join SPARK-44060
  • Menerapkan pembuatan kode untuk fungsi to_csv (StructsToCsv) SPARK-42169
  • Menyediakan dukungan AQE untuk InMemoryTableScanExec SPARK-42101
  • Mendukung build join outer kiri atau kanan, dan build join outer kanan dalam join hash yang diacak SPARK-36612
  • Hormatilah RequiresDistributionAndOrdering dalam CTAS/RTAS SPARK-43088
  • Wadah coalesce dalam gabungan diterapkan pada sisi streaming gabungan siaran SPARK-43107
  • Atur nullable dengan benar pada coalesced join key pada full outer join USING SPARK-44251
  • Memperbaiki nullabilitas ListQuery IN subkueri SPARK-43413

Perubahan penting lainnya

PySpark

Features

  • Mendukung parameter posisi dalam Python sql() SPARK-44140
  • Mendukung SQL berparameter oleh sql() SPARK-41666
  • Mendukung Python fungsi tabel yang ditentukan pengguna SPARK-43797
  • Dukungan untuk mengatur eksekusi Python untuk API fungsi UDF dan fungsi pandas pada pekerja selama runtime SPARK-43574
  • Menambahkan DataFrame.offset ke PySpark SPARK-43213
  • Terapkan dir() di pyspark.sql.dataframe.DataFrame untuk menyertakan kolom SPARK-43270
  • Tambahkan opsi untuk menggunakan vektor lebar variabel besar untuk operasi UDF arrow SPARK-39979
  • Membuat mapInPandas / mapInArrow mendukung eksekusi dengan mode barier SPARK-42896
  • Menambahkan API JobTag ke PySpark SparkContext SPARK-44194
  • Dukungan untuk Python UDTF untuk dianalisis dalam Python SPARK-44380
  • Mengekspos TimestampNTZType di pyspark.sql.type SPARK-43759
  • Mendukung jenis tanda waktu berlapis SPARK-43545
  • Mendukung UserDefinedType pada createDataFrame dari pandas DataFrame dan toPandas [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
  • Menambahkan opsi biner deskriptor ke Pyspark Protobuf API SPARK-43799
  • Terima tuple generik sebagai petunjuk pengetikan Pandas UDF SPARK-43886
  • Tambahkan fungsi array_prepend SPARK-41233
  • Tambahkan fungsi utilitas assertDataFrameEqual SPARK-44061
  • Mendukung UDTF Python yang dioptimalkan dengan Arrow SPARK-43964
  • Izinkan presisi kustom untuk kesetaraan aproksimasi fp SPARK-44217
  • Menjadikan API assertSchemaEqual publik SPARK-44216
  • Mendukung fill_value untuk ps. Seri SPARK-42094
  • Mendukung tipe struct di createDataFrame dari pandas DataFrame SPARK-43473

Perubahan penting lainnya

  • Tambahkan dukungan lengkapi otomatis untuk df[|] di pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • Menghentikan & menghapus API yang akan dihapus di pandas 2.0 [SPARK-42593]
  • Buat Python tab pertama untuk contoh kode - Panduan Spark SQL, DataFrame, dan Himpunan Data SPARK-42493
  • Memperbarui contoh kode dokumentasi Spark yang tersisa untuk menampilkan Python secara default SPARK-42642
  • Gunakan nama bidang yang telah dideduplikasi saat membuat Arrow RecordBatch [SPARK-41971]
  • Mendukung nama kolom duplikat di createDataFrame dengan pandas DataFrame [SPARK-43528]
  • Izinkan parameter kolom saat membuat DataFrame dengan Seri [SPARK-42194]

Core

  • Jadwalkan mergeFinalize saat melakukan push untuk menggabungkan shuffleMapStage sedang mencoba ulang tetapi tidak ada tugas yang sedang berjalan dalam [SPARK-40082].
  • Memperkenalkan PartitionEvaluator untuk eksekusi operator SQL SPARK-43061
  • Izinkan ShuffleDriverComponent untuk mendeklarasikan apakah data shuffle disimpan dengan andal SPARK-42689
  • Menambahkan batasan upaya maks untuk tahapan untuk menghindari potensi percobaan ulang tak terbatas SPARK-42577
  • Mendukung konfigurasi level log dengan conf Spark statis SPARK-43782
  • Mengoptimalkan PercentileHeap SPARK-42528
  • Tambahkan argumen alasan ke TaskScheduler.cancelTasks SPARK-42602
  • Hindari pengoperasian ulang tugas yang tidak perlu pada eksekutor yang sudah dinonaktifkan dan hilang, jika data acak telah dimigrasikan SPARK-41469
  • Memperbaiki perhitungan kurang pada akumulator dalam kasus tugas pengulangan dengan cache RDD SPARK-41497
  • Gunakan RocksDB untuk spark.history.store.hybridStore.diskBackend secara default SPARK-42277
  • Pembungkus NonFateSharingCache untuk Guava Cache SPARK-43300
  • Meningkatkan performa MapOutputTracker.updateMapOutput SPARK-43043
  • Mengizinkan aplikasi mengontrol apakah metadata mereka disimpan di basis data oleh External Shuffle Service SPARK-43179
  • Menambahkan variabel env SPARK_DRIVER_POD_IP ke pod pelaksana SPARK-42769
  • Memasang peta konfigurasi hadoop pada pod eksekutor SPARK-43504

Streaming Terstruktur

  • Menambahkan dukungan untuk melacak penggunaan memori blok yang disematkan untuk keadaan penyimpanan RocksDB SPARK-43120
  • Tambahkan peningkatan manajemen memori untuk penyedia penyimpanan status RocksDB SPARK-43311
  • Memperkenalkan dropDuplicatesWithinWatermark SPARK-42931
  • Memperkenalkan callback baru onQueryIdle() ke StreamingQueryListener SPARK-43183
  • Tambahkan opsi untuk melewati koordinator komit sebagai bagian dari API StreamingWrite untuk sumber/sink DSv2 SPARK-42968
  • Memperkenalkan panggilan balik baru "onQueryIdle" ke StreamingQueryListener SPARK-43183
  • Menerapkan Titik Pemeriksaan berbasis Changelog untuk RocksDB State Store Provider SPARK-43421
  • Tambahkan dukungan untuk WRITE_FLUSH_BYTES untuk RocksDB yang digunakan dalam operator stateful streaming SPARK-42792
  • Tambahkan dukungan untuk pengaturan max_write_buffer_number dan write_buffer_size untuk RocksDB yang digunakan dalam streaming SPARK-42819
  • Akuisisi kunci StateStore RocksDB seharusnya terjadi setelah memperoleh iterator input dari inputRDD SPARK-42566
  • Memperkenalkan propagasi tanda air di antara operator SPARK-42376
  • Membersihkan file sst dan log yatim di direktori titik pemeriksaan RocksDB SPARK-42353
  • Perluas QueryTerminatedEvent untuk berisi kelas kesalahan jika ada dalam pengecualian SPARK-43482

ML

  • Mendukung Pelatihan Fungsi Terdistribusi Menggunakan Deepspeed SPARK-44264
  • Antarmuka dasar sparkML untuk spark3.5: estimator/transformer/model/evaluator SPARK-43516
  • Membuat MLv2 (ML pada spark connect) mendukung pandas >= 2.0 SPARK-43783
  • Memperbarui antarmuka Transformer MLv2 SPARK-43516
  • Estimator regresi logistik Pyspark ML baru diterapkan di atas distributor SPARK-43097
  • Tambahkan Classifier.getNumClasses kembali SPARK-42526
  • Membuat Kelas Pembelajaran Terdistribusi Deepspeed DeepspeedTorchDistributor SPARK-44264
  • Implementasi penyimpanan/ pemuatan dasar untuk ML pada spark connect SPARK-43981
  • Meningkatkan proses penyimpanan model regresi logistik SPARK-43097
  • Menerapkan estimator alur untuk ML pada spark connect SPARK-43982
  • Menerapkan estimator validator silang SPARK-43983
  • Menerapkan evaluator klasifikasi SPARK-44250
  • Membuat PyTorch Distributor kompatibel dengan Spark Connect SPARK-42993

Antarmuka Pengguna

Pengembangan dan Lainnya

Penghapusan, Perubahan Perilaku, dan Pemusnahan

Penghapusan yang Akan Datang

Fitur berikut akan dihapus dalam rilis utama Spark berikutnya

  • Dukungan untuk Java 8 dan Java 11, dan versi Java minimal yang didukung akan Java 17
  • Dukungan untuk Scala 2.12, dan versi Scala yang didukung minimal adalah 2.13

Panduan Migrasi

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver terbaru dan lakukan peningkatan (unduh ODBC, unduh JDBC).

Lingkungan sistem

  • Sistem Operasi: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Danau Delta: 2.4.0

Perpustakaan Python terinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anyio 3.5.0 argon2-cffi 21.3.0 Pengikatan Argon2-cffi 21.2.0
asttoken 2.0.5 atribut 22.1.0 panggilan balik 0.2.0
beautifulsoup4 4.11.1 hitam 22.6.0 pemutih 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
sertifikat 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 klik 8.0.4 comm 0.1.2
Contourpy 1.0.5 Kriptografi 39.0.1 pengendara sepeda 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 penghias 5.1.1 defusedxml 0.7.1
distlib 0.3.7 konversi docstring ke markdown 0.11 titik masuk 0,4
Mengeksekusi 0.8.3 gambaran umum aspek 1.1.1 fastjsonschema 2.18.0
filelock 3.12.2 alat pengelola font 4.25.0 Pustaka runtime GCC 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 IDNA 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney, kendaraan umum khas Filipina 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client (klien Jupyter) 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
gantungan kunci 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient (klien layanan web yang menggunakan RESTful) 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline (modul untuk menampilkan grafik secara inline) 0.1.6
Mccabe 0.7.0 penyetelan salah 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 buku catatan 6.5.2 buku_catatan_shim 0.2.2
numpy (perpustakaan Python untuk operasi numerik) 1.23.5 oauthlib 3.2.0 pengemasan 22.0
Panda 1.5.3 Pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 kambing hitam 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Bantal 9.4.0 pipa 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 tali 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 Seaborn (perpustakaan Python untuk visualisasi data) 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 Enam 1.16.0
sniffio 1.2.0 alat penyaring sup 2.3.2.post1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels (paket Python untuk pemodelan statistik) 0.13.5 kegigihan 8.1.0
selesai 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
Tokenisasi-RT 4.2.1 tomli 2.0.1 Tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
pembaruan otomatis tanpa pengawasan 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 pengkodean web 0.5.1
websocket-klien 0.58.0 apa itu patch 1.0.2 wheel 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

Perpustakaan R yang terinstal

Pustaka R diinstal dari cuplikan CRAN Posit Package Manager pada 2023-07-13.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anak panah 12.0.1 askpass 1.1 pastikanbahwa 0.2.1
pemindahan fitur ke versi lama (backports) 1.4.1 dasar 4.3.1 base64enc 0.1-3
sedikit 4.0.5 bit-64 4.0.5 blob 1.2.4
sepatu bot 1.3-28 menyeduh 1,0-8 Brio 1.1.3
sapu 1.0.5 bslib 0.5.0 cashmere 1.0.8
layanan panggilan 3.7.3 caret 6.0-94 cellranger 1.1.0
kronogram 2.3-61 class 7.3-22 CLI 3.6.1
pemangkas 0.8.0 jam dinding 0.7.0 kluster 2.1.4
codetools 0.2-19 ruang warna 2.1-0 commonmark 1.9.0
pengkompilasi 4.3.1 config 0.3.1 Bimbang 1.2.0
cpp11 0.4.4 kriyon 1.5.2 kredensial 1.3.2
melengkung 5.0.1 data.table (sebuah paket untuk pengolahan data table) 1.14.8 kumpulan data 4.3.1
DBI 1.1.3 dbplyr 2.3.3 deskripsi 1.4.2
devtools 2.4.5 bagan 1.6.5 diffobj 0.3.5
digest 0.6.33 pencahayaan turun 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 elipsis 0.3.2
menilai 0,21% penggemar 1.0.4 warna-warna 2.1.1
pemetaan cepat 1.1.1 fontawesome 0.5.1 untuk kucing 1.0.0
foreach (pengulangan untuk setiap elemen) 1.5.2 asing 0.8-82 bengkel pandai besi 0.2.0
fs 1.6.2 masa depan 1.33.0 menerapkan di masa depan 1.11.0
kumur 1.5.1 obat generik 0.1.3 Gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 variabel global 0.16.2 lem 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
Grafik 4.3.1 grDevices 4.3.1 kisi 4.3.1
gridExtra 2.3 gsubfn 0.7 gtabel 0.3.3
topi keras 1.3.0 tempat aman 2.5.3 lebih tinggi 0.10
HMS 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Pengiterasi 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
Pelabelan 0.4.2 nanti 1.3.1 rangka 0.21-8
lahar 1.7.2.1 siklus hidup 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1.7
Massa 7.3-60 Matrix 1.5-4.1 memosankan 2.0.1
Metode 4.3.1 mgcv 1.8-42 pantomim 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv Agustus 2016 - Januari 2017 openssl 2.0.6 paralel 4.3.1
secara paralel 1.36.0 pilar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 apresiasi 1.0.0
prettyunits 1.1.1 pROC 1.18.4 ProsesX 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Kemajuan 1.2.2
progresr 0.13.0 janji 1.2.0.1 proto 1.0.0
proksi 0,4-27 P.S. 1.7.5 menggeram lembut 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest (algoritma pembelajaran mesin) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
alat baca 2.1.4 readxl (membaca file Excel) 1.4.3 recipes 1.0.6
pertandingan ulang 1.0.1 pertandingan ulang 2 2.1.2 pengontrol jarak jauh 2.4.2
contoh replikasi 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 timbangan / sisik 1.2.1
selektor 0,4-2 informasi sesi 1.2.2 bentuk 1.4.6
mengkilap 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 spasial 7.3-15 garis lengkung 4.3.1
sqldf 0,4-11 SQUAREM 2021.1 statistik 4.3.1
statistik4 4.3.1 string 1.7.12 stringr 1.5.0
bertahan hidup 3.5-5 Sistem 3.4.2 systemfonts 1.0.4
bahasa pemrograman Tcl/Tk 4.3.1 ujiitu 3.1.10 pemformatan teks 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 perubahan jam 0.2.0 TanggalWaktu 4022.108
tinytex 0,45 perangkat 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 gunakan ini 2.2.2 utf8 1.2.3
Utilitas 4.3.1 UUID (Pengidentifikasi Unik Universal) 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 Vroom 1.6.3 Waldo 0.5.1
kumis 0.4.1 dengan 2.5.0 xfun 0,39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.3.0

Pustaka Java dan Scala terinstal (versi kluster Scala 2.12)

ID Kelompok Identifikasi Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.390
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-impor-ekspor 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.390
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.390
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK Dukungan 1.12.390
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware bayangan-kriogenik 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core Jackson Annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine kafein 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib referensi_asli-java 1.1-penduduk asli
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib sistem_asli-java 1.1-penduduk asli
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-penduduk asli
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-penduduk asli
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone Annotasi yang rentan terhadap kesalahan 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava jambu 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger pembuat profil 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi kode_sumber_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (algoritma kompresi) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Tidak peduli 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0.24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrik dan anotasi 4.2.19
io.dropwizard.metrics inti metrik 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrik-jmx 4.2.19
io.dropwizard.metrics metrik-json 4.2.19
io.dropwizard.metrics metrik-jvm 4.2.19
io.dropwizard.metrics metrik-servlet 4.2.19
io.netty netty-all 4.1.93.Final
io.netty Netty Buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_umum 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine mentimun acar 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
jaring.bunga salju snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr StringTemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow format tanda panah 12.0.1
org.apache.arrow inti-memori-panah 12.0.1
org.apache.arrow Arrow-Memory-Netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-koleksi4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text (teks umum) 1.10.0
org.apache.curator kurator dan klien 2.13.0
org.apache.curator kerangka kerja kurator 2.13.0
org.apache.curator kurasi resep 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop lingkungan kerja klien Hadoop 3.3.6
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API penyimpanan hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.9
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy tanaman anggur 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus anotasi penonton 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.6.3
org.apache.zookeeper penjaga kebun binatang-jute 3.6.3
org.checkerframework pemeriksa kualitas 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty lanjutan dermaga 9.4.51.v20230217
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty Jetty Plus 9.4.51.v20230217
org.eclipse.jetty Jetty-Proxy 9.4.51.v20230217
org.eclipse.jetty keamanan jetty 9.4.51.v20230217
org.eclipse.jetty Jetty Server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty Aplikasi web Jetty 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket WebSocket-API 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-klien 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-inti 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey biasa 2.40
org.glassfish.jersey.core Jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate Validator 6.1.7.Terakhir
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client (klien Java untuk MariaDB) 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap pengganjal 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibel dengan ScalaTest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on