Bagikan melalui

Databricks Runtime 16.0 (EoS)

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 16.0, didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada November 2024.

Nota

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Perubahan perilaku

Perubahan signifikan: JDK 17 sekarang menjadi bawaan

Di Databricks Runtime 16.0 ke atas, versi JDK default dialihkan dari JDK 8 ke JDK 17. Perubahan ini dilakukan karena penghentian bertahap yang direncanakan dan akhir dukungan untuk JDK 8. Hal ini memengaruhi hal-hal berikut:

  • Kode Java yang berjalan pada komputasi Azure Databricks harus kompatibel dengan Java 17.
  • Kode Scala yang berjalan di notebook atau komputasi Azure Databricks harus kompatibel dengan Java 17.
  • Pustaka Java dan Scala yang diinstal pada komputasi harus kompatibel dengan Java 17.
  • Versi klien metastore dari Apache Hive di bawah 2.x. Mengatur konfigurasi spark.sql.hive.metastore.version Spark ke versi yang lebih rendah dari 2.x akan menyebabkan masalah kompatibilitas dengan Java 17 dan kegagalan koneksi ke metastore Apache Hive. Databricks merekomendasikan peningkatan Apache Hive ke versi di atas 2.0.0.

Jika Anda perlu kembali ke Java 8, tambahkan yang berikut ini ke variabel lingkungan Spark saat Anda mengonfigurasi komputasi Azure Databricks Anda:

JNAME=zulu8-ca-amd64

Jika Anda menggunakan instans ARM, gunakan hal berikut:

JNAME=zulu8-ca-arm64

Untuk mempelajari selengkapnya tentang menentukan versi JDK dengan komputasi Azure Databricks, lihat Membuat kluster dengan versi JDK tertentu.

Untuk bantuan dalam memigrasikan kode Anda dari Java 8, lihat panduan berikut:

Perubahan mendasar: RStudio yang dihosting mencapai masa akhir

Dengan rilis ini, RStudio Server yang dihosting Databricks adalah akhir masa pakai dan tidak tersedia di ruang kerja Azure Databricks apa pun yang menjalankan Databricks Runtime 16.0 ke atas. Untuk mempelajari selengkapnya dan melihat daftar alternatif untuk RStudio, lihat Menyambungkan ke Server RStudio yang dihosting Databricks.

Perubahan besar: Penghapusan dukungan untuk mengubah jenis byte, short, int dan long ke jenis yang lebih luas

Di Databricks Runtime 15.4.3 ke atas, perubahan jenis data berikut tidak dapat lagi diterapkan ke tabel dengan fitur pelebar jenis diaktifkan:

  • byte, short, int dan long ke decimal.
  • byte, short, dan int ke double.

Perubahan ini dilakukan untuk memastikan perilaku yang konsisten di seluruh tabel Delta dan Apache Iceberg. Untuk mempelajari selengkapnya tentang pelebaran tipe, lihat Pelebaran tipe.

Penguraian pola regex yang tepat dengan negasi dalam pengelompokan karakter bertingkat

Rilis ini mencakup perubahan untuk mendukung penguraian pola regex yang benar dengan negasi dalam pengelompokan karakter berlapis. Misalnya, [^[abc]] akan diproses sebagai "karakter apa pun yang BUKAN salah satu dari 'abc'".

Selain itu, perilaku Photon tidak konsisten dengan Spark untuk kelas karakter berlapis. Pola regex yang berisi kelas karakter berlapis tidak akan lagi menggunakan Photon, dan sebaliknya akan menggunakan Spark. Kelas karakter bersarang adalah pola yang berisi tanda kurung siku di dalam tanda kurung siku, seperti [[a-c][1-3]].

Meningkatkan deteksi kecocokan duplikat di Delta Lake MERGE

Pada Databricks Runtime 15.4 LTS dan versi yang lebih rendah dari itu, operasi MERGE akan gagal jika lebih dari satu baris di tabel sumber cocok dengan baris yang sama di tabel target berdasarkan syarat yang ditentukan dalam klausa MERGEON. Dalam Databricks Runtime 16.0 ke atas, MERGE juga mempertimbangkan kondisi yang ditentukan dalam WHEN MATCHED klausul. Lihat Upsert ke dalam tabel Delta Lake menggunakan operasi merge.

Metode pemasangan pustaka klaster tidak bisa lagi diubah

Konfigurasi Spark spark.databricks.libraries.enableSparkPyPI, spark.databricks.libraries.enableMavenResolution, dan spark.databricks.libraries.enableCRANResolutionnow sekarang memiliki nilai default true dan tidak dapat ditimpa.

Batas waktu default dua jam untuk penginstalan pustaka cakupan kluster

Di Databricks Runtime 16.0 ke atas, penginstalan pustaka cakupan kluster memiliki batas waktu default dua jam. Penginstalan pustaka yang memakan waktu lebih lama dari batas waktu ini akan gagal, dan penginstalan dihentikan. Saat mengonfigurasi kluster, Anda dapat mengubah periode batas waktu menggunakan konfigurasi spark.databricks.driver.clusterLibraryInstallationTimeoutSecSpark .

Menginstal pustaka dari DBFS dan mengatur spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed dinonaktifkan

Di Databricks Runtime 16.0 ke atas, menginstal pustaka dari DBFS sepenuhnya dinonaktifkan. Perubahan ini dilakukan untuk meningkatkan keamanan pustaka di ruang kerja Databricks. Selain itu, dalam Databricks Runtime 16.0 ke atas, Anda tidak dapat lagi menggunakan konfigurasi spark.databricks.driver.dbfsLibraryInstallationAllowedSpark .

Fungsionalitas addArtifact() sekarang konsisten di seluruh jenis komputasi

Dengan rilis ini, arsip secara otomatis dibongkar saat Anda menggunakan addArtifact(archive = True) untuk menambahkan dependensi ke komputasi Azure Databricks bersama atau tanpa server. Perubahan ini membuat perilaku addArtifact(archive = True) pada jenis komputasi ini konsisten dengan komputasi khusus (sebelumnya komputasi pengguna tunggal), yang sudah mendukung pembongkaran arsip secara otomatis.

Aturan penggunaan tanda balik diberlakukan dengan tepat untuk pengidentifikasi yang mengandung karakter khusus.

Dengan rilis ini, pengidentifikasi utama dengan karakter khusus dalam pernyataan GRANT, DENY, dan REVOKE sekarang akan menghasilkan kesalahan jika tidak diapit dalam tanda backtick.

Fitur dan peningkatan baru

Pemuatan ulang modul Python yang telah dimodifikasi menjadi lebih andal dengan adanya peningkatan autoreload

Di Databricks Runtime 16.0 ke atas, pembaruan ekstensi autoreload meningkatkan keamanan dan keandalan untuk memuat ulang modul Python yang dimodifikasi yang diimpor dari file ruang kerja. Dengan perubahan ini, autoreload, jika memungkinkan, hanya memuat ulang bagian modul yang telah berubah alih-alih seluruh modul. Selain itu, Azure Databricks sekarang secara otomatis menyarankan penggunaan ekstensi autoreload jika modul telah berubah sejak impor terakhirnya. Lihat Autoreload untuk modul-modul Python.

Dukungan Avro untuk skema rekursif

Anda sekarang dapat menggunakan recursiveFieldMaxDepth opsi dengan from_avro fungsi dan avro sumber data. Opsi ini mengatur kedalaman maksimum untuk rekursi skema pada sumber data Avro. Lihat Membaca dan menulis data Avro streaming.

fungsi to_avro dan from_avro

Fungsi to_avro dan from_avro memungkinkan konversi jenis SQL ke data biner Avro dan kembali.

Dukungan lebih untuk Confluent Schema Registry dan Avro

Azure Databricks sekarang mendukung referensi skema Avro dengan Confluent Schema Registry. Lihat Pengautentikasian ke Registri Skema Confluent Eksternal.

Memaksa pengelompokan ulang pada tabel dengan pengelompokan cairan

Dalam Databricks Runtime 16.0 ke atas, Anda dapat menggunakan sintaks OPTIMIZE FULL untuk memaksa semua rekaman dikelompokkan kembali dalam tabel dengan fitur liquid clustering diaktifkan. Lihat Force reclustering untuk semua rekaman.

API Delta untuk Python dan Scala sekarang mendukung kolom identitas

Sekarang Anda dapat menggunakan API Delta untuk Python dan Scala untuk membuat tabel dengan kolom identitas. Lihat Menggunakan kolom identitas di Delta Lake.

Kontrol akses halus pada komputasi khusus (sebelumnya komputasi pengguna tunggal) umumnya tersedia

Dalam Databricks Runtime 16.0 ke atas, kontrol akses mendetair pada komputasi khusus umumnya tersedia. Di ruang kerja yang diaktifkan untuk komputasi tanpa server, jika kueri dijalankan pada komputasi yang didukung seperti komputasi khusus dan kueri mengakses salah satu objek berikut, sumber daya komputasi meneruskan kueri ke komputasi tanpa server untuk menjalankan pemfilteran data:

  • Tampilan yang didefinisikan pada tabel-tabel di mana pengguna tidak memiliki izin SELECT.
  • Tampilan dinamis.
  • Tabel dengan filter baris atau masker kolom diterapkan.
  • Tampilan materialisasi dan tabel streaming

Membuat tabel berkluster cair selama penulisan streaming

Anda sekarang dapat menggunakan clusterBy untuk mengaktifkan pengelompokan cair saat membuat tabel baru dengan penulisan Streaming Terstruktur. Lihat Mengaktifkan pengklusteran cairan.

Dukungan untuk klausul FULL OPTIMIZE

Databricks Runtime 16.0 mendukung klausa OPTIMIZE LENGKAP. Klausa ini mengoptimalkan semua rekaman dalam tabel yang menggunakan pengklusteran cairan, termasuk data yang mungkin sebelumnya telah diklusterkan.

Dukungan untuk spesifikasi opsi WITH dalam INSERT dan referensi ke tabel

Databricks Runtime 16.0 mendukung spesifikasi opsi untuk referensi tabel dan nama tabel dalam INSERT pernyataan yang dapat digunakan untuk mengontrol perilaku sumber data.

Fungsi SQL baru

Fungsi SQL berikut ditambahkan dalam Databricks Runtime 16.0:

  • try_url_decode

    Fungsi ini adalah versi url_decode yang toleran terhadap kesalahan. Fungsi ini mengembalikan NULL jika input bukan string yang dikodekan URL yang valid.

  • zeroifnull

    Jika ekspresi input ke zeroifnull() fungsi adalah NULL, maka fungsi mengembalikan 0. Jika tidak, nilai ekspresi input dikembalikan.

  • nullifzero

    Mengembalikan NULL jika input adalah 0, atau mengembalikan input tersebut jika bukan 0. Jika ekspresi input ke nullifzero() fungsi adalah 0, maka fungsi mengembalikan NULL. Jika ekspresi input bukan 0, nilai ekspresi input dikembalikan

Mengaktifkan evolusi skema otomatis saat menggabungkan data ke dalam tabel Delta

Rilis ini menambahkan dukungan untuk anggota withSchemaEvolution() dari kelas DeltaMergeBuilder. Gunakan withSchemaEvolution() untuk mengaktifkan evolusi skema otomatis selama MERGE operasi. Contohnya, mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Perubahan lainnya

SparkR sekarang tidak digunakan lagi

Dalam Databricks Runtime 16.0 ke atas, SparkR di Databricks tidak direkomendasikan lagi sebagai persiapan untuk penghentiannya dalam rilis Spark 4 mendatang. Lihat utas Apache Spark Deprecate SparkR.

Databricks merekomendasikan penggunaan sparklyr sebagai gantinya.

Databricks Runtime 16.0 tidak didukung dengan PVC

Databricks Runtime 16.0 tidak didukung oleh Databricks Private Virtual Cloud (PVC). Anda harus menggunakan Databricks Runtime 15.4 atau yang lebih baru dengan semua rilis PVC.

Pemulihan kesalahan perangkat lunak

Auto Loader sekarang memulihkan tipe catatan Avro dengan skema yang kosong

Saat memuat file Avro ke dalam tabel Delta menggunakan Auto Loader, record jenis dalam file yang memiliki skema kosong sekarang ditambahkan ke kolom data yang diselamatkan. Karena Anda tidak dapat memasukkan tipe data kompleks kosong ke dalam tabel Delta, hal ini mengatasi masalah dalam memuat sejumlah file Avro. Untuk mempelajari selengkapnya tentang data yang diselamatkan, lihat Apa itu kolom data yang diselamatkan?.

Perbaiki untuk kesalahan menulis tanda waktu dengan zona waktu yang berisi offset kedua.

Rilis ini memperbaiki bug yang memengaruhi beberapa tanda waktu dengan zona waktu yang berisi offset kedua. Bug ini menyebabkan detik dihilangkan saat menulis ke JSON, XML, atau CSV, yang mengarah ke nilai tanda waktu yang salah.

Untuk kembali ke perilaku sebelumnya, gunakan opsi berikut saat menulis ke salah satu format yang terpengaruh: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • azure-core dari 1.30.2 hingga 1.31.0
    • azure-storage-blob dari 12.19.1 hingga 12.23.0
    • azure-storage-file-datalake dari 12.14.0 hingga 12.17.0
    • hitam dari 23.3.0 hingga 24.4.2
    • blinker dari 1,4 hingga 1.7.0
    • boto3 dari 1.34.39 ke 1.34.69
    • botocore dari 1.34.39 ke 1.34.69
    • sertifikasi dari 22/7/2023 hingga 2/6/2024
    • cffi dari 1.15.1 hingga 1.16.0
    • klik dari 8.0.4 ke 8.1.7
    • comm dari 0.1.2 ke 0.2.1
    • contourpy dari 1.0.5 ke 1.2.0
    • kriptografi dari 41.0.3 hingga 42.0.5
    • Cython dari 0.29.32 ke 3.0.11
    • databricks-sdk dari 0.20.0 hingga 0.30.0
    • dbus-python dari 1.2.18 ke 1.3.2
    • filelock dari 3.13.4 ke 3.15.4
    • fonttools dari 4.25.0 hingga 4.51.0
    • GitPython dari 3.1.43 ke 3.1.37
    • google-api-core dari 2.18.0 hingga 2.20.0
    • google-auth dari 2.31.0 hingga 2.35.0
    • google-cloud-storage dari 2.17.0 hingga 2.18.2
    • google-crc32c dari 1.5.0 hingga 1.6.0
    • google-resumable-media dari 2.7.1 hingga 2.7.2
    • googleapis-common-protos dari 1.63.2 hingga 1.65.0
    • httplib2 dari 0.20.2 ke 0.20.4
    • idna dari 3.4 hingga 3.7
    • ipykernel dari 6.25.1 ke 6.28.0
    • ipython dari 8.15.0 ke 8.25.0
    • jedi dari 0.18.1 hingga 0.19.1
    • jmespath dari 0.10.0 hingga 1.0.1
    • joblib dari 1.2.0 hingga 1.4.2
    • jupyter_client dari 7.4.9 ke 8.6.0
    • jupyter_core dari 5.3.0 ke 5.7.2
    • launchpadlib dari 1.10.16 ke 1.11.0
    • lazr.restfulclient dari 0.14.4 hingga 0.14.6
    • matplotlib dari 3.7.2 ke 3.8.4
    • mlflow-skinny dari 2.11.4 hingga 2.15.1
    • more-itertools dari 8.10.0 hingga 10.3.0
    • mypy-extensions dari 0.4.3 ke 1.0.0
    • nest-asyncio dari 1.5.6 hingga 1.6.0
    • numpy dari 1.23.5 hingga 1.26.4
    • oauthlib dari 3.2.0 ke 3.2.2
    • kemasan dari 23.2 hingga 24.1
    • patsy dari 0.5.3 hingga 0.5.6
    • pembaruan pip dari versi 23.2.1 ke 24.2
    • plotly dari 5.9.0 ke 5.22.0
    • prompt-toolkit dari 3.0.36 hingga 3.0.43
    • pyarrow dari 14.0.1 hingga 15.0.2
    • pydantic dari 1.10.6 ke 2.8.2
    • PyGObject dari 3.42.1 ke 3.48.2
    • PyJWT dari 2.3.0 ke 2.7.0
    • pyodbc dari 4.0.38 ke 5.0.1
    • python-dateutil dari 2.8.2 hingga 2.9.0.post0
    • python-lsp-jsonrpc dari 1.1.1 hingga 1.1.2
    • pytz dari 2022.7 hingga 2024.1
    • PyYAML dari 6.0 hingga 6.0.1
    • pyzmq dari 23.2.0 ke 25.1.2
    • permintaan dari 2.31.0 hingga 2.32.2
    • scikit-learn dari 1.3.0 hingga 1.4.2
    • scipy dari 1.11.1 hingga 1.13.1
    • seaborn dari 0.12.2 hingga 0.13.2
    • setuptools dari 68.0.0 hingga 74.0.0
    • smmap dari 5.0.1 ke 5.0.0
    • sqlparse dari 0.5.0 hingga 0.5.1
    • statsmodel dari 0.14.0 hingga 0.14.2
    • tornado dari 6.3.2 ke 6.4.1
    • traitlets dari versi 5.7.1 hingga 5.14.3
    • typing_extensions dari 4.10.0 hingga 4.11.0
    • ujson dari 5.4.0 ke 5.10.0
    • virtualenv dari 20.24.2 hingga 20.26.2
    • wheel dari 0.38.4 hingga 0.43.0
    • zipp dari 3.11.0 ke 3.17.0
  • Pustaka R yang ditingkatkan:
    • panah dari 14.0.0.2 hingga 16.1.0
    • backport dari 1.4.1 hingga 1.5.0
    • basis dari 4.3.2 ke 4.4.0
    • bitops: dari 1,0-7 hingga 1,0-8
    • proses boot dari versi 1.3-28 ke versi 1.3-30
    • brio dari 1.1.4 ke 1.1.5
    • broom dari 1.0.5 hingga 1.0.6
    • bslib dari 0.6.1 ke 0.8.0
    • cachem dari 1.0.8 ke 1.1.0
    • callr dari 3.7.3 ke 3.7.6
    • cli dari 3.6.2 ke 3.6.3
    • jam dari 0.7.0 hingga 0.7.1
    • kluster dari 2.1.4 hingga 2.1.6
    • codetools dari 0.2-19 hingga 0.2-20
    • colorspace dari 2,1-0 hingga 2,1-1
    • compiler dari 4.3.2 ke 4.4.0
    • krayon dari 1.5.2 hingga 1.5.3
    • pembaruan versi curl dari 5.2.0 ke 5.2.1
    • data.table dari 1.15.0 hingga 1.15.4
    • himpunan data dari 4.3.2 hingga 4.4.0
    • DBI dari 1.2.1 hingga 1.2.3
    • dbplyr dari 2.4.0 ke 2.5.0
    • digest dari 0.6.34 ke 0.6.36
    • downlit dari 0.4.3 ke 0.4.4
    • evaluasi dari 0,23 hingga 0.24.0
    • jauh dari 2.1.1 ke 2.1.2
    • fastmap dari 1.1.1 hingga 1.2.0
    • asing dari 0,8-85 ke 0,8-86
    • fs dari 1.6.3 ke 1.6.4
    • di masa mendatang dari 1.33.1 hingga 1.34.0
    • future.apply dari 1.11.1 hingga 1.11.2
    • gert dari 2.0.1 hingga 2.1.0
    • ggplot2 dari 3.4.4 ke 3.5.1
    • gh dari 1.4.0 ke 1.4.1
    • global dari 0,16,2 ke 0,16,3
    • grafik dari 4.3.2 hingga 4.4.0
    • grDevices dari 4.3.2 hingga 4.4.0
    • grid dari 4.3.2 hingga 4.4.0
    • gt dari 0.10.1 ke 0.11.0
    • gtable dari versi 0.3.4 ke versi 0.3.5
    • hardhat dari 1.3.1 hingga 1.4.0
    • lebih tinggi dari 0,10 hingga 0,11
    • htmltool dari 0.5.7 hingga 0.5.8.1
    • httpuv dari 1.6.14 ke 1.6.15
    • httr2 dari 1.0.0 hingga 1.0.2
    • ipred dari 0,9-14 ke 0,9-15
    • KernSmooth dari 2,23-21 ke 2,23-22
    • knitr dari 1,45 hingga 1,48
    • kisi dari 0,21-8 hingga 0,22-5
    • lava dari 1.7.3 hingga 1.8.0
    • markdown dari 1.12 ke 1.13
    • MASSA dari 7.3-60 ke 7.3-60.0.1
    • Matriks dari 1.5-4.1 ke 1.6-5
    • metode dari 4.3.2 hingga 4.4.0
    • mgcv dari 1,8-42 ke 1,9-1
    • mlflow dari 2.10.0 ke 2.14.1
    • Munsell dari 0.5.0 hingga 0.5.1
    • nlme dari 3,1-163 ke 3,1-165
    • openssl dari 2.1.1 ke 2.2.0
    • paralel dari 4.3.2 hingga 4.4.0
    • secara paralel dari 1.36.0 hingga 1.38.0
    • pkgbuild dari 1.4.3 ke 1.4.4
    • pkgdown dari 2.0.7 ke 2.1.0
    • pkgload dari 1.3.4 hingga 1.4.0
    • processx dari 3.8.3 hingga 3.8.4
    • prodlim dari 2023.08.28 hingga 2024.06.25
    • janji dari 1.2.1 hingga 1.3.0
    • ps dari 1.7.6 ke 1.7.7
    • ragg dari 1.2.7 ke 1.3.2
    • Rcpp dari 1.0.12 ke 1.0.13
    • RcppEigen dari 0.3.3.9.4 ke 0.3.4.0.0
    • reactR dari 0.5.0 hingga 0.6.0
    • resep dari 1.0.9 hingga 1.1.0
    • pembaruan dari 2.4.2.1 ke 2.5.0
    • reprex dari 2.1.0 ke 2.1.1
    • rlang dari 1.1.3 ke 1.1.4
    • rmarkdown dari 2,25 ke 2,27
    • roxygen2 dari 7.3.1 ke 7.3.2
    • rpart dari 4.1.21 ke 4.1.23
    • RSQLite dari 2.3.5 ke 2.3.7
    • rstudioapi dari 0.15.0 ke 0.16.0
    • Versi rvest diperbarui dari 1.0.3 menjadi 1.0.4
    • sass dari 0.4.8 hingga 0.4.9
    • bentuk dari 1.4.6 hingga 1.4.6.1
    • mengkilap dari 1.8.0 hingga 1.9.1
    • sparklyr dari 1.8.4 ke 1.8.6
    • spasial mulai dari 7,3-15 hingga 7,3-17
    • spline dari 4.3.2 hingga 4.4.0
    • statistik dari 4.3.2 hingga 4.4.0
    • stats4 dari 4.3.2 hingga 4.4.0
    • stringi dari 1.8.3 hingga 1.8.4
    • bertahan hidup dari 3,5-5 hingga 3,6-4
    • swagger dari 3.33.1 ke 5.17.14.1
    • systemfonts dari 1.0.5 hingga 1.1.0
    • tcltk dari 4.3.2 ke 4.4.0
    • testthat dari 3.2.1 ke 3.2.1.1
    • textshaping dari 0.3.7 ke 0.4.0
    • tidyselect dari 1.2.0 hingga 1.2.1
    • tinytex dari 0,49 hingga 0,52
    • alat dari 4.3.2 hingga 4.4.0
    • usethis versi 2.2.2 hingga 3.0.0
    • utils dari 4.3.2 ke 4.4.0
    • uuid dari 1.2-0 ke 1.2-1
    • V8 dari 4.4.1 hingga 4.4.2
    • withr dari 3.0.0 hingga 3.0.1
    • xfun dari 0,41 hingga 0,46
    • xopen dari 1.0.0 hingga 1.0.1
    • yaml dari 2.3.8 hingga 2.3.10
  • Pustaka Java yang ditingkatkan:
    • com.amazonaws.aws-java-sdk-autoscaling dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-cloudformation dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-cloudfront dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-cloudhsm dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-cloudsearch dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-cloudtrail dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatch dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-codedeploy dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-cognitoidentity dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-cognitosync dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-config dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-core dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-datapipeline dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-directconnect dari 1.12.610 ke 1.12.638
    • com.amazonaws.aws-java-sdk-directory dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-dynamodb dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-ec2 dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-ecs dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-efs dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-elasticache dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-elasticbeanstalk dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-elasticloadbalancing dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-elastictranscoder dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-emr dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-glacier dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-glue dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-iam dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-importexport dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-kinesis dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-kms dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-lambda dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-logs dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-machinelearning dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-opsworks dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-rds dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-redshift dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-route53 dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-s3 dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-ses dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-simpledb dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-simpleworkflow dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-sns dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-sqs dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-ssm dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-storagegateway dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-sts dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-support dari 1.12.610 hingga 1.12.638
    • com.amazonaws.aws-java-sdk-workspaces dari 1.12.610 hingga 1.12.638
    • com.amazonaws.jmespath-java dari 1.12.610 hingga 1.12.638
    • com.google.protobuf.protobuf-java dari 2.6.1 ke 3.25.1
    • io.airlift.aircompressor dari 0,25 hingga 0,27
    • io.delta.delta-sharing-client_2.12 dari 1.1.3 hingga 1.2.0
    • io.netty.netty-all dari 4.1.96.Final ke 4.1.108.Final
    • io.netty.netty-buffer dari 4.1.96.Final ke 4.1.108.Final
    • io.netty.netty-codec dari 4.1.96.Final ke 4.1.108.Final
    • io.netty.netty-codec-http dari 4.1.96.Final ke 4.1.108.Final
    • io.netty.netty-codec-http2 dari 4.1.96.Final ke 4.1.108.Final
    • io.netty.netty-codec-socks dari 4.1.96.Final ke 4.1.108.Final
    • io.netty.netty-common dari 4.1.96.Final hingga 4.1.108.Final
    • Versi io.netty.netty-handler dari 4.1.96.Final menjadi 4.1.108.Final
    • io.netty.netty-handler-proxy dari 4.1.96.Final ke 4.1.108.Final
    • io.netty.netty-resolver dari 4.1.96.Final ke 4.1.108.Final
    • io.netty.netty-transport dari 4.1.96.Final ke 4.1.108.Final
    • io.netty.netty-transport-classes-epoll dari 4.1.96.Final ke 4.1.108.Final
    • io.netty.netty-transport-classes-kqueue dari 4.1.96.Final ke 4.1.108.Final
    • io.netty.netty-transport-native-epoll dari 4.1.96.Final-linux-x86_64 ke 4.1.108.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue dari 4.1.96.Final-osx-x86_64 ke 4.1.108.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common dari 4.1.96.Final ke 4.1.108.Final
    • org.apache.ivy.ivy dari 2.5.1 ke 2.5.2
    • org.apache.zookeeper.zookeeper dari 3.6.3 hingga 3.9.2
    • org.apache.zookeeper.zookeeper-jute dari 3.6.3 hingga 3.9.2
    • org.rocksdb.rocksdbjni dari 8.11.4 hingga 9.2.1
    • org.scalactic.scalactic_2.12 dari 3.2.15 ke 3.2.16
    • org.scalatest.scalatest-compatible dari 3.2.15 hingga 3.2.16
    • org.scalatest.scalatest-core_2.12 dari 3.2.15 hingga 3.2.16
    • Pembaruan org.scalatest.scalatest-diagrams_2.12 dari versi 3.2.15 ke 3.2.16
    • org.scalatest.scalatest-featurespec_2.12 dari 3.2.15 hingga 3.2.16
    • org.scalatest.scalatest-flatspec_2.12 dari 3.2.15 hingga 3.2.16
    • org.scalatest.scalatest-freespec_2.12 dari 3.2.15 hingga 3.2.16
    • org.scalatest.scalatest-funspec_2.12 dari 3.2.15 hingga 3.2.16
    • org.scalatest.scalatest-funsuite_2.12 dari 3.2.15 hingga 3.2.16
    • org.scalatest.scalatest-matchers-core_2.12 dari 3.2.15 hingga 3.2.16
    • org.scalatest.scalatest-mustmatchers_2.12 dari 3.2.15 hingga 3.2.16
    • org.scalatest.scalatest-propspec_2.12 dari 3.2.15 hingga 3.2.16
    • org.scalatest.scalatest-refspec_2.12 dari 3.2.15 hingga 3.2.16
    • org.scalatest.scalatest-shouldmatchers_2.12 dari 3.2.15 hingga 3.2.16
    • org.scalatest.scalatest-wordspec_2.12 dari 3.2.15 hingga 3.2.16
    • org.scalatest.scalatest_2.12 dari 3.2.15 ke 3.2.16

Apache Spark

Databricks Runtime 16.0 mencakup Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 15.4 LTS, serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-49093] [DBRRM-1371] Membatalkan “[SC-172958][sql] GROUP BY dengan MapType nes...
  • [SPARK-49898] [DBRRM-1282][sc-178410] Perbaiki dokumentasi dan default untuk pengaturan pencatatan akumulator metrik tugas pada log peristiwa dari SPARK-42204
  • [SPARK-49743] [ES-1260022][behave-157][SC-177475][sql] OptimizeCsvJsonExpr tidak boleh mengubah bidang skema saat memangkas GetArrayStructFields
  • [SPARK-49816] [SC-177896][sql] Seharusnya hanya memperbarui out-going-ref-count untuk relasi CTE luar yang direferensikan
  • [SPARK-48939] [SC-177022][sc-172766][AVRO] Dukungan membaca Avro dengan referensi skema rekursif
  • [SPARK-49688] [SC-177468][es-1242349][CONNECT] Perbaiki perlombaan data antara rencana interupsi dan eksekusi
  • [SPARK-49771] [SC-177466][python] Meningkatkan kesalahan UDF Pandas Scalar Iter saat baris output melebihi baris input
  • [SPARK-48866] [SC-170772][sql] Perbaiki petunjuk set karakter yang valid dalam pesan kesalahan INVALID_PARAMETER_VALUE.CHARSET
  • [SPARK-48195] [FIXFORWARD][sc-177267][CORE] Simpan dan gunakan kembali RDD/Broadcast yang dibuat oleh SparkPlan
  • [SPARK-49585] [SAMBUNGKAN] Ganti peta eksekusi di SessionHolder dengan set operationID
  • [SPARK-49211] [SC-174257][sql] V2 Catalog juga dapat mendukung sumber data bawaan
  • [SPARK-49684] Meminimalkan masa pakai kunci pemulihan sesi
  • [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Kerangka kerja log terstruktur di sisi java
  • [SPARK-48857] [SC-170661][sql] Membatasi charset di CSVOptions
  • [SPARK-49152] [SC-173690][sql] V2SessionCatalog harus menggunakan V2Command
  • [SPARK-42846] [SC-176588][sql] Hapus kondisi kesalahan _LEGACY_ERROR_TEMP_2011
  • [SPARK-48195] [SC-177267][core] Simpan dan gunakan kembali RDD/Siaran yang dibuat oleh SparkPlan
  • [SPARK-49630] [SC-177379][ss] Tambahkan opsi rata untuk memproses jenis pengumpulan dengan pembaca sumber data status
  • [SPARK-49699] [SC-177154][ss] Nonaktifkan PruneFilters untuk beban kerja streaming
  • [SPARK-48781] [SC-175282][sql] Tambahkan API Katalog untuk memuat prosedur tersimpan
  • [SPARK-49667] [SC-177068][sql] Melarang kolase CS_AI dengan ekspresi yang menggunakan StringSearch
  • [SPARK-49737] [SC-177207][sql] Nonaktifkan bucketing pada kolom yang dikolasi dalam jenis kompleks
  • [SPARK-48712] [SC-169794][sql] Peningkatan Perf untuk pengodean dengan nilai kosong atau charset UTF-8
  • [SPARK-49038] [SC-173933][sql] SQLMetric harus melaporkan nilai mentah dalam peristiwa pembaruan akumulator
  • [SPARK-48541] [SC-169066][core] Tambahkan kode keluar baru untuk eksekutor yang dimatikan oleh TaskReaper
  • [SPARK-48774] [SC-170138][sql] Gunakan SparkSession di SQLImplicits
  • [SPARK-49719] [SC-177139][sql] Memungkinkan UUID dan SHUFFLE menerima bilangan bulat seed
  • [SPARK-49713] [SC-177135][python][CONNECT] Buat fungsi count_min_sketch menerima argumen angka
  • [SPARK-47601] [SC-162499][graphx] Graphx: Memigrasikan log dengan variabel ke kerangka kerja pengelogan terstruktur
  • [SPARK-49738] [SC-177219][sql] Berakhir dengan perbaikan bug
  • [SPARK-48623] [SC-170822][core] Migrasi pengelogan terstruktur [Bagian 3]
  • [SPARK-49677] [SC-177148][ss] Pastikan bahwa file changelog ditulis saat commit dan bendera forceSnapshot juga diatur ulang
  • [SPARK-49684] [SC-177040][connect] Hapus kunci global dari manajer sesi dan eksekusi
  • [SPARK-48302] [SC-168814][python] Mempertahankan null dalam kolom peta di Tabel PyArrow
  • [SPARK-48601] [SC-169025][sql] Berikan pesan kesalahan yang lebih ramah pengguna saat mengatur nilai null untuk Opsi JDBC
  • [SPARK-48635] [SC-169263][sql] Menetapkan kelas untuk menggabungkan kesalahan jenis dan kesalahan gabungan as-of
  • [SPARK-49673] [SC-177032][connect] Tingkatkan CONNECT_GRPC_ARROW_MAX_BATCH_SIZE menjadi 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
  • [SPARK-49693] [SC-177071][python][CONNECT] Perbaiki representasi string timedelta
  • [SPARK-49687] [SC-176901][sql] Penundaan penyortiran di validateAndMaybeEvolveStateSchema
  • [SPARK-49718] [SC-177112][ps] Beralih plot Scatter ke data sampel
  • [SPARK-48472] [SC-169044][sql] Aktifkan ekspresi refleksi dengan string yang disusun
  • [SPARK-48484] [SC-167484][sql] Perbaikan: V2Write menggunakan TaskAttemptId yang sama untuk berbagai upaya tugas
  • [SPARK-48341] [SC-166560][connect] Izinkan plugin menggunakan QueryTest dalam pengujian mereka
  • [SPARK-42252] [SC-168723][core] Tambahkan spark.shuffle.localDisk.file.output.buffer dan spark.shuffle.unsafe.file.output.buffer akan tidak digunakan lagi
  • [SPARK-48314] [SC-166565][ss] Jangan menggandakan file cache untuk FileStreamSource menggunakan Trigger.AvailableNow
  • [SPARK-49567] [SC-176241][python] Gunakan classic alih-alih vanilla dari basis kode PySpark
  • [SPARK-48374] [SC-167596][python] Mendukung jenis kolom Tabel PyArrow tambahan
  • [SPARK-48300] [SC-166481][sql] Dukungan Codegen untuk from_xml
  • [SPARK-49412] [SC-177059][ps] Menghitung semua metrik diagram kotak dalam satu tugas
  • [SPARK-49692] [SC-177031][python][CONNECT] Perbaiki representasi string tanggal harfiah dan tanggalwaktu
  • [SPARK-49392] [ES-1130351][sc-176705][SQL] Menangkap kesalahan saat gagal menulis ke sumber data eksternal
  • [SPARK-48306] [SC-166241][sql] Meningkatkan UDT pada pesan kesalahan
  • [SPARK-44924] [SC-166379][ss] Tambahkan konfigurasi untuk file cache FileStreamSource
  • [SPARK-48176] [SC-165644][sql] Sesuaikan nama kondisi kesalahan FIELD_ALREADY_EXISTS
  • [SPARK-49691] [SC-176988][python][CONNECT] substring fungsi harus menerima nama kolom
  • [SPARK-49502] [SC-176077][core] Hindari NPE di SparkEnv.get.shuffleManager.unregisterShuffle
  • [SPARK-49244] [SC-176703][sql] Peningkatan pengecualian lebih lanjut untuk parser/interpreter
  • [SPARK-48355] [SC-176684][sql] Dukungan untuk pernyataan CASE
  • [SPARK-49355] [SC-175121][sql] levenshtein harus memeriksa apakah nilai collation dari semua jenis parameter sama
  • [SPARK-49640] [SC-176953][ps] Terapkan pengambilan sampel reservoir di SampledPlotBase
  • [SPARK-49678] [SC-176857][core] Dukungan spark.test.master di SparkSubmitArguments
  • [SPARK-49680] [SC-176856][python] Batas Sphinx membangun paralelisme ke 4 secara default
  • [SPARK-49396] Membatalkan “[SC-176030][sql] Ubah pemeriksaan nullability untuk ekspresi CaseWhen”
  • [SPARK-48419] [SC-167443][sql] Penyebaran yang dapat dilipat seharusnya menggantikan kolom yang dapat dilipat...
  • [SPARK-49556] [SC-176757][sql] Tambahkan sintaks pipa SQL untuk operator SELECT
  • [SPARK-49438] [SC-175237][sql] Perbaiki nama cantik ekspresi FromAvro & ToAvro
  • [SPARK-49659] [SC-1229924][sql] Menambahkan pesan kesalahan yang ramah pengguna untuk subkueri skalar di dalam klausa VALUES
  • [SPARK-49646] [SC-176778][sql] memperbaiki dekorelasi subkueri untuk operasi union/set ketika parentOuterReferences memiliki referensi yang tidak tercakup dalam collectedChildOuterReferences
  • [SPARK-49354] [SC-175034][sql] split_part harus memeriksa apakah nilai collation dari semua jenis parameter sama
  • [SPARK-49478] [SC-175914][connect] Menangani metrik null di ConnectProgressExecutionListener
  • [SPARK-48358] [SC-176374][sql] Dukungan untuk pernyataan REPEAT
  • [SPARK-49183] [SC-173680][sql] V2SessionCatalog.createTable harus mematuhi PROP_IS_MANAGED_LOCATION
  • [SPARK-49611] [SC-176791][sql] Memperkenalkan TVF collations() & menghapus perintah SHOW COLLATIONS
  • [SPARK-49261] [SC-176589][sql] Jangan ganti literal dalam ekspresi agregat dengan ekspresi pengelompokan
  • [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace harus menghormati katalog sesi kustom
  • [SPARK-49594] [SC-176569][ss] Menambahkan pemeriksaan terhadap apakah columnFamilies ditambahkan atau dihapus untuk menulis file StateSchemaV3
  • [SPARK-49578] [SC-176385][sql] Hapus saran konfigurasi ANSI di CAST_INVALID_INPUT dan CAST_OVERFLOW
  • [SPARK-48882] [SC-174256][ss] Tetapkan nama ke kelas kesalahan terkait mode output streaming
  • [SPARK-49155] [SC-176506][sql][SS] Gunakan jenis parameter yang lebih sesuai untuk membangun GenericArrayData
  • [SPARK-49519] [SC-176388][sql] Gabungkan opsi tabel dan hubungan saat membuat FileScanBuilder
  • [SPARK-49591] [SC-176587][sql] Tambahkan kolom Tipe Logis ke readme varian
  • [SPARK-49596] [SC-176423][sql] Meningkatkan performa FormatString
  • [SPARK-49525] [SC-176044][ss][CONNECT] Peningkatan log kecil pada ListenerBus Listener Kueri Streaming Sisi Server
  • [SPARK-49583] [SC-176272][sql] Tentukan sub-kondisi kesalahan SECONDS_FRACTION untuk pola fraksi detik yang tidak valid
  • [SPARK-49536] [SC-176242] Menangani kesalahan dalam pengambilan awal rekaman sumber data streaming Python
  • [SPARK-49443] [SC-176273][sql][PYTHON] Menerapkan ekspresi to_variant_object dan membuat ekspresi schema_of_variant mencetak OBJECT untuk Objek Varian
  • [SPARK-49544] [SASP-3990][sc-176557][CONNECT] Ganti penguncian yang bersifat kasar di SparkConnectExecutionManager dengan ConcurrentMap
  • [SPARK-49548] [SASP-3990][sc-176556][CONNECT] Ganti penguncian kasar di SparkConnectSessionManager dengan ConcurrentMap
  • [SPARK-49551] [SC-176218][ss] Meningkatkan log RocksDB untuk replayChangelog
  • [SPARK-49595] [SC-176396][connect][SQL] Fix DataFrame.unpivot/melt di Spark Connect Scala Client
  • [SPARK-49006] [SC-176162] Menerapkan pembersihan untuk file OperatorStateMetadataV2 dan StateSchemaV3
  • [SPARK-49600] [SC-176426][python] Hapus logika terkait Python 3.6 and olderdari try_simplify_traceback
  • [SPARK-49303] [SC-176013][ss] Terapkan TTL untuk ValueState dalam transformWithStateInPandas API
  • [SPARK-49191] [SC-176243][ss] Tambahkan dukungan untuk membaca variabel status peta transformWithState dengan pembaca sumber data status
  • [SPARK-49593] [SC-176371][ss] Melempar pengecualian RocksDB ke pemanggil di DB tutup jika kesalahan terlihat
  • [SPARK-49334] [SC-174803][sql] str_to_map harus memeriksa apakah nilai collation dari semua jenis parameter sama
  • [SPARK-42204] [SC-176126][core] Tambahkan opsi untuk menonaktifkan pencatatan berlebihan akumulator internal TaskMetrics dalam log peristiwa
  • [SPARK-49575] [SC-176256][ss] Tambahkan pengelogan untuk rilis kunci hanya jika acquiredThreadInfo tidak null
  • [SPARK-49539] [SC-176250][ss] Memperbarui pengidentifikasi awal untuk kelompok kolom internal ke yang berbeda
  • [SPARK-49205] [SC-173853][sql] KeyGroupedPartitioning harus mewarisi HashPartitioningLike
  • [SPARK-49396] [SC-176030][sql] Memodifikasi pemeriksaan nullability untuk ekspresi CaseWhen
  • [SPARK-49476] [SC-175700][sql] Perbaiki ketidaknullan fungsi base64
  • [SPARK-47262] [SC-174829][sql] Tetapkan nama ke kondisi kesalahan untuk konversi parquet
  • [SPARK-47247] [SC-158349][sql] Gunakan ukuran target yang lebih kecil saat menyatukan partisi dengan join yang eksplosif
  • [SPARK-49501] [SC-176166][sql] Perbaiki pemindahan ganda lokasi tabel
  • [SPARK-49083] [SC-173214][connect] Izinkan from_xml dan from_json bekerja secara asli dengan skema json
  • [SPARK-49043] [SC-174673][sql] Perbaiki grup codepath yang ditafsirkan berdasarkan pada peta yang berisi string yang disusun
  • [SPARK-48986] [SC-172265][connect][SQL] Tambahkan Representasi Perantara ColumnNode
  • [SPARK-49326] [SC-176016][ss] Klasifikasikan kelas Kesalahan untuk kesalahan fungsi pengguna sink Foreach
  • [SPARK-48348] [SC-175950][spark-48376][SQL] Memperkenalkan pernyataan LEAVE dan ITERATE
  • [SPARK-49523] [SC-175949][connect] Meningkatkan waktu tunggu maksimum agar server koneksi muncul untuk pengujian
  • [SPARK-49000] [BEHAVE-105][es-1194747][SQL] Memperbaiki "select count(distinct 1) from t" di mana t adalah tabel kosong dengan memperluas RewriteDistinctAggregates - Databricks Runtime versi 16.x
  • [SPARK-49311] [SC-175038][sql] Membuatnya mungkin bagi nilai 'interval detik' yang besar untuk dikasting ke desimal
  • [SPARK-49200] [SC-173699][sql] Perbaiki pengecualian pemesanan non-codegen jenis null
  • [SPARK-49467] [SC-176051][ss] Tambahkan dukungan untuk pembaca sumber data keadaan serta mencantumkan status
  • [SPARK-47307] [SC-170891][sql] Tambahkan konfigurasi untuk secara opsional memotong string base64
  • [SPARK-49391] [SC-176032][ps] Plot kotak pilih outlier berdasarkan jarak dari pagar
  • [SPARK-49445] [SC-175845][ui] Mendukung penampilan tooltip di bilah kemajuan UI
  • [SPARK-49451] [SC-175702] Izinkan kunci duplikat dalam parse_json.
  • [SPARK-49275] [SC-175701][sql] Perbaiki jenis pengembalian null dari ekspresi xpath
  • [SPARK-49021] [SC-175578][ss] Tambahkan dukungan untuk membaca variabel status nilai transformWithState dengan pembaca sumber data status
  • [SPARK-49474] [BEHAVE-143][sc-169253][SC-175933][ss] Klasifikasikan kelas Error untuk error fungsi pengguna FlatMapGroupsWithState
  • [SPARK-49408] [SC-175932][sql] Gunakan IndexedSeq di ProjectingInternalRow
  • [SPARK-49509] [SC-175853][core] Gunakan Platform.allocateDirectBuffer alih-alih ByteBuffer.allocateDirect
  • [SPARK-49382] [SC-175013][ps] Buat diagram kotak frame secara tepat merender flier/outlier
  • [SPARK-49002] [SC-172846][sql] Secara konsisten menangani lokasi yang tidak valid di WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
  • [SPARK-49480] [SC-175699][core] Perbaiki NullPointerException dari SparkThrowableHelper.isInternalError
  • [SPARK-49477] [SC-175828][python] Meningkatkan pesan kesalahan untuk jenis pengembalian yang tidak valid pada pandas udf
  • [SPARK-48693] [SC-169492][sql] Menyederhanakan dan menyatukan fungsi toString dari Invoke dan StaticInvoke
  • [SPARK-49441] [SC-175716][ml] StringIndexer mengurutkan array pada eksekutor
  • [SPARK-49347] [SC-175004][r] Deprecate SparkR
  • [SPARK-49357] [SC-175227][connect][PYTHON] Secara vertikal memotong pesan protobuf yang sangat berlapis
  • [SPARK-41982] [SC-120604][sql] Partisi jenis string tidak boleh diperlakukan sebagai jenis numerik
  • [SPARK-48776] [SC-170452][behave-72] Perbaiki pemformatan tanda waktu untuk json, xml, dan csv
  • [SPARK-49223] [SC-174800][ml] Sederhanakan StringIndexer.countByValue dengan fungsi bawaan
  • [SPARK-49016] Kembali "[SC-174663][sql] Mengembalikan perilaku yang melarang permintaan dari file CSV mentah ketika hanya menyertakan kolom rekaman rusak dan menetapkan nama ke _LEGACY_ERROR_TEMP_1285"
  • [SPARK-49041] [SC-172392][python][CONNECT] Memunculkan kesalahan yang tepat untuk dropDuplicates ketika subset yang salah diberikan
  • [SPARK-49050] [SC-175235] Mengaktifkan operator deleteIfExists di TWS dengan Keluarga Kolom Virtual
  • [SPARK-49216] [SC-173919][core]Perbaikan untuk tidak mencatat konteks pesan ketika LogEntry dibuat secara eksplisit saat konfigurasi Pengelogan Terstruktur tidak aktif.
  • [SPARK-49252] [SC-175596][core] MembuatTaskSetExcludeList dan HeathTracker independen
  • [SPARK-49352] [SC-174971][sql] Hindari transformasi array berlebihan untuk ekspresi yang identik
  • [SPARK-42307] [SC-173863][sql] Tetapkan nama untuk kesalahan _LEGACY_ERROR_TEMP_2232
  • [SPARK-49197] [SC-173732][core] Redact Spark Command output dalam modul launcher
  • [SPARK-48913] [SC-173934][sql] Mengimplementasikan IndentingXMLStreamWriter
  • [SPARK-49306] [SC-175363][python][SQL] Buat alias fungsi SQL untuk 'zeroifnull' dan 'nullifzero'
  • [SPARK-48344] [SQL] Eksekusi Skrip SQL (termasuk Spark Connect)
  • [SPARK-49402] [SC-175122][python] Perbaiki integrasi Binder dalam dokumentasi PySpark
  • [SPARK-49017] [SC-174664][sql] Pernyataan insert gagal ketika beberapa parameter sedang digunakan
  • [SPARK-49318] [SC-174733][sql] Preempt kesalahan prioritas rendah pada LCA hingga akhir analisis pemeriksaan untuk meningkatkan pengalaman kesalahan
  • [SPARK-49016] [SC-174663][sql] Memulihkan perilaku bahwa kueri dari file CSV mentah tidak diizinkan saat hanya menyertakan kolom rekaman yang rusak dan menetapkan nama ke _LEGACY_ERROR_TEMP_1285
  • [SPARK-49387] [SC-175124][python] Memperbaiki petunjuk tipe untuk accuracy di percentile_approx dan approx_percentile
  • [SPARK-49131] [SC-174666][ss] TransformWithState harus mengatur kunci pengelompokan implisit dengan benar bahkan dengan iterator malas
  • [SPARK-49301] [SC-174795][ss] Data panah gugus yang diteruskan ke pekerja Python
  • [SPARK-49039] [SC-174651][ui] Reset kotak centang ketika metrik pelaksana dimuat di tab Tahapan
  • [SPARK-48428] [SC-169806][sql]: Perbaiki IllegalStateException di NestedColumnAliasing
  • [SPARK-49353] [SC-174830][sql] Memperbarui dokumen yang terkait dengan pengodean/dekode UTF-32
  • [SPARK-48613] [SC-170966][sql] SPJ: Mendukung pengacakan otomatis satu sisi + lebih sedikit kunci gabungan daripada kunci partisi
  • [SPARK-47473] [SC-160450][behave-127][SQL] Memperbaiki masalah kebenaran konversi tanda waktu INFINITY postgres
  • [SPARK-49142] [SC-173658][connect][PYTHON] Tindak lanjut untuk mengembalikan proto ke biaya performa string
  • [SPARK-49300] [SC-175008][core] Perbaiki kebocoran token delegasi untuk Hadoop ketika tokenRenewalInterval tidak diatur.
  • [SPARK-49367] [SC-175012][ps] Paralelkan komputasi KDE untuk beberapa kolom (backend plotly)
  • [SPARK-49365] [SC-175011][ps] Menyederhanakan agregasi wadah dalam plot histogram
  • [SPARK-49372] [SC-175003][ss] Pastikan bahwa latestSnapshot diatur ke kosong pada penutupan untuk menghindari penggunaan selanjutnya
  • [SPARK-49341] [SC-174785] Hapus connector/docker demi kepentingan Apache Spark Operator
  • [SPARK-49344] [SC-174894][ps] Dukungan json_normalize untuk Pandas API di Spark
  • [SPARK-49306] [SC-174794][sql] Buat fungsi SQL baru 'zeroifnull' dan 'nullifzero'
  • [SPARK-48796] [SC-174668][ss] Muat Id Keluarga Kolom dari RocksDBCheckpointMetadata untuk VCF saat menghidupkan ulang
  • [SPARK-49342] [SC-174899][sql] Buat TO_AVRO fungsi SQL 'jsonFormatSchema' argumen opsional
  • [SPARK-48628] [SC-174695][core] Menambahkan metrik puncak memori heap on/off untuk tugas
  • [SPARK-47407] [SC-159379][behave-126][SQL] Dukungan java.sql.Types.NULL map ke NullType
  • [SPARK-48628] [SC-173407][core] Tambahkan metrik memori puncak on/off heap untuk tugas
  • [SPARK-49166] [SC-173987][sql] Dukungan OFFSET dalam subkueri berkorelasi
  • [SPARK-49269] [SC-174676][sql] Eagerly mengevaluasi daftar VALUES() di AstBuilder
  • [SPARK-49281] [SC-174782][sql] Mengoptimalkan getBytes biner parquet dengan getBytesUnsafe untuk menghindari biaya penyalinan
  • [SPARK-49113] [SC-174734] Jangan menegaskan pada bug terjemahan - menelan pengecualian secara diam-diam
  • [SPARK-49098] [SC-173253][sql] Tambahkan opsi tulis untuk INSERT
  • [SPARK-48638] [SC-174694][follow][CONNECT] Perbaiki dokumentasi untuk ExecutionInfo
  • [SPARK-49250] [ES-1222826][sql] Meningkatkan pesan kesalahan untuk UnresolvedWindowExpression berlapis di CheckAnalysis
  • [SPARK-48755] [SC-174258][ss][PYTHON] transformWithState implementasi dasar pyspark dan dukungan ValueState
  • [SPARK-48966] [SC-174329][sql] Meningkatkan pesan galat terkait referensi kolom yang tidak valid dalam panggilan UDTF
  • [SPARK-46590] [SC-154115][sql] Memperbaiki coalesce yang gagal dengan indeks partisi yang tidak terduga
  • [SPARK-49235] [SC-174159][sql] Refaktor aturan ResolveInlineTables sehingga tidak melintasi seluruh pohon
  • [SPARK-49060] [SC-173107][connect] Bersihkan aturan Mima untuk pemeriksaan kompatibilitas biner SQL-Connect
  • [SPARK-48762] [SC-172525][sql] Memperkenalkan clusterBy DataFrameWriter API untuk Python
  • [SPARK-49207] [SC-173852][sql] Perbaiki pemetaan kasus satu ke banyak di SplitPart dan StringSplitSQL
  • [SPARK-49204] [SC-173850][sql] Perbaiki penanganan pasangan pengganti di StringInstr dan StringLocate
  • [SPARK-36680] [SC-170640][sql] Mendukung Opsi Tabel Dinamis untuk Spark SQL
  • [SPARK-49204] [SC-173849][sql] Perbaiki penanganan pasangan pengganti di SubstringIndex
  • [SPARK-49204] [SC-173848][sql] Perbaiki penanganan pasangan pengganti di StringTrim
  • [SPARK-48967] [SC-173993]Perbaiki penerusan pengujian SparkConfigOwnershipSuite untuk OPTIMIZE_INSERT_INTO_VALUES_PARSER
  • [SPARK-49204] [SC-173851][sql] Perbaiki penanganan pasangan pengganti di StringReplace
  • [SPARK-48967] [SC-173993][sql][16.x] Meningkatkan performa serta jejak memori "INSERT INTO ... Pernyataan VALUES
  • [SPARK-49099] Kembali "[SC-173229][sql] CatalogManager.setCurrent...
  • [SPARK-48347] [SC-173812][sql] Dukungan untuk pernyataan WHILE
  • [SPARK-49128] [SC-173344][core] Mendukung judul antarmuka pengguna Server Riwayat kustom
  • [SPARK-49146] [SC-173825][ss] Memindahkan kesalahan asersi terkait hilangnya watermark dalam kueri streaming mode append ke kerangka kerja kesalahan
  • [SPARK-45787] [SC-172197][sql] Mendukung Catalog.listColumns untuk kolom pengklusteran
  • [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace harus menghormati katalog sesi kustom
  • [SPARK-49138] [SC-173483][sql] Memperbaiki CollationTypeCasts dari beberapa ekspresi
  • [SPARK-49163] [SC-173666][sql] Upaya untuk membuat tabel berdasarkan hasil data partisi parquet yang rusak harus mengembalikan kesalahan yang dihadapi pengguna
  • [SPARK-49201] [SC-173793][ps][PYTHON][connect] Mengimplementasikan ulang hist plot dengan Spark SQL
  • [SPARK-49188] [SC-173682][sql] Kesalahan internal pada concat_ws yang dipanggil pada array dari array string
  • [SPARK-49137] [SC-173677][sql] Ketika kondisi Boolean dalam if statement tidak valid, pengecualian harus dilemparkan
  • [SPARK-49193] [SC-173672][sql] Memperbaiki performa RowSetUtils.toColumnBasedSet
  • [SPARK-49078] [SC-173078][sql] Dukungan memperlihatkan sintaks kolom dalam tabel v2
  • [SPARK-49141] [SC-173388][sql] Tandai varian sebagai jenis data hive yang tidak kompatibel
  • [SPARK-49059] [Cherry-Pick][15.x][SC-172528][connect] Pindahkan SessionHolder.forTesting(...) ke paket pengujian
  • [SPARK-49111] [SC-173661][sql] Pindahkan denganProjectAndFilter ke objek pendamping DataSourceV2Strategy
  • [SPARK-49185] [SC-173688][ps][PYTHON][connect] Reimplement kde plot dengan Spark SQL
  • [SPARK-49178] [SC-173673][sql] Optimalkan performa Row#getSeq agar sesuai dengan performa saat menggunakan Spark 3.5 dengan Scala 2.12
  • [SPARK-49093] [SC-172958][sql] GROUP BY dengan tipe MapType yang bersarang di dalam jenis kompleks
  • [SPARK-49142] [SC-173469][connect][PYTHON] Turunkan tingkat log klien Spark Connect ke debug
  • [SPARK-48761] [SC-172048][sql] Memperkenalkan clusterBy DataFrameWriter API untuk Scala
  • [SPARK-48346] [SC-173083][sql] Dukungan untuk pernyataan IF ELSE dalam skrip SQL
  • [SPARK-48338] [SC-173112][sql] Meningkatkan pengecualian yang dilemparkan dari parser/interpreter
  • [SPARK-48658] [SC-169474][sql] Fungsi Encode/Decode melaporkan kesalahan pengodean alih-alih mojibake untuk karakter yang tidak dapat dipetakan
  • [SPARK-49071] [SC-172954][sql] Hapus sifat ArraySortLike
  • [SPARK-49107] Kembali "Kembalikan "[SC-173103][sql] ROUTINE_ALREADY_EXISTS mendukung RoutineType""
  • [SPARK-49070] [SC-172907][ss][SQL] TransformWithStateExec.initialState salah ditulis ulang untuk menghasilkan rencana kueri yang tidak valid
  • [SPARK-49114] [SC-173217] Subkategori tidak dapat memuat kesalahan penyimpanan status
  • [SPARK-49107] Membatalkan "[SC-173103][sql] ROUTINE_ALREADY_EXISTS mendukung RoutineType"
  • [SPARK-49048] [SC-173223][ss] Tambahkan dukungan untuk membaca metadata operator yang relevan pada id batch tertentu
  • [SPARK-49094] [SC-173049][sql] Perbaiki ignoreCorruptFiles yang tidak berfungsi dengan baik untuk implementasi hive orc dengan mergeSchema dimatikan.
  • [SPARK-49108] [SC-173102][example] Tambahkan contoh REST API submit_pi.sh
  • [SPARK-49107] [SC-173103][sql] ROUTINE_ALREADY_EXISTS mendukung RoutineType
  • [SPARK-48997] [SC-172484][ss] Terapkan membongkar secara individual untuk kegagalan pool thread pemeliharaan
  • [SPARK-49063] [SC-173094][sql] Perbaiki Antara dengan ScalarSubqueries
  • [SPARK-45891] [SC-172305][sql][PYTHON][varian] Tambahkan dukungan untuk jenis interval dalam Spesifikasi Varian
  • [SPARK-49074] [BEHAVE-110][sc-172815][SQL] Memperbaiki varian dengan df.cache()
  • [SPARK-49003] [SC-172613][sql] Perbaiki hash jalur kode yang ditafsirkan agar sadar kolase
  • [SPARK-48740] [SC-172430][sql] Menangkap kesalahan spesifikasi jendela yang hilang lebih awal
  • [SPARK-48999] [SC-172245][ss] Divide PythonStreamingDataSourceSimpleSuite
  • [SPARK-49031] [SC-172602] Menerapkan validasi untuk operator TransformWithStateExec menggunakan OperatorStateMetadataV2
  • [SPARK-49053] [SC-172494][python][ML] Membuat fungsi pembantu untuk menyimpan/memuat model menerima sesi Spark
  • [SPARK-49032] [Backport][15.x][SS] Tambahkan jalur skema dalam entri tabel metadata, verifikasi versi yang diharapkan dan tambahkan pengujian terkait metadata operator untuk format metadata operator v2
  • [SPARK-49034] [SC-172306][core] Mendukung penggantian sparkProperties sisi server di REST Submission API
  • [SPARK-48931] [SC-171895][ss] Kurangi biaya API Daftar Penyimpanan Cloud untuk tugas pemeliharaan penyimpanan status
  • [SPARK-48849] [SC-172068][ss]Create OperatorStateMetadataV2 untuk operator TransformWithStateExec
  • [SPARK-49013] [SC-172322] Ubah kunci dalam collationsMap untuk jenis Map dan Array dalam scala
  • [SPARK-48414] [SC-171884][python] Perbaiki perubahan yang menyebabkan gangguan pada python fromJson
  • [SPARK-48910] [SC-171001][sql] Gunakan HashSet/HashMap untuk menghindari pencarian linier di PreprocessTableCreation
  • [SPARK-49007] [SC-172204][core] Tingkatkan MasterPage untuk mendukung judul kustom
  • [SPARK-49009] [SC-172263][sql][PYTHON] Buat API kolom dan fungsi menerima Enum
  • [SPARK-49033] [SC-172303][core] Mendukung penggantian environmentVariables sisi server di REST Submission API
  • [SPARK-48363] [SC-166470][sql] Membersihkan beberapa kode redundan di from_xml
  • [SPARK-46743] [SC-170867][sql][BEHAVE-84] Hitung bug setelah ScalarSubquery dilipat jika memiliki relasi kosong
  • [SPARK-49040] [SC-172351][sql] Perbaikan dokumen sql-ref-syntax-aux-exec-imm.md
  • [SPARK-48998] [SC-172212][ml] Algoritma meta menyimpan/memuat model dengan SparkSession
  • [SPARK-48959] [SC-171708][sql] Make NoSuchNamespaceException memperluas NoSuchDatabaseException untuk memulihkan penanganan pengecualian
  • [SPARK-48996] [SC-172130][sql][PYTHON] Izinkan penggunaan literal murni untuk ,, , atau Kolom
  • [SPARK-48990] [SC-171936] Tindak lanjut untuk #101759 - perbaikan uji
  • [SPARK-48338] [SC-171912][sql] Periksa deklarasi variabel
  • [SPARK-48990] [SC-171936][sql] Kata kunci sintaks SQL terkait variabel terpadu
  • [SPARK-48988] [SC-171915][ml] Buat DefaultParamsReader/Writer menangani metadata dengan sesi spark
  • [SPARK-48974] [SC-171978][sql][SS][ml][MLLIB] Gunakan SparkSession.implicits alih-alih SQLContext.implicits
  • [SPARK-48760] [SC-170870][sql] Perbaiki CatalogV2Util.applyClusterByChanges
  • [SPARK-48928] [SC-171956] Peringatan Log untuk Memanggil .unpersist() pada RDD yang Dicentang Secara Lokal
  • [SPARK-48760] [SC-170139][sql] Memperkenalkan ALTER TABLE ... CLUSTER BY sintaks SQL untuk mengubah kolom pengklusteran
  • [SPARK-48844] Balikkan “[SC-170669][sql] gunakan INVALID_EMPTY_LOCATION alih-alih UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY saat jalur kosong”
  • [SPARK-48833] [SC-171914][sql][VARIANT] Varian dukungan dalam InMemoryTableScan
  • [SPARK-48975] [SC-171894][protobuf] Hapus definisi ScalaReflectionLock yang tidak perlu dari protobuf
  • [SPARK-48970] [SC-171800][python][ML] Hindari menggunakan SparkSession.getActiveSession di spark ML reader/writer
  • [SPARK-48844] [SC-170669][sql] GUNAKAN INVALID_EMPTY_LOCATION alih-alih UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY saat jalur kosong
  • [SPARK-48714] [SC-170136] Memperbaiki pengujian df.mergeInto yang gagal di PySpark dan UC
  • [SPARK-48957] [SC-171797][ss] Mengembalikan kelas kesalahan subklasifikasi pada beban penyimpanan status untuk penyedia hdfs dan rocksdb
  • [SPARK-48891] [Backport][15x][SC-171677][ss] Refaktorisasi StateSchemaCompatibilityChecker untuk menyatukan semua format skema keadaan
  • [SPARK-48972] [SC-171795][python] Menyatukan penanganan string literal dalam fungsi
  • [SPARK-48388] [SC-171337][sql] Memperbaiki perilaku pernyataan SET untuk Skrip SQL
  • [SPARK-48743] [SC-170552][sql][SS] MergingSessionIterator harus lebih baik menangani ketika getStruct mengembalikan null
  • [SPARK-48623] [15.x][sc-171322][CORE] Memigrasikan log FileAppender ke pengelogan terstruktur
  • [SPARK-36680] [DBRRM-1123] Mengembalikan “[SC-170640][sql] Mendukung Opsi Tabel Dinamis untuk Spark SQL”
  • [SPARK-48841] [SC-170868][behave-83][SQL] Sertakan collationName ke sql()Collate
  • [SPARK-48941] [SC-171703][python][ML] Ganti pemanggilan API baca/tulis RDD dengan API baca/tulis Dataframe
  • [SPARK-48938] [SC-171577][python] Meningkatkan pesan kesalahan saat mendaftarkan UDTF Python
  • [SPARK-48350] [SC-171040][sql] Pengenalan Pengecualian Kustom untuk Pembuatan Skrip Sql
  • [SPARK-48907] [SC-171158][sql] Perbaiki nilai explicitTypes di COLLATION_MISMATCH.EXPLICIT
  • [SPARK-48945] [SC-171658][python] Menyederhanakan fungsi regex dengan lit
  • [SPARK-48944] [SC-171576][connect] Menyatukan penanganan skema format JSON di Connect Server
  • [SPARK-48836] [SC-171569] Mengintegrasikan skema SQL dengan skema/metadata status
  • [SPARK-48946] [SC-171504][sql] NPE dalam metode redaksi ketika sesi null
  • [SPARK-48921] [SC-171412][sql] Encoder ScalaUDF dalam subkueri harus diselesaikan untuk MergeInto
  • [SPARK-45155] [SC-171048][connect] Tambahkan DOKUMEN API untuk Klien Spark Connect JVM/Scala
  • [SPARK-48900] [SC-171319] Tambahkan reason bidang untuk cancelJobGroup dan cancelJobsWithTag
  • [SPARK-48865] [SC-171154][sql] Tambahkan fungsi try_url_decode
  • [SPARK-48851] [SC-170767][sql] Ubah nilai SCHEMA_NOT_FOUND dari namespace menjadi catalog.namespace
  • [SPARK-48510] [SC-170893][2/2] Mendukung UDAF toColumn API di Spark Connect
  • [SPARK-45190] [SC-171055][spark-48897][PYTHON][connect] Make from_xml mendukung skema StructType
  • [SPARK-48930] [SC-171304][core] Redact awsAccessKeyId dengan menyertakan pola accesskey
  • [SPARK-48909] [SC-171080][ml][MLLIB] Menggunakan SparkSession melalui SparkContext saat menulis metadata
  • [SPARK-48883] [SC-171133][ml][R] Ganti pemanggilan API baca/tulis RDD dengan API baca/tulis Dataframe
  • [SPARK-48924] [SC-171313][ps] Tambahkan fungsi pembantu make_interval seperti panda
  • [SPARK-48884] [SC-171051][python] Hapus fungsi pembantu yang tidak digunakan PythonSQLUtils.makeInterval
  • [SPARK-48817] [SC-170636][sql] Segera menjalankan beberapa perintah union bersama-sama
  • [SPARK-48896] [SC-171079][ml][MLLIB] Hindari partisi ulang saat menulis metadata
  • [SPARK-48892] [SC-171127][ml] Hindari pembacaan parameter per baris di Tokenizer
  • [SPARK-48927] [SC-171227][core] Tampilkan jumlah RDD yang di-cache di StoragePage
  • [SPARK-48886] [15.x][backport][SC-171039][ss] Tambahkan info versi ke changelog v2 untuk memungkinkan evolusi yang lebih mudah
  • [SPARK-48903] [SC-171136][ss] Atur versi snapshot terakhir RocksDB dengan tepat saat pemuatan jarak jauh
  • [SPARK-48742] [SC-170538][ss] Keluarga Kolom Virtual untuk RocksDB
  • [SPARK-48726] [15.x][sc-170753][SS] Buat format file StateSchemaV3, dan tulis ini untuk operator TransformWithStateExec
  • [SPARK-48794] [SC-170882][connect][15.x] df.mergeInto dukungan untuk Spark Connect (Scala dan Python)
  • [SPARK-48714] [SC-170136][python] Implementasikan DataFrame.mergeInto di PySpark
  • [SPARK-48772] [SC-170642][ss][SQL] Mode Pembaca Umpan Perubahan Sumber Data Status
  • [SPARK-48666] [SC-170887][sql] Jangan dorong ke bawah filter jika berisi PythonUDFs
  • [SPARK-48845] [SC-170889][sql] GenericUDF menangkap pengecualian dari anak-anak
  • [SPARK-48880] [SC-170974][core] Hindari melempar NullPointerException jika plugin driver gagal menginisialisasi
  • [SPARK-48888] [Backport][15x][SC-170973][ss] Hapus pembuatan rekam jepret berdasarkan ukuran operasi changelog
  • [SPARK-48871] [SC-170876] Perbaiki validasi INVALID_NON_DETERMINISTIC_EXPRESSIONS di...
  • [SPARK-48883] [SC-170894][ml][R] Ganti pemanggilan API baca/tulis RDD dengan API baca/tulis Dataframe
  • [SPARK-36680] [SC-170640][sql] Mendukung Opsi Tabel Dinamis untuk Spark SQL
  • [SPARK-48804] [SC-170558][sql] Tambahkan classIsLoadable & OutputCommitter.isAssignableFrom periksa konfigurasi kelas komitter output
  • [SPARK-46738] [SC-170791][python] Mengaktifkan kembali sekelompok doctest
  • [SPARK-48858] [SC-170756][python] Hapus panggilan metode setDaemonThread yang tidak digunakan lagi di log_communication.py
  • [SPARK-48639] [SC-169801][connect][PYTHON] Tambahkan Asal ke RelationCommon
  • [SPARK-48863] [SC-170770][es-1133940][SQL] Perbaiki ClassCastException saat mengurai JSON dengan "spark.sql.json.enablePartialResults" diaktifkan
  • [SPARK-48343] [SC-170450][sql] Pengenalan penerjemah Skrip SQL
  • [SPARK-48529] [SC-170755][sql] Pengenalan Label dalam SQL Scripting
  • [SPARK-45292] Batalkan "[SC-151609][sql][HIVE] Hapus Guava dari kelas bersama dari IsolatedClientLoader"
  • [SPARK-48037] [SC-165330][core][3.5] Memperbaiki SortShuffleWriter yang tidak memiliki metrik terkait penulisan shuffle yang mengakibatkan data yang berpotensi tidak akurat
  • [SPARK-48720] [SC-170551][sql] Sejajarkan perintah ALTER TABLE ... UNSET TBLPROPERTIES ... di v1 dan v2
  • [SPARK-48485] [SC-167825][connect][SS] Support interruptTag and interruptAll pada kueri streaming
  • [SPARK-45292] [SC-151609][sql][HIVE] Hapus Guava dari kelas bersama dari IsolatedClientLoader
  • [SPARK-48668] [SC-169815][sql] Dukungan ALTER NAMESPACE ... UNSET PROPERTI di v2
  • [SPARK-47914] [SC-165313][sql] Jangan tampilkan parameter pemisahan dalam Rentang
  • [SPARK-48807] [SC-170643][sql] Dukungan Biner untuk sumber data CSV
  • [SPARK-48220] [SC-167592][python][15.X] Izinkan melewati Tabel PyArrow untuk membuatDataFrame()
  • [SPARK-48545] [SC-169543][sql] Buat fungsi SQL to_avro dan from_avro agar sesuai dengan setara DataFrame
  • [SPARK-47577] [SC-168875][spark-47579] Perbaiki penggunaan kunci log TASK_ID yang salah

Dukungan pada driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver terbaru dan lakukan peningkatan (unduh ODBC, unduh JDBC).

Lingkungan sistem

  • Sistem Operasi : Ubuntu 24.04.1 LTS
  • Java: Zulu17.50+19-CA
  • Scala: 2.12.15
  • Python: 3.12.3
  • R: 4.4.0
  • Danau Delta: 3.2.1

Pustaka Python yang diinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
tipe beranotasi 0.7.0 asttoken 2.0.5 astunparse 1.6.3
perintah otomatis 2.2.2 azure-core 1.31.0 Azure Storage Blob 12.23.0
Azure Storage File Data Lake 12.17.0 backports.tarfile 1.2.0 hitam 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools (perangkat untuk caching) 5.3.3 sertifikat 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 klik 8.1.7
cloudpickle (perpustakaan Python untuk serialisasi objek) 2.2.1 Komunikasi 0.2.1 Contourpy 1.2.0
Kriptografi 42.0.5 pengendara sepeda 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
penghias 5.1.1 Tidak digunakan lagi 1.2.14 distlib 0.3.8
konversi docstring ke markdown 0.11 titik masuk 0,4 Mengeksekusi 0.8.3
gambaran umum aspek 1.1.1 filelock 3.15.4 alat pengelola font 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth (autentikasi Google) 2.35.0 google-cloud-core 2.4.1 penyimpanan awan Google 2.18.2
google-crc32c 1.6.0 google-resumable-media (layanan media berkelanjutan dari Google) 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
IDNA 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
memfleksi 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.teks 3.12.1 Jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient (klien layanan web yang menggunakan RESTful) 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mlflow-skinny (versi ringan) 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy ekstensi 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy (perpustakaan Python untuk operasi numerik) 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-konvensi-semantik 0.48b0
pengemasan 24.1 Panda 1.5.3 pengurai 0.8.3
spesifikasi jalur 0.10.3 kambing hitam 0.5.6 pexpect 4.8.0
bantal 10.3.0 pipa 24,2 platformdir 3.10.0
secara plot 5.22.0 pengaya 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 modul pyasn1 0.2.8
pyccolo 0.0.52 pycparser 2.21 pydantic (perpustakaan Python untuk validasi data) 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML (paket untuk memproses bahasa YAML dalam Python) 6.0.1 pyzmq 25.1.2
permohonan 2.32.2 tali 1.12.0 Rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy (perpustakaan Python untuk komputasi ilmiah) 1.13.1
Seaborn (perpustakaan Python untuk visualisasi data) 0.13.2 setuptools 74.0.0 Enam 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels (paket Python untuk pemodelan statistik) 0.14.2 kegigihan 8.2.2
threadpoolctl 2.2.0 Tokenisasi-RT 4.2.1 tomli 2.0.1
Tornado 6.4.1 sifat 5.14.3 typeguard (penjaga tipe) 4.3.0
type-protobuf 3.20.3 type-psutil 5.9.0 type-pytz 2023.3.1.1
Types-PyYAML 6.0.0 jenis permintaan 2.31.0.0 tipe-setuptools 68.0.0.0
tipe-enam 1.16.0 jenis-urllib3 1.26.25.14 ekstensi pengetikan (typing_extensions) 4.11.0
ujson 5.10.0 pembaruan otomatis tanpa pengawasan 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
apa itu patch 1.0.2 wheel 0.43.0 terbungkus 1.14.1
yapf 0.33.0 zipp 3.17.0

Perpustakaan R yang terinstal

Pustaka R diinstal dari cuplikan CRAN "Posit Package Manager" pada 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anak panah 16.1.0 askpass 1.2.0 pastikanbahwa 0.2.1
pemindahan fitur ke versi lama (backports) 1.5.0 dasar 4.4.0 base64enc 0.1-3
bigD 0.2.0 sedikit 4.0.5 bit-64 4.0.5
bitops 1,0-8 blob 1.2.4 sepatu bot 1.3-30
menyeduh 1.0-10 Brio 1.1.5 sapu 1.0.6
bslib 0.8.0 cashmere 1.1.0 layanan panggilan 3.7.6
caret 6.0-94 cellranger 1.1.0 kronogram 2.3-61
kelas 7.3-22 CLI 3.6.3 pemangkas 0.8.0
jam dinding 0.7.1 kluster 2.1.6 codetools 0.2-20
ruang warna 2.1-1 commonmark 1.9.1 pengkompilasi 4.4.0
konfig 0.3.2 Bimbang 1.2.0 cpp11 0.4.7
kriyon 1.5.3 kredensial 2.0.1 melengkung 5.2.1
data.table (sebuah paket untuk pengolahan data table) 1.15.4 kumpulan data 4.4.0 DBI 1.2.3
dbplyr 2.5.0 deskripsi 1.4.3 devtools 2.4.5
bagan 1.6.5 diffobj 0.3.5 digest 0.6.36
pencahayaan turun 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 elipsis 0.3.2 menilai 0.24.0
penggemar 1.0.6 warna-warna 2.1.2 pemetaan cepat 1.2.0
fontawesome 0.5.2 untuk kucing 1.0.0 foreach (pengulangan untuk setiap elemen) 1.5.2
asing 0.8-86 bengkel pandai besi 0.2.0 Fs 1.6.4
masa depan 1.34.0 menerapkan di masa depan 1.11.2 kumur 1.5.2
obat generik 0.1.3 Gert 2.1.0 ggplot2 3.5.1
Gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 variabel global 0.16.3 lem 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
Grafik 4.4.0 grDevices 4.4.0 kisi 4.4.0
gridExtra 2.3 gsubfn 0,7 GT 0.11.0
dapat di-gt 0.3.5 topi keras 1.4.0 tempat aman 2.5.4
lebih tinggi 0.11 HMS 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 Id 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 Pengiterasi 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 JuicyJuice 0.1.0
KernSmooth 2.23-22 rajut 1.48 Pelabelan 0.4.3
nanti 1.3.2 rangka 0.22-5 lahar 1.8.0
siklus hidup 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.13 Massa 7.3-60.0.1
Matriks 1.6-5 memosankan 2.0.1 Metode 4.4.0
mgcv 1.9-1 pantomim 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv Agustus 2016 - Januari 2017 openssl 2.2.0 paralel 4.4.0
secara paralel 1.38.0 pilar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 pujian 1.0.0
prettyunits 1.2.0 Proc 1.18.5 ProsesX 3.8.4
prodlim 2024.06.25 profvis 0.3.8 Kemajuan 1.2.3
progresr 0.14.0 janji 1.3.0 Proto 1.0.0
proksi 0,4-27 P.S. 1.7.7 menggeram lembut 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest (algoritma pembelajaran mesin) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 dapat direaksi 0.4.4
reactR 0.6.0 pembaca 2.1.5 readxl (membaca file Excel) 1.4.3
Resep 1.1.0 pertandingan ulang 2.0.0 pertandingan ulang 2 2.1.2
pengontrol jarak jauh 2.5.0 contoh replikasi 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 Sass 0.4.9
timbangan / sisik 1.3.0 selektor 0,4-2 informasi sesi 1.2.2
bentuk 1.4.6.1 mengkilap 1.9.1 sourcetools 0.1.7-1
sparklyr - paket R untuk analisis data dan pembelajaran mesin 1.8.6 SparkR 3.5.0 spasial 7.3-17
garis lengkung 4.4.0 sqldf 0.4-1 SQUAREM 2021.1
statistik 4.4.0 statistik4 4.4.0 string 1.8.4
stringr 1.5.1 bertahan hidup 3.6-4 gaya berani 5.17.14.1
Sistem 3.4.2 systemfonts 1.1.0 bahasa pemrograman Tcl/Tk 4.4.0
ujiitu 3.2.1.1 pemformatan teks 0.4.0 tibble 3.2.1
tidyr 1.3.1 pilih rapi 1.2.1 rapi 2.0.0
perubahan jam 0.3.0 TanggalWaktu 4032.109 tinytex 0.52
perangkat 4.4.0 tzdb 0.4.0 urlchecker 1.0.1
gunakan ini 3.0.0 utf8 1.2.4 Utilitas 4.4.0
UUID (Pengidentifikasi Unik Universal) 1.2-1 V8 4.4.2 vctrs 0.6.5
viridisLite 0.4.2 Vroom 1.6.5 Waldo 0.5.2
kumis 0.4.1 dengan 3.0.1 xfun 0,46
xml2 1.3.6 xopen 1.0.1 xtable 1.8-4
yaml 2.3.10 zeallot 0.1.0 Zip 2.3.1

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Kelompok Identifikasi Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.638
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-impor-ekspor 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.638
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.638
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws AWS Java SDK Dukungan 1.12.638
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware bayangan-kriogenik 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core Jackson Annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine kafein 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib referensi_asli-java 1.1-penduduk asli
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib sistem_asli-java 1.1-penduduk asli
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-penduduk asli
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-penduduk asli
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone Annotasi yang rentan terhadap kesalahan 2.10.0
com.google.flatbuffers flatbuffers-java 26/05/2023
com.google.guava jambu biji 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger pembuat profil 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi kode_sumber_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (algoritma kompresi) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typeafe konfig 1.4.3
com.typeafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity Pengurai Univocity 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Tidak peduli 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0.27
io.delta delta-sharing-client_2.12 1.2.0
io.dropwizard.metrics metrik dan anotasi 4.2.19
io.dropwizard.metrics inti metrik 4.2.19
io.dropwizard.metrics metrik-graphite 4.2.19
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.2.19
io.dropwizard.metrics metrik-jetty9 4.2.19
io.dropwizard.metrics metrik-jmx 4.2.19
io.dropwizard.metrics metrik-json 4.2.19
io.dropwizard.metrics metrik-jvm 4.2.19
io.dropwizard.metrics metrik-servlet 4.2.19
io.netty netty-all 4.1.108.Final
io.netty Netty Buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-kodek-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty Kelas netty-tcnative 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_umum 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction Transaction-API 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine mentimun acar 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr StringTemplate 3.2.1
org.apache.ant semut 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow format tanda panah 15.0.0
org.apache.arrow inti-memori-panah 15.0.0
org.apache.arrow Arrow-Memory-Netty 15.0.0
org.apache.arrow panah-vektor 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-koleksi4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons Commons-Math3 3.6.1
org.apache.commons commons-text (teks umum) 1.10.0
org.apache.curator kurator dan klien 2.13.0
org.apache.curator kerangka kerja kurator 2.13.0
org.apache.curator kurasi resep 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop lingkungan kerja klien Hadoop 3.3.6
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive apache hive-llap-client 2.3.9
org.apache.hive apache hive-llap-common 2.3.9
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API penyimpanan hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.9
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy tanaman anggur 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json (pola tata letak JSON di log4j) 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean berbayang xbean-asm9 4.23
org.apache.yetus anotasi penonton 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.9.2
org.apache.zookeeper penjaga kebun binatang-jute 3.9.2
org.checkerframework pemeriksa kualitas 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections Koleksi gerhana 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty lanjutan dermaga 9.4.52.v20230823
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty Plus 9.4.52.v20230823
org.eclipse.jetty Jetty-Proxy 9.4.52.v20230823
org.eclipse.jetty keamanan jetty 9.4.52.v20230823
org.eclipse.jetty Jetty Server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Aplikasi web Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-klien 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-inti 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey biasa 2.40
org.glassfish.jersey.core Jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate Validator 6.1.7.Terakhir
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging pengelogan jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap pengganjal 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibel dengan ScalaTest 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
Stax stax-api 1.0.1
  • Last updated on