Databricks Runtime 12.0 (EoS)

Nota

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan dan akhir masa pakai. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 12.0, didukung oleh Apache Spark 3.3.1.

Databricks merilis versi ini pada Desember 2022.

Fitur dan peningkatan baru

I/O prediktif adalah GA

I/O prediktif sekarang tersedia secara umum. Untuk informasi selengkapnya, lihat Apa itu I/O prediktif?.

Pengolah Photon mendukung kompresi zstd

Penulis bawaan Photon kini mendukung codec kompresi zstd ketika zstd diaktifkan dengan mengatur spark.sql.parquet.compression.codec ke zstd.

Dukungan untuk profil sumber daya tugas tingkat tahap untuk kluster mandiri

Anda sekarang dapat menggunakan penjadwalan tingkat tahap pada kluster mandiri saat alokasi dinamis dinonaktifkan. Untuk menggunakan fitur ini, tentukan sumber daya tugas dengan ResourceProfileBuilder untuk setiap tahap.

Dukungan SQL untuk penimpaan selektif dengan REPLACE WHERE

Anda sekarang dapat secara selektif mengubah data yang sesuai dengan ekspresi acak dalam tabel Delta menggunakan pola berikut.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Lihat Penggantian selektif tak teratur dengan replaceWhere.

Tanda air sekarang didukung dalam SQL

Anda sekarang dapat menentukan tanda air menggunakan antarmuka SQL DLT dan dalam kueri SQL terhadap DataFrame streaming. Lihat klausa WATERMARK.

Pembuatan profil memori PySpark

Pembuatan profil memori sekarang diaktifkan untuk fungsi yang ditentukan pengguna PySpark. Ini menyediakan informasi tentang kenaikan memori, penggunaan memori, dan jumlah kemunculan untuk setiap baris kode dalam fungsi yang ditentukan pengguna.

Pemangkasan dinamis untuk DELETE dan UPDATE

Saat menggunakan komputasi yang diaktifkan Photon, DELETE dan UPDATE sekarang menggunakan pemangkasan file dan partisi dinamis di mana ini meningkatkan performa. Misalnya, pemangkasan dinamis diaktifkan saat tabel sumber yang lebih kecil digunakan untuk memperbarui atau menghapus baris dalam tabel yang lebih besar.

Metrik penghapusan tingkat baris untuk operasi bahasa manipulasi data yang dipartisi

Dengan predikat yang dipartisi, pengguna sekarang dapat mengaudit berapa banyak baris yang dihapus saat menjalankan operasi bahasa manipulasi data (DML) seperti DELETE, , TRUNCATEdan replaceWhere.

Pemulihan kesalahan perangkat lunak

Memperbaiki masalah penguraian JSON di Auto Loader di mana semua kolom dibiarkan sebagai string. Sebelumnya, cloudFiles.inferColumnTypes tidak diatur atau ditetapkan menjadi false dan JSON berisi objek berlapis.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • argon2-cffi dari 20.1.0 ke 21.3.0
    • attrs dari 21.2.0 hingga 21.4.0
    • backports.entry-points-selectable dari 1.1.1 hingga 1.2.0
    • pemutih dari 4.0.0 hingga 4.1.0
    • boto3 dari 1.21.18 ke 1.21.32
    • botocore dari 1.24.18 ke 1.24.32
    • cffi dari 1.14.6 ke 1.15.0
    • klik dari 8.0.3 ke 8.0.4
    • cycler dari 0.10.0 hingga 0.11.0
    • Cython dari 0.29.24 ke 0.29.28
    • debugpy dari 1.4.1 hingga 1.5.1
    • dekorator dari 5.1.0 hingga 5.1.1
    • titik masuk dari 0,3 hingga 0,4
    • idna dari 3.2 hingga 3.3
    • ipykernel dari 6.12.1 ke 6.15.3
    • ipython dari 7.32.0 ke 8.5.0
    • ipywidgets dari 7.7.0 ke 7.7.2
    • jedi dari 0.18.0 hingga 0.18.1
    • joblib dari 1.0.1 hingga 1.1.0
    • jsonschema dari 3.2.0 hingga 4.4.0
    • kiwisolver dari 1.3.1 ke 1.3.2
    • matplotlib dari 3.4.3 ke 3.5.1
    • nbclient dari 0.5.3 ke 0.5.13
    • nbconvert dari 6.1.0 ke 6.4.4
    • nbformat dari 5.1.3 hingga 5.3.0
    • nest-asyncio dari 1.5.1 hingga 1.5.5
    • notebook dari 6.4.5 hingga 6.4.8
    • numpy menggunakan versi 1.20.3 hingga 1.21.5
    • kemasan dari 21.0 hingga 21.3
    • panda dari 1.3.4 hingga 1.4.2
    • pandocfilters dari 1.4.3 hingga 1.5.0
    • parso dari 0.8.2 ke 0.8.3
    • Pillow dari 8.4.0 hingga 9.0.1
    • platformdir dari 2.5.2 hingga 2.5.4
    • plotly dari 5.9.0 ke 5.6.0
    • prometheus-client dari 0.11.0 hingga 0.13.1
    • protobuf dari 4.21.5 ke 3.19.4
    • pycparser dari 2,20 hingga 2,21
    • Versi Pygments dari 2.10.0 hingga 2.11.2
    • pyodbc dari 4.0.31 ke 4.0.32
    • pyzmq dari 22.2.1 ke 22.3.0
    • permintaan dari 2.26.0 hingga 2.27.1
    • s3transfer dari 0.5.2 ke 0.5.0
    • scikit-learn dari 0.24.2 hingga 1.0.2
    • scipy dari versi 1.7.1 hingga versi 1.7.3
    • statsmodel dari 0.12.2 hingga 0.13.2
    • terminado dari 0.9.4 hingga 0.13.1
    • tomli dari 2.0.1 ke 1.2.2
    • traitlets dari 5.1.0 hingga 5.1.1
    • urllib3 dari 1.26.7 hingga 1.26.9
    • widgetsnbextension dari 3.6.0 hingga 3.6.1
  • Pustaka R yang ditingkatkan:
    • basis dari 4.1.3 ke 4.2.2
    • brew dari 1.0-7 hingga 1.0-8
    • bslib dari 0.4.0 ke 0.4.1
    • callr dari 3.7.2 ke 3.7.3
    • chron dari 2.3-57 ke 2.3-58
    • cli dari 3.3.0 hingga 3.4.1
    • kluster dari 2.1.3 hingga 2.1.4
    • commonmark dari 1.8.0 hingga 1.8.1
    • compiler dari 4.1.3 ke 4.2.2
    • cpp11 dari 0.4.2 hingga 0.4.3
    • krayon dari 1.5.1 hingga 1.5.2
    • curl dari 4.3.2 ke 4.3.3
    • data.table dari 1.14.2 hingga 1.14.4
    • himpunan data dari 4.1.3 hingga 4.2.2
    • deskripsi dari 1.4.1 ke 1.4.2
    • devtools dari 2.4.4 hingga 2.4.5
    • digest dari 0.6.29 hingga 0.6.30
    • e1071 dari 1.7-11 ke 1.7-12
    • menilai dari 0,16 hingga 0,18
    • fontawesome dari 0.3.0 hingga 0.4.0
    • masa depan dari 1.28.0 hingga 1.29.0
    • future.apply dari 1.9.1 hingga 1.10.0
    • kumur dari 1.2.0 hingga 1.2.1
    • gert dari 1.8.0 hingga 1.9.1
    • ggplot2 dari 3.3.6 ke 3.4.0
    • gh dari 1.3.0 ke 1.3.1
    • gitcreds dari 0.1.1 hingga 0.1.2
    • grafik dari 4.1.3 hingga 4.2.2
    • grDevices dari 4.1.3 ke 4.2.2
    • Kisi dari 4.1.3 hingga 4.2.2
    • httpuv dari 1.6.5 hingga 1.6.6
    • isoband dari 0.2.5 hingga 0.2.6
    • jsonlite dari 1.8.0 hingga 1.8.3
    • lava dari 1.6.10 hingga 1.7.0
    • siklus hidup dari 1.0.1 hingga 1.0.3
    • lubridat dari 1.8.0 hingga 1.9.0
    • markdown versi 1.1 hingga 1.3
    • MASSA dari 7,3-56 ke 7,3-58
    • Matriks dari 1,4-1 hingga 1,5-1
    • metode dari 4.1.3 hingga 4.2.2
    • mgcv dari 1,8-40 hingga 1,8-41
    • nlme dari 3,1-157 ke 3,1-160
    • nnet dari 7,3-17 hingga 7,3-18
    • openssl dari 2.0.2 hingga 2.0.4
    • paralel dari 4.1.3 hingga 4.2.2
    • pkgload dari 1.3.0 ke 1.3.1
    • processx dari 3.7.0 hingga 3.8.0
    • ps dari 1.7.1 ke 1.7.2
    • purrr dari 0.3.4 hingga 0.3.5
    • ragg dari 1.2.2 ke 1.2.4
    • RcppEigen dari 0.3.3.9.2 ke 0.3.3.9.3
    • readr dari 2.1.2 hingga 2.1.3
    • resep dari 1.0.1 hingga 1.0.3
    • rlang dari 1.0.5 ke 1.0.6
    • rmarkdown dari 2,16 ke 2,18
    • rpart dari 4.1.16 ke 4.1.19
    • RSQLite dari 2.2.16 ke 2.2.18
    • mengkilap dari 1.7.2 hingga 1.7.3
    • SparkR dari 3.3.0 ke 3.3.1
    • spline dari 4.1.3 ke 4.2.2
    • statistik dari 4.1.3 hingga 4.2.2
    • stats4 versi dari 4.1.3 ke 4.2.2
    • sys dari 3.4 hingga 3.4.1
    • tcltk dari 4.1.3 ke 4.2.2
    • testthat dari 3.1.4 ke 3.1.5
    • tidyr dari 1.2.0 hingga 1.2.1
    • tidyselect dari 1.1.2 hingga 1.2.0
    • timeDate dari 4021.104 hingga 4021.106
    • tinytex dari 0,41 hingga 0,42
    • alat dari 4.1.3 hingga 4.2.2
    • utils dari 4.1.3 ke 4.2.2
    • vctrs dari 0.4.1 hingga 0.5.0
    • vroom dari 1.5.7 hingga 1.6.0
    • xfun dari 0,32 hingga 0,34
    • yaml dari 2.3.5 hingga 2.3.6
    • zip dari 2.2.0 hingga 2.2.2
  • Pustaka Java yang ditingkatkan:
    • com.fasterxml.jackson.core.jackson-databind dari 2.13.4 ke 2.13.4.2
    • org.apache.parquet.parquet-column dari 1.12.0-databricks-0007 hingga 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common dari 1.12.0-databricks-0007 hingga 1.12.3-databricks-0001
    • org.apache.parquet.parquet-encoding dari 1.12.0-databricks-0007 ke 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures dari 1.12.0-databricks-0007 hingga 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop dari 1.12.0-databricks-0007 ke 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson dari 1.12.0-databricks-0007 hingga 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations dari 0.5.0 hingga 0.13.0

Apache Spark

Databricks Runtime 12.0 menyertakan Apache Spark 3.3.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 11.3 LTS (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Membatalkan perubahan “[SC-113542][ss] Mengubah nilai default konfigurasi pengambilan offset Kafka”
  • [SPARK-40646] [SC-116061] Batalkan “[SC-113379][sql] Perbaikan mengembalikan hasil parsial dalam sumber data JSON dan fungsi JSON”
  • [SPARK-41195] [SC-116305][sql] Dukungan PIVOT/UNPIVOT dengan anak-anak gabungan
  • [SPARK-41178] [SC-116139][sql] Perbaiki prioritas aturan pengurai antara JOIN dan koma
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] Tambahkan kelas kesalahan STREAM_FAILED ke StreamingQueryException
  • [SPARK-40921] Batalkan “[SC-115140][sc-114585][SQL] Tambahkan klausa WHEN NOT MATCHED BY SOURCE ke MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Perluas kolom METADATA untuk mendukung indeks baris untuk file Parquet
  • [SPARK-41055] [SC-115582][sql] Ganti nama _LEGACY_ERROR_TEMP_2424 menjadi GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][python][PROTOBUF] Dukungan nama kelas pesan untuk PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] Setara SQL untuk perintah timpa Dataframe
  • [SPARK-41095] [SC-115659][sql] Mengonversi operator yang tidak terselesaikan menjadi kesalahan internal
  • [SPARK-41144] [SC-115866][sql] Petunjuk yang tidak terselesaikan tidak boleh menyebabkan kegagalan kueri
  • [SPARK-41137] [SC-115858][sql] Ganti nama LATERAL_JOIN_OF_TYPE menjadi INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_0040 menjadi INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] UnitTest pemeriksaan null untuk generator data
  • [SPARK-40769] [SC-114923][core][SQL] Migrasikan kegagalan pemeriksaan jenis ekspresi agregat ke kelas kesalahan
  • [SPARK-41043] [SC-115183][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_2429 menjadi NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Protobuf mengimpor dukungan dan memindahkan kelas kesalahan.
  • [SPARK-41019] [SC-114987][sql] Menyediakan konteks kueri untuk failAnalysis()
  • [SPARK-41027] [SC-115131][sql] Gunakan UNEXPECTED_INPUT_TYPE alih-alih MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] Kurangi ukuran shuffle ALS
  • [SPARK-41134] [SC-115851][sql] Meningkatkan pesan kesalahan kesalahan internal
  • [SPARK-37980] Kembali " [SQL] Perluas kolom METADATA untuk mendukung indeks baris untuk file Parquet
  • [SPARK-41109] [SC-115788][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_1216 menjadi INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][core][SQL] Gunakan NON_FOLDABLE_INPUT alih-alih FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Optimalkan penggunaan konstruktor GenericArrayData untuk Scala 2.13
  • [SPARK-40697] [SC-113648][sql] Tambahkan padding karakter pada sisi pembacaan untuk mencakup file data eksternal
  • [SPARK-40978] [SC-114574][sql] Migrasikan failAnalysis() tanpa konteks ke kelas kesalahan
  • [SPARK-40663] [SC-114586][sql] Memigrasikan kesalahan eksekusi ke kelas kesalahan: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2: Mendukung pemfilteran grup runtime dalam perintah tingkat baris
  • [SPARK-40372] [SC-115668][sql] Memigrasikan kegagalan pemeriksaan jenis array ke kelas kesalahan
  • [SPARK-41038] [SC-115371][sql] Ganti nama MULTI_VALUE_SUBQUERY_ERROR menjadi SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_1208 menjadi FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][sql] Migrasikan kegagalan pemeriksaan kondisi ke kelas kesalahan
  • [SPARK-40371] [SC-114557][sql] Migrasikan kegagalan pemeriksaan jenis NthValue dan NTile ke kelas kesalahan
  • [SPARK-41092] [SC-115547][sql] Jangan gunakan pengidentifikasi untuk mencocokkan unit interval
  • [SPARK-41009] [SC-115360][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_1070 menjadi LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Perluas kolom METADATA untuk mendukung indeks baris untuk file Parquet
  • [SPARK-40967] [SC-114448][sql] Migrasikan failAnalysis() ke kelas kesalahan
  • [SPARK-34265] [SC-115486][sc-113788][PYTHON][sql] Instrumen UDF Python dengan metrik SQL
  • [SPARK-41012] [SC-114873][sql] Ganti nama _LEGACY_ERROR_TEMP_1022 menjadi ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][sql] Ganti nama PARSE_CHAR_MISSING_LENGTH menjadi DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][sql] Migrasikan kegagalan pemeriksaan jenis ekspresi salah ke kelas kesalahan
  • [SPARK-37945] [SC-115534][sql][CORE] Gunakan kelas kesalahan dalam eksekusi kesalahan operasi aritmatika
  • [SPARK-40374] [SC-114705][sql] Migrasikan kegagalan pemeriksaan jenis pembuat ke kelas kesalahan
  • [SPARK-41056] [SC-115354][r] Perbaiki perilaku R_LIBS_SITE baru yang diperkenalkan dalam R 4.2
  • [SPARK-41041] [SC-115357][sql] Integrasikan _LEGACY_ERROR_TEMP_1279 ke dalam TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][sql] Memigrasikan kesalahan eksekusi ke kelas kesalahan: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_1019 menjadi STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] Jangan ubah elemen-elemen bawahan fungsi agregat yang memiliki sifat dapat dilipat di RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][sql] Meningkatkan kelas kesalahan dan pesan
  • [SPARK-40798] [SC-113782][sql] Alter partition harus memverifikasi nilai mengikuti storeAssignmentPolicy
  • [SPARK-40810] [SC-113533][sql] Gunakan SparkIllegalArgumentException alih-alih IllegalArgumentException di CreateDatabaseCommand & AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][sc-114585][SQL] Tambahkan klausul WHEN NOT MATCHED BY SOURCE ke MERGE INTO
  • [SPARK-40360] [SC-114965] pengecualian ALREADY_EXISTS dan NOT_FOUND
  • [SPARK-41007] [SC-115085][sql] Tambahkan serializer yang hilang untuk java.math.BigInteger
  • [SPARK-40751] [SC-114254][sql] Migrasikan kegagalan pengecekan tipe fungsi orde tinggi menjadi kelas kesalahan
  • [SPARK-40248] [SC-114704][sql] Gunakan jumlah bit yang lebih besar untuk membangun filter Bloom
  • [SPARK-41040] [SC-115145][ss] Perbaiki kegagalan kueri streaming self-union saat menggunakan readStream.table
  • [SPARK-32380] [SC-114966][sql] Memperbaiki akses tabel HBase melalui Apache Hive dari Spark
  • [SPARK-40749] [SC-114860][sql] Migrasikan kegagalan pemeriksaan tipe pembangkit ke dalam kelas kesalahan
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] Memperbaiki penundaan operator berstatus...
  • [SPARK-40654] [SC-112783] Hapus baris log sementara
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] Perbaiki peringatan kompilasi Java terkait jenis generik
  • [SPARK-40657] [SC-113642][cherry-pick] Tambahkan dukungan untuk kelas Java di Protob...
  • [SPARK-40898] [SC-113932][sql] Kutipan nama fungsi dalam kesalahan ketidakcocokan tipe data
  • [SPARK-40760] [SC-113750][sql] Migrasikan kegagalan pemeriksaan jenis ekspresi interval ke kelas kesalahan
  • [SPARK-36114] [SC-113771][sql] Mendukung subkueri dengan predikat non-kesetaraan yang berkorelasi
  • [SPARK-40856] [SC-113738][sql] Perbarui templat kesalahan WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251][sql] Migrasikan kegagalan pemeriksaan jenis jendela waktu ke kelas kesalahan
  • [SPARK-40750] [SC-113812][sql] Migrasikan kegagalan pemeriksaan jenis ekspresi matematika ke kelas kesalahan
  • [SPARK-40756] [SC-113749][sql] Migrasikan kegagalan pemeriksaan jenis ekspresi string ke kelas kesalahan
  • [SPARK-40768] [SC-113640][sql] Migrasikan kegagalan pemeriksaan tipe bloom_filter_agg() ke kategori kesalahan
  • [SPARK-40369] [SC-113402][core][SQL] Memigrasikan kegagalan pemeriksaan jenis panggilan melalui pantulan ke kelas kesalahan
  • [SPARK-39445] [SQL] Hapus jendela jika windowExpressions kosong dalam pemangkasan kolom
  • [SPARK-40761] [SC-113245][sql] Migrasikan kegagalan pemeriksaan jenis ekspresi persentil ke kelas kesalahan
  • [SPARK-40361] [SC-112789][sql] Memigrasikan kesalahan pemeriksaan tipe aritmatika ke dalam kelas-kelas kesalahan
  • [SPARK-40714] [SC-112576][sql] Hapus PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] Perbaiki spesifikasi partisi di PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][sql] Pemindahan kegagalan pemeriksaan tipe koleksi ke kelas kesalahan
  • [SPARK-40910] [SC-114259][sql] Ganti UnsupportedOperationException dengan SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][sql] Tambahkan UNPIVOT ke sintaks SQL
  • [SPARK-39783] [SC-113389][sql] Menyisipkan tanda kutip pada qualifiedName untuk memperbaiki tanda petik terbalik untuk kolom kandidat dalam pesan kesalahan
  • [SPARK-40663] [SC-112520][sql] Memigrasikan kesalahan eksekusi ke kelas kesalahan: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][sql] Ganti nama kelas kesalahan _LEGACY_ERROR_TEMP_0021 menjadi UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] Hilangkan kolom sub-kelas kesalahan terpisah
  • [SPARK-40944] [SC-114530][sql] Mengendurkan batasan pemesanan untuk opsi kolom CREATE TABLE
  • [SPARK-40815] [SC-114528][sql] Tambahkan DelegateSymlinkTextInputFormat untuk mengatasi bug SymlinkTextInputSplit
  • [SPARK-40933] [SC-114441][sql] Menerapkan ulang df.stat.{cov, corr} dengan fungsi sql bawaan
  • [SPARK-40932] [SC-114439][core] Memperbaiki masalah pesan untuk allGather yang digantikan sepihak
  • [SPARK-39312] [SQL] Gunakan predikat In bawaan Parquet untuk mendorong filter ke bawah
  • [SPARK-40862] [SC-114352][sql] Mendukung subkueri non-agregat dalam proses RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][sql] Atur nullable dengan benar dalam proyek yang dibuat oleh ExtractGenerator
  • [SPARK-40663] [SC-112295][sql] Memigrasikan kesalahan eksekusi ke kelas kesalahan: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] Longgarkan persyaratan aturan window_time - izinkan beberapa panggilan window_time
  • [SPARK-40540] [SC-111639][sql] Memigrasikan kesalahan kompilasi ke kelas kesalahan: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] Perbaikan untuk fungsi Unhex ketika input memiliki jumlah simbol ganjil
  • [SPARK-40821] [SC-113754][sql][CORE][python][SS] Memperkenalkan fungsi window_time untuk mengekstrak waktu peristiwa dari kolom jendela
  • [SPARK-40800] [SC-113772][sql] Selalu menjadikan ekspresi sebaris dalam OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][sql] Menerapkan kembali frequentItems dengan operasi dataframe
  • [SPARK-40735] [SC-114022][sc-112657] Secara konsisten memanggil bash dengan /usr/bin/env bash dalam skrip untuk membuat kode lebih portabel
  • [SPARK-40773] [SC-113091][sql] Pemeriksa refaktorCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][sql] Periksa jenis data yang tidak didukung saat mendekorelasi subkueri
  • [SPARK-40660] [SC-112293][core][SQL] Beralih ke XORShiftRandom untuk mendistribusikan elemen
  • [SPARK-40540] [SC-113926][sc-111331][SQL] Memigrasikan kesalahan kompilasi ke kelas kesalahan
  • [SPARK-40551] [SC-113135][sql] DataSource V2: Menambahkan API untuk operasi tingkat baris berbasis delta
  • [SPARK-39391] [SC-110676][core] Memanfaatkan kembali kelas Partitioner
  • [SPARK-40368] [SC-113396][sql] Migrasikan kegagalan pemeriksaan jenis Filter Bloom ke kelas kesalahan
  • [SPARK-39146] [SC-111814][core][SQL] Memperkenalkan singleton lokal untuk ObjectMapper yang mungkin digunakan kembali
  • [SPARK-40357] [SC-113786][sc-111352][SQL] Migrasikan jenis jendela periksa kegagalan ke kelas kesalahan
  • [SPARK-40874] [SC-113756][python] Perbaiki siaran di UDF Python saat enkripsi diaktifkan
  • [SPARK-40359] [SC-113770][sc-111146][SQL] Migrasikan kegagalan pemeriksaan jenis dalam ekspresi CSV/JSON ke kelas kesalahan
  • [SPARK-40880] [SC-113764][sql] Menerapkan ulang summary dengan operasi dataframe
  • [SPARK-40877] [SC-113763][sql] Menerapkan ulang crosstab dengan operasi dataframe
  • [SPARK-40382] [SC-113098][sql] Mengelompokkan ekspresi agregat yang berbeda berdasarkan anak-anak yang secara semantik setara di RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][ss] Tambahkan pemeriksaan tambahan untuk mengganti nama file titik pemeriksaan
  • [SPARK-40829] [SC-113426][sql] STORED AS serde dalam tampilan CREATE TABLE LIKE tidak berfungsi
  • [SPARK-40844] [SC-113542][ss] Ubah nilai default konfigurasi pengambilan offset Kafka
  • [SPARK-40488] [SC-113568][sc-111160] Jangan membungkus pengecualian yang dilemparkan saat penulisan sumber data gagal
  • [SPARK-40560] [SC-113631][sc-111335][SQL] Ganti nama message menjadi messageTemplate dalam format kesalahan STANDARD
  • [SPARK-40618] [SC-113096][sql] Perbaiki bug dalam aturan MergeScalarSubqueries dengan subkueri berlapis menggunakan pelacakan referensi
  • [SPARK-40530] [SC-113528][sc-111332][SQL] Tambahkan API pengembang terkait kesalahan
  • [SPARK-40806] [SC-113250][sql] Perbaikan kesalahan ketik: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][sql] Perbaiki pengembalian hasil parsial dalam sumber data JSON dan fungsi JSON
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Dukungan Protobuf untuk Spark - dari...
  • [SPARK-40753] [SC-113539][sql] Perbaiki bug dalam kasus pengujian untuk operasi direktori katalog
  • [SPARK-40765] [SC-113056][sql] Optimalkan operasi fs berlebihan dalam metode CommandUtils#calculateSingleLocationSize#getPathSize
  • [SPARK-40114] [ES-479282][r][11.X] Dukungan Arrow 9.0.0 dalam SparkR
  • [SPARK-40479] [SC-110935][sql] Memigrasikan kesalahan jenis input yang tidak terduga ke kelas kesalahan
  • [SPARK-40473] [SC-113388][sc-111141][SQL] Memigrasikan kesalahan penguraian ke kelas kesalahan
  • [SPARK-39853] [SC-111867][core] Mendukung profil sumber daya tugas tingkat tahap untuk kluster mandiri ketika alokasi dinamis dinonaktifkan (port belakang dari PR-47157)
  • [SPARK-40407] [SC-111161][sql] Perbaiki potensi ketimpangan data yang disebabkan oleh df.repartition
  • [SPARK-40425] [SC-110840][sql] DROP TABLE tidak perlu melakukan pencarian tabel
  • [SPARK-40703] [SC-113242][sql] Memperkenalkan mekanisme acak pada SinglePartition untuk meningkatkan paralelisme
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtil untuk mengatur asal opsi konfigurasi hadoop/hive
  • [SPARK-39062] [11.x][core] Tambahkan dukungan penjadwalan sumber daya tingkat tahap untuk kluster mandiri
  • [SPARK-33861] [SC-109877]Kembalikan "[SQL] Sederhanakan kondisional dalam predikat"
  • [SPARK-40667] [SC-113136][sql] Merefaktor Pilihan Sumber Data File
  • [SPARK-40370] [SC-110677][sql] Migrasi kegagalan pemeriksaan jenis ke kelas kesalahan di CAST
  • [SPARK-40611] [SC-113105][sql] Meningkatkan performa setInterval & getInterval untuk UnsafeRow
  • [SPARK-40733] [SC-113126][sql] Membuat isi SERDEPROPERTIES dalam hasil ShowCreateTableAsSerdeCommand memiliki urutan tetap
  • [SPARK-40585] [SC-112180][sql] Mendukung penanda dalam tanda kutip ganda
  • [SPARK-40772] [SC-112992][sql] Tingkatkan spark.sql.adaptive.skewJoin.skewedPartitionFactor untuk mendukung nilai Double
  • [SPARK-40565] [SC-112417][sql] Jangan dorong filter non-deterministik ke sumber file V2
  • [SPARK-8731] [SC-112784] Beeline tidak berfungsi dengan opsi -e saat dimulai di latar belakang
  • [SPARK-35242] [SC-111398][sql] Mendukung perubahan database default pada katalog sesi
  • [SPARK-40426] [SC-110672][sql] Mengembalikan peta dari SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][mllib] Optimalkan performa pola kode keys.zipWithIndex.toMap
  • [SPARK-40521] [SC-112430][sql] Kembalikan hanya partisi yang ada di PartitionsAlreadyExistException dari pembuatan partisi Hive
  • [SPARK-40705] [SC-112567][sql] Menangani kasus penggunaan array yang dapat diubah saat mengonversi Baris ke JSON untuk Scala 2.13
  • [SPARK-39895] [SC-112590][sql][PYTHON] Mendukung penurunan beberapa kolom
  • [SPARK-40607] [SC-112296][core][SQL][mllib][SS] Hapus operasi interpolator string berlebihan
  • [SPARK-40420] [SC-112604][sc-110569][SQL] Urutkan parameter pesan kesalahan berdasarkan nama dalam format JSON
  • [SPARK-40403] [SC-110564][sql] Hitung ukuran array yang tidak aman menggunakan panjang untuk menghindari ukuran negatif dalam pesan kesalahan
  • [SPARK-40482] [SC-110831][sql] Kembali SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] Berikan parameter pesan kesalahan ke pengecualian sebagai peta
  • [SPARK-40628] [SC-112414][sql] Jangan dorong kondisi gabungan semi/anti kiri yang kompleks melalui proyek
  • [SPARK-40562] [SC-111455][sql] Tambahkan spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][sql] Tambahkan PushProjectionThroughLimit untuk Pengoptimal
  • [SPARK-39200] [SC-111244][core] Membuat Penyimpanan Fallback membaca sepenuhnya konten
  • [SPARK-38717] [SC-111241][sql] Menangani perilaku mempertahankan spesifikasi pengelompokan Hive
  • [SPARK-40385] [SC-111123][sql] Perbaiki jalur yang ditafsirkan untuk konstruktor objek pendamping
  • [SPARK-40216] [SC-112413][sql] Ekstrak metode ParquetUtils.prepareWrite umum untuk mendeduplikasi kode dalam ParquetFileFormat dan ParquetWrite
  • [SPARK-40636] [SC-112160][core] Perbaiki log acak yang tersisa di BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Memperbaiki kondisi perlombaan dalam penanganan entri stageTCMP oleh ExecutorMetricsPoller
  • [SPARK-40618] [SC-112046][sql] Perbaiki bug dalam aturan MergeScalarSubqueries dengan subkueri berlapis
  • [SPARK-40612] [SC-111933][core] Memperbaiki prinsipal yang digunakan untuk perpanjangan token delegasi pada manajer sumber daya non-YARN
  • [SPARK-40595] [SC-111662][sql] Meningkatkan pesan kesalahan untuk hubungan CTE yang tidak digunakan
  • [SPARK-40314] [SC-111879][sql][PYTHON] Tambahkan pengikatan Scala dan Python untuk inline dan inline_outer
  • [SPARK-40416] [SC-110945][sql] Memindahkan pesan kesalahan subkueri ekspresi CheckAnalysis agar menggunakan kerangka kerja kesalahan baru
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() harus melemparkan pengecualian dari sub komponennya
  • [SPARK-40509] [SC-111644][ss][PYTHON] Tambahkan contoh untuk applyInPandasWithState
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() harus melemparkan pengecualian dari fungsi child-nya
  • [SPARK-40016] [SQL] Hapus TryEval yang tidak perlu dalam implementasi try_sum()
  • [SPARK-40527] [SC-111224][sql] Simpan nama bidang struktur atau kunci peta di CreateStruct
  • [SPARK-38098] [SC-111178][python] Tambahkan dukungan untuk ArrayType dari StructType berlapis ke konversi berbasis panah
  • [SPARK-40324] [SC-111359][sc-110293][SQL] Menyediakan konteks kueri dalam AnalysisException
  • [SPARK-40492] [SC-111324][ss] Lakukan pemeliharaan sebelum melakukan pembongkaran pada streaming StateStore
  • [SPARK-40487] [SC-111124][sql] Membuat defaultJoin di BroadcastNestedLoopJoinExec berjalan secara paralel
  • [SPARK-40474] [SC-111273][sql] Mengoreksi inferensi skema CSV dan perilaku penguraian data pada kolom dengan tanggal campuran dan tanda waktu
  • [SPARK-40508] [SC-111066][sql] Perlakukan partisi yang tidak diketahui sebagai UnknownPartitioning
  • [SPARK-40496] [SC-111234][sc-111013][SQL] Perbaiki konfigurasi untuk mengontrol "enableDateTimeParsingFallback"
  • [SPARK-40435] [SC-111214][ss][PYTHON] Tambahkan suite pengujian untuk applyInPandasWithState di PySpark
  • [SPARK-40434] [SC-111125][ss][PYTHON] Implementasi applyInPandasWithState di PySpark

Pembaruan pemeliharaan

Lihat pembaruan pemeliharaan Databricks Runtime 12.0.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Danau Delta: 2.2.0

Perpustakaan Python terinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
argon2-cffi 21.3.0 Pengikatan Argon2-cffi 21.2.0 asttoken 2.0.5
atribut 21.4.0 panggilan balik 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 hitam 22.3.0 pemutih 4.1.0
boto3 1.21.32 botocore 1.24.32 sertifikat 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
klik 8.0.4 Kriptografi 3.4.8 pengendara sepeda 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
penghias 5.1.1 defusedxml 0.7.1 distlib 0.3.6
titik masuk 0,4 eksekusi 0.8.3 gambaran umum aspek 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 alat pengelola font 4.25.0
IDNA 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 Jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client (klien Jupyter) 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline (modul untuk menampilkan grafik secara inline) 0.1.2
penyetelan salah 0.8.4 ekstensi mypy 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
buku catatan 6.4.8 numpy (perpustakaan Python untuk operasi numerik) 1.21.5 pengemasan 21.3
Panda 1.4.2 Pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 kambing hitam 0.5.2 pexpect=4.8.0 4.8.0
pickleshare 0.7.5 Bantal 9.0.1 pipa 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 requests 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy (perpustakaan Python untuk komputasi ilmiah) 1.7.3
Seaborn (perpustakaan Python untuk visualisasi data) 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
Enam 1.16.0 alat penyaring sup 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels (paket Python untuk pemodelan statistik) 0.13.2 kegigihan 8.0.1
selesai 0.13.1 jalur uji 0.5.0 threadpoolctl 2.2.0
Tokenisasi-RT 4.2.1 tomli 1.2.2 Tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 pembaruan otomatis tanpa pengawasan 0.1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings=0.5.1 0.5.1 wheel 0.37.0 widgetsnbextension 3.6.1

Perpustakaan R terpasang

Pustaka R diinstal dari cuplikan CRAN Microsoft pada 2022-11-11.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anak panah 10.0.0 askpass 1.1 pastikanbahwa 0.2.1
pemindahan fitur ke versi lama (backports) 1.4.1 dasar 4.2.2 base64enc 0.1-3
sedikit 4.0.4 bit-64 4.0.5 blob 1.2.3
sepatu bot 1.3-28 menyeduh 1,0-8 Brio 1.1.3
sapu 1.0.1 bslib 0.4.1 cashmere 1.0.6
layanan panggilan 3.7.3 caret 6.0-93 cellranger 1.1.0
kronogram 2.3-58 class 7.3-20 CLI 3.4.1
pemangkas 0.8.0 jam dinding 0.6.1 kluster 2.1.4
codetools 0.2-18 ruang warna 2.0-3 commonmark 1.8.1
pengkompilasi 4.2.2 config 0.3.1 cpp11 0.4.3
kriyon 1.5.2 kredensial 1.3.2 melengkung 4.3.3
data.table (sebuah paket untuk pengolahan data table) 1.14.4 kumpulan data 4.2.2 DBI 1.1.3
dbplyr 2.2.1 deskripsi 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 pencahayaan turun 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
elipsis 0.3.2 menilai 0.18 penggemar 1.0.3
warna-warna 2.1.1 pemetaan cepat 1.1.0 fontawesome 0.4.0
untuk kucing 0.5.2 foreach (pengulangan untuk setiap elemen) 1.5.2 asing 0.8-82
bengkel pandai besi 0.2.0 fs 1.5.2 masa depan 1.29.0
menerapkan di masa depan 1.10.0 kumur 1.2.1 obat generik 0.1.3
Gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 variabel global 0.16.1
lem 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 Grafik 4.2.2 grDevices 4.2.2
kisi 4.2.2 gridExtra 2.3 gsubfn 0.7
gtabel 0.3.1 topi keras 1.2.0 tempat aman 2.5.1
lebih tinggi 0,9 HMS 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Pengiterasi 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
Pelabelan 0.4.2 nanti 1.3.0 rangka 0.20-45
lahar 1.7.0 siklus hidup 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1.3
Massa 7.3-58 Matrix 1.5-1 memosankan 2.0.1
Metode 4.2.2 mgcv 1.8-41 pantomim 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv Agustus 2016 - Januari 2017 openssl 2.0.4 paralel 4.2.2
secara paralel 1.32.1 pilar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 apresiasi 1.0.0
prettyunits 1.1.1 pROC 1.18.0 ProsesX 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Kemajuan 1.2.2
progresr 0.11.0 janji 1.2.0.1 proto 1.0.0
proksi 0,4-27 P.S. 1.7.2 menggeram lembut 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest (algoritma pembelajaran mesin) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
alat baca 2.1.3 readxl (membaca file Excel) 1.4.1 recipes 1.0.3
pertandingan ulang 1.0.1 pertandingan ulang 2 2.1.2 pengontrol jarak jauh 2.4.2
contoh replikasi 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.2 timbangan / sisik 1.2.1
selektor 0,4-2 informasi sesi 1.2.2 bentuk 1.4.6
mengkilap 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 spasial 7.3-11 garis lengkung 4.2.2
sqldf 0,4-11 SQUAREM 2021.1 statistik 4.2.2
statistik4 4.2.2 string 1.7.8 stringr 1.4.1
bertahan hidup 3.4-0 Sistem 3.4.1 systemfonts 1.0.4
bahasa pemrograman Tcl/Tk 4.2.2 ujiitu 3.1.5 pemformatan teks 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 perubahan jam 0.1.1 TanggalWaktu 4021.106
tinytex 0,42 perangkat 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 gunakan ini 2.1.6 utf8 1.2.2
Utilitas 4.2.2 UUID (Pengidentifikasi Unik Universal) 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 Vroom 1.6.0 Waldo 0.4.0
kumis 0,4 dengan 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Pustaka Java dan Scala terinstal (versi kluster Scala 2.12)

ID Grup Identifikasi Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.189
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-impor-ekspor 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.189
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.189
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS Java SDK Dukungan 1.12.189
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware bayangan-kriogenik 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core Jackson Annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine kafein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib rujukan_asli-java-natives 1.1
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib native_sistem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava jambu 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger pembuat profil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi kode_sumber_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.ning compress-lzf (algoritma kompresi) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Tidak peduli 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0,21%
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics inti metrik 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrik-jmx 4.1.1
io.dropwizard.metrics metrik-json 4.1.1
io.dropwizard.metrics metrik-jvm 4.1.1
io.dropwizard.metrics metrik-servlet 4.1.1
io.netty netty-all 4.1.74.Final
io.netty Netty Buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) 4.1.74.Final
io.netty Kelas netty-tcnative 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_umum 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine mentimun acar 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
jaring.bunga salju snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr StringTemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format tanda panah 7.0.0
org.apache.arrow inti-memori-panah 7.0.0
org.apache.arrow Arrow-Memory-Netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-koleksi4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text (teks umum) 1.10.0
org.apache.curator kurator dan klien 2.13.0
org.apache.curator kerangka kerja kurator 2.13.0
org.apache.curator kurasi resep 2.13.0
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop hadoop-klien-api 3.3.4-databricks
org.apache.hadoop lingkungan kerja klien Hadoop 3.3.4
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API penyimpanan hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.9
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy tanaman anggur 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-encoding 1.12.3-databricks-0001
org.apache.parquet parquet-format-structures 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus anotasi penonton 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.6.2
org.apache.zookeeper penjaga kebun binatang-jute 3.6.2
org.checkerframework pemeriksa kualitas 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty lanjutan dermaga 9.4.46.v20220331
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty Plus 9.4.46.v20220331
org.eclipse.jetty Jetty-Proxy 9.4.46.v20220331
org.eclipse.jetty keamanan jetty 9.4.46.v20220331
org.eclipse.jetty Jetty Server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Aplikasi web Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-klien 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-inti 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey biasa 2.36
org.glassfish.jersey.core Jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator Hibernate Validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client (klien Java untuk MariaDB) 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap pengganjal 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark tidak digunakan 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on