Bagikan melalui

Databricks Runtime 12.2 LTS

  • Artikel

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 12.2 LTS, didukung oleh Apache Spark 3.3.2.

Databricks merilis versi ini pada bulan Maret 2023.

Catatan

LTS berarti versi ini berada di bawah dukungan jangka panjang. Lihat Siklus hidup versi LTS Runtime Databricks.

Tip

Untuk melihat catatan rilis untuk versi Databricks Runtime yang telah mencapai akhir dukungan (EoS), lihat Catatan rilis Databricks Runtime akhir dukungan. Versi EoS Databricks Runtime telah dihentikan dan mungkin tidak diperbarui.

Perubahan perilaku

[Perubahan menerobos] Versi Python baru memerlukan pembaruan klien Databricks Connect V1 Python

Untuk menerapkan patch keamanan yang diperlukan, versi Python di Databricks Runtime 12.2 LTS ditingkatkan dari 3.9.5 ke 3.9.19. Karena perubahan ini dapat menyebabkan kesalahan pada klien yang menggunakan fungsi PySpark tertentu, klien apa pun yang menggunakan Databricks Connect V1 untuk Python dengan Databricks Runtime 12.2 LTS harus diperbarui ke Python 3.9.7 atau yang lebih baru.

Fitur dan peningkatan baru

Evolusi skema Delta Lake mendukung penentuan kolom sumber dalam pernyataan penggabungan

Anda sekarang dapat menentukan kolom yang hanya ada di tabel sumber dalam tindakan sisipkan atau perbarui untuk pernyataan penggabungan saat evolusi skema diaktifkan. Dalam Databricks Runtime 12.1 ke bawah, hanya INSERT * atau UPDATE SET * tindakan yang dapat digunakan untuk evolusi skema dengan penggabungan. Lihat Evolusi skema otomatis untuk penggabungan Delta Lake.

Beban kerja Streaming Terstruktur didukung pada kluster dengan mode akses bersama

Anda sekarang dapat menggunakan Streaming Terstruktur untuk berinteraksi dengan Katalog Unity pada kluster bersama. Beberapa batasan berlaku. Lihat Fungsionalitas Streaming Terstruktur apa yang didukung Oleh Katalog Unity?.

Fitur baru untuk I/O Prediktif

Dukungan foton untuk Foreachbatch sink sekarang tersedia. Beban kerja yang mengalir dari sumber dan bergabung ke Dalam Tabel Delta atau menulis ke beberapa sink sekarang dapat memperoleh manfaat dari sink Fotonisasi Foreachbatch .

Dukungan alias kolom lateral implisit

Azure Databricks sekarang mendukung alias kolom lateral implisit secara default. Sekarang Anda dapat menggunakan kembali ekspresi yang ditentukan sebelumnya dalam daftar yang sama SELECT . Misalnya, diberikan SELECT 1 AS a, a + 1 AS b, in a + 1 a dapat diselesaikan seperti yang ditentukan 1 AS asebelumnya . Periksa Resolusi nama untuk detail selengkapnya dalam urutan resolusi. Untuk menonaktifkan fitur ini, Anda dapat mengatur spark.sql.lateralColumnAlias.enableImplicitResolution ke false.

Fitur forEachBatch baru

Photon sekarang didukung saat menggunakan foreachBatch untuk menulis ke sink data.

Opsi Koneksi Standar untuk Federasi Kueri

Anda sekarang dapat menggunakan sekumpulan opsi terpadu (host, port, database, pengguna, kata sandi)untuk menyambungkan ke sumber data yang didukung di Federasi Kueri. Port bersifat opsional dan menggunakan nomor port default untuk setiap sumber data, kecuali ditentukan.

Pustaka fungsi SQL yang diperluas untuk manajemen array

Anda sekarang dapat menghapus semua elemen NULL dari array menggunakan array_compact. Untuk menambahkan elemen ke array, gunakan array_append.

Fungsi masker baru untuk menganonimkan string

Panggil fungsi mask untuk menganonimkan nilai string sensitif.

Kondisi kesalahan umum sekarang mengembalikan SQLSTATEs

Sebagian besar kondisi kesalahan bahwa Databricks Runtime sekarang menyertakan nilai SQLSTATE terdokumen yang dapat digunakan untuk menguji kesalahan dengan cara yang sesuai standar SQL.

Memanggil fungsi generator dalam klausa FROM

Anda sekarang dapat memanggil fungsi generator bernilai tabel seperti meledak dalam klausa kueri reguler FROM . Ini menyelaraskan pemanggilan fungsi generator dengan fungsi tabel bawaan dan yang ditentukan pengguna lainnya.

Dukungan untuk buffer protokol umumnya tersedia

Anda dapat menggunakan from_protobuf fungsi dan to_protobuf untuk bertukar data antara jenis biner dan struct. Lihat Buffer protokol baca dan tulis.

Definisi masuk untuk variabel dan fungsi buku catatan

Di notebook, Anda dapat dengan cepat masuk ke definisi variabel, fungsi, atau kode di balik %run pernyataan dengan mengklik kanan variabel atau nama fungsi.

Perbaikan cepat buku catatan untuk mengimpor pustaka secara otomatis

Notebook Databricks sekarang menawarkan fitur perbaikan cepat untuk mengimpor pustaka secara otomatis. Jika Anda lupa mengimpor pustaka seperti panda, arahkan mouse ke atas peringatan sintaks bergaris bawah, lalu klik Perbaikan Cepat, fitur ini mengharuskan Asisten Databricks diaktifkan di Ruang Kerja Anda.

Perbaikan bug

  • Peningkatan konsistensi untuk perilaku penerapan Delta untuk transaksi kosong yang berkaitan dengan updateperintah , , deletedan merge . Dalam WriteSerializable tingkat isolasi, perintah yang tidak menghasilkan perubahan sekarang membuat penerapan kosong. Serializable Dalam tingkat isolasi, transaksi kosong tersebut sekarang tidak membuat penerapan.

Perubahan perilaku

Perubahan perilaku dengan fitur alias kolom lateral baru

Fitur alias kolom lateral baru memperkenalkan perubahan perilaku untuk kasus berikut selama resolusi nama:

  • Alias kolom lateral sekarang lebih diutamakan daripada referensi yang berkorelasi dengan nama yang sama. Misalnya, untuk kueri SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)ini , c1 bagian dalam c1 AS c2 diselesaikan ke referensi t.c1berkorelasi , tetapi sekarang berubah menjadi alias 1 AS c1kolom lateral . Kueri sekarang mengembalikan NULL.
  • Alias kolom lateral sekarang lebih diutamakan daripada parameter fungsi dengan nama yang sama. Misalnya, untuk fungsi , CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x, x dalam isi fungsi diselesaikan ke parameter fungsi x, tetapi berubah menjadi alias x + 1 kolom lateral dalam isi fungsi. Kueri, SELECT * FROM func(1) sekarang mengembalikan 2, 2.
  • Untuk menonaktifkan fitur alias kolom lateral, atur spark.sql.lateralColumnAlias.enableImplicitResolution ke false. Untuk informasi selengkapnya, lihat Resolusi nama.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • filelock dari 3.8.2 hingga 3.9.0
    • joblib dari 1.1.0 hingga 1.1.1
    • platformdir dari 2.6.0 hingga 2.6.2
    • whatthepatch dari 1.0.3 hingga 1.0.4
  • Pustaka R yang ditingkatkan:
    • kelas dari 7,3-20 hingga 7,3-21
    • codetool dari 0,2-18 ke 0,2-19
    • MASSA dari 7.3-58 ke 7.3-58.2
    • nlme dari 3,1-160 ke 3,1-162
    • Rserve dari 1,8-11 ke 1,8-12
    • SparkR dari 3.3.1 ke 3.3.2

Perubahan perilaku

  • Pengguna sekarang diharuskan memiliki SELECT hak istimewa dan MODIFY pada file apa pun saat membuat skema dengan lokasi yang ditentukan.

Apache Spark

Databricks Runtime 12.2 menyertakan Apache Spark 3.3.2. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 12.1 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-42416] [SC-123205][SC-122851][SQL] Operasi set tanggal tidak boleh menyelesaikan rencana logis yang dianalisis lagi
  • [SPARK-41848] Kembalikan "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] Memperbaiki tugas yang dijadwalkan berlebihan dengan TaskResourceProfile"
  • [SPARK-42162] [SC-122711][ES-556261] Memperkenalkan ekspresi MultiCommutativeOp sebagai pengoptimalan memori untuk kanonisisasi pohon besar ekspresi komutatif
  • [SPARK-42406] [SC-122998][PROTOBUF][Cherry-pick] Memperbaiki pengaturan kedalaman rekursif untuk fungsi Protobuf
  • [SPARK-42002] [SC-122476][SAMBUNGKAN][PyTHON] Menerapkan DataFrameWriterV2
  • [SPARK-41716] [SC-122545][SAMBUNGKAN] Mengganti nama _catalog_to_pandas menjadi _execute_and_fetch di Katalog
  • [SPARK-41490] [SC-121774][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2441
  • [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][SAMBUNGKAN] Menerapkan Catalog.cacheTable, isCached dan uncache
  • [SPARK-42191] [SC-121990][SQL] Mendukung udf 'luhn_check'
  • [SPARK-42253] [SC-121976][PyTHON] Menambahkan pengujian untuk mendeteksi kelas kesalahan duplikat
  • [SPARK-42268] [SC-122251][SAMBUNGKAN][PyTHON] Menambahkan UserDefinedType dalam protos
  • [SPARK-42231] [SC-121841][SQL] Ubah MISSING_STATIC_PARTITION_COLUMN menjadi internalError
  • [SPARK-42136] [SC-122554] Pemfaktoran ulang perhitungan partisi output BroadcastHashJoinExec
  • [SPARK-42158] [SC-121610][SQL] Mengintegrasikan _LEGACY_ERROR_TEMP_1003 ke dalam FIELD_NOT_FOUND
  • [SPARK-42192] [12.x][SC-121820][PyTHON] Memigrasikan TypeError dari pyspark/sql/dataframe.py ke PySparkTypeError
  • [SPARK-35240] Kembalikan "[SC-118242][SS] Gunakan CheckpointFileManager ...
  • [SPARK-41488] [SC-121858][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1176 (dan 1177)
  • [SPARK-42232] [SC-122267][SQL] Ganti nama kelas kesalahan: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480][SQL] Regenerasi agregat yang berbeda setelah penggabungan subkueri
  • [SPARK-42306] [SC-122539][SQL] Mengintegrasikan _LEGACY_ERROR_TEMP_1317 ke dalam UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354][SQL] Ganti nama kelas kesalahan: UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437][CORE] Abaikan IOException jika handleBlockRemovalFailure SparkContext dihentikan
  • [SPARK-41295] [SC-122442][SPARK-41296][SQL] Mengganti nama kelas kesalahan
  • [SPARK-42320] [SC-122478][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2188
  • [SPARK-42255] [SC-122483][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2430
  • [SPARK-42156] [SC-121851][SAMBUNGKAN] SparkConnectClient mendukung RetryPolicies sekarang
  • [SPARK-38728] [SC-116723][SQL] Menguji kelas kesalahan: FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] Contoh mandiri dalam PySpark
  • [SPARK-39347] [SC-122457][SS] Perbaikan bug untuk perhitungan jendela waktu saat waktu < peristiwa 0
  • [SPARK-42336] [SC-122458][CORE] Gunakan getOrElse() alih-alih contains() di ResourceAllocator
  • [SPARK-42125] [SC-121827][SAMBUNGKAN][PyTHON] Pandas UDF di Spark Connect
  • [SPARK-42217] [SC-122263][SQL] Mendukung alias kolom lateral implisit dalam kueri dengan Jendela
  • [SPARK-35240] [SC-118242][SS] Gunakan CheckpointFileManager untuk manipulasi file titik pemeriksaan
  • [SPARK-42294] [SC-122337][SQL] Sertakan nilai default kolom dalam output DESCRIBE untuk tabel V2
  • [SPARK-41979] Kembalikan "Kembalikan "[12.x][SC-121190][SQL] Tambahkan titik yang hilang untuk pesan kesalahan di kelas kesalahan.""
  • [SPARK-42286] [SC-122336][SQL] Fallback ke jalur kode codegen sebelumnya untuk expr kompleks dengan CAST
  • [SPARK-42275] [SC-122249][SAMBUNGKAN][PyTHON] Hindari menggunakan daftar bawaan, dict dalam pengetikan statis
  • [SPARK-41985] [SC-122172][SQL] Memusatkan lebih banyak aturan resolusi kolom
  • [SPARK-42126] [SC-122330][PyTHON][SAMBUNGKAN] Terima jenis pengembalian dalam string DDL untuk UDF Skalar Python di Spark Connect
  • [SPARK-42197] [SC-122328][SC-121514][SAMBUNGKAN] Menggunakan kembali inisialisasi JVM, dan grup konfigurasi terpisah untuk diatur dalam mode lokal jarak jauh
  • [SPARK-41575] [SC-120118][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2054
  • [SPARK-41985] Kembalikan "[SC-122172][SQL] Pusatkan lebih banyak aturan resolusi kolom"
  • [SPARK-42123] [SC-122234][SC-121453][SQL] Sertakan nilai default kolom dalam OUTPUT DESCRIBE dan SHOW CREATE TABLE
  • [SPARK-41985] [SC-122172][SQL] Memusatkan lebih banyak aturan resolusi kolom
  • [SPARK-42284] [SC-122233][SAMBUNGKAN] Pastikan rakitan server sambungkan dibangun sebelum menjalankan pengujian klien - SBT
  • [SPARK-42239] [SC-121790][SQL] Mengintegrasikan MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [SC-122170][SQL] Pushdown DS V2 mendukung kompilasi SortOrder dialek JDBC sendiri
  • [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics harus mengurus Python UDAF
  • [SPARK-41979] Kembalikan "[12.x][SC-121190][SQL] Tambahkan titik yang hilang untuk pesan kesalahan di kelas kesalahan."
  • [SPARK-42224] [12.x][SC-121708][SAMBUNGKAN] Memigrasikan TypeError ke dalam kerangka kerja kesalahan untuk fungsi Spark Connect
  • [SPARK-41712] [12.x][SC-121189][PyTHON][SAMBUNGKAN] Migrasikan kesalahan Spark Connect ke dalam kerangka kerja kesalahan PySpark.
  • [SPARK-42119] [SC-121913][SC-121342][SQL] Menambahkan fungsi bernilai tabel bawaan sebaris dan inline_outer
  • [SPARK-41489] [SC-121713][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2415
  • [SPARK-42082] [12.x][SC-121163][SPARK-41598][PyTHON][SAMBUNGKAN] Memperkenalkan PySparkValueError dan PySparkTypeError
  • [SPARK-42081] [SC-121723][SQL] Meningkatkan validasi perubahan rencana
  • [SPARK-42225] [12.x][SC-121714][SAMBUNGKAN] Tambahkan SparkConnectIllegalArgumentException untuk menangani kesalahan Spark Connect dengan tepat.
  • [SPARK-42044] [12.x][SC-121280][SQL] Memperbaiki pesan kesalahan yang salah untuk MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x][SC-121712][PS] Izinkan parameter kolom saat membuat DataFrame dengan Seri.
  • [SPARK-42078] [12.x][SC-120761][PyTHON] Migrasikan kesalahan yang dilemparkan oleh JVM ke PySparkException.
  • [SPARK-42133] [12.x][SC-121250] Menambahkan metode API Himpunan Data dasar ke Klien SparkConnect Scala
  • [SPARK-41979] [12.x][SC-121190][SQL] Tambahkan titik yang hilang untuk pesan kesalahan di kelas kesalahan.
  • [SPARK-42124] [12.x][SC-121420][PyTHON][SAMBUNGKAN] Scalar Inline Python UDF di Spark Connect
  • [SPARK-42051] [SC-121994][SQL] Dukungan Codegen untuk HiveGenericUDF
  • [SPARK-42257] [SC-121948][CORE] Menghapus pengurut eksternal variabel yang tidak digunakan
  • [SPARK-41735] [SC-121771][SQL] Gunakan MINIMAL alih-alih STANDAR untuk SparkListenerSQLExecutionEnd
  • [SPARK-42236] [SC-121882][SQL] Memperbaiki NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775][SQL] Meningkatkan pesan kesalahan untuk PIVOT_AFTER_GROUP_BY
  • [SPARK-42229] [SC-121856][CORE] Bermigrasi SparkCoreErrors ke kelas kesalahan
  • [SPARK-42163] [SC-121839][SQL] Memperbaiki pemangkasan skema untuk indeks array yang tidak dapat dilipat atau kunci peta
  • [SPARK-40711] [SC-119990][SQL] Menambahkan metrik ukuran tumpahan untuk jendela
  • [SPARK-42023] [SC-121847][SPARK-42024][SAMBUNGKAN][PyTHON] Membuat createDataFrame koersi dukungan AtomicType -> StringType
  • [SPARK-42202] [SC-121837][Sambungkan][Uji] Meningkatkan logika penghentian server pengujian E2E
  • [SPARK-41167] [SC-117425][SQL] Meningkatkan performa multi like dengan membuat predikat pohon ekspresi seimbang
  • [SPARK-41931] [SC-121618][SQL] Pesan kesalahan yang lebih baik untuk definisi jenis kompleks yang tidak lengkap
  • [SPARK-36124] [SC-121339][SC-110446][SQL] Mendukung subkueri dengan korelasi melalui UNION
  • [SPARK-42090] [SC-121290][3.3] Memperkenalkan jumlah percobaan kembali sasl di RetryingBlockTransferor
  • [SPARK-42157] [SC-121264][CORE] spark.scheduler.mode=FAIR harus menyediakan penjadwal FAIR
  • [SPARK-41572] [SC-120772][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2149
  • [SPARK-41983] [SC-121224][SQL] Ganti nama & tingkatkan pesan kesalahan untuk NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024][SQL] Meningkatkan pesan kesalahan untuk INDEX_NOT_FOUND
  • [SPARK-41994] [SC-121210][SC-120573] Menetapkan SQLSTATE (1/2)
  • [SPARK-41415] [SC-121117][3.3] Percobaan Ulang Permintaan SASL
  • [SPARK-38591] [SC-121018][SQL] Menambahkan flatMapSortedGroups dan cogroupSorted
  • [SPARK-41975] [SC-120767][SQL] Meningkatkan pesan kesalahan untuk INDEX_ALREADY_EXISTS
  • [SPARK-42056] [SC-121158][SQL][PROTOBUF] Menambahkan opsi yang hilang untuk fungsi Protobuf
  • [SPARK-41984] [SC-120769][SQL] Ganti nama & tingkatkan pesan kesalahan untuk RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [SC-121196][SQL] Perbaiki NPE untuk kelas kesalahan: CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176][SAMBUNGKAN][PyTHON] Perbaiki nama kolom yang salah di withFielddokte
  • [SPARK-41283] [SC-121175][SAMBUNGKAN][PyTHON] Tambahkan array_append ke Sambungkan
  • [SPARK-41960] [SC-120773][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1056
  • [SPARK-42134] [SC-121116][SQL] Memperbaiki getPartitionFiltersAndDataFilters() untuk menangani filter tanpa atribut yang dirujuk
  • [SPARK-42096] [SC-121012][SAMBUNGKAN] Beberapa pembersihan kode untuk connect modul
  • [SPARK-42099] [SC-121114][SPARK-41845][SAMBUNGKAN][PyTHON] Perbaiki count(*) dan count(col(*))
  • [SPARK-42045] [SC-120958][SC-120450][SQL] Mode ANSI SQL: Round/Bround harus mengembalikan kesalahan pada luapan bilangan bulat
  • [SPARK-42043] [SC-120968][SAMBUNGKAN] Hasil Klien Scala dengan Tes E2E
  • [SPARK-41884] [SC-121022][SAMBUNGKAN] Mendukung tuple naif sebagai baris berlapis
  • [SPARK-42112] [SC-121011][SQL][SS] Tambahkan pemeriksaan null sebelum ContinuousWriteRDD#compute fungsi ditutup dataWriter
  • [SPARK-42077] [SC-120553][SAMBUNGKAN][PyTHON] Literal harus melempar TypeError untuk DataType yang tidak didukung
  • [SPARK-42108] [SC-120898][SQL] Membuat Analyzer berubah Count(*) menjadi Count(1)
  • [SPARK-41666] [SC-120928][SC-119009][PyTHON] Mendukung SQL berparameter berdasarkan sql()
  • [SPARK-40599] [SC-120930][SQL] Rilekskan jenis aturan multiTransform untuk memungkinkan alternatif menjadi segala jenis Seq
  • [SPARK-41574] [SC-120771][SQL] Perbarui _LEGACY_ERROR_TEMP_2009 sebagai INTERNAL_ERROR.
  • [SPARK-41579] [SC-120770][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1249
  • [SPARK-41974] [SC-120766][SQL] Ubah INCORRECT_END_OFFSET menjadi INTERNAL_ERROR
  • [SPARK-41530] [SC-120916][SC-118513][CORE] Ganti nama MedianHeap menjadi PercentileMap dan persentil dukungan
  • [SPARK-41757] [SC-120608][SPARK-41901][SAMBUNGKAN] Memperbaiki representasi string untuk kelas Kolom
  • [SPARK-42084] [SC-120775][SQL] Hindari membocorkan pembatasan khusus akses yang memenuhi syarat
  • [SPARK-41973] [SC-120765][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_1311
  • [SPARK-42039] [SC-120655][SQL] SPJ: Hapus Opsi di KeyGroupedPartitioning#partitionValuesOpt
  • [SPARK-42079] [SC-120712][SAMBUNGKAN][PyTHON] Mengganti nama pesan proto untuk toDF dan withColumnsRenamed
  • [SPARK-42089] [SC-120605][SAMBUNGKAN][PyTHON] Memperbaiki masalah nama variabel dalam fungsi lambda berlapis
  • [SPARK-41982] [SC-120604][SQL] Partisi jenis string tidak boleh diperlakukan sebagai jenis numerik
  • [SPARK-40599] [SC-120620][SQL] Menambahkan metode multiTransform ke TreeNode untuk menghasilkan alternatif
  • [SPARK-42085] [SC-120556][SAMBUNGKAN][PyTHON] Membuat from_arrow_schema jenis berlapis dukungan
  • [SPARK-42057] [SC-120507][SQL][PROTOBUF] Perbaiki bagaimana pengecualian ditangani dalam pelaporan kesalahan.
  • [SPARK-41586] [12.x][SEMUA TES][SC-120544][PyTHON] Memperkenalkan pyspark.errors dan kelas kesalahan untuk PySpark.
  • [SPARK-41903] [SC-120543][SAMBUNGKAN][PyTHON] Literal harus mendukung ndarray 1-dim
  • [SPARK-42021] [SC-120584][SAMBUNGKAN][PyTHON] Membuat createDataFrame dukungan array.array
  • [SPARK-41896] [SC-120506][SQL] Pemfilteran menurut indeks baris mengembalikan hasil kosong
  • [SPARK-41162] [SC-119742][SQL] Perbaiki anti-dan semi-join untuk gabungan mandiri dengan agregasi
  • [SPARK-41961] [SC-120501][SQL] Mendukung fungsi bernilai tabel dengan LATERAL
  • [SPARK-41752] [SC-120550][SQL][UI] Mengelompokkan eksekusi berlapis di bawah eksekusi root
  • [SPARK-42047] [SC-120586][SPARK-41900][SAMBUNGKAN][PyTHON][12.X] Literal harus mendukung jenis data Numpy
  • [SPARK-42028] [SC-120344][SAMBUNGKAN][PyTHON] Memotong tanda waktu nanodetikl
  • [SPARK-42011] [SC-120534][SAMBUNGKAN][PyTHON] Menerapkan DataFrameReader.csv
  • [SPARK-41990] [SC-120532][SQL] Gunakan FieldReference.column alih-alih apply dalam konversi filter V1 ke V2
  • [SPARK-39217] [SC-120446][SQL] Membuat dukungan DPP sisi pemangkasan memiliki Union
  • [SPARK-42076] [SC-120551][SAMBUNGKAN][PyTHON] Konversi arrow -> rows data faktor ke conversion.py
  • [SPARK-42074] [SC-120540][SQL] Aktifkan KryoSerializer untuk TPCDSQueryBenchmark memberlakukan pendaftaran kelas SQL
  • [SPARK-42012] [SC-120517][SAMBUNGKAN][PyTHON] Menerapkan DataFrameReader.orc
  • [SPARK-41832] [SC-120513][SAMBUNGKAN][PyTHON] Perbaiki DataFrame.unionByName, tambahkan allow_missing_columns
  • [SPARK-38651] [SC-120514] [SQL] Tambah spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406][SQL] CheckOverflowInTableInsert harus menerima ExpressionProxy sebagai turunan
  • [SPARK-41232] [SC-120073][SQL][PyTHON] Menambahkan fungsi array_append
  • [SPARK-42041] [SC-120512][SPARK-42013][SAMBUNGKAN][PyTHON] DataFrameReader harus mendukung daftar jalur
  • [SPARK-42071] [SC-120533][CORE] Daftar scala.math.Ordering$Reverse ke KyroSerializer
  • [SPARK-41986] [SC-120429][SQL] Memperkenalkan acak di SinglePartition
  • [SPARK-42016] [SC-120428][SAMBUNGKAN][PyTHON] Mengaktifkan pengujian yang terkait dengan kolom berlapis
  • [SPARK-42042] [SC-120427][SAMBUNGKAN][PyTHON] DataFrameReader harus mendukung skema StructType
  • [SPARK-42031] [SC-120389][CORE][SQL] Bersihkan remove metode yang tidak perlu ditimpa
  • [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][SAMBUNGKAN][PyTHON] Membuat createDataFrame(rows/lists/tuples/dicts) jenis berlapis dukungan
  • [SPARK-41437] [SC-117601][SQL][SEMUA TES] Jangan optimalkan kueri input dua kali untuk fallback tulis v1
  • [SPARK-41840] [SC-119719][SAMBUNGKAN][PyTHON] Menambahkan alias yang hilang groupby
  • [SPARK-41846] [SC-119717][SAMBUNGKAN][PyTHON] Mengaktifkan doctests untuk fungsi jendela
  • [SPARK-41914] [SC-120094][SQL] FileFormatWriter mewujudkan paket AQE sebelum mengakses outputOrdering
  • [SPARK-41805] [SC-119992][SQL] Menggunakan kembali ekspresi di WindowSpecDefinition
  • [SPARK-41977] [SC-120269][SPARK-41978][SAMBUNGKAN] SparkSession.range untuk mengambil float sebagai argumen
  • [SPARK-42029] [SC-120336][SAMBUNGKAN] Menambahkan aturan Guava Shading untuk connect-common menghindari kegagalan startup
  • [SPARK-41989] [SC-120334][PyTHON] Hindari melanggar konfigurasi pengelogan dari pyspark.pandas
  • [SPARK-42003] [SC-120331][SQL] Mengurangi kode duplikat di ResolveGroupByAll
  • [SPARK-41635] [SC-120313][SQL] Perbaiki grup menurut semua pelaporan kesalahan
  • [SPARK-41047] [SC-120291][SQL] Meningkatkan dokumen untuk putaran
  • [SPARK-41822] [SC-120122][SAMBUNGKAN] Menyiapkan koneksi gRPC untuk klien Scala/JVM
  • [SPARK-41879] [SC-120264][SAMBUNGKAN][PyTHON] Membuat DataFrame.collect jenis berlapis dukungan
  • [SPARK-41887] [SC-120268][SAMBUNGKAN][PyTHON] Buat DataFrame.hint parameter daftar terima yang dititik
  • [SPARK-41964] [SC-120210][SAMBUNGKAN][PyTHON] Menambahkan daftar fungsi IO yang tidak didukung
  • [SPARK-41595] [SC-120097][SQL] Mendukung fungsi generator meledak/explode_outer dalam klausa FROM
  • [SPARK-41957] [SC-120121][SAMBUNGKAN][PyTHON] Aktifkan doctest untuk DataFrame.hint
  • [SPARK-41886] [SC-120141][SAMBUNGKAN][PyTHON] DataFrame.intersect output doctest memiliki urutan yang berbeda
  • [SPARK-41442] [SC-117795][SQL][SEMUA TES] Hanya perbarui nilai SQLMetric jika menggabungkan dengan metrik yang valid
  • [SPARK-41944] [SC-120046][SAMBUNGKAN] Meneruskan konfigurasi saat mode jarak jauh lokal aktif
  • [SPARK-41708] [SC-119838][SQL] Menarik informasi v1write ke WriteFiles
  • [SPARK-41780] [SC-120000][SQL] Harus melemparkan INVALID_PARAMETER_VALUE. POLA ketika parameter regexp tidak valid
  • [SPARK-41889] [SC-119975][SQL] Lampirkan akar penyebab ke kelas kesalahan invalidPatternError & refaktor INVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028][SQL] Membuat kelas kasus AvroScanBuilder dan JsonScanBuilder
  • [SPARK-41945] [SC-120010][SAMBUNGKAN][PyTHON] Python: menyambungkan data kolom klien yang hilang dengan pyarrow. Table.to_pylist
  • [SPARK-41690] [SC-119102][SC-119087][SQL][SAMBUNGKAN] Pengode Agnostik
  • [SPARK-41354] [SC-119995][SAMBUNGKAN][PyTHON] Menerapkan RepartitionByExpression
  • [SPARK-41581] [SC-119997][SQL] Perbarui _LEGACY_ERROR_TEMP_1230 sebagai INTERNAL_ERROR
  • [SPARK-41928] [SC-119972][SAMBUNGKAN][PyTHON] Tambahkan daftar yang tidak didukung untuk functions
  • [SPARK-41933] [SC-119980][SAMBUNGKAN] Menyediakan mode lokal yang secara otomatis memulai server
  • [SPARK-41899] [SC-119971][SAMBUNGKAN][PYTHON] createDataFrame' harus menghormati skema DDL yang disediakan pengguna
  • [SPARK-41936] [SC-119978][SAMBUNGKAN][PyTHON] Membuat withMetadata penggunaan withColumns kembali proto
  • [SPARK-41898] [SC-119931][SAMBUNGKAN][PyTHON] Window.rowsBetween, Window.rangeBetween parameter mengetik paritas dengan pyspark
  • [SPARK-41939] [SC-119977][SAMBUNGKAN][PyTHON] Menambahkan daftar yang tidak didukung untuk catalog fungsi
  • [SPARK-41924] [SC-119946][SAMBUNGKAN][PyTHON] Membuat metadata dukungan StructType dan Menerapkan DataFrame.withMetadata
  • [SPARK-41934] [SC-119967][SAMBUNGKAN][PyTHON] Tambahkan daftar fungsi yang tidak didukung untuk session
  • [SPARK-41875] [SC-119969][SAMBUNGKAN][PyTHON] Menambahkan kasus pengujian untuk Dataset.to()
  • [SPARK-41824] [SC-119970][SAMBUNGKAN][PyTHON] Ingore doctest untuk menjelaskan koneksi
  • [SPARK-41880] [SC-119959][SAMBUNGKAN][PyTHON] Membuat fungsi from_json menerima skema non-literal
  • [SPARK-41927] [SC-119952][SAMBUNGKAN][PyTHON] Tambahkan daftar yang tidak didukung untuk GroupedData
  • [SPARK-41929] [SC-119949][SAMBUNGKAN][PyTHON] Tambahkan fungsi array_compact
  • [SPARK-41827] [SC-119841][SAMBUNGKAN][PyTHON] Buat GroupBy daftar terima kolom
  • [SPARK-41925] [SC-119905][SQL] Aktifkan spark.sql.orc.enableNestedColumnVectorizedReader secara default
  • [SPARK-41831] [SC-119853][SAMBUNGKAN][PyTHON] Buat DataFrame.select daftar terima kolom
  • [SPARK-41455] [SC-119858][SAMBUNGKAN][PyTHON] Buat DataFrame.collect buang info zona waktu
  • [SPARK-41923] [SC-119861][SAMBUNGKAN][PyTHON] Tambahkan DataFrame.writeTo ke daftar yang tidak didukung
  • [SPARK-41912] [SC-119837][SQL] Subkueri tidak boleh memvalidasi CTE
  • [SPARK-41828] [SC-119832][SAMBUNGKAN][PyTHON][12.X] Membuat createDataFrame dataframe kosong dukungan
  • [SPARK-41905] [SC-119848][SAMBUNGKAN] Nama dukungan sebagai string dalam ikatan
  • [SPARK-41869] [SC-119845][SAMBUNGKAN] Menolak string tunggal dalam dropDuplicates
  • [SPARK-41830] [SC-119840][SAMBUNGKAN][PyTHON] Buat DataFrame.sample menerima parameter yang sama dengan PySpark
  • [SPARK-41849] [SC-119835][SAMBUNGKAN] Menerapkan DataFrameReader.text
  • [SPARK-41861] [SC-119834][SQL] Buat v2 ScanBuilders' build() mengembalikan pemindaian yang dititik
  • [SPARK-41825] [SC-119710][SAMBUNGKAN][PyTHON] Aktifkan doctest yang terkait dengan DataFrame.show
  • [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][SAMBUNGKAN][PyTHON][12.X] Buat createDataFrame handel None/NaN dengan benar
  • [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][SAMBUNGKAN][PyTHON] Membuat DataFrame.collect handle None/NaN/Array/Binary porperly
  • [SPARK-39318] [SC-119713][SQL] Menghapus file emas tpch-plan-stability WithStats
  • [SPARK-41791] [SC-119745] Menambahkan jenis kolom metadata sumber file baru
  • [SPARK-41790] [SC-119729][SQL] Atur format pembaca TRANSFORM dan penulis dengan benar
  • [SPARK-41829] [SC-119725][SAMBUNGKAN][PyTHON] Tambahkan parameter pengurutan yang hilang di Sort dan sortWithinPartitions
  • [SPARK-41576] [SC-119718][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2051
  • [SPARK-41821] [SC-119716][SAMBUNGKAN][PyTHON] Memperbaiki pengujian dokumen untuk DataFrame.describe
  • [SPARK-41871] [SC-119714][SAMBUNGKAN] Parameter petunjuk DataFrame dapat berupa str, float atau int
  • [SPARK-41720] [SC-119076][SQL] Ganti nama UnresolvedFunc menjadi UnresolvedFunctionName
  • [SPARK-41573] [SC-119567][SQL] Tetapkan nama ke _LEGACY_ERROR_TEMP_2136
  • [SPARK-41862] [SC-119492][SQL] Memperbaiki bug kebenaran yang terkait dengan nilai DEFAULT di pembaca Orc
  • [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] Gunakan INVALID_TYPED_LITERAL kembali alih-alih _LEGACY_ERROR_TEMP_0022

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 12.2.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.9.19
  • R: 4.2.2
  • Danau Delta: 2.2.0

Pustaka Python yang diinstal

Pustaka Versi Pustaka Versi Pustaka Versi
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttoken 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 hitam 22.3.0 pemutih 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
klik 8.0.4 cryptography 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0.11 titik masuk 0,4 menjalankan 0.8.3
facets-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.9.0
fonttools 4.25.0 idna 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 Mccabe 0.7.0 mistune 0.8.4
ekstensi mypy 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
buku catatan 6.4.8 numpy 1.21.5 packaging 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect=4.8.0 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdir 2.6.2 plotly 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
permintaan 2.27.1 requests-unixsocket 0.2.0 tali 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets=5.0.5 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
unattended-upgrades 0.1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings=0.5.1 0.5.1 whatthepatch 1.0.4
wheel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret Microsoft CRAN pada 2022-11-11.

Pustaka Versi Pustaka Versi Pustaka Versi
anak panah 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 dasar 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1,0-8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-58 kelas 7.3-21 cli 3.4.1
clipr 0.8.0 Jam 0.6.1 klaster 2.1.4
codetools 0.2-19 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 informasi masuk 1.3.2 curl 4.3.3
data.table 1.14.4 datasets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 evaluate 0,18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 generics 0.1.3
Gert 1.9.1 ggplot2 3.4.0 GH 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0,9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 lifecycle 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58.2 Matrix 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 kemajuan 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proksi 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 bentuk 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 pembahasan teks 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 pertukaran waktu 0.1.1 timeDate 4021.106
tinytex 0,42 alat 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-app_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21%
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty kelas netty-tcnative 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collector 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine acar 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-encoding 1.12.3-databricks-0002
org.apache.parquet parquet-format-structures 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark tidak digunakan 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1