Databricks Runtime 15.2 (EoS)

Nota

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan dan akhir masa pakai. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 15.2, didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada Bulan Mei 2024.

Perubahan perilaku

Alat Vakum membersihkan file metadata COPY INTO

Menjalankan VACUUM pada tabel yang ditulis dengan COPY INTO sekarang membersihkan metadata yang tidak direferensikan yang terkait dengan pelacakan file yang diserap. Tidak ada dampak pada semantik operasional .COPY INTO

Federasi Lakehouse umumnya tersedia (GA)

Di Databricks Runtime 15.2 dan yang lebih baru, konektor Lakehouse Federation di seluruh jenis database berikut umumnya tersedia (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (Data Warehouse SQL)
  • Databricks

Rilis ini juga memperkenalkan peningkatan berikut:

  • Dukungan untuk pushdown tambahan (string, matematika, dan fungsi lainnya).
  • Tingkat keberhasilan pushdown yang meningkat di beragam bentuk kueri.
  • Kemampuan debugging pushdown tambahan:
    • Output EXPLAIN FORMATTED menampilkan teks kueri yang didorong ke bawah.
    • Antarmuka pengguna profil kueri menampilkan teks kueri yang didorong ke bawah, pengidentifikasi simpul federasi, dan waktu eksekusi kueri JDBC (dalam mode verbose). Lihat kueri federasi yang dihasilkan oleh sistem.

BY POSITION untuk pemetaan kolom menggunakan COPY INTO dengan file CSV tanpa header

Di Databricks Runtime 15.2 dan yang lebih baru, Anda dapat menggunakan kata kunci BY POSITION (atau sintaks alternatif ( col_name [ , <col_name> ... ] )) dengan COPY INTO untuk file CSV tanpa header untuk menyederhanakan kolom sumber untuk menargetkan pemetaan kolom tabel. Lihat Parameter.

Mengurangi konsumsi memori saat tugas Spark gagal dengan kesalahan Resubmitted

Di Databricks Runtime 15.2 dan yang lebih baru, nilai pengembalian metode Spark TaskInfo.accumulables() menjadi kosong ketika tugas mengalami kegagalan karena kesalahan Resubmitted. Sebelumnya, metode tersebut mengembalikan nilai dari upaya tugas yang berhasil sebelumnya. Perubahan perilaku ini memengaruhi konsumen berikut:

  • Tugas Spark yang menggunakan kelas EventLoggingListener.
  • Pendengar Spark Kustom.

Untuk mengembalikan perilaku sebelumnya, atur spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled ke false.

Menampilkan versi rencana eksekusi kueri adaptif dinonaktifkan

Untuk mengurangi konsumsi memori, versi paket eksekusi kueri adaptif (AQE) sekarang dinonaktifkan secara default di antarmuka pengguna Spark. Untuk mengaktifkan tampilan versi paket AQE di antarmuka pengguna Spark, atur spark.databricks.sql.aqe.showPlanChangesInUI.enabled ke true.

Batas kueri yang dipertahankan diturunkan untuk mengurangi penggunaan memori Spark UI

Dalam Databricks Runtime 15.2 dan yang lebih baru, untuk mengurangi memori yang digunakan oleh UI Spark dalam komputasi Azure Databricks, batas jumlah kueri yang terlihat di UI diturunkan dari 1000 menjadi 100. Untuk mengubah batas, tetapkan nilai baru menggunakan konfigurasi spark.sql.ui.retainedExecutions Spark.

DESCRIBE HISTORY sekarang menunjukkan kolom pengklusteran untuk tabel yang menggunakan pengklusteran cair

Saat Anda menjalankan kueri DESCRIBE HISTORY, kolom operationParameters memperlihatkan bidang clusterBy secara default untuk operasi CREATE OR REPLACE dan OPTIMIZE. Untuk tabel Delta yang menggunakan pengklusteran cair, clusterBy bidang diisi dengan kolom pengklusteran tabel. Jika tabel tidak menggunakan pengklusteran cair, bidang kosong.

Sintaks widget notebook tidak digunakan lagi

Dimulai dengan Databricks Runtime 15.2, ${param} sintaks untuk mengakses nilai widget notebook di sel SQL tidak digunakan lagi. Gunakan sintaks penanda parameter (:param) sebagai gantinya. Sintaks penanda parameter memberikan perlindungan injeksi SQL yang lebih baik dan peningkatan performa kueri.

Untuk panduan dan contoh migrasi, lihat Widget buku catatan warisan. Untuk informasi tentang pendekatan yang direkomendasikan saat ini, lihat Widget Databricks.

Fitur dan peningkatan baru

Dukungan untuk kunci primer dan asing adalah GA

Dukungan untuk kunci primer dan asing di Databricks Runtime umumnya tersedia. Rilis GA mencakup perubahan berikut pada hak istimewa yang diperlukan untuk penggunaan kunci primer dan kunci asing:

  • Untuk menentukan kunci asing, Anda harus memiliki hak istimewa SELECT pada tabel dengan kunci utama yang menjadi referensi bagi kunci asing. Anda tidak perlu memiliki tabel dengan kunci utama, yang sebelumnya wajib dimiliki.
  • Menghilangkan kunci primer menggunakan klausa CASCADE tidak memerlukan hak istimewa pada tabel yang menentukan kunci asing yang mereferensikan kunci utama. Sebelumnya, Anda perlu memiliki tabel referensi.
  • Menghilangkan tabel yang menyertakan batasan sekarang memerlukan hak istimewa yang sama dengan menghilangkan tabel yang tidak menyertakan batasan.

Untuk mempelajari cara menggunakan kunci primer dan asing dengan tabel atau tampilan, lihat CONSTRAINT klausa, ADD CONSTRAINT klausa, dan DROP CONSTRAINT klausa.

Pengklusteran cairan adalah GA

Dukungan untuk pengklusteran cairan sekarang tersedia secara umum menggunakan Databricks Runtime 15.2 ke atas. Lihat Menggunakan pengklusteran cair untuk tabel.

Pelebaran Tipe ada di Pratinjau Umum

Anda sekarang dapat mengaktifkan pelebaran tipe pada tabel yang didukung oleh Delta Lake. Tabel dengan perluasan tipe yang diaktifkan memungkinkan perubahan jenis kolom ke jenis data yang lebih luas tanpa harus menulis ulang file data yang ada. Lihat Pelebaran tipe.

Klausa evolusi skema ditambahkan ke sintaks penggabungan SQL

Anda sekarang dapat menambahkan klausa WITH SCHEMA EVOLUTION ke pernyataan penggabungan SQL untuk mengaktifkan evolusi skema untuk operasi. Lihat Sintaks evolusi skema untuk penggabungan.

Sumber data kustom PySpark tersedia di Pratinjau Umum

PySpark DataSource dapat dibuat menggunakan API DataSource Python (PySpark), yang memungkinkan pembacaan dari sumber data kustom dan menulis ke sink data kustom di Apache Spark menggunakan Python. Lihat sumber data kustom PySpark

applyInPandas dan mapInPandas sekarang tersedia pada Unity Catalog dengan mode akses bersama

Sebagai bagian dari rilis pemeliharaan Databricks Runtime 14.3 LTS, applyInPandas dan mapInPandas jenis UDF sekarang didukung pada komputasi mode akses bersama yang menjalankan Databricks Runtime 14.3 ke atas.

Gunakan dbutils.widgets.getAll() untuk mendapatkan semua widget di notebook

Gunakan dbutils.widgets.getAll() untuk mendapatkan semua nilai widget dalam buku catatan. Ini sangat membantu saat meneruskan beberapa nilai widget ke kueri Spark SQL.

Dukungan persediaan peralatan vakum

Anda sekarang dapat menentukan inventaris file yang perlu dipertimbangkan saat menjalankan perintah VACUUM pada tabel Delta. Lihat dokumen OSS Delta.

Dukungan untuk fungsi kompresi Zstandard

Anda sekarang dapat menggunakan fungsi zst_compress, zstd_decompress, dan try_zstd_decompress untuk mengompresi dan mendekompresi BINARY data.

Perbaikan bug

Paket kueri di UI SQL sekarang ditampilkan dengan benar PhotonWriteStage

Saat ditampilkan di UI SQL, perintah write dalam rencana kueri salah menunjukkan PhotonWriteStage sebagai operator. Dengan rilis ini, UI diperbarui untuk menampilkan PhotonWriteStage sebagai tahap. Ini hanya perubahan UI dan tidak memengaruhi cara kueri dijalankan.

Ray diperbarui untuk memperbaiki masalah pada saat memulai kluster Ray

Rilis ini mencakup versi Ray yang telah diperbaiki untuk memperbaiki perubahan signifikan yang mencegah kluster Ray memulai dengan Databricks Runtime untuk Pembelajaran Mesin. Perubahan ini memastikan bahwa fungsionalitas Ray identik dengan versi Databricks Runtime sebelum 15.2.

Kelas kesalahan yang telah diperbaiki untuk fungsi DataFrame.sort() dan DataFrame.sortWithinPartitions()

Rilis ini mencakup pembaruan ke fungsi DataFrame.sort() dan DataFrame.sortWithinPartitions() PySpark untuk memastikan kelas kesalahan ZERO_INDEX dilempar ketika 0 diberikan sebagai argumen indeks. Sebelumnya, kelas kesalahan INDEX_NOT_POSITIVE telah dilemparkan.

ipywidgets diturunkan dari 8.0.4 ke 7.7.2

Untuk memperbaiki kesalahan yang diperkenalkan oleh peningkatan ipywidgets ke 8.0.4 di Databricks Runtime 15.0, ipywidgets diturunkan menjadi 7.7.2 di Databricks Runtime 15.2. Ini adalah versi yang sama yang disertakan dalam versi Databricks Runtime sebelumnya.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • GitPython dari 3.1.42 ke 3.1.43
    • google-api-core dari 2.17.1 hingga 2.18.0
    • google-auth dari 2.28.1 ke 2.29.0
    • google-cloud-storage dari 2.15.0 ke 2.16.0
    • googleapis-common-protos dari 1.62.0 hingga 1.63.0
    • ipywidgets dari 8.0.4 ke 7.7.2
    • mlflow-skinny dari 2.11.1 hingga 2.11.3
    • s3transfer dari 0.10.0 hingga 0.10.1
    • sqlparse dari 0.4.4 hingga 0.5.0
    • typing_extensions dari 4.7.1 ke 4.10.0
  • Pustaka R yang ditingkatkan:
  • Pustaka Java yang ditingkatkan:
    • com.amazonaws.aws-java-sdk-autoscaling dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-config dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-core dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect dari 1.12.390 ke 1.12.610
    • com.amazonaws.aws-java-sdk-directory dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-ecs dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-efs dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-emr dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-glacier dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-glue dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-iam dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-importexport dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-kms dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-lambda dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-logs dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-rds dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-redshift dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-route53 dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-s3 dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-ses dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-sns dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-sqs dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-ssm dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-sts dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-support dari 1.12.390 hingga 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces dari 1.12.390 hingga 1.12.610
    • com.amazonaws.jmespath-java dari 1.12.390 hingga 1.12.610

Apache Spark

Databricks Runtime 15.2 mencakup Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 15.1 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-47941] [SC-163568] [SS] [Koneksi] Menyampaikan kesalahan inisialisasi pekerja ForeachBatch kepada pengguna di PySpark
  • [SPARK-47412] [SC-163455][sql] Tambahkan Dukungan Pengurutan untuk LPad/RPad.
  • [SPARK-47907] [SC-163408][sql] Letakkan bang di bawah konfigurasi
  • [SPARK-46820] [SC-157093][python] Perbaiki regresi pesan kesalahan dengan memulihkan new_msg
  • [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/Resource managers: migrasi pengelogan terstruktur
  • [SPARK-47890] [SC-163324][connect][PYTHON] Tambahkan fungsi varian ke Scala dan Python.
  • [SPARK-47894] [SC-163086][core][WEBUI] Tambahkan Environment halaman ke UI Master
  • [SPARK-47805] [SC-163459][ss] Menerapkan TTL untuk MapState
  • [SPARK-47900] [SC-163326] Perbaiki pengecekan untuk kolasi implisit (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][sql]Membuat ekspresi Compute Current Time* dapat dilipat
  • [SPARK-47845] [SC-163315][sql][PYTHON][connect] Mendukung jenis kolom dalam fungsi split untuk scala dan python
  • [SPARK-47754] [SC-162144][sql] Postgres: Dukungan membaca array multidmensional
  • [SPARK-47416] [SC-163001][sql] Tambahkan fungsi baru ke CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][sql] Memperbaiki bug agregat di RewriteWithExpression
  • [SPARK-47821] [SC-162967][sql] Terapkan ekspresi is_variant_null
  • [SPARK-47883] [SC-163184][sql] Buat CollectTailExec.doExecute malas dengan RowQueue
  • [SPARK-47390] [SC-163306][sql] PostgresDialect membedakan TIMESTAMP dari TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][core] Tambahkan log DEBUG ke DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][sql][3.5] Perbaiki regresi performa ExpressionSet di scala 2.12
  • [SPARK-47565] [SC-161786][python] Ketahanan crash kumpulan pekerja PySpark
  • [SPARK-47885] [SC-162989][python][CONNECT] Buat pyspark.resource kompatibel dengan pyspark-connect
  • [SPARK-47887] [SC-163122][connect] Hapus impor spark/connect/common.proto yang tidak digunakan dari spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][python][CONNECT] Buat pyspark.worker_utils kompatibel dengan pyspark-connect
  • [SPARK-47691] [SC-161760][sql] Postgres: Dukungan array multi dimensi di sisi tulis
  • [SPARK-47617] [SC-162513][sql] Tambahkan infrastruktur pengujian TPC-DS untuk kolase
  • [SPARK-47356] [SC-162858][sql] Tambahkan dukungan untuk ConcatWs & Elt (semua kolase)
  • [SPARK-47543] [SC-161234][connect][PYTHON] Menyimpulkan dict sebagai MapType dari Pandas DataFrame untuk memungkinkan pembuatan DataFrame
  • [SPARK-47863] [SC-162974][sql] Memperbaiki implementasi startsWith & endsWith yang menyadari pengurutan untuk ICU
  • [SPARK-47867] [SC-162966][sql] Mendukung varian dalam pemindaian JSON.
  • [SPARK-47366] [SC-162475][sql][PYTHON] Tambahkan VariantVal untuk PySpark
  • [SPARK-47803] [SC-162726][sql] Dukungan untuk varian.
  • [SPARK-47769] [SC-162841][sql] Tambahkan ekspresi schema_of_variant_agg.
  • [SPARK-47420] [SC-162842][sql] Memperbaiki output pengujian
  • [SPARK-47430] [SC-161178][sql] Dukungan GROUP BY untuk MapType
  • [SPARK-47357] [SC-162751][sql] Tambahkan dukungan untuk Upper, Lower, InitCap (semua kolase)
  • [SPARK-47788] [SC-162729][ss] Pastikan partisi hash yang sama untuk operasi stateful streaming
  • [SPARK-47776] [SC-162291][ss] Larang kolase ketidaksamaan biner digunakan dalam skema kunci operator stateful
  • [SPARK-47673] [SC-162824][ss] Menerapkan TTL untuk ListState
  • [SPARK-47818] [SC-162845][connect] Memperkenalkan cache rencana di SparkConnectPlanner untuk meningkatkan performa permintaan analisis
  • [SPARK-47694] [SC-162783][connect] Buat ukuran pesan maks dapat dikonfigurasi di sisi klien
  • [SPARK-47274] Batalkan “[SC-162479][python][SQL] Sediakan lebih banyak kegunaan yang bermanfaat...
  • [SPARK-47616] [SC-161193][sql] Tambahkan Dokumen Pengguna untuk Pemetaan Jenis Data Spark SQL dari MySQL
  • [SPARK-47862] [SC-162837][python][CONNECT]Perbaiki pembuatan file proto
  • [SPARK-47849] [SC-162724][python][CONNECT] Ubah skrip rilis untuk merilis pyspark-connect
  • [SPARK-47410] [SC-162518][sql] Refaktor UTF8String dan CollationFactory
  • [SPARK-47807] [SC-162505][python][ML] Buat pyspark.ml kompatibel dengan pyspark-connect
  • [SPARK-47707] [SC-161768][sql] Penanganan khusus jenis JSON untuk Konektor MySQL/J 5.x
  • [SPARK-47765] Kembalikan "[SC-162636][sql] Tambahkan SET KOLASE ke pars...
  • [SPARK-47081] [SC-162151][connect][FOLLOW] Meningkatkan kegunaan Progress Handler
  • [SPARK-47289] [SC-161877][sql] Izinkan ekstensi untuk mencatat informasi yang diperluas dalam rencana penjelasan
  • [SPARK-47274] [SC-162479][python][SQL] Menyediakan konteks yang lebih berguna untuk kesalahan PySpark DataFrame API
  • [SPARK-47765] [SC-162636][sql] Tambahkan SET KOLASE ke aturan pengurai
  • [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite gagal dengan rencana yang tidak valid
  • [SPARK-47812] [SC-162696][connect] Mendukung Serialisasi SparkSession untuk pekerja ForEachBatch
  • [SPARK-47253] [SC-162698][core] Izinkan LiveEventBus berhenti tanpa harus sepenuhnya mengosongkan antrean peristiwa
  • [SPARK-47827] [SC-162625][python] Peringatan yang hilang untuk fitur yang tidak digunakan lagi
  • [SPARK-47733] [SC-162628][ss] Tambahkan metrik kustom untuk operator transformWithState sebagai bagian dari kemajuan kueri
  • [SPARK-47784] [SC-162623][ss] Gabungkan TTLMode dan TimeoutMode ke dalam satu TimeMode.
  • [SPARK-47775] [SC-162319][sql] Mendukung jenis skalar yang tersisa dalam spesifikasi varian.
  • [SPARK-47736] [SC-162503][sql] Tambahkan dukungan untuk AbstractArrayType
  • [SPARK-47081] [SC-161758][connect] Mendukung Kemajuan Eksekusi Kueri
  • [SPARK-47682] [SC-162138][sql] Mendukung konversi dari varian.
  • [SPARK-47802] [SC-162478][sql] Kembali () dari makna struct() kembali ke arti *
  • [SPARK-47680] [SC-162318][sql] Tambahkan ekspresi variant_explode.
  • [SPARK-47809] [SC-162511][sql] checkExceptionInExpression harus memeriksa kesalahan untuk setiap mode codegen
  • [SPARK-41811] [SC-162470][python][CONNECT] Mengimplementasikan dengan SQLStringFormatterWithRelations
  • [SPARK-47693] [SC-162326][sql] Tambahkan pengoptimalan untuk perbandingan huruf kecil UTF8String yang digunakan dalam kolase UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][sql] String yang diurutkan dalam jenis kompleks yang mendukung operasi membalik, array_join, concat, peta
  • [SPARK-46812] [SC-161535][connect][PYTHON] Membuat mapInPandas / mapInArrow mendukung ProfilSumberDaya
  • [SPARK-47727] [SC-161982][python] Membuat SparkConf ke tingkat root untuk SparkSession dan SparkContext
  • [SPARK-47406] [SC-159376][sql] Menangani TIMESTAMP dan DATETIME di MYSQLDialect
  • [SPARK-47081] Kembalikan “[SC-161758][connect] Dukung Eksekusi Query..."
  • [SPARK-47681] [SC-162043][sql] Tambahkan ekspresi schema_of_variant.
  • [SPARK-47783] [SC-162222] Tambahkan beberapa SQLSTATEs yang hilang, bersihkan YY000 untuk digunakan...
  • [SPARK-47634] [SC-161558][sql] Tambahkan dukungan warisan untuk menonaktifkan normalisasi kunci peta
  • [SPARK-47746] [SC-162022] Menerapkan pengodean rentang berbasis ordinal di RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExec harus selalu menggunakan context.session
  • [SPARK-47643] [SC-161534][ss][PYTHON] Tambahkan pengujian pyspark untuk sumber streaming python
  • [SPARK-47582] [SC-161943][sql] Migrasikan Catalyst logInfo dengan variabel ke kerangka kerja pengelogan terstruktur
  • [SPARK-47558] [SC-162007][ss] Dukungan TTL Status untuk ValueState
  • [SPARK-47358] [SC-160912][sql][COLLATION] Meningkatkan dukungan ekspresi pengulangan untuk mengembalikan jenis data yang benar
  • [SPARK-47504] [SC-162044][sql] Menyelesaikan simpleStrings AbstractDataType untuk StringTypeCollated
  • [SPARK-47719] Kembalikan "[SC-161909][sql] Ubah spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010][sql] Menerapkan dukungan push down filter kolase per sumber file
  • [SPARK-47081] [SC-161758][connect] Mendukung Kemajuan Eksekusi Kueri
  • [SPARK-47744] [SC-161999] Menambahkan dukungan untuk byte bernilai negatif dalam encoder rentang
  • [SPARK-47713] [SC-162009][sql][CONNECT] Perbaiki kegagalan gabungan mandiri
  • [SPARK-47310] [SC-161930][ss] Tambahkan tolok ukur mikro untuk operasi penggabungan untuk beberapa nilai dalam bagian nilai penyimpanan status
  • [SPARK-47700] [SC-161774][sql] Perbaiki pemformatan pesan kesalahan dengan treeNode
  • [SPARK-47752] [SC-161993][ps][CONNECT] Buat pyspark.pandas kompatibel dengan pyspark-connect
  • [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] Implementasikan logWarning/logInfo API dalam kerangka kerja pengelogan terstruktur
  • [SPARK-47107] [SC-161201][ss][PYTHON] Terapkan pembaca partisi untuk sumber data streaming python
  • [SPARK-47553] [SC-161772][ss] Tambahkan dukungan Java untuk API operator transformWithState
  • [SPARK-47719] [SC-161909][sql] Ubah spark.sql.legacy.timeParserPolicy default ke CORRECTED
  • [SPARK-47655] [SC-161761][ss] Integrasikan timer dengan penanganan Status Awal untuk state-v2
  • [SPARK-47665] [SC-161550][sql] Gunakan SMALLINT untuk Menulis ShortType ke MYSQL
  • [SPARK-47210] [SC-161777][sql] Penambahan transmisi implisit tanpa dukungan yang tidak ditentukan
  • [SPARK-47653] [SC-161767][ss] Tambahkan dukungan untuk jenis numerik negatif dan encoder kunci pemindaian rentang
  • [SPARK-46743] [SC-160777][sql] Hitung bug setelah pelipatan konstan
  • [SPARK-47525] [SC-154568][sql] Mendukung gabungan korelasi subkueri pada atribut peta
  • [SPARK-46366] [SC-151277][sql] Gunakan ekspresi WITH di BETWEEN untuk menghindari ekspresi duplikat
  • [SPARK-47563] [SC-161183][sql] Tambahkan normalisasi peta pada pembuatan
  • [SPARK-42040] [SC-161171][sql] SPJ: Memperkenalkan API baru untuk partisi input V2 untuk melaporkan statistik partisi
  • [SPARK-47679] [SC-161549][sql] Gunakan HiveConf.getConfVars atau nama conf Apache Hive secara langsung
  • [SPARK-47685] [SC-161566][sql] Pulihkan dukungan untuk tipe Stream dalam Dataset#groupBy
  • [SPARK-47646] [SC-161352][sql] Buat try_to_number mengembalikan NULL untuk input cacat
  • [SPARK-47366] [SC-161324][python] Tambahkan pyspark dan dataframe parse_json alias
  • [SPARK-47491] [SC-161176][core] Tambahkan slf4j-api jar ke jalur kelas terlebih dahulu sebelum yang lain dari direktori jars
  • [SPARK-47270] [SC-158741][sql] Dataset.isEmpty memproyeksikan CommandResults secara lokal
  • [SPARK-47364] [SC-158927][core] Peringatkan PluginEndpoint ketika plugin membalas pesan satu arah
  • [SPARK-47280] [SC-158350][sql] Hapus batasan zona waktu untuk TANDA WAKTU ORACLE DENGAN TIMEZONE
  • [SPARK-47551] [SC-161542][sql] Tambahkan ekspresi variant_get.
  • [SPARK-47559] [SC-161255][sql] Dukungan Codegen untuk varian parse_json
  • [SPARK-47572] [SC-161351][sql] Enforce Window partitionSpec dapat diurutkan.
  • [SPARK-47546] [SC-161241][sql] Memperbaiki pengecekan saat membaca Variant dari Parquet
  • [SPARK-47543] [SC-161234][connect][PYTHON] Menyimpulkan dict sebagai MapType dari Pandas DataFrame untuk memungkinkan pembuatan DataFrame
  • [SPARK-47485] [SC-161194][sql][PYTHON][connect] Buat kolom dengan kolase di API dataframe
  • [SPARK-47641] [SC-161376][sql] Meningkatkan performa untuk UnaryMinus dan Abs
  • [SPARK-47631] [SC-161325][sql] Hapus metode yang tidak digunakan SQLConf.parquetOutputCommitterClass
  • [SPARK-47674] [SC-161504][core] Aktifkan spark.metrics.appStatusSource.enabled secara default
  • [SPARK-47273] [SC-161162][ss][PYTHON] menerapkan antarmuka penulis aliran data Python.
  • [SPARK-47637] [SC-161408][sql] Gunakan errorCapturingIdentifier di lebih banyak tempat
  • [SPARK-47497] Balikkan “Balikkan “[SC-160724][sql] Buat to_csv mendukung output array/struct/map/binary sebagai string rapi””
  • [SPARK-47492] [SC-161316][sql] Memperluas aturan spasi di lexer.
  • [SPARK-47664] [SC-161475][python][CONNECT] Validasi nama kolom dengan skema cache
  • [SPARK-47638] [SC-161339][ps][CONNECT] Lewati validasi nama kolom di PS
  • [SPARK-47363] [SC-161247][ss] Status Awal tanpa implementasi pembaca status untuk STATE API v2.
  • [SPARK-47447] [SC-160448][sql] Izinkan membaca Parquet TimestampLTZ sebagai TimestampNTZ
  • [SPARK-47497] Batalkan “[SC-160724][sql] Buat to_csv mendukung output array/struct/map/binary sebagai string yang rapi”
  • [SPARK-47434] [SC-160122][webui] Memperbaiki tautan statistics di StreamingQueryPage
  • [SPARK-46761] [SC-159045][sql] String yang dikutip dalam jalur JSON harus mendukung ? Karakter
  • [SPARK-46915] [SC-155729][sql] Menyederhanakan dan menyelaraskan UnaryMinusAbs kelas kesalahan
  • [SPARK-47431] [SC-160919][sql] Tambahkan Kolase default tingkat sesi
  • [SPARK-47620] [SC-161242][python][CONNECT] Tambahkan fungsi pembantu untuk mengurutkan kolom
  • [SPARK-47570] [SC-161165][ss] Mengintegrasikan perubahan encoder pemindaian rentang dengan implementasi timer
  • [SPARK-47497] [SC-160724][sql] Menjadikan to_csv memberikan dukungan untuk output array/struct/map/binary sebagai string yang indah
  • [SPARK-47562] [SC-161166][connect] Memisahkan penanganan literal dari plan.py
  • [SPARK-47509] [SC-160902][sql] Blokir ekspresi subkueri dalam fungsi lambda dan urutan yang lebih tinggi
  • [SPARK-47539] [SC-160750][sql] Jadikan nilai pengembalian metode castToString menjadi Any => UTF8String
  • [SPARK-47372] [SC-160905][ss] Tambahkan dukungan untuk encoder status kunci berbasis pemindaian rentang untuk digunakan dengan penyedia penyimpanan status
  • [SPARK-47517] [SC-160642][inti][SQL] Lebih memilih Utils.bytesToString untuk tampilan ukuran
  • [SPARK-47243] [SC-158059][ss] Perbaiki nama paket StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][python][CONNECT] Dukungan Python sumber data dengan Spark Connect
  • [SPARK-47521] [SC-160666][core] Gunakan Utils.tryWithResource selama membaca data acak dari penyimpanan eksternal
  • [SPARK-47474] [SC-160522][core] Kembalikan SPARK-47461 dan tambahkan beberapa komentar
  • [SPARK-47560] [SC-160914][python][CONNECT] Hindari RPC untuk memvalidasi nama kolom dengan skema cache
  • [SPARK-47451] [SC-160749][sql] Support to_json(varian).
  • [SPARK-47528] [SC-160727][sql] Tambahkan dukungan UserDefinedType ke DataTypeUtils.canWrite
  • [SPARK-44708] Kembalikan "[SC-160734][python] Migrasikan test_reset_index assert_eq untuk menggunakan assertDataFrameEqual"
  • [SPARK-47506] [SC-160740][sql] Tambahkan dukungan ke semua format sumber file untuk jenis data kolase
  • [SPARK-47256] [SC-160784][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][core] Perbaiki jar sumber daya utama yang ditambahkan ke spark.jars dua kali di bawah mode kluster k8s
  • [SPARK-47398] [SC-160572][sql] Ekstrak sifat untuk InMemoryTableScanExec untuk memungkinkan perluasan fungsionalitas
  • [SPARK-47479] [SC-160623][sql] Optimize tidak dapat menulis data ke relasi dengan log kesalahan beberapa jalur
  • [SPARK-47483] [SC-160629][sql] Tambahkan dukungan untuk operasi agregasi dan gabungan pada array string yang disusun
  • [SPARK-47458] [SC-160237][core] Perbaiki masalah dengan menghitung tugas serentak maksimum untuk tahap hambatan
  • [SPARK-47534] [SC-160737][sql] Pindah o.a.s.variant ke o.a.s.types.variant
  • [SPARK-47396] [SC-159312][sql] Tambahkan pemetaan umum untuk TIME WITHOUT TIME ZONE ke TimestampNTZType
  • [SPARK-44708] [SC-160734][python] Migrasikan test_reset_index assert_eq untuk menggunakan assertDataFrameEqual
  • [SPARK-47309] [SC-157733][sc-160398][SQL] XML: Menambahkan pengujian inferensi skema untuk tag nilai
  • [SPARK-47007] [SC-160630][sql] Tambahkan MapSort ekspresi
  • [SPARK-47523] [SC-160645][sql] Ganti tidak digunakan JsonParser#getCurrentName lagi dengan JsonParser#currentName
  • [SPARK-47440] [SC-160635][sql] Memperbaiki masalah mendorong sintaks yang tidak didukung ke MsSqlServer
  • [SPARK-47512] [SC-160617][ss] Jenis operasi tag yang digunakan dengan akuisisi/rilis kunci instans penyimpanan status RocksDB
  • [SPARK-47346] [SC-159425][python] Membuat mode daemon dapat dikonfigurasi saat membuat pekerja perencana Python
  • [SPARK-47446] [SC-160163][core] Peringatkan BlockManager sebelumnya removeBlockInternal
  • [SPARK-46526] [SC-156099][sql] Dukungan LIMIT atas subkueri berkorelasi di mana predikat hanya mereferensikan tabel luar
  • [SPARK-47461] [SC-160297][core] Hapus fungsi totalRunningTasksPerResourceProfile privat dari ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][sql] Mendukung string yang dikolasi dalam operasi array
  • [SPARK-47500] [SC-160627][python][CONNECT] Penanganan nama kolom faktor keluar dari plan.py
  • [SPARK-47383] [SC-160144][core] Konfigurasi dukungan spark.shutdown.timeout
  • [SPARK-47342] [SC-159049]Kembalikan "[SQL] Support TimestampNTZ untuk DB2 TIMESTAMP WITH TIME ZONE"
  • [SPARK-47486] [SC-160491][connect] Hapus metode privat ArrowDeserializers.getString yang tidak digunakan
  • [SPARK-47233] [SC-154486][connect][SS][2/2] Logika Klien & Server untuk pendengar kueri streaming sisi klien
  • [SPARK-47487] [SC-160534][sql] Sederhanakan kode di AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][sql] Dukungan Agregat Jendela untuk kolase
  • [SPARK-47296] [SC-160457][sql][COLLATION] Gagal fungsi yang tidak didukung untuk kolase non-biner
  • [SPARK-47380] [SC-160164][connect] Pastikan di pihak server bahwa SparkSession tetap konsisten
  • [SPARK-47327] [SC-160069][sql] Memindahkan uji kesesuaian kunci sortir ke CollationFactorySuite
  • [SPARK-47494] [SC-160495][doc] Tambahkan dokumen migrasi untuk perubahan perilaku inferensi tanda waktu Parquet sejak Spark 3.3
  • [SPARK-47449] [SC-160372][ss] Pemfaktoran ulang dan uji unit daftar/timer terpisah
  • [SPARK-46473] [SC-155663][sql] Gunakan getPartitionedFile kembali metode
  • [SPARK-47423] [SC-160068][sql] Collations - Mengatur dukungan operasi untuk string dengan kolase
  • [SPARK-47439] [SC-160115][python] Mendokumentasikan API Sumber Data Python di halaman referensi API
  • [SPARK-47457] [SC-160234][sql] Perbaikan IsolatedClientLoader.supportsHadoopShadedClient untuk menangani Hadoop 3.4+
  • [SPARK-47366] [SC-159348][sql] Implementasi parse_json.
  • [SPARK-46331] [SC-152982][sql] Menghapus CodegenFallback dari subset ekspresi DateTime dan ekspresi versi()
  • [SPARK-47395] [SC-159404] Menambahkan kolasi dan mengurutkan ke API lain
  • [SPARK-47437] [SC-160117][python][CONNECT] Perbaiki kelas kesalahan untuk DataFrame.sort*
  • [SPARK-47174] [SC-154483][connect][SS][1/2] Sisi server SparkConnectListenerBusListener untuk pendengar kueri streaming sisi klien
  • [SPARK-47324] [SC-158720][sql] Tambahkan konversi tanda waktu yang hilang untuk jenis berlapis JDBC
  • [SPARK-46962] [SC-158834][ss][PYTHON] Tambahkan antarmuka untuk API sumber data streaming python dan terapkan pekerja python untuk menjalankan sumber data streaming python
  • [SPARK-45827] [SC-158498][sql] Memindahkan pemeriksaan jenis data ke CreatableRelationProvider
  • [SPARK-47342] [SC-158874][sql] Mendukung TimestampNTZ untuk DB2 TIMESTAMP DENGAN TIME ZONE
  • [SPARK-47399] [SC-159378][sql] Nonaktifkan kolom yang dihasilkan pada ekspresi dengan kolase
  • [SPARK-47146] [SC-158247][core] Kemungkinan kebocoran utas saat melakukan penggabungan sortir
  • [SPARK-46913] [SC-159149][ss] Tambahkan dukungan untuk timer berbasis waktu pemrosesan/peristiwa dengan operator transformWithState
  • [SPARK-47375] [SC-159063][sql] Tambahkan panduan untuk pemetaan tanda waktu di JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][sql] Mendukung TANDA WAKTU DENGAN ZONA WAKTU untuk H2Dialect
  • [SPARK-45827] Kembalikan "[SC-158498][sql] Pindahkan pemeriksaan jenis data ke ...
  • [SPARK-47208] [SC-159279][core] Izinkan mengesampingkan memori overhead dasar
  • [SPARK-42627] [SC-158021][spark-26494][SQL] Mendukung Oracle TIMESTAMP DENGAN LOCAL TIME ZONE
  • [SPARK-47055] [SC-156916][python] Upgrade MyPy 1.8.0
  • [SPARK-46906] [SC-157205][ss] Tambahkan pemeriksaan untuk perubahan operator stateful dalam streaming
  • [SPARK-47391] [SC-159283][sql] Hapus solusi kasus pengujian untuk JDK 8
  • [SPARK-47272] [SC-158960][ss] Tambahkan implementasi MapState untuk STATE API v2.
  • [SPARK-47375] [SC-159278][doc][FollowUp] Memperbaiki kesalahan dalam dokumen opsi preferTimestampNTZ JDBC
  • [SPARK-42328] [SC-157363][sql] Hapus _LEGACY_ERROR_TEMP_1175 dari kelas kesalahan
  • [SPARK-47375] [SC-159261][doc][FollowUp] Perbaiki deskripsi opsi preferTimestampNTZ di dokumen JDBC
  • [SPARK-47344] [SC-159146] Memperluas kesalahan INVALID_IDENTIFIER lebih dari sekadar menangkap '-' dalam pengidentifikasi yang tidak dikutip dan memperbaiki masalah terkait "IS !”. NULL" dkk.
  • [SPARK-47340] [SC-159039][sql] Ubah "collate" dalam typename StringType menjadi huruf kecil
  • [SPARK-47087] [SC-157077][sql] Memunculkan pengecualian Spark dengan kelas kesalahan dalam pemeriksaan nilai konfigurasi
  • [SPARK-47327] [SC-158824][sql] Perbaiki masalah keselamatan utas di ICU Collator
  • [SPARK-47082] [SC-157058][sql] Perbaiki kondisi kesalahan di luar batas
  • [SPARK-47331] [SC-158719][ss] Serialisasi menggunakan kelas kasus/primitif/POJO berdasarkan encoder SQL untuk Api Status Arbitrer v2.
  • [SPARK-47250] [SC-158840][ss] Tambahkan validasi tambahan dan perubahan NERF untuk penyedia status RocksDB dan penggunaan keluarga kolom
  • [SPARK-47328] [SC-158745][sql] Ganti nama UCS_BASIC kolase menjadi UTF8_BINARY
  • [SPARK-47207] [SC-157845][core] Dukungan spark.driver.timeout dan DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][doc] Tambahkan dokumen migrasi: Inferensi tipe TimestampNTZ pada file Parquet
  • [SPARK-47309] [SC-158827][sql][XML] Tambahkan pengujian unit inferensi skema
  • [SPARK-47295] [SC-158850][sql] Menambahkan ICU StringSearch untuk startsWith dan endsWith fungsi
  • [SPARK-47343] [SC-158851][sql] Perbaiki NPE ketika sqlString nilai variabel adalah string null dalam perintah 'execute immediate'
  • [SPARK-46293] [SC-150117][connect][PYTHON] Gunakan protobuf dependensi transitif
  • [SPARK-46795] [SC-154143][sql] Ganti UnsupportedOperationException dengan SparkUnsupportedOperationException di sql/core
  • [SPARK-46087] [SC-149023][python] Sinkronkan dependensi PySpark dalam dokumen dan persyaratan dev
  • [SPARK-47169] [SC-158848][sql] Nonaktifkan bucketing pada kolom yang diurutkan
  • [SPARK-42332] [SC-153996][sql] Mengubah persyaratan ke SparkException di ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][sql] Memindahkan pemeriksaan jenis data ke CreatableRelationProvider
  • [SPARK-47341] [SC-158825][connect] Ganti perintah dengan relasi dalam beberapa pengujian di SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][sql] Ganti kelas kesalahan _LEGACY_ERROR_TEMP_2020 menjadi kesalahan internal
  • [SPARK-47248] [SC-158494][sql][COLLATION] Dukungan fungsi string yang ditingkatkan: berisi
  • [SPARK-47334] [SC-158716][sql] Membuat withColumnRenamed menggunakan kembali implementasi withColumnsRenamed
  • [SPARK-46442] [SC-153168][sql] DS V2 mendukung penurunan fungsi PERCENTILE_CONT dan PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][sql] Menambahkan penanganan scala.MatchError di dalam QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][sql] Tambahkan jenis singleton varian untuk Java
  • [SPARK-47337] [SC-158743][sql][DOCKER] Tingkatkan versi gambar docker DB2 ke 11.5.8.0
  • [SPARK-47302] [SC-158609][sql] Susun kata kunci sebagai pengidentifikasi
  • [SPARK-46817] [SC-154196][core] Perbaiki spark-daemon.sh penggunaan dengan menambahkan decommission perintah
  • [SPARK-46739] [SC-153553][sql] Tambahkan kelas kesalahan UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][sql] Tambahkan COLLATION_ENABLED bendera konfigurasi
  • [SPARK-46774] [SC-153925][sql][AVRO] Gunakan mapreduce.output.fileoutputformat.compress alih-alih mapred.output.compress yang tidak digunakan lagi dalam pekerjaan penulisan Avro
  • [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory: Waktu habis jika pekerja tidak terhubung kembali.
  • [SPARK-46835] [SC-158355][sql][Collations] Gabungkan dukungan untuk kolase non-biner
  • [SPARK-47131] [SC-158154][sql][COLLATION] Dukungan fungsi string: mengandung, diawali dengan, diakhiri dengan
  • [SPARK-46077] [SC-157839][sql] Pertimbangkan jenis yang dihasilkan oleh TimestampNTZConverter di JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][sql][PYTHON] Menekan pengecualian Python di mana PySpark tidak berada di jalur Python
  • [SPARK-47319] [SC-158599][sql] Meningkatkan perhitungan MissingInput
  • [SPARK-47316] [SC-158606][sql] Fix TimestampNTZ in Postgres Array
  • [SPARK-47268] [SC-158158][sql][Collations] Dukungan untuk partisi ulang dengan kolase
  • [SPARK-47191] [SC-157831][sql] Hindari pencarian relasi yang tidak perlu saat membatalkan cache tabel/tampilan
  • [SPARK-47168] [SC-158257][sql] Nonaktifkan pushdown filter parquet saat bekerja dengan string yang diurutkan secara non standard
  • [SPARK-47236] [SC-158015][core] Perbaikan deleteRecursivelyUsingJavaIO untuk melewati input file yang tidak ada
  • [SPARK-47238] [SC-158466][sql] Kurangi penggunaan memori eksekutor dengan membuat kode yang dihasilkan di WSCG sebagai variabel siaran
  • [SPARK-47249] [SC-158133][connect] Perbaiki bug di mana semua eksekusi koneksi dianggap ditinggalkan terlepas dari status aktualnya
  • [SPARK-47202] [SC-157828][python] Perbaiki kesalahan ketik yang merusak fungsi datetime dengan tzinfo
  • [SPARK-46834] [SC-158139][sql][Collations] Dukungan untuk agregat
  • [SPARK-47277] [SC-158351][3.5] Fungsi util PySpark assertDataFrameEqual tidak boleh mendukung streaming DF
  • [SPARK-47155] [SC-158473][python] Perbaiki Masalah Kelas Kesalahan
  • [SPARK-47245] [SC-158163][sql] Meningkatkan kode kesalahan untuk INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][core] Tambahkan pesan peringatan dalam Dependency ketika sejumlah terlalu besar blok acak akan dibuat.
  • [SPARK-47277] [SC-158329] Fungsi util PySpark assertDataFrameEqual tidak boleh mendukung streaming DF
  • [SPARK-47293] [SC-158356][core] Membangun batchSchema dengan sparkSchema, bukan menambahkannya satu per satu
  • [SPARK-46732] [SC-153517][connect]Buat utas Subquery/Broadcast bekerja dengan manajemen artefak Connect
  • [SPARK-44746] [SC-158332][python] Tambahkan lebih banyak dokumentasi UDTF Python untuk fungsi yang menerima tabel input
  • [SPARK-47120] [SC-157517][sql] Perbandingan null menurunkan filter data dari subkueri menyebabkan NPE pada filter Parquet
  • [SPARK-47251] [SC-158291][python] Blokir jenis yang tidak valid dari args argumen untuk sql perintah
  • [SPARK-47251] Batalkan “[SC-158121][python] Mencegah jenis yang tidak valid di argumen args untuk perintah sql”
  • [SPARK-47015] [SC-157900][sql] Nonaktifkan partisi pada kolom yang dikolasekan
  • [SPARK-46846] [SC-154308][core] Buat WorkerResourceInfo memperluas Serializable secara eksplisit
  • [SPARK-46641] [SC-156314][ss] Tambahkan ambang batas maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][connect] SparkConnectPlanner membuat fungsi internal privat
  • [SPARK-47266] [SC-158146][connect] Pastikan ProtoUtils.abbreviate mengembalikan tipe yang sama dengan input
  • [SPARK-46961] [SC-158183][ss] Menggunakan ProcessorContext untuk menyimpan dan mengambil pegangan
  • [SPARK-46862] [SC-154548][sql] Nonaktifkan pemangkasan kolom CSV dalam mode multibaris
  • [SPARK-46950] [SC-155803][core][SQL] Sejajarkan not available codec kelas kesalahan
  • [SPARK-46368] [SC-153236][core] Dukungan readyz dalam REST Submission API
  • [SPARK-46806] [SC-154108][python] Meningkatkan pesan kesalahan untuk spark.table ketika jenis argumen salah
  • [SPARK-47211] [SC-158008][connect][PYTHON] Memperbaiki pengabaian pengurutan string PySpark Connect
  • [SPARK-46552] [SC-151366][sql] Ganti UnsupportedOperationException dengan SparkUnsupportedOperationException di catalyst
  • [SPARK-47147] [SC-157842][python][SQL] Memperbaiki kesalahan konversi string tersusun di PySpark
  • [SPARK-47144] [SC-157826][connect][SQL][python] Memperbaiki kesalahan kolasi Spark Connect dengan menambahkan bidang protobuf collateId
  • [SPARK-46575] [SC-153200][sql][HIVE] Membuat HiveThriftServer2.startWithContext DevelopApi dapat dicoba kembali dan memperbaiki kelemahan ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-153832][core] Di ResourceProfileManager, panggilan fungsi harus terjadi setelah deklarasi variabel
  • [SPARK-47214] [SC-157862][python] Buat API UDTF untuk metode 'analisis' untuk membedakan argumen NULL konstan dan jenis argumen lainnya
  • [SPARK-46766] [SC-153909][sql][AVRO] Dukungan Kumpulan Buffer ZSTD Untuk sumber data AVRO
  • [SPARK-47192] [SC-157819] Mengonversi beberapa kesalahan _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][ss] Tambahkan dukungan untuk ListState dalam Api Status Arbitrer v2.
  • [SPARK-46881] [SC-154612][core] Dukungan spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][core] Dukungan spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][sql] Memperbaiki bug yang menggunakan kodek kompresi parquet lz4raw yang salah
  • [SPARK-46791] [SC-154018][sql] Mendukung Set Java dalam JavaTypeInference
  • [SPARK-46332] [SC-150224][sql] Migrasi CatalogNotFoundException ke kelas kesalahan CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][sql] Buat Nilai Default Dari Tipe Lebih Luas Sempit Literal v2 berperilaku sama dengan v1
  • [SPARK-46664] [SC-153181][core] Tingkatkan Master untuk pulih dengan cepat jika tidak ada pekerja dan aplikasi
  • [SPARK-46759] [SC-153839][sql][AVRO] Codec xz dan zstandard mendukung tingkat kompresi untuk file avro

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Lihat Pembaruan pemeliharaan Databricks Runtime 15.2.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake : 3.2.0

Perpustakaan Python yang Terpasang

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
asttoken 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake (penyimpanan-azure-berkas-datalake) 12.14.0 panggilan balik 0.2.0
hitam 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klik 8.0.4 cloudpickle 2.2.1 komunikasi 0.1.2
konturpy 1.0.5 kriptografi 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 dekorator 5.1.1 distlib 0.3.8
titik masuk 0,4 menjalankan 0.8.3 Tinjauan Segmen 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 Google Cloud Storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 gantungan kunci 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 ekstensi mypy 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 kemasan 23.2
pandas 1.5.3 parso 0.8.3 spesifikasi jalur 0.10.3
kambing hitam 0.5.3 pexpect=4.8.0 4.8.0 pickleshare 0.7.5
Bantal 9.4.0 pip 23.2.1 platformdir 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modul 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
permintaan 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 ketekunan 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets=5.0.5 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 pembaruan tanpa pengawasan 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Perpustakaan R yang terinstal

Pustaka R diinstal dari cuplikan CRAN di Posit Package Manager.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anak panah 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
pemindahan balik 1.4.1 dasar 4.3.2 base64enc 0.1-3
bigD 0.2.0 sedikit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
seduh 1.0-10 brio 1.1.4 sapu 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 kronik 2.3-61
kelas 7.3-22 cli 3.6.2 clipr 0.8.0
Jam 0.7.0 kluster 2.1.4 codetools 0.2-19
ruang warna 2.1-0 commonmark 1.9.1 pengompilasi 4.3.2
konfigurasi 0.3.2 Bingung 1.2.0 cpp11 0.4.7
crayon 1.5.2 kredensial 2.0.1 curl 5.2.0
data.table (sebuah paket untuk pengolahan data table) 1.15.0 kumpulan data 4.3.2 DBI 1.2.1
dbplyr 2.4.0 deskripsi 1.4.3 devtools 2.4.5
bagan 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 elipsis 0.3.2 evaluasi 0.23
fansi 1.0.6 warna 2.1.1 peta cepat 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
asing 0.8-85 bengkel pandai besi / membentuk 0.2.0 fs 1.6.3
masa depan 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 Gert 2.0.1 ggplot2 3.4.4
GH 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 lem 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
grafik 4.3.2 grDevices 4.3.2 kisi 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 helm proyek 1.3.1 perlindungan 2.5.4
lebih tinggi 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterator 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 pelabelan 0.4.3
nanti 1.3.2 lattice 0.21-8 lava 1.7.3
siklus hidup 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASSA 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 metode 4.3.2
mgcv 1.8-42 pantomim 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 paralel 4.3.2
secara paralel 1.36.0 tiang 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 pujian 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 kemajuan 1.2.3
progressr 0.14.0 janji 1.2.1 proto 1.0.0
proksi 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 dapat direaksi 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 pertandingan ulang 2.0.0 pertandinganulang2 2.1.2
pengendali jarak jauh 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 informasi sesi 1.2.2
bentuk 1.4.6 berkilau 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spasial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 statistik 4.3.2
stats4 4.3.2 string 1.8.3 stringr 1.5.1
bertahan hidup 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
pembentukan teks 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 perubahan waktu 0.3.0
waktuTanggal 4032.109 tinytex 0,49 alat 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 gunakan ini 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 kumis 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Pustaka Java dan Scala terinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-asli
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-asli
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-asli
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-asli
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone Annotasi yang rentan terhadap kesalahan 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger pembuat profil 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfigurasi 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrik-anotasi 4.2.19
io.dropwizard.metrics inti-metrik 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrik-pemeriksaan kesehatan 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrik-json 4.2.19
io.dropwizard.metrics metrik-jvm 4.2.19
io.dropwizard.metrics metrik-servlet 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty modul netty-tcnative 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine asinan 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klien 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy tanaman ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus anotasi-audiens 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty aplikasi web jetty 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 pencari-sumberdaya-osgi 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap pelat penyangga 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka uji 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibel dengan scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on