Databricks Runtime 16.1 (EoS)

Nota

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan dan akhir masa pakai. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 16.1, didukung oleh Apache Spark 3.5.0.

Databricks merilis versi ini pada Desember 2024.

Perubahan perilaku

Perubahan penting: Penanganan ekspresi reguler Photon sekarang konsisten dengan Apache Spark

Dalam Databricks Runtime 15.4 ke atas, penanganan ekspresi reguler di Photon diperbarui agar sesuai dengan perilaku penanganan ekspresi reguler Apache Spark. Sebelumnya, fungsi ekspresi reguler yang dijalankan oleh Photon, seperti split() dan regexp_extract(), menerima beberapa ekspresi reguler yang ditolak oleh pengurai Spark. Untuk mempertahankan konsistensi dengan Apache Spark, kueri Photon sekarang akan gagal untuk ekspresi reguler yang dianggap Spark tidak valid.

Karena perubahan ini, Anda mungkin melihat kesalahan jika kode Spark Anda menyertakan ekspresi reguler yang tidak valid. Misalnya, ekspresi split(str_col, '{'), yang berisi salah penempatan kurung kurawal dan sebelumnya diterima oleh Photon, sekarang mengalami kegagalan. Untuk memperbaiki ekspresi ini, Anda dapat menghindari karakter kurung kurawal: split(str_col, '\\{').

Perilaku Photon dan Spark juga bervariasi dalam beberapa pencocokan pola ekspresi reguler untuk karakter yang bukan ASCII. Ini juga diperbarui sehingga Photon cocok dengan perilaku Apache Spark.

Jenis data VARIANT tidak dapat lagi digunakan dengan operasi yang memerlukan perbandingan

Di Databricks Runtime 16.1 ke atas, Anda tidak dapat menggunakan klausul atau operator berikut dalam kueri yang menyertakan jenis data VARIANT:

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

Selain itu, Anda tidak dapat menggunakan fungsi DataFrame ini:

  • df.dropDuplicates()
  • df.repartition()

Operasi ini melakukan perbandingan, dan perbandingan yang menggunakan jenis data VARIAN menghasilkan hasil yang tidak ditentukan dan tidak didukung di Databricks. Jika Anda menggunakan jenis VARIAN dalam beban kerja atau tabel Azure Databricks Anda, Databricks merekomendasikan perubahan berikut:

  • Perbarui kueri atau ekspresi untuk secara eksplisit melemparkan nilai VARIANT ke jenis data non-VARIANT.
  • Jika Anda memiliki bidang yang harus digunakan dengan salah satu operasi di atas, ekstrak bidang tersebut dari jenis data VARIANT dan simpan menggunakan jenis data non-VARIANT.

Untuk mempelajari selengkapnya, lihat data varian Kueri .

Fitur dan peningkatan baru

Peningkatan konektor BigQuery

  • Konektor Google BigQuery telah ditingkatkan untuk menggunakan konektor Spark-BigQuery sumber terbuka versi 0.41.0.

  • Konektor Google BigQuery untuk Lakehouse Federation sekarang menggunakan BIGQuery Storage API alih-alih driver JDBC. Migrasi ini menyelesaikan masalah performa dengan driver JDBC dan didasarkan pada konektor Spark-BigQuery sumber terbuka.

    Dengan perubahan ini, hasil kueri perantara untuk tampilan BigQuery dan tabel eksternal harus ditulis ke tabel sementara. Objek ini tidak disimpan secara langsung di penyimpanan BigQuery. Tabel sementara akan disimpan dalam proyek penagihan BigQuery Anda. Verifikasi bahwa izin yang sesuai diatur pada akun layanan BigQuery Anda. Untuk detailnya, lihat Menjalankan kueri federasi di Google BigQuery.

Dukungan untuk pengurutan di Apache Spark sedang dalam tahap Pratinjau Umum

Anda sekarang dapat menetapkan kolasi yang menyesuaikan bahasa, tidak peka huruf besar/kecil, dan tidak peka terhadap akses ke kolom dan ekspresi STRING. Kolasi ini digunakan untuk perbandingan string, pengurutan, operasi pengelompokan, dan banyak fungsi string. Lihat Collation.

Dukungan untuk kolasi di Delta Lake dalam Pratinjau Umum

Sekarang Anda dapat menentukan kolase untuk kolom saat membuat atau mengubah tabel Delta. Lihat dukungan Collation untuk Delta Lake.

Modus LITE untuk vakum sedang dalam Pratinjau Publik

Anda sekarang dapat menggunakan VACUUM table_name LITE untuk melakukan operasi vakum dengan bobot lebih ringan yang memanfaatkan metadata di log transaksi Delta. Lihat Mode penuh versus lite dan VACUUM.

Dukungan untuk memparametrisasi klausa USE CATALOG with IDENTIFIER

Di Databricks Runtime 16.1 ke atas, klausa IDENTIFIER didukung untuk pernyataan USE CATALOG. Dengan dukungan ini, Anda dapat membuat parameter katalog saat ini berdasarkan variabel string atau penanda parameter.

COMMENT ON COLUMN dukungan untuk tabel dan tampilan

Di Databricks Runtime 16.1 ke atas, pernyataan COMMENT ON mendukung perubahan komentar untuk kolom tampilan dan tabel.

Fungsi SQL baru

Dalam Databricks Runtime 16.1 ke atas, fungsi SQL bawaan baru berikut tersedia:

  • dayname(expr) mengembalikan akronim bahasa Inggris tiga huruf untuk hari dalam seminggu untuk tanggal tertentu.
  • uniform(expr1, expr2 [,seed]) mengembalikan nilai acak dengan nilai independen dan terdistribusi secara identik dalam rentang angka yang ditentukan.
  • randstr(length) mengembalikan string acak dari length karakter alfa-numerik.

Pemanggilan parameter dengan nama untuk berbagai fungsi

Dalam Databricks Runtime 16.1 ke atas, fungsi berikut mendukung pemanggilan parameter bernama:

Parameter SYNC METADATA pada perintah REPAIR TABLE terintegrasi dengan metastore Hive

Di Databricks Runtime 16.1 ke atas, Anda dapat menggunakan parameter SYNC METADATA dengan perintah REPAIR TABLE untuk memperbarui metadata tabel terkelola metastore Apache Hive. Lihat REPAIR TABLE.

Peningkatan integritas data untuk batch terkompresi Apache Arrow

Dalam Databricks Runtime 16.1 ke atas, untuk melindungi lebih lanjut dari kerusakan data, setiap batch Arrow yang terkompresi LZ4 sekarang menyertakan isi LZ4 dan checksum blok. Lihat Deskripsi Format Kerangka LZ4.

Dukungan ditambahkan untuk metode Scala pada komputasi mode akses standar Katalog Unity (sebelumnya mode akses bersama)

Dalam Databricks Runtime 16.1 dan versi lebih baru, pada komputasi dengan mode akses standar pada Unity Catalog, dukungan ditambahkan untuk metode Scala berikut: Dataset.flatMapGroups(), Dataset.mapGroups(), dan DataStreamWriter.foreach().

Driver Bawaan JDBC Teradata

Dalam Databricks Runtime 16.1 ke atas, Driver Teradata JDBC dibangun ke dalam Azure Databricks. Jika Anda menggunakan JAR driver JDBC yang diunggah pelanggan melalui DriverManager, Anda harus menulis ulang skrip untuk secara eksplisit menggunakan JAR kustom. Jika tidak, driver bawaan akan digunakan. Pengemudi ini hanya mendukung Federasi Lakehouse. Untuk penggunaan lain, Anda harus menyediakan driver Anda sendiri.

Dukungan StreamingQueryListener untuk Scala

Anda sekarang dapat menggunakan StreamingQueryListener di Scala pada komputasi yang dikonfigurasi dengan mode akses standar.

Driver JDBC Bawaan Oracle

Dalam Databricks Runtime 16.1 ke atas, Driver Oracle JDBC dibangun ke dalam Azure Databricks. Jika Anda menggunakan JAR driver JDBC yang diunggah pelanggan melalui DriverManager, Anda harus menulis ulang skrip untuk secara eksplisit menggunakan JAR kustom. Jika tidak, driver bawaan akan digunakan. Pengemudi ini hanya mendukung Federasi Lakehouse. Untuk penggunaan lain, Anda harus menyediakan driver Anda sendiri.

Kesalahan yang lebih detail untuk tabel Delta yang diakses dengan jalur

Pengalaman pesan kesalahan baru untuk tabel Delta yang diakses menggunakan jalur sekarang tersedia. Semua pengecualian sekarang diteruskan ke pengguna. Pengecualian DELTA_MISSING_DELTA_TABLE sekarang dicadangkan ketika file dasar tidak dapat dibaca sebagai tabel Delta.

Perubahan lainnya

Mengganti nama kode kesalahan untuk sumber Streaming Terstruktur cloudFiles

Rilis ini mencakup perubahan untuk mengganti nama kode kesalahan berikut:

  • _LEGACY_ERROR_TEMP_DBR_0143 diganti namanya menjadi CF_INCORRECT_STREAM_USAGE.
  • _LEGACY_ERROR_TEMP_DBR_0260 diganti namanya menjadi CF_INCORRECT_BATCH_USAGE .

Perbaikan bug

Jenis berlapis sekarang menerima batasan NULL dengan benar

Rilis ini memperbaiki bug yang memengaruhi beberapa kolom jenis berlapis yang dihasilkan Delta, misalnya, STRUCT. Kolom-kolom ini terkadang keliru menolak ekspresi berdasarkan batasan NULL atau NOT NULL pada bidang yang bertumpuk. Ini telah diperbaiki.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • ipyflow-core dari 0.0.198 ke 0.0.201
    • pyccolo dari 0.0.52 ke 0.0.65
  • Pustaka R yang ditingkatkan:
  • Pustaka Java yang ditingkatkan:
    • io.delta.delta-sharing-client_2.12 dari 1.2.1 hingga 1.2.2
    • org.lz4.lz4-java dari 1.8.0 hingga 1.8.0-databricks-1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider dari 1.6.2-linux-x86_64 hingga 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 menyertakan Apache Spark 3.5.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 16.0 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-50482] [SC-182879][core] Konfigurasi no-op spark.shuffle.spill yang tidak digunakan lagi
  • [SPARK-50032] [SC-182706][sql][16.x] Izinkan penggunaan nama pengurutan yang berkualifikasi penuh
  • [SPARK-50467] [SC-182823][python] Tambahkan __all__ untuk fungsi bawaan
  • [SPARK-48898] [SC-182828][sql] Memperbaiki bug penguraian Varian
  • [SPARK-50441] [SC-182668][sql] Perbaiki pengidentifikasi parametris yang tidak berfungsi saat mereferensikan CTEs
  • [SPARK-50446] [SC-182639][python] Tingkat serentak dalam UDF Python yang dioptimalkan Arrow
  • [SPARK-50430] [SC-182536][core] Gunakan Properties.clone standar alih-alih klon manual
  • [SPARK-50471] [SC-182790][python] Mendukung Penulis Sumber Data Python berbasis Panah
  • [SPARK-50466] [SC-182791][python] Menyempurnakan docstring untuk fungsi string - bagian 1
  • [SPARK-50194] [DBR16.x][sc-182593][SS][python] Integrasi New Timer API dan Initial State API dengan Timer
  • [SPARK-50437] [SC-182586][ss] Kurangi overhead pembuatan deserializer di TransformWithStateExec
  • [SPARK-49676] [DBR16.x][sc-182538][SS][python] Tambahkan Dukungan untuk Chaining o...
  • [SPARK-49294] [SC-182730][ui] Tambahkan atribut lebar untuk kotak centang shuffle-write-time.
  • [SPARK-50426] [SC-182540][python] Hindari pencarian sumber data Python statis saat menggunakan sumber data bawaan atau Java
  • [SPARK-48356] [SC-182603][sql] Dukungan untuk pernyataan FOR
  • [SPARK-50333] [SC-182136][sql] Dukungan Codegen untuk CsvToStructs (melalui Invoke & RuntimeReplaceable)
  • [SPARK-50285] [SC-182575] Metrik untuk komitmen ke instans StagedTable
  • [SPARK-50081] [SC-182344][sql] Dukungan Codegen untuk XPath*(dengan Invoke & RuntimeReplaceable)
  • [SPARK-50440] [SC-182592] [SQL] Refaktorisasi AttributeSeq.resolveCandidates
  • [SPARK-50067] [SC-179648][sql] Dukungan Codegen untuk SchemaOfCsv(oleh Invoke & RuntimeReplaceable)
  • [SPARK-49873] [SC-178577][sql] memperbaiki kegagalan pasca-penggabungan pada pengujian kesalahan
  • [SPARK-50118] [SC-181259][connet] Reset cache status terisolasi saat tugas berjalan
  • [SPARK-49873] [SC-178577][sql] Tetapkan kelas kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_1325
  • [SPARK-50381] [SC-182197][core] Dukungan spark.master.rest.maxThreads
  • [SPARK-46725] [SC-182448][sql] Tambahkan fungsi DAYNAME
  • [SPARK-50270] [SC-181179][ss][PYTHON] Menambahkan metrik status kustom untuk TransformWithStateInPandas
  • [SPARK-50118] Kembalikan "[SC-181259][connet] Reset cache status terisolasi saat tugas berjalan"
  • [SPARK-50075] [SC-181820][sql][PYTHON][connect] Tambahkan API DataFrame untuk fungsi bernilai tabel
  • [SPARK-49470] [SC-175736][ui] Memperbarui lembar gaya dan javascript dataTables dari 1.13.5 ke 1.13.11
  • [SPARK-50235] Kembalikan "[SC-180786][sql] Bersihkan sumber daya ColumnVector setelah memproses semua baris di ColumnarToRowExec"
  • [SPARK-50324] [SC-182278][python][CONNECT] Buat createDataFrame RPC pemicu Config tidak lebih dari sekali
  • [SPARK-50387] [SC-182441][ss] Perbarui kondisi untuk kedaluwarsa timer dan tes yang relevan
  • [SPARK-50287] [SC-182400][sql] Gabungkan opsi tabel dan hubungan saat membuat WriteBuilder di FileTable
  • [SPARK-50066] [SC-181484][sql] Dukungan Codegen untuk SchemaOfXml (dengan menggunakan Invoke dan RuntimeReplaceable)
  • [SPARK-50092] [SC-181568][sql] Perbaiki perilaku konektor PostgreSQL untuk array multidmensional
  • [SPARK-50318] [SC-181641][sql] Tambahkan IntervalUtils.makeYearMonthInterval untuk menghilangkan duplikasi kode antara interpretasi dan codegen
  • [SPARK-50312] [SC-181646][sql] Kesalahan pengoperan parameter createServer di SparkThriftServer ketika Kerberos aktif
  • [SPARK-50246] [SC-181468][sql] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
  • [SPARK-50214] [SC-180692][sql] Pengolahan json/xml tidak boleh mengubah pengurutan dalam skema yang diberikan
  • [SPARK-50250] [SC-181466][sql] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
  • [SPARK-50248] [SC-181467][sql] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
  • [SPARK-50118] [SC-181259][connet] Reset cache status terisolasi saat tugas berjalan
  • [SPARK-50235] [SC-180786][sql] Bersihkan sumber daya ColumnVector setelah memproses semua baris di ColumnarToRowExec
  • [SPARK-50156] [SC-180781][sql] Integrasikan _LEGACY_ERROR_TEMP_2113 ke UNRECOGNIZED_STATISTIC
  • [SPARK-50069] [SC-180163][sql] Integrasikan _LEGACY_ERROR_TEMP_0028 ke dalam UNSUPPORTED_FROM_TO_EXPRESSION
  • [SPARK-50154] [SC-180663][sql] Tetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
  • [SPARK-49967] [SC-179534][sql] Dukungan Codegen untuk StructsToJson(to_json)
  • [SPARK-50055] [SC-180978][sql] Tambahkan alternatif TryMakeInterval
  • [SPARK-50397] [SC-182367][core] Hapus argumen --ip dan -i yang tidak digunakan lagi dari Master/Worker
  • [SPARK-50238] [SC-181434][python] Tambahkan Dukungan Varian di PySpark UDFs/UDTFs/UDAFs dan Python UC UDFs
  • [SPARK-50079] [SC-179830][sql] Tetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
  • [SPARK-50182] [SC-180346][example] Tambahkan submit-sql.sh contoh REST API
  • [SPARK-49966] [SC-179501][sql] Gunakan Invoke untuk mengimplementasikan JsonToStructs(from_json)
  • [SPARK-50302] [SC-182518][ss] Pastikan ukuran indeks sekunder sama dengan ukuran indeks utama untuk variabel stateful TransformWithState dengan TTL
  • [SPARK-50301] [SC-182241][ss][16.x] Membuat metrik TransformWithState mencerminkan makna intuitif mereka
  • [SPARK-50175] [SC-182140][sql] Ubah perhitungan prioritas kolase
  • [SPARK-50148] [SC-180292][sql] Buat StaticInvoke kompatibel dengan metode yang menyatakan akan melempar pengecualian
  • [SPARK-50280] [SC-181214][python] Pengurutan hasil refaktor dan pengisian bin kosong compute_hist
  • [SPARK-50190] [SC-182458][python] Hapus dependensi langsung Numpy dari Histogram
  • [SPARK-50382] [SC-182368][connect] Tambahkan dokumentasi untuk informasi umum tentang pengembangan aplikasi dengan/memperluas Spark Connect
  • [SPARK-50296] [SC-181464][python][CONNECT] Hindari menggunakan classproperty di threadpool untuk klien Python Connect
  • [SPARK-49566] [SC-182239][sql] Tambahkan sintaks pipa SQL untuk operator EXTEND
  • [SPARK-50036] [SC-179533][core][PYTHON] Sertakan SPARK_LOG_SCHEMA dalam konteks shell REPL
  • [SPARK-49859] [SC-178259][connect] Ganti multiprocessing.ThreadPool dengan ThreadPoolExecutor
  • [SPARK-50141] [SC-182378][python] Buat lpad dan rpad terima argumen Jenis kolom
  • [SPARK-50379] [SC-182142][sql] Perbaiki penanganan DayTimeIntervalType di WindowExecBase
  • [SPARK-49954] [SC-179110][sql] Dukungan Codegen untuk SchemaOfJson (oleh Invoke & RuntimeReplaceable)
  • [SPARK-50398] [SC-182341][core] Gunakan ExitCode 0 untuk --help penggunaan dalam skrip Spark
  • [SPARK-50377] [SC-182238][sql] Memungkinkan untuk mengevaluasi RuntimeReplaceable yang dapat dilipat
  • [SPARK-50241] [SC-181444][sql] Gantikan NullIntolerant Mixin dengan metode Expression.nullIntolerant
  • [SPARK-50084] [SC-179672][sql] Tetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
  • [SPARK-50078] [SC-179649][sql] Tetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
  • [SPARK-50057] [SC-179573][sql] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
  • [SPARK-50070] [SC-179579][sql] Integrasikan _LEGACY_ERROR_TEMP_0039 ke dalam UNSUPPORTED_SQL_STATEMENT
  • [SPARK-50378] [SC-182235][ss] Tambahkan metrik kustom untuk melacak waktu yang dihabiskan untuk status awal proses dalam transformWithState
  • [SPARK-50029] [SC-179531][sql] Buat StaticInvoke kompatibel dengan metode yang mengembalikan Any
  • [SPARK-49990] [SC-179497][sql] Meningkatkan performa randStr
  • [SPARK-50048] [SC-179528][sql] Tetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
  • [SPARK-50053] [SC-179532][sql] Berubah _LEGACY_ERROR_TEMP_2104 menjadi INTERNAL_ERROR
  • [SPARK-49665] [SC-180054][sql] Pangkas dukungan kolase untuk fungsi string
  • [SPARK-48549] [SC-176472][sql][PYTHON] Meningkatkan fungsi SQL sentences
  • [SPARK-50022] [SC-179503][core][UI] Perbaikan MasterPage untuk menyembunyikan tautan Antarmuka Pengguna Aplikasi saat UI dinonaktifkan
  • [SPARK-50087] [SC-182152] Penanganan ekspresi boolean yang kuat dalam CASE WHEN untuk MsSqlServer dan konektor di masa mendatang
  • [SPARK-49991] [SC-179481][sql] Buat HadoopMapReduceCommitProtocol menghormati 'mapreduce.output.basename' untuk menghasilkan nama file
  • [SPARK-50038] [SC-179521][sql] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
  • [SPARK-50236] [SC-181671][sql] Tetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
  • [SPARK-50021] [SC-179500][core][UI] Perbaikan ApplicationPage untuk menyembunyikan tautan Antarmuka Pengguna Aplikasi saat UI dinonaktifkan
  • [SPARK-49911] [SC-179111][sql] Memperbaiki semantik dukungan kesetaraan biner
  • [SPARK-50025] [SC-179496][sql] Integrasikan _LEGACY_ERROR_TEMP_1253 ke dalam EXPECT_VIEW_NOT_TABLE
  • [SPARK-49829] [SC-179480][ss] Perbaiki bug pada pengoptimalan saat menambahkan input ke penyimpanan status pada join stream-stream
  • [SPARK-50004] [SC-179499][sql] Integrasikan _LEGACY_ERROR_TEMP_3327 ke dalam FIELD_NOT_FOUND
  • [SPARK-50380] [SC-182210][sql] ReorderAssociativeOperator harus menghormati kontrak di ConstantFolding
  • [SPARK-50340] [SC-181859][sql] Membuka UDT dalam INSERT kueri input
  • [SPARK-50237] [SC-181660][sql] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
  • [SPARK-50258] [SC-181993][sql] Memperbaiki masalah perubahan urutan kolom output setelah pengoptimalan AQE
  • [SPARK-49773] [SC-178369][sql] Pengecualian Java yang tidak tertangkap dari make_timestamp() dengan zona waktu yang salah.
  • [SPARK-49977] [SC-179265][sql] Gunakan komputasi berulang berbasis tumpukan untuk menghindari pembuatan banyak objek Daftar Scala untuk pohon ekspresi mendalam
  • [SPARK-50153] [SC-181591][sql] Tambahkan name untuk RuleExecutor membuat log pencetakan QueryExecutionMetricslebih jelas
  • [SPARK-50320] [SC-181668][core] Buat --remote opsi resmi dengan menghapus experimental peringatan
  • [SPARK-49909] [SC-179492]Kembalikan "[SQL] Perbaiki nama cantik beberapa ekspresi"
  • [SPARK-50330] [SC-180720][sc-181764][SQL] Tambahkan petunjuk ke simpul Urutkan dan Jendela
  • [SPARK-50364] [SC-182003][sql] Menerapkan serialisasi untuk jenis LocalDateTime di Row.jsonValue
  • [SPARK-50016] [SC-182139][sql] Tetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
  • [SPARK-49899] [SC-181175][python][SS] Dukungan deleteIfExists untuk TransformWithStateInPandas
  • [SPARK-49757] [SC-177824][sql] Mendukung ekspresi IDENTIFIER dalam SETCATALOG perintah
  • [SPARK-50315] [SC-181886][sql] Mendukung metrik kustom untuk penulisan V1Fallback
  • [SPARK-42838] [SC-181509][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_2000
  • [SPARK-50353] [SC-181985][sql] Refaktor ResolveSQLOnFile
  • [SPARK-48344] [SC-181967][sql] Siapkan SQL Scripting untuk penambahan Kerangka Kerja Eksekusi
  • [SPARK-49345] [SC-174786][connect] Pastikan menggunakan Sesi Spark yang sedang berjalan saat ini
  • [SPARK-49925] [SC-178882][sql] Tambahkan pengujian untuk urutan dengan string yang disusun
  • [SPARK-50167] [SC-181199][python][CONNECT] Meningkatkan pesan kesalahan visualisasi dan impor di PySpark
  • [SPARK-49368] [SC-174999][connect] Hindari mengakses kelas protobuf lite secara langsung
  • [SPARK-50056] [SC-181378][sql] Dukungan Codegen untuk ParseUrl (oleh Invoke & RuntimeReplaceable)
  • [SPARK-49601] [SC-180770][ss][PYTHON] Mendukung Penanganan Status Awal untuk TransformWithStateInPandas
  • [SPARK-49908] [SC-178768][sql] Menetapkan kondisi kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_0044
  • [SPARK-50144] [SC-180307][ss] Mengatasi batasan perhitungan metrik dengan sumber streaming DSv1
  • [SPARK-49874] [SC-178303][sql] Hapus spesifikasi penyusunan trim dan ltrim.
  • [SPARK-49513] [SC-180339][ss] Tambahkan Dukungan untuk timer dalam transformWithStateInPandas API
  • [SPARK-49119] [SC-175607][sql] Perbaiki inkonsistensi sintaks show columns antara v1 dan v2
  • [SPARK-49206] [SC-173704][core][UI] Tambahkan Environment Variables tabel ke Master EnvironmentPage
  • [SPARK-49934] [SC-179581][sql] Tambahkan cast implisit untuk mengakses peta kolase dengan literal
  • [SPARK-50049] [SC-181659][sql] Mendukung metrik driver kustom secara tertulis ke tabel v2
  • [SPARK-50171] [SC-180295][python] Buat numpy opsional untuk plot KDE
  • [SPARK-49962] [SC-179320][sql] Sederhanakan hierarki kelas AbstractStringTypes
  • [SPARK-50226] [SC-181483][sql] Memperbaiki MakeDTInterval dan MakeYMInterval untuk menangkap pengecualian dalam Java
  • [SPARK-48775] [SC-170801][sql][STS] Ganti SQLContext dengan SparkSession di STS
  • [SPARK-49015] [SC-175688][core] Connect Server harus menghormati spark.log.structuredLogging.enabled
  • [SPARK-50327] [SC-181667][sql][16.x] Memisahkan resolusi fungsi untuk digunakan kembali dalam Penganalisis satu kali lintasan
  • [SPARK-49995] [SC-180762][sql] Tambahkan dukungan argumen bernama ke lebih banyak TVF
  • [SPARK-49268] [SC-174903][core] Mencatat pengecualian IO di penyedia riwayat SHS
  • [SPARK-48123] [SC-164989][core] Menyediakan skema tabel konstan untuk mengkueri log terstruktur
  • [SPARK-49217] [SC-174904][core] Mendukung konfigurasi ukuran buffer terpisah di UnsafeShuffleWriter
  • [SPARK-50325] [SC-181664][sql][16.x] Memisahkan resolusi alias agar dapat digunakan kembali dalam Analyzer satu kali proses
  • [SPARK-50322] [SC-181665][sql] Perbaiki pengidentifikasi berparameter dalam sub-kueri
  • [SPARK-48400] [SC-175283][core] Promosikan PrometheusServlet ke DeveloperApi
  • [SPARK-50118] Kembalikan "[SC-181259][connet] Reset cache status terisolasi saat tugas berjalan"
  • [SPARK-50306] [SC-181564][python][CONNECT] Dukungan Python 3.13 di Spark Connect
  • [SPARK-50152] [SC-181264][ss] Dukungan handleInitialState dengan pembaca sumber data status
  • [SPARK-50260] [SC-181271][connect] Refaktor dan optimalkan Spark C...
  • [SPARK-47591] [SC-163090][sql] Hive-thriftserver: Memigrasikan logInfo dengan variabel ke kerangka kerja pengelogan terstruktur
  • [SPARK-49312] [SC-174672][python] Meningkatkan pesan kesalahan untuk assertSchemaEqual
  • [SPARK-49439] [SC-175236][sql] Perbaiki nama yang lebih rapi untuk ekspresi &
  • [SPARK-50092] [ES-1258521] Perbaiki perilaku konektor PostgreSQL untuk array multidmensional
  • [SPARK-49913] [SC-181565][sql] Tambahkan cek untuk nama label unik dalam cakupan berlabel bersarang
  • [SPARK-49563] [SC-181465][sql] Tambahkan sintaks pipa SQL untuk WINDOW operator
  • [SPARK-49661] [SC-179021][sql] Menerapkan hashing dan perbandingan kolasi trim.
  • [SPARK-38912] [SC-181543][python] Hapus komentar yang terkait dengan classmethod dan properti
  • [SPARK-49770] [16.x][sc-179802][SC-179270][ss][RocksDB Hardening] Meningkatkan manajemen pemetaan file RocksDB SST, dan memperbaiki masalah dengan memuat ulang versi yang sama dengan rekam jepret yang ada
  • [SPARK-49002] Kembalikan perubahan “[SC-172846][sql] Secara konsisten menangani lokasi yang tidak valid di gudang/SCHEMA/TABLE/PARTITION/direktori
  • [SPARK-49668] [SC-178268][sql] Menerapkan dukungan kunci kolase untuk kolase pemangkasan
  • [SPARK-50262] [SC-181193][sql] Melarang spesifikasi jenis kompleks selama mengubah kolasi
  • [SPARK-48898] [SC-181435][sql] Tambahkan fungsi penghancur Varian
  • [SPARK-48273] [SC-181381]Batalkan “[SQL] Perbaiki penulisan ulang terlambat PlanWithUnresolvedIdentifier
  • [SPARK-50222] [SC-180706][core] Dukungan spark.submit.appName
  • [SPARK-50208] [SC-180662][core] Dukungan spark.master.useDriverIdAsAppName.enabled
  • [SPARK-50224] [SC-180689][sql] Pengganti IsValidUTF8|ValidasiUTF8|TryValidateUTF8|MakeValidUTF8 harus NullIntolerant
  • [SPARK-50247] [SC-180962][core] Definisikan BLOCK_MANAGER_REREGISTRATION_FAILED sebagai ExecutorExitCode
  • [SPARK-50282] [SC-181221][ml] Sederhanakan TargetEncoderModel.transform
  • [SPARK-50112] [SC-180763][sql] Memungkinkan operator TransformWithState menggunakan pengodean Avro
  • [SPARK-50267] [SC-181180][ml] Tingkatkan TargetEncoder.fit dengan API DataFrame
  • [SPARK-37178] [SC-180939][ml] Menambahkan Pengodean Sasaran ke ml.feature
  • [SPARK-50118] [SC-181259][connet] Reset cache status terisolasi saat tugas berjalan
  • [SPARK-50085] [BEHAVE-176][sc-179809][PYTHON] Memastikan lit(ndarray) dengan np.int8 menghormati tipe data numpy
  • [SPARK-50256] [SC-181048][sql] Tambahkan validasi ringan untuk memeriksa apakah rencana logis menjadi tidak terselesaikan setelah setiap aturan pengoptimal
  • [SPARK-50196] [SC-180932][connect] Perbaiki konteks kesalahan Python untuk menggunakan konteks yang tepat
  • [SPARK-50274] [SC-181181][core] Lindungi dari penggunaan setelah ditutup di DirectByteBufferOutputStream
  • [SPARK-49999] [SC-180063][python][CONNECT] Mendukung parameter "kolom" opsional dalam plot kotak, plot kde, dan plot histogram
  • [SPARK-50273] [SC-181178][ss] Meningkatkan pengelogan untuk kasus akuisisi/rilis kunci RocksDB
  • [SPARK-50033] [SC-180720][sc-180659][SQL] Tambahkan petunjuk ke simpul logical.Aggregate()
  • [SPARK-50163] [16.x][sc-180201][SC-180664][ss] Memperbaiki pelepasan ekstra acquireLock di RocksDB akibat pendengar penyelesaian (completion listener)
  • [SPARK-50253] [SC-180969][ss] Stream-Stream Join tidak boleh mengambil ID titik pemeriksaan jika tidak didukung.
  • [SPARK-50255] [SC-180964][python] Hindari transmisi yang tidak perlu compute_hist
  • [SPARK-50228] [SC-180780][sql] Pindahkan aturan ke RewriteCollationJoinFinishAnalysis
  • [SPARK-50001] [SC-179524][python][PS][connect] Sesuaikan "presisi" menjadi bagian dari kwargs untuk plot kotak
  • [SPARK-49637] [SC-180160][sql] Mengubah pesan kesalahan untuk INVALID_FRACTION_OF_SECOND
  • [SPARK-49530] [SC-180658][python] Dapatkan sesi aktif dari dataframe
  • [SPARK-50195] [SC-180654][core] Perbaikan StandaloneRestServer untuk menyebar spark.app.name ke SparkSubmit dengan benar
  • [SPARK-50229] [SC-180773] Kurangi penggunaan memori pada driver untuk skema lebar dengan mengurangi masa pakai objek AttributeReference yang dibuat selama perencanaan logis
  • [SPARK-50231] [SC-180815][python] Buat fungsi instr terima Kolom substring
  • [SPARK-49854] [SC-179812][16.x][SQL] Manajer artefak kloning selama kloning sesi
  • [SPARK-50219] [SC-180694][sql] Refaktor ApplyCharTypePadding sehingga metode pembantu dapat digunakan dalam penyelesai akses tunggal
  • [SPARK-50077] [SC-179827][sql] Memperkenalkan objek pola baru untuk LogicalRelation untuk membantu menghindari pola param penuh default
  • [SPARK-50128] [Backport][16x][SC-180677][ss] Tambahkan API handel prosesor stateful menggunakan encoder implisit di Scala
  • [SPARK-50061] [SC-179961][sql] Aktifkan analisis tabel untuk kolom kolase
  • [SPARK-49993] [SC-180084][sql] Meningkatkan pesan kesalahan untuk Jumlah dan Rata-Rata
  • [SPARK-49638] [SC-179665][sql] Hapus saran konfigurasi ANSI di INVALID_URL
  • [SPARK-50204] [SC-180660][sql] Memisahkan HiveTableRelation resolusi jalur baca
  • [SPARK-50193] [SC-180651][ss] Perbaiki penanganan pengecualian untuk memvalidasi mode waktu
  • [SPARK-50179] [SC-180342][core] Buat spark.app.name properti opsional di REST API
  • [SPARK-50068] [SC-180300][sql] Refaktorisasi TypeCoercion dan AnsiTypeCoercion untuk memisahkan transformasi node individu
  • [SPARK-49411] [SC-179483][ss] Mengkomunikasikan ID Checkpoint Penyimpanan Status antara driver dan operator stateful
  • [SPARK-50124] [SC-180294][sql] LIMIT/OFFSET harus mempertahankan urutan data
  • [SPARK-49506] [SC-180165][sql] Optimize ArrayBinarySearch untuk array yang dapat dilipat
  • [SPARK-50097] [SC-179908][sql] Tetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
  • [SPARK-50071] [SC-180159][sql][PYTHON] Tambahkan try_make_timestamp(_ltz dan _ntz) dan tes terkait
  • [SPARK-50054] [SC-180228][python][CONNECT] Mendukung grafik histogram
  • [SPARK-50015] [SC-179964][sql] Menetapkan kondisi kesalahan yang sesuai untuk _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
  • [SPARK-50155] [SC-180240][3.5] Memindahkan file scala dan java ke folder default mereka
  • [SPARK-49980] [SC-180353][core][SQL] Perbaiki potensi kebocoran aliran file yang disebabkan oleh gangguan dalam tugas yang dibatalkan
  • [SPARK-49010] [SC-172304][sql][XML] Tambahkan pengujian unit untuk sensitivitas kasus inferensi skema XML
  • [SPARK-49562] [SC-180211][sql] Tambahkan sintaks pipa SQL untuk agregasi
  • [SPARK-49663] [SC-180239][sql] Aktifkan saran RTRIM dalam ekspresi kolase
  • [SPARK-48965] [SC-175926][sql] Gunakan skema yang benar di Dataset#toJSON
  • [SPARK-48493] [SC-175893][python] Tingkatkan Pembaca Sumber Data Python dengan dukungan Arrow Batch langsung untuk meningkatkan performa
  • [SPARK-49734] [SC-180226][python] Tambahkan seed argumen untuk fungsi shuffle
  • [SPARK-50174] [16.x][sc-180253][SQL] Memisahkan resolusi UnresolvedCatalogRelation
  • [SPARK-49989] [SC-179512][python][CONNECT] Mendukung plot kepadatan/kde
  • [SPARK-49805] [SC-180218][sql][ML] Hapus fungsi private[xxx] dari function.scala
  • [SPARK-49808] [SC-179490][sql] Memperbaiki kebuntuan dalam eksekusi subkueri karena katup malas
  • [SPARK-49929] [SC-180144][python][CONNECT] Plot kotak dukungan
  • [SPARK-50008] [SC-179290][ps][CONNECT] Hindari operasi yang tidak perlu di attach_distributed_sequence_column
  • [SPARK-49767] [SC-180161][ps][CONNECT] Penataan ulang pemanggilan fungsi internal
  • [SPARK-49683] [SC-178341][sql] Kolase pemangkasan blok
  • [SPARK-49939] [SC-178941][sql] Dukungan Codegen untuk `json_object_keys` (oleh `Invoke` & `RuntimeReplaceable`)
  • [SPARK-50031] [SC-179582][sql] Tambahkan TryParseUrl ekspresi
  • [SPARK-49766] [SC-178933][sql] Dukungan Codegen untuk json_array_length (oleh Invoke & RuntimeReplaceable)
  • [SPARK-50046] [SC-180026][ss] Gunakan urutan simpul EventTimeWatermark yang stabil untuk menghitung marka air
  • [SPARK-49540] [SC-180145][ps] Menyatukan penggunaan distributed_sequence_id
  • [SPARK-50060] [SC-179965][sql] Nonaktifkan konversi antara tipe kolasi yang berbeda dalam TypeCoercion dan AnsiTypeCoercion
  • [SPARK-49004] [SC-173244][connect] Gunakan registri terpisah untuk fungsi internal Column API
  • [SPARK-49811] [SC-177888][sql]Mengganti Nama StringTypeAnyCollation
  • [SPARK-49202] [SC-180059][ps] Terapkan ArrayBinarySearch untuk histogram
  • [SPARK-49203] [SC-175734][sql] Tambahkan ekspresi untuk java.util.Arrays.binarySearch
  • [SPARK-50034] [SC-179816][core] Perbaiki Pelaporan keliru Kesalahan Fatal sebagai Pengecualian yang Tidak Tertangkap di SparkUncaughtExceptionHandler
  • [SPARK-50093] [SC-179836][sql] Pengurutan yang menggunakan ICU harus memiliki versi pustaka ICU yang digunakan
  • [SPARK-49985] [SC-179644][sql] Hapus dukungan untuk jenis interval dalam Varian
  • [SPARK-49103] [SC-173066][core] Dukungan spark.master.rest.filters
  • [SPARK-50090] [SC-179819] Merefaktorisasi ResolveBinaryArithmetic untuk mengubah transformasi menjadi transformasi simpul tunggal
  • [SPARK-49902] [SC-179650][sql] Menangkap kesalahan runtime yang mendasari dalam RegExpReplace
  • [SPARK-49126] [SC-173342][core] Pindahkan spark.history.ui.maxApplications definisi konfigurasi ke History.scala
  • [SPARK-50094] [SC-179820][python][CONNECT] Pesan kesalahan yang lebih baik saat menggunakan profiler memori pada editor tanpa nomor baris
  • [SPARK-50062] [SC-179835][sql] Mendukung pengurutan oleh InSet
  • [SPARK-50035] [Backport][16x][SC-179530][ss] Tambahkan dukungan untuk bagian fungsi handleExpiredTimer eksplisit dari prosesor stateful
  • [SPARK-49982] [SC-179814][sql] Perbaiki penembolokan negatif di InMemoryRelation
  • [SPARK-49082] [SC-173350][sql] Promosi tipe pelebaran di AvroDeserializer
  • [SPARK-50088] [SC-179680][sql] Refaktorisasi UnresolvedStarBase.expand
  • [SPARK-49802] [SC-179482][ss] Tambahkan dukungan untuk umpan perubahan baca untuk jenis peta dan daftar yang digunakan dalam prosesor stateful
  • [SPARK-49846] [SC-179506][ss] Tambahkan metrik numUpdatedStateRows dan numRemovedStateRows untuk digunakan dengan operator transformWithState
  • [SPARK-50050] [SC-179643][python][CONNECT][16.x] Buat lit terima str dan jenis bool numpy ndarray
  • [SPARK-49821] [SC-179527][ss][PYTHON] Terapkan dukungan MapState dan TTL untuk TransformWithStateInPandas
  • [SPARK-49558] [SC-179485][sql] Tambahkan sintaks pipa SQL untuk LIMIT/OFFSET dan ORDER/SORT/CLUSTER/DISTRIBUTE BY
  • [SPARK-48144] [SC-165725][lc-4080][SQL] Memperbaiki canPlanAsBroadcastHashJoin agar mematuhi petunjuk penggabungan shuffle
  • [SPARK-50051] [SC-179571][python][CONNECT] Memastikan lit bekerja dengan ndarray numpy kosong
  • [SPARK-50018] [SC-179488][sql] Menjadikan AbstractStringType dapat diserialkan
  • [SPARK-50016] [SC-179491][sql] Memperbaiki kesalahan ketidakcocokan pengurutan eksplisit
  • [SPARK-50010] [SC-179487][sql] Perluas kesalahan ketidakcocokan kolase implisit
  • [SPARK-48749] [SC-170116][sql] Sederhanakan UnaryPositive dan hilangkan Aturan Katalisnya dengan RuntimeReplaceable
  • [SPARK-49857] [SC-178576][sql] Tambahkan storageLevel ke Dataset localCheckpoint API
  • [SPARK-50058] [SC-179538][sql] Ekstraksi fungsi-fungsi normalisasi rencana untuk digunakan kemudian dalam pengujian Penganalisis satu kali lintas
  • [SPARK-50052] [SC-179535][python][16.X] Membuat NumpyArrayConverter mendukung ndarray str kosong
  • [SPARK-47261] [SC-173665][sql] Tetapkan nama yang lebih baik untuk kesalahan _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173, dan _LEGACY_ERROR_TEMP_1174
  • [SPARK-49147] [SC-173471][core] Mark KryoRegistrator dengan antarmuka DeveloperApi
  • [SPARK-48949] [SC-173070][sql] SPJ: Pemfilteran partisi waktu jalan
  • [SPARK-50044] [SC-179523][python] Memperbaiki docstring dari banyak fungsi matematika
  • [SPARK-48757] [SC-170113][core] Buat IndexShuffleBlockResolver memiliki konstruktor eksplisit
  • [SPARK-50037] [SQL] Menyusun ulang AttributeSeq.resolve(...)
  • [SPARK-48782] [SC-177056][sql] Tambahkan dukungan untuk menjalankan prosedur dalam katalog
  • [SPARK-49057] [SC-173081][sql] Jangan blokir perulangan AQE ketika mengirimkan tahapan kueri
  • [SPARK-48824] [SC-176772][behave-167][SQL] Tambahkan sintaks SQL Kolom Identitas
  • [SPARK-48773] [SC-170773] Dokumentasikan konfigurasi "spark.default.parallelism" menggunakan kerangka kerja pembangun konfigurasi
  • [SPARK-48735] [SC-169810][sql] Peningkatan Performa untuk fungsi BIN
  • [SPARK-48900] [SC-172433] Tambahkan kolom reason untuk semua panggilan internal untuk pembatalan tahap/pekerjaan
  • [SPARK-48488] [SC-167605][core] Perbaiki metode log[info|warning|error] di SparkSubmit
  • [SPARK-48708] [SC-169809][core] Hapus tiga pendaftaran jenis yang tidak perlu dari KryoSerializer
  • [SPARK-49958] [SC-179312][python] Python API untuk fungsi validasi string
  • [SPARK-49979] [SC-179264][sql] Perbaiki masalah gantung AQE ketika mengoleksi dua kali pada rencana yang gagal
  • [SPARK-48729] [SC-169795][sql] Tambahkan antarmuka UserDefinedFunction untuk mewakili fungsi SQL
  • [SPARK-49997] [SC-179279][sql] Integrasikan _LEGACY_ERROR_TEMP_2165 ke dalam MALFORMED_RECORD_IN_PARSING
  • [SPARK-49259] [SC-179271][ss]Pembentukan partisi berdasarkan ukuran selama pembacaan kafka
  • [SPARK-48129] [SC-165006][python] Menyediakan skema tabel konstan di PySpark untuk mengkueri log terstruktur
  • [SPARK-49951] [SC-179259][sql] Menetapkan kondisi kesalahan yang tepat untuk LEGACY_ERROR_TEMP(1099|3085)
  • [SPARK-49971] [SC-179278][sql] Menetapkan kondisi kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_1097
  • [SPARK-49998] [SC-179277][sql] Integrasikan _LEGACY_ERROR_TEMP_1252 ke dalam EXPECT_TABLE_NOT_VIEW
  • [SPARK-49876] [SC-179262][connect] Singkirkan kunci global dari Spark Connect Service
  • [SPARK-49957] [SC-179202][sql] Scala API untuk fungsi validasi string
  • [SPARK-48480] [SC-173055][ss][CONNECT] StreamingQueryListener tidak boleh terpengaruh oleh spark.interrupt()
  • [SPARK-49643] [SC-179239][sql] Gabungkan _LEGACY_ERROR_TEMP_2042 ke dalam ARITHMETIC_OVERFLOW
  • [SPARK-49959] [SC-179109][sql] Memperbaiki ColumnarArray.copy() untuk membaca null dari offset yang tepat
  • [SPARK-49956] Batalkan perubahan “[SC-179070] Kolasi yang dinonaktifkan dengan ekspresi collect_set”
  • [SPARK-49987] [SC-179180][sql] Perbaiki prompt kesalahan saat seedExpression tidak dapat dilipat di randstr
  • [SPARK-49948] [SC-179158][ps][CONNECT] Tambahkan parameter "presisi" ke panda pada plot kotak Spark
  • [SPARK-49970] [SC-179167][sql] Menetapkan kondisi kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_2069
  • [SPARK-49916] [SC-179108][sql] Melemparkan Pengecualian yang sesuai untuk ketidakcocokan jenis antara ColumnType dan jenis data dalam beberapa baris
  • [SPARK-49956] [SC-179070] Pengurutan yang dinonaktifkan dengan ekspresi collect_set
  • [SPARK-49974] [16.x][sc-179071][SQL] Pindahkan resolveRelations(...) dari Analyzer.scala
  • [SPARK-47259] [SC-176437][sql] Tetapkan nama pada kondisi kesalahan untuk kesalahan interval
  • [SPARK-47430] [SC-173679][sql] Rework kelompok berdasarkan jenis pemetaan untuk memperbaiki pengecualian bind referensi
  • [SPARK-49067] [SC-172616][sql] Pindahkan utf-8 literal ke metode internal kelas UrlCodec
  • [SPARK-49955] [SC-178989][sql] nilai null bukan berarti file yang rusak saat mengurai string RDD JSON
  • [SPARK-49393] [SC-175212][sql] Gagal secara default di API plugin katalog yang tidak digunakan lagi
  • [SPARK-49952] [SC-178985][sql] Menetapkan kondisi kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_1142
  • [SPARK-49405] [SC-175224][sql] Batasi karakter set di JsonOptions
  • [SPARK-49892] [SC-178975][sql] Tetapkan kelas kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_1136
  • [SPARK-49904] [SC-178973][sql] Menetapkan kondisi kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_2140
  • [SPARK-47257] [SC-174244][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_105[3-4] dan _LEGACY_ERROR_TEMP_1331
  • [SPARK-49915] [SC-178869][sql] Tangani angka nol dan satu di ReorderAssociativeOperator
  • [SPARK-49891] [SC-178970][sql] Menetapkan kondisi kesalahan yang tepat untuk _LEGACY_ERROR_TEMP_2271
  • [SPARK-49918] [SC-178748][core] Gunakan akses baca-saja untuk konfigurasi di SparkContext jika sesuai
  • [SPARK-49666] [SC-177891][sql] Tambahkan flag fitur untuk fitur pengurutan trim
  • [SPARK-48885] [SC-171050][sql] Buat beberapa subclass dari RuntimeReplaceable untuk menggantikan penggantian menjadi 'lazy val'.
  • [SPARK-49932] [SC-178931][core] Gunakan tryWithResource sumber daya rilis JsonUtils#toJsonString untuk menghindari kebocoran memori
  • [SPARK-49949] [SC-178978][ps] Hindari tugas analisis yang tidak perlu di attach_sequence_column
  • [SPARK-49924] [SC-178935][sql] Pertahankan containsNull setelah penggantian ArrayCompact
  • [SPARK-49121] [SC-174787][sql] Dukungan from_protobuf dan to_protobuf untuk fungsi SQL
  • [SPARK-47496] [SC-160529][sql] Java Dukungan SPI untuk pendaftaran dialek JDBC dinamis
  • [SPARK-49359] [SC-174895][sql] Izinkan implementasi StagedTableCatalog kembali ke penulisan non-atomik
  • [SPARK-49895] [SC-178543][sql][ES-1270338] Memperbaiki penanganan kesalahan saat menemukan koma di akhir dalam SELECT klausul
  • [SPARK-47945] [SC-163457][sql] MsSQLServer: Mendokumentasikan Pemetaan Tipe Data Spark SQL dari Microsoft SQL Server dan menambahkan uji coba
  • [SPARK-46037] [SC-175495][sql] Perbaikan untuk memastikan kebenaran pada pembangunan Shuffled Hash Join yang dilakukan tanpa codegen
  • [SPARK-47813] [SC-162615][sql] Ganti getArrayDimension dengan updateExtraColumnMeta
  • [SPARK-49542] [SC-178765][sql] Kesalahan evaluasi transformasi partisi pengecualian
  • [SPARK-47172] [SC-169537][core] Tambahkan dukungan untuk AES-GCM untuk enkripsi RPC
  • [SPARK-47666] [SC-161476][sql] Perbaiki NPE saat membaca array bit mysql sebagai LongType
  • [SPARK-48947] [SC-174239][sql] Gunakan nama charset huruf kecil untuk mengurangi cache yang hilang di Charset.forName
  • [SPARK-49909] [SC-178552][sql] Perbaiki nama cantik dari beberapa ekspresi
  • [SPARK-47647] [SC-161377][sql] Membuat sumber data MySQL dapat membaca bit(n>1) sebagai BinaryType seperti Postgres
  • [SPARK-46622] [SC-153004][core] Mengambil alih toString metode untuk o.a.s.network.shuffledb.StoreVersion
  • [SPARK-48961] [SC-171910][python] Membuat penamaan parameter PySparkException konsisten dengan JVM
  • [SPARK-49889] [SC-178474][python] Tambahkan argumen trim untuk fungsitrim/ltrim/rtrim
  • [SPARK-47537] [SC-160747][sql] Perbaiki pemetaan tipe data kesalahan pada Konektor MySQL/J
  • [SPARK-47628] [SC-161257][sql] Memperbaiki kesalahan array bit Postgres 'Tidak dapat mengubah ke boolean'
  • [SPARK-49843] [SC-178084][es-1268164][SQL] Perbaiki komentar perubahan pada kolom char/varchar
  • [SPARK-49549] [SC-178764][sql] Tetapkan nama ke kondisi kesalahan _LEGACY_ERROR_TEMP_3055, 3146
  • [SPARK-49791] [SC-177730][sql] Membuat DelegasiCatalogExtension lebih dapat diperpanjang
  • [SPARK-49559] [SC-178551][sql] Menambahkan sintaks pipa SQL untuk operasi set
  • [SPARK-49906] [SC-178536][sql] Memperkenalkan dan menggunakan kesalahan CONFLICTING_DIRECTORY_STRUCTURES untuk PartitioningUtils
  • [SPARK-49877] [SC-178392][sql] Ubah tanda tangan fungsi classifyException: tambahkan argumen isRuntime
  • [SPARK-47501] [SC-160532][sql] Tambahkan convertDateToDate seperti convertTimestampToTimestamp yang ada untuk JdbcDialect
  • [SPARK-49044] [SC-175746][sql] ValidateExternalType harus mengembalikan anak dalam kesalahan
  • [SPARK-47462] [SC-160460][sql] Menyelaraskan pemetaan jenis numerik lain yang tidak ditandatangani dengan TINYINT di MySQLDialect
  • [SPARK-47435] [SC-160129][sql] Memperbaiki masalah luapan MySQL UNSIGNED TINYINT yang disebabkan oleh SPARK-45561
  • [SPARK-49398] [SC-176377][sql] Meningkatkan kesalahan untuk parameter dalam kueri CACHE TABLE dan CREATE VIEW
  • [SPARK-47263] [SC-177012][sql] Tetapkan nama ke kondisi warisan _LEGACY_ERROR_TEMP_13[44-46]
  • [SPARK-49605] [SC-176605][sql] Perbaiki prompt saat ascendingOrder berada DataTypeMismatch di SortArray
  • [SPARK-49806] [SC-178304][sql][CONNECT] Menghapus elemen yang redundan setelah blank space dalam klien show dan Scala
  • [SPARK-47258] [SC-175032][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_127[0-5]
  • [SPARK-49564] [SC-178461][sql] Tambahkan sintaks pipa SQL untuk JOIN operator
  • [SPARK-49836] [SC-178339][sql][SS] Perbaiki kueri yang mungkin rusak saat jendela disediakan untuk window/session_window fn
  • [SPARK-47390] [SC-163306][sc-159312][SPARK-47396][sc-159376][SPARK-47406] Menangani pemetaan tanda waktu SQL untuk Postgres dan MySQL
  • [SPARK-49776] [SC-177818][python][CONNECT] Dukungan untuk plot pai
  • [SPARK-49824] [SC-178251][ss][CONNECT] Tingkatkan pengelogan di SparkConnectStreamingQueryCache
  • [SPARK-49894] [SC-178460][python][CONNECT] Perbaiki representasi string operasi bidang kolom
  • [SPARK-49764] [SC-177491][python][CONNECT] Plot area dukungan
  • [SPARK-49694] [SC-177376][python][CONNECT] Dukungan plot sebar
  • [SPARK-49744] [SC-178363][ss][PYTHON] Terapkan dukungan TTL untuk ListState di TransformWithStateInPandas
  • [SPARK-49879] [SC-178334][core] Pindahkan TransportCipherUtil ke file terpisah untuk menghilangkan peringatan kompilasi Java
  • [SPARK-49866] [SC-178353][sql] Meningkatkan pesan kesalahan untuk menjelaskan tabel dengan kolom partisi
  • [SPARK-49867] [SC-178302][es-1260570][SQL] Meningkatkan pesan kesalahan ketika indeks berada di luar batas saat memanggil GetColumnByOrdinal
  • [SPARK-49607] [SC-177373][python] Perbarui pendekatan pengambilan sampel untuk plot berbasis sampel
  • [SPARK-49626] [SC-177276][python][CONNECT] Mendukung plot bilah horizontal dan vertikal
  • [SPARK-49531] [SC-177770][python][CONNECT] Mendukung grafik garis dengan backend plotly
  • [SPARK-49444] [SC-177692][es-1203248][SQL] Memodifikasi UnivocityParser untuk melempar pengecualian waktu proses yang disebabkan oleh ArrayIndexOutOfBounds dengan pesan yang lebih berorientasi pengguna
  • [SPARK-49870] [SC-178262][python] Tambahkan dukungan Python 3.13 di Spark Classic
  • [SPARK-49560] [SC-178121][sql] Tambahkan sintaks pipa SQL untuk TABLESAMPLE operator
  • [SPARK-49864] [SC-178305][sql] Tingkatkan pesan BINARY_ARITHMETIC_OVERFLOW
  • [SPARK-48780] [SC-170274][sql] Buat kesalahan di NamedParametersSupport generic untuk menangani fungsi dan prosedur
  • [SPARK-49358] [SC-178158][sql] Ekspresi mode untuk jenis peta dengan string yang disusun
  • [SPARK-47341] [SC-178157][sql] Perbaiki dokumentasi RuntimeConfig#get yang tidak akurat
  • [SPARK-48357] [SC-178153][sql] Dukungan untuk pernyataan LOOP
  • [SPARK-49845] [SC-178059][core] Buat appArgs dan environmentVariables opsional di REST API
  • [SPARK-49246] [SC-174679][sql] TableCatalog#loadTable harus menunjukkan apakah digunakan untuk penulisan
  • [SPARK-48048] [SC-177525][sc-164846][CONNECT][ss] Menambahkan dukungan pendengar sisi klien untuk Scala
  • [SPARK-48700] [SC-177978][sql] Ekspresi mode untuk tipe data kompleks (semua kolasi)
  • [SPARK-48196] [SC-177899][sql] Ubah queryExecution lazy val plans menjadi LazyTry
  • [SPARK-49749] [16.x][sc-177877][CORE] Ubah tingkat log menjadi debug di BlockManagerInfo
  • [SPARK-49561] [SC-177897][sql] Tambahkan sintaks pipa SQL untuk PIVOT operator dan UNPIVOT
  • [SPARK-49823] [SC-177885][ss] Hindari pengosongan selama mematikan pada jalur penutupan rocksdb
  • [SPARK-49820] [SC-177855] [PYTHON] Ubah raise IOError menjadi raise OSError
  • [SPARK-49653] [SC-177266][sql] Penggabungan tunggal untuk subkueri skalar berkorelasi
  • [SPARK-49552] [SC-177477][python] Tambahkan dukungan DataFrame API untuk fungsi SQL 'randstr' dan 'uniform' baru
  • [SPARK-48303] [16.x][sc-166251][CORE] Mengatur Ulang LogKeys
  • [SPARK-49656] [16x][backport][SS] Tambahkan dukungan untuk variabel status dengan jenis pengumpulan status nilai dan opsi umpan perubahan baca
  • [SPARK-48112] [SC-165129][connect] Mengekspos sesi di SparkConnectPlanner ke plugin
  • [SPARK-48126] [16.x][sc-165309][Core] Menjadikan spark.log.structuredLogging.enabled efektif
  • [SPARK-49505] [SC-176873][sql] Buat fungsi SQL baru "randstr" dan "seragam" untuk menghasilkan string atau angka acak dalam rentang
  • [SPARK-49463] [SC-177474] Dukungan ListState untuk TransformWithStateInPandas
  • [SPARK-48131] [SC-165007][core] Menyatukan kunci mdc.taskName MDC dan task_name
  • [SPARK-49557] [SC-177227][sql] Tambahkan sintaks pipa SQL untuk WHERE operator
  • [SPARK-49323] [16.x][sc-174689][CONNECT] Pindahkan MockObserver dari folder uji Spark Connect Server ke folder utama Server
  • [SPARK-49745] [SC-177501][ss] Tambahkan perubahan untuk membaca timer terdaftar melalui pembaca sumber data status
  • [SPARK-49772] [16.x][sc-177478][SC-177214][ss] Hapus ColumnFamilyOptions dan tambahkan konfigurasi langsung ke dbOptions di RocksDB

Dukungan pada driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Silakan unduh driver terbaru dan lakukan peningkatan (unduh ODBC, unduh JDBC).

Lihat pembaruan pemeliharaan Databricks Runtime 16.1.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 24.04.1 LTS
    • Catatan: Ini adalah versi Ubuntu yang digunakan oleh kontainer Databricks Runtime. Kontainer Databricks Runtime berjalan pada komputer virtual penyedia cloud, yang mungkin menggunakan versi Ubuntu atau distribusi Linux yang berbeda.
  • Java: Zulu17.54+21-CA
  • Scala: 2.12.15
  • Python: 3.12.3
  • R: 4.4.0
  • Danau Delta: 3.2.1

Perpustakaan Python yang Terpasang

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
jenis beranotasi 0.7.0 asttoken 2.0.5 astunparse 1.6.3
perintah otomatis 2.2.2 azure-core 1.31.0 Azure Penyimpanan Blob 12.23.0
Penyimpanan Azure Berkas Danau Data 12.17.0 backports.tarfile 1.2.0 hitam 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools (perangkat untuk caching) 5.3.3 sertifikat 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 Klik 8.1.7
cloudpickle (perpustakaan Python untuk serialisasi objek) 2.2.1 Komunikasi 0.2.1 konturpy 1.2.0
Kriptografi 42.0.5 pengendara sepeda 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
Dekorator 5.1.1 Dihentikan Penggunaannya 1.2.14 distlib 0.3.8
docstring ke markdown 0.11 titik masuk 0,4 Mengeksekusi 0.8.3
gambaran umum aspek 1.1.1 filelock 3.15.4 alat pengelola font 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-autentikasi 2.35.0 google-cloud-core 2.4.1 Penyimpanan Google Cloud 2.18.2
google-crc32c 1.6.0 google-resumable-media (media yang dapat dilanjutkan kembali) 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
IDNA 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
menginfleksi 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.teks 3.12.1 Jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient (klien layanan web yang menggunakan RESTful) 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mlflow-ringan 2.15.1 more-itertools 10.3.0
mypy 1.10.0 ekstensi mypy 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy (perpustakaan Python untuk operasi numerik) 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-konvensi-semantik 0.48b0
Kemasan 24.1 Panda 1.5.3 pengurai 0.8.3
spesifikasi jalur 0.10.3 kambing hitam 0.5.6 pexpect 4.8.0
bantal 10.3.0 Pip 24,2 platformdir 3.10.0
plotly 5.22.0 colokan 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modul 0.2.8
pyccolo 0.0.65 pycparser 2.21 pydantic (perpustakaan Python untuk validasi data) 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML (paket untuk memproses bahasa YAML dalam Python) 6.0.1 pyzmq 25.1.2
Permintaan 2.32.2 tali 1.12.0 Rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy (perpustakaan Python untuk komputasi ilmiah) 1.13.1
seaborn (perpustakaan visualisasi data Python) 0.13.2 setuptools 74.0.0 Enam 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels (paket Python untuk pemodelan statistik) 0.14.2 kegigihan 8.2.2
threadpoolctl 2.2.0 Tokenisasi-RT 4.2.1 tomli 2.0.1
Tornado 6.4.1 traitlets 5.14.3 typeguard (penjaga tipe) 4.3.0
type-protobuf 3.20.3 type-psutil 5.9.0 type-pytz 2023.3.1.1
type-PyYAML 6.0.0 jenis permintaan 2.31.0.0 tipe-setuptools 68.0.0.0
jenis-enam 1.16.0 type-urllib3 1.26.25.14 ekstensi pengetikan (typing_extensions) 4.11.0
ujson 5.10.0 peningkatan tanpa pengawas 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
apa itu patch 1.0.2 wheel 0.43.0 dibungkus 1.14.1
yapf 0.33.0 zipp 3.17.0

Perpustakaan R yang terinstal

Pustaka R diinstal menggunakan snapshot dari Posit Package Manager CRAN pada 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anak panah 16.1.0 askpass 1.2.0 pastikanbahwa 0.2.1
backports (pengembalian fitur) 1.5.0 dasar 4.4.0 base64enc 0.1-3
bigD 0.2.0 sedikit 4.0.5 bit-64 4.0.5
bitops 1,0-8 blob 1.2.4 sepatu bot 1.3-30
Seduh 1.0-10 Brio 1.1.5 sapu 1.0.6
bslib 0.8.0 cashmere 1.1.0 layanan panggilan 3.7.6
caret 6.0-94 cellranger 1.1.0 kronik 2.3-61
kelas 7.3-22 antarmuka baris perintah (CLI) 3.6.3 pemangkas 0.8.0
jam 0.7.1 kluster 2.1.6 codetools 0.2-20
ruang warna 2.1-1 commonmark 1.9.1 kompilator 4.4.0
konfigurasi 0.3.2 Bimbang 1.2.0 cpp11 0.4.7
Crayon 1.5.3 kredensial 2.0.1 melengkung 5.2.1
data.table (sebuah paket untuk pengolahan data table) 1.15.4 kumpulan data 4.4.0 DBI 1.2.3
dbplyr 2.5.0 Deskripsi 1.4.3 devtools 2.4.5
bagan 1.6.5 diffobj 0.3.5 digest 0.6.36
pencahayaan menyorot ke bawah 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 elipsis 0.3.2 Mengevaluasi 0.24.0
penggemar 1.0.6 warna 2.1.2 pemetaan cepat 1.2.0
fontawesome 0.5.2 untuk kucing 1.0.0 foreach (pengulangan untuk setiap elemen) 1.5.2
asing 0.8-86 menempa 0.2.0 fs 1.6.4
masa depan 1.34.0 menerapkan di masa depan 1.11.2 kumur 1.5.2
Generik 0.1.3 Gert 2.1.0 ggplot2 3.5.1
Gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 variabel global 0.16.3 lem 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
Grafik 4.4.0 grDevices 4.4.0 kisi 4.4.0
gridExtra 2.3 gsubfn 0,7 GT 0.11.0
gtable 0.3.5 helm keselamatan 1.4.0 tempat perlindungan 2.5.4
lebih tinggi 0.11 HMS 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 Id 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iterator 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 Pelabelan 0.4.3
nanti 1.3.2 kisi 0.22-5 lahar 1.8.0
siklus hidup 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.13 Massa 7.3-60.0.1
Matriks 1.6-5 mengingatkan 2.0.1 Metode 4.4.0
mgcv 1.9-1 pantomim 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv Agustus 2016 - Januari 2017 openssl 2.2.0 paralel 4.4.0
secara paralel 1.38.0 pilar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 memuji 1.0.0
prettyunits 1.2.0 pROC 1.18.5 ProsesX 3.8.4
prodlim 2024.06.25 profvis 0.3.8 Kemajuan 1.2.3
progresr 0.14.0 Janji-janji 1.3.0 Proto 1.0.0
proksi 0,4-27 Ps 1.7.7 menggeram lembut 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 dapat direaksi 0.4.4
reactR 0.6.0 pembaca 2.1.5 readxl (membaca file Excel) 1.4.3
Resep 1.1.0 pertandingan ulang 2.0.0 tandingan ulang2 2.1.2
Beberapa remote 2.5.0 contoh replikasi 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 Sass 0.4.9
timbangan 1.3.0 selektor 0,4-2 informasi sesi 1.2.2
bentuk 1.4.6.1 berkilau 1.9.1 sourcetools 0.1.7-1
sparklyr - paket R untuk analisis data dan pembelajaran mesin 1.8.6 SparkR 3.5.0 spasial 7.3-17
Splines 4.4.0 sqldf 0,4-11 SQUAREM 2021.1
Statistik 4.4.0 statistik4 4.4.0 string 1.8.4
stringr 1.5.1 Kelangsungan hidup 3.6-4 Langkah percaya diri 5.17.14.1
Sistem 3.4.2 systemfonts 1.1.0 bahasa pemrograman Tcl/Tk 4.4.0
ujiitu 3.2.1.1 pemformatan teks 0.4.0 tibble 3.2.1
tidyr 1.3.1 tidyselect 1.2.1 tidyvere 2.0.0
perubahan waktu 0.3.0 waktuTanggal 4032.109 tinytex 0.52
perangkat 4.4.0 tzdb 0.4.0 urlchecker 1.0.1
gunakan ini 3.0.0 utf8 1.2.4 Utilitas 4.4.0
UUID (Pengidentifikasi Unik Universal) 1.2-1 V8 4.4.2 vctrs 0.6.5
viridisLite 0.4.2 Vroom 1.6.5 Waldo 0.5.2
kumis 0.4.1 Withr 3.0.1 xfun 0,46
xml2 1.3.6 xopen 1.0.1 xtable 1.8-4
yaml 2.3.10 zeallot 0.1.0 Zip 2.3.1

Pustaka Java dan Scala terinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client (klien amazon kinesis) 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.638
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-impor-ekspor 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning (Perangkat Pengembangan Software Java dari AWS untuk Pembelajaran Mesin) 1.12.638
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.638
com.amazonaws aws-java-sdk-storagegateway (perangkat lunak AWS untuk manajemen gateway penyimpanan) 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws AWS Java SDK Dukungan 1.12.638
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kriogenik-berbayang 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Teman sekelas 1.3.4
com.fasterxml.jackson.core Jackson Annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine kafein 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib referensi_asli-java 1.1-pribumi
com.github.fommil.netlib Sistem_Natif-java 1.1
com.github.fommil.netlib Sistem_Natif-java 1.1-pribumi
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-pribumi
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-pribumi
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone anotasi_rentan_kesalahan 2.10.0
com.google.flatbuffers flatbuffers-java 26/05/2023
com.google.guava jambu biji 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger Profilator 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi kode_sumber_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf (algoritma kompresi) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfigurasi 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections (kumpulan umum) commons-collections (kumpulan umum) 3.2.2
commons-dbcp commons-dbcp 1.4
unggah file umum unggah file umum 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam-umum kolam-umum 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0.27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics metrik-anotasi 4.2.19
io.dropwizard.metrics inti metrik 4.2.19
io.dropwizard.metrics metrik-graphite 4.2.19
io.dropwizard.metrics metrik cek kesehatan 4.2.19
io.dropwizard.metrics metrik-jetty9 4.2.19
io.dropwizard.metrics metrik-jmx 4.2.19
io.dropwizard.metrics metrik-json 4.2.19
io.dropwizard.metrics metrik-jvm 4.2.19
io.dropwizard.metrics metrik-servlet 4.2.19
io.netty netty-all 4.1.108.Final
io.netty Netty Buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-kodek-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver (penyelesai netty) 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-Linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative kelas 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-umum 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_umum 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction Transaction-API 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine mentimun acar 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr StringTemplate 3.2.1
org.apache.ant semut 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow format panah 15.0.0
org.apache.arrow inti-memori-panah 15.0.0
org.apache.arrow Arrow-Memory-Netty 15.0.0
org.apache.arrow panah-vektor 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-koleksi4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons Commons-Math3 3.6.1
org.apache.commons Teks-Kebersamaan 1.10.0
org.apache.curator kurator-klien 2.13.0
org.apache.curator kerangka kerja kurator 2.13.0
org.apache.curator kurator resep 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop lingkungan kerja klien Hadoop 3.3.6
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API penyimpanan hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.9
org.apache.hive.shims hive-shims-jadwal 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy tanaman merambat 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json (pola tata letak JSON di log4j) 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus catatan audiens 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.9.2
org.apache.zookeeper penjaga kebun binatang-jute 3.9.2
org.checkerframework pemeriksa kualitas 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections Koleksi gerhana 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty lanjutan dermaga 9.4.52.v20230823
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty Plus 9.4.52.v20230823
org.eclipse.jetty Jetty-Proxy 9.4.52.v20230823
org.eclipse.jetty jetty-keamanan 9.4.52.v20230823
org.eclipse.jetty Jetty Server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Aplikasi web Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-klien 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utilitas 2.6.1
org.glassfish.hk2 osgi-resource-locator (pencari sumber daya osgi) 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-inti 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey biasa 2.40
org.glassfish.jersey.core Jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate Validator 6.1.7.Terakhir
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap ganjal 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka uji 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibel dengan scalatest 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
Stax stax-api 1.0.1
  • Last updated on