Bagikan melalui

Databricks Runtime 13.3 LTS

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 13.3 LTS, didukung oleh Apache Spark 3.4.1.

Databricks merilis versi ini pada Agustus 2023.

Catatan

LTS berarti versi ini berada di bawah dukungan jangka panjang. Lihat Siklus hidup versi LTS Runtime Databricks.

Petunjuk / Saran

Untuk melihat catatan rilis untuk versi Databricks Runtime yang telah mencapai akhir dukungan (EoS), lihat Catatan rilis Databricks Runtime akhir dukungan. Versi EoS Databricks Runtime telah dihentikan dan mungkin tidak diperbarui.

Fitur dan peningkatan baru

Dukungan Scala untuk kluster bersama

Kluster bersama yang didukung Unity Catalog sekarang mendukung Scala, saat menggunakan Databricks Runtime 13.3 ke atas.

Daftar izin untuk skrip init, JAR, dan koordinat Maven pada kluster standar Katalog Unity (sebelumnya kluster bersama) ada di Pratinjau Umum

Anda sekarang dapat menggunakan Unity Catalog allowlist untuk mengontrol penginstalan skrip init, JAR, dan koordinat Maven pada komputasi dengan mode akses standar yang menjalankan Databricks Runtime 13.3 ke atas. Lihat pustaka Allowlist dan skrip inisialisasi di komputer dengan mode akses standar (sebelumnya mode akses bersama).

Dukungan volume untuk skrip init dan JAR ada di Pratinjau Umum

Anda sekarang dapat menggunakan volume Unity Catalog untuk menyimpan skrip init dan JAR pada komputasi dengan mode akses khusus atau standar yang menjalankan Databricks Runtime 13.3 ke atas. Lihat Di mana skrip init dapat diinstal? dan pustaka dengan jangkauan komputasi.

Transmisi aman diaktifkan secara default untuk operasi Delta Lake

Delta UPDATE dan MERGE operasi sekarang mengakibatkan kesalahan ketika nilai tidak dapat dilemparkan dengan aman ke jenis dalam skema tabel target. Semua cast implisit di Delta sekarang mengikuti spark.sql.storeAssignmentPolicy alih-alih spark.sql.ansi.enabled. Lihat kepatuhan ANSI di Databricks Runtime.

Memperkenalkan tag dengan Unity Catalog

Dengan Databricks Runtime 13.3 LTS dan yang lebih baru, Anda dapat menerapkan tag ke objek yang dapat diamankan. Tag membantu Anda mengatur objek yang dapat diamankan dan menyederhanakan pencarian dan penemuan aset data Anda. Lihat Menerapkan tag ke objek yang dapat diamankan Katalog Unity.

Databricks Runtime mengembalikan kesalahan jika file dimodifikasi antara perencanaan kueri dan pemanggilan

Kueri Databricks Runtime sekarang mengembalikan kesalahan jika file diperbarui antara perencanaan kueri dan pemanggilan. Sebelum perubahan ini, Databricks Runtime akan membaca file di antara tahap-tahap ini, yang kadang-kadang menyebabkan hasil yang tidak dapat diprediksi.

Menimpa skema blok saat menggunakan penimpaan partisi dinamis

Anda tidak dapat mengatur overwriteSchema ke true dalam kombinasi dengan penimpaan partisi dinamis di Delta Lake. Ini mencegah kemungkinan kerusakan tabel karena ketidakcocokan skema. Lihat Penimpaan partisi dinamis.

Mengintegrasikan COPYFile API ke dalam dbutils.fs.cp

Perintah salin dbutils, dbutils.fs.cp sekarang dioptimalkan untuk penyalinan yang lebih cepat. Dengan peningkatan ini, operasi salin bisa hingga 100x lebih cepat, tergantung pada ukuran file. Fitur ini tersedia di semua sistem file yang dapat diakses di Azure Databricks, termasuk untuk Volume Katalog Unity dan pemasangan Sistem File Databricks.

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC dan JDBC yang dirilis dalam 2 tahun terakhir. Unduh driver terbaru di Unduh Driver ODBC dan Unduh Driver JDBC.

Dukungan untuk penanda parameter yang tidak disebutkan namanya (posisi)

SparkSession.sql() API sekarang mendukung kueri berparameter menggunakan ? sintaks selain kueri berparameter menggunakan :parm sintaks. Lihat penanda parameter.

Mengaktifkan pelabelan kolom rangkaian waktu

Anda sekarang dapat melabeli kolom rangkaian waktu saat membuat batasan kunci utama.

Fungsi SQL bitmap baru

Azure Databricks sekarang menyediakan sekumpulan fungsi yang dapat digunakan untuk memetakan nilai numerik integral ke bitmap dan menggabungkannya. Ini dapat digunakan untuk melakukan pra-komputasi jumlah nilai yang berbeda.

Fungsi enkripsi yang disempurnakan

Fungsi aes_encrypt, aes_decrypt, dan try_aes_decrypt telah ditingkatkan dengan dukungan untuk vektor inisialisasi (IV) dan data tambahan yang diautentikasi (AAD).

Dukungan Unity Catalog untuk REFRESH FOREIGN

Anda sekarang dapat memperbarui katalog, skema, dan tabel asing di Unity Catalog menggunakan REFRESH FOREIGN CATALOG, , REFRESH FOREIGN SCHEMAdan REFRESH FOREIGN TABLE. Lihat REFRESH FOREIGN (CATALOG, SCHEMA, dan TABLE).

INSERT MENURUT NAMA

Saat menyisipkan baris ke dalam tabel, Anda sekarang dapat mengizinkan Azure Databricks memetakan kolom dan bidang dalam kueri sumber secara otomatis ke kolom tabel berdasarkan namanya. Lihat INSERT KE.

Bagikan tampilan materialisasi dengan Berbagi Delta

Pernyataan ALTER SHARE sekarang mendukung pandangan materialisasi.

Perubahan mencolok

Perubahan pada konversi implisit saat menyimpan baris dalam tabel dengan MERGE INTO dan UPDATE

Azure Databricks sekarang mengikuti konfigurasi spark.sql.storeAssignmentPolicy untuk transmisi implisit saat menyimpan baris dalam tabel. Nilai default ANSI melemparkan kesalahan saat menyimpan nilai yang meluap. Sebelumnya, nilai akan disimpan sebagai NULL secara default.

Seperti dalam contoh berikut, Anda dapat mengatasi luapan dengan menulis ulang tabel untuk menggunakan jenis yang lebih luas untuk kolom yang menyebabkan kesalahan.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Perubahan Inferensi Skema Parquet

Ketika menyimpulkan skema dari file Parquet yang tidak ditulis oleh Spark, int64 kolom tanda waktu yang dianotasi dengan isAdjustedToUTC=false sekarang akan default untuk TIMESTAMP_NTZ mengetik. Sebelumnya, ini disimpulkan sebagai TIMESTAMP jenis. Pembaruan ini meningkatkan akurasi pemetaan jenis Parquet ke jenis Spark SQL.

Akibatnya, membaca data dari file Parquet eksternal ke dalam tabel Delta dapat menyebabkan kesalahan jika timestampNtz fitur tidak diaktifkan. Kesalahan akan ditampilkan sebagai berikut:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Untuk mempertahankan perilaku sebelumnya dan mencegah kesalahan ini, Anda dapat mengatur parameter spark.sql.parquet.inferTimestampNTZ.enabled konfigurasi Spark ke false.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • debugpy dari 1.5.1 hingga 1.6.0
    • distlib dari 0.3.6 hingga 0.3.7
    • fastjsonschema dari 2.16.3 ke 2.18.0
    • filelock dari 3.12.0 ke 3.12.2
  • Pustaka R yang ditingkatkan:
    • SparkR dari 3.4.0 ke 3.4.1
  • Pustaka Java yang ditingkatkan:
    • org.apache.orc.orc-core dari 1.8.3-shaded-protobuf ke 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce dari 1.8.3-shaded-protobuf ke 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims dari 1.8.3 hingga 1.8.4
    • org.eclipse.jetty.jetty-client dari 9.4.50.v20221201 hingga 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuation dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http dari 9.4.50.v20221201 hingga 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy dari 9.4.50.v20221201 hingga 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security dari 9.4.50.v20221201 hingga 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server dari 9.4.50.v20221201 hingga 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets dari 9.4.50.v20221201 ke 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax dari 9.4.50.v20221201 menjadi 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp dari 9.4.50.v20221201 hingga 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml dari 9.4.50.v20221201 hingga 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api dari 9.4.50.v20221201 hingga 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client dari 9.4.50.v20221201 hingga 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common dari 9.4.50.v20221201 hingga 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server dari 9.4.50.v20221201 hingga 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet dari 9.4.50.v20221201 ke 9.4.51.v20230217
    • org.xerial.snappy.snappy-java dari 1.1.8.4 hingga 1.1.10.1

Apache Spark

Databricks Runtime 13.3 mencakup Apache Spark 3.4.1. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam versi sebelumnya, serta yang berikut ini:

  • Anda sekarang dapat mengatur variabel SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 lingkungan kluster untuk menggunakan konektor Spark-snowflake v2.12.0.
  • [SPARK-43380] [DBRRM-383] Batalkan “[SC-133100][sql] Perbaiki konver tipe data Avro...
  • [SPARK-44504] [Backport][13.2][13.x][13.3] Membongkar penyedia sehingga memaksa instans DB menutup dan merilis sumber daya pada kesalahan tugas pemeliharaan
  • [SPARK-44059] [SC-137023] Menambahkan dukungan penganalisis dari argumen bernama untuk fungsi bawaan
  • [SPARK-44485] [SC-137653][sql] Optimize TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164][ss][PYTHON] Streaming ForeachBatch di Python
  • [SPARK-44446] [SC-136994][python] Tambahkan cek untuk kasus khusus tipe daftar yang diharapkan
  • [SPARK-44439] [SC-136973][connect][SS]Memperbaiki listListeners untuk hanya mengirim ID-ID kembali kepada klien
  • [SPARK-44216] [SC-136941] [PyTHON] Membuat API assertSchemaEqual menjadi publik
  • [SPARK-44201] [SC-136778][connect][SS]Tambahkan dukungan untuk Pendengar Streaming di Scala untuk Spark Connect
  • [SPARK-43915] [SC-134766][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] Kembalikan "[SC-133990][sql][PYTHON] Mendukung fungsi tabel yang ditentukan pengguna Python"
  • [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
  • [SPARK-44476] [SC-137169][core][CONNECT] Perbaiki populasi artefak untuk JobArtifactState tanpa artefak terkait
  • [SPARK-44269] [SC-135817][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744][sql] Perbarui argumen TVF untuk mewajibkan tanda kurung di sekitar pengidentifikasi setelah TABLE kata kunci
  • [SPARK-43915] [SC-134766][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794][spark-43996][CONNECT] Tambahkan dukungan untuk UDFRegistration ke Connect Scala Client
  • [SPARK-44109] [SC-134755][core] Hapus lokasi pilihan duplikat dari setiap partisi RDD
  • [SPARK-44169] [SC-135497][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636][sql] Tetapkan nama ke _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
  • [SPARK-44153] [SC-134977][core][UI] Mendukung kolom Heap Histogram di tab Executors.
  • [SPARK-44044] [SC-135695][ss] Meningkatkan pesan Kesalahan untuk fungsi Window dengan streaming
  • [SPARK-43914] [SC-135414][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805][python] Izinkan presisi kustom untuk kesetaraan nilai mendekati fp
  • [SPARK-44370] [SC-136575][connect] Migrasikan Buf remote generation alpha ke plugin remote
  • [SPARK-44410] [SC-136930][python][CONNECT] Atur sesi aktif dalam buat, bukan hanya getOrCreate
  • [SPARK-44348] [SAS-1910][sc-136644][13.X][core][CONNECT][python] Aktifkan kembali test_artifact dengan perubahan yang relevan
  • [SPARK-44145] [SC-136698][sql] Callback saat siap dieksekusi
  • [SPARK-44264] [SC-136870][python][ML] Kelas FunctionPickler
  • [SPARK-43986] [SC-135623][sql] Membuat kelas kesalahan untuk kegagalan panggilan fungsi HyperLogLog
  • [SPARK-44139] [SC-134967][sql] Buang filter yang sepenuhnya didorong ke bawah dalam operasi MERGE berbasis grup
  • [SPARK-44338] [SC-136718][sql] Perbaiki pesan kesalahan ketidakcocokan skema tampilan
  • [SPARK-44208] [SC-135505][core][SQL] Tetapkan nama kelas kesalahan yang jelas untuk beberapa logika yang secara langsung menggunakan pengecualian
  • [SPARK-44364] [SC-136773] [PyTHON] Tambahkan dukungan untuk tipe data List[Row] untuk yang diharapkan
  • [SPARK-44180] [SC-136792][sql] DistributionAndOrderingUtils harus menerapkan ResolveTimeZone
  • [SPARK-43389] [SC-136772][sql] Menambahkan pemeriksaan null untuk opsi lineSep
  • [SPARK-44388] [SC-136695][connect] Perbaiki masalah konversi protobuf ketika instance UDF diperbarui
  • [SPARK-44352] [SC-136373][connect] Kembalikan fungsi sameType dan lainnya ke DataType.
  • [SPARK-43975] [SC-134265][sql] DataSource V2: Menangani UPDATE perintah untuk sumber berbasis grup
  • [SPARK-44360] [SC-136461][sql] Mendukung pemangkasan skema dalam operasi MERGE berbasis delta
  • [SPARK-44138] [SC-134907][sql] Melarang ekspresi, subkueri, dan agregat non-deterministik dalam kondisi MERGE
  • [SPARK-43321] [SC-136678][connect][Followup] Nama yang lebih baik untuk API yang digunakan dalam Scala Client joinWith
  • [SPARK-44263] [SC-136447][connect] Dukungan Pemintas Kustom
  • [SPARK-39851] [SC-123383][sql] Meningkatkan estimasi statistik gabungan jika satu sisi dapat menjaga keunikan
  • [SPARK-44390] [SC-136677][core][SQL] Ganti nama SparkSerDerseUtils menjadi SparkSerDeUtils
  • [SPARK-44004] [SC-134751][sql] Tetapkan nama & tingkatkan pesan kesalahan untuk kesalahan WARISAN yang sering terjadi.
  • [SPARK-44322] [SC-136204][connect] Buat pengurai menggunakan SqlApiConf alih-alih SQLConf.
  • [SPARK-44271] [SC-136347][sql] Pindahkan fungsi nilai default dari StructType ke ResolveDefaultColumns
  • [SPARK-44332] [SC-136413][core][WEBUI] Perbaiki kesalahan pengurutan Kolom ID Pelaksana di Halaman UI Pelaksana
  • [SPARK-44282] [SC-135948][connect] Siapkan penguraian DataType untuk digunakan di Klien Spark Connect Scala
  • [SPARK-44349] [SC-136581][r] Tambahkan fungsi matematika ke SparkR
  • [SPARK-44397] [SC-136647][python] Memperkenalkan assertDataFrameEqual dalam utilitas pengujian pyspark
  • [SPARK-42981] [SC-136620][connect] Tambahkan serialisasi panah langsung
  • [SPARK-44373] [SC-136577][sql] Bungkus dengan withActive untuk API Dataset menggunakan logika parsing agar konfigurasi terkait parser dapat berfungsi
  • [SPARK-44340] [SC-136574][sql] Tentukan logika komputasi melalui PARTitionEvaluator API dan gunakan di WindowGroupLimitExec
  • [SPARK-43665] [SC-136573][connect][PS] Aktifkan PandasSQLStringFormatter.vformat untuk bekerja dengan Spark Connect
  • [SPARK-44325] [SC-136572][sql] Gunakan PartitionEvaluator API di SortMergeJoinExec
  • [SPARK-44315] [SC-136171][sql][CONNECT] Pindahkan DefinedByConstructorParams ke sql/api
  • [SPARK-44275] [SC-136184][connect] Tambahkan mekanisme coba lagi yang dapat dikonfigurasi ke Scala Spark Connect
  • [SPARK-44326] [SC-136208][sql][CONNECT] Pindahkan util yang digunakan dari klien Scala ke modul umum
  • [SPARK-43321] [SC-136156][connect] Kumpulan Data#Bergabungdengan
  • [SPARK-44343] [SC-136372][connect] Siapkan ScalaReflection untuk pindah ke SQL/API
  • [SPARK-44313] [SC-136081][sql] Perbaikan validasi ekspresi kolom yang dihasilkan ketika ada kolom karakter/varchar dalam skema
  • [SPARK-43963] [SC-134145][sql] DataSource V2: Menangani perintah MERGE untuk sumber berbasis grup
  • [SPARK-44363] [SC-136433] [PyTHON] Menampilkan persentase baris yang tidak sama dalam perbandingan DataFrame
  • [SPARK-44251] [SC-136432][sql] Tetapkan nullable dengan tepat pada kunci join yang digabungkan dalam join penuh luar USING
  • [SPARK-43948] [SC-133366][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326][connect][PYTHON] Tambahkan hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt ke Scala dan Python
  • [SPARK-44351] [SC-136353][sql] Buat beberapa penyederhanaan sintik
  • [SPARK-44281] [SC-135963][sql] Memindahkan kesalahan QueryCompilation yang digunakan oleh DataType ke sql/api sebagai DataTypeErrors
  • [SPARK-44283] [SC-136109][connect] Pindahkan Origin ke SQL/API
  • [SPARK-43926] [SC-135590][connect][PYTHON] Tambahkan arrayagg, array_size, kardinalitas, count_min_sketch, mask, named_struct, json* ke Scala dan Python
  • [SPARK-44327] [SC-136187][sql][CONNECT] Tambahkan fungsi any dan len ke Scala
  • [SPARK-44290] [SC-136300][connect] File dan arsip berbasis sesi di Spark Connect
  • [SPARK-44061] [SC-136299][python] Tambahkan fungsi util assertDataFrameEqual
  • [SPARK-44331] [SC-136324][connect][PYTHON] Tambahkan fungsi bitmap ke Scala dan Python
  • [SPARK-44342] [SC-136334][sql] Ganti SQLContext dengan SparkSession untuk GenTPCDSData
  • [SPARK-42583] [SC-124190][sql] Hapus gabungan luar jika semuanya merupakan fungsi agregat yang berbeda
  • [SPARK-44333] [SC-136206][connect][SQL] Move EnhancedLogicalPlan keluar dari ParserUtils
  • [SPARK-43824] [SC-132655][spark-43825] [SQL] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602][connect][PYTHON] Tambahkan fungsi try_* ke Scala dan Python
  • [SPARK-44193] [SC-135886][connect] Menerapkan intersepsi pengecualian GRPC untuk konversi
  • [SPARK-44284] [SC-136107][connect] Buat sistem conf sederhana untuk sql/api
  • [SPARK-43913] [SC-133368][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] Batalkan "[SC-135924][spark-43416][CONNECT] Perbaiki skema yang salah untuk kueri rentang"
  • [SPARK-44312] [SC-136185][connect][PYTHON] Izinkan untuk mengatur agen pengguna dengan variabel lingkungan
  • [SPARK-44154] [SC-136060] Menerapkan fungsi bitmap
  • [SPARK-43885] [SC-133996][sql] DataSource V2: Menangani perintah MERGE untuk sumber berbasis delta
  • [SPARK-43924] [SC-135161][connect][PYTHON] Tambahkan fungsi misc ke Scala dan Python
  • [SPARK-43969] [SC-134556][sql] Refaktor & Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730][sql] Memperbaiki ketidakonsistenan dalam kualifikasi jalur antara katalog dan operasi data
  • [SPARK-44073] [SC-134562][sql][PYTHON][connect] Tambahkan fungsi waktu tanggal ke Scala, Python, dan Connect - bagian 2
  • [SPARK-43942] [SC-134527][connect][PYTHON] Tambahkan fungsi string ke Scala dan Python - bagian 1
  • [SPARK-44266] [SC-135813][sql] Pindahkan Util.truncatedString ke sql/api
  • [SPARK-44195] [SC-135722][r] Tambahkan API JobTag ke SparkR SparkContext
  • [SPARK-44200] [SC-135736][sql] Mendukung TABLE aturan pengurai argumen untuk TableValuedFunction
  • [SPARK-44254] [SC-135709][sql] Pindahkan QueryExecutionErrors yang digunakan oleh DataType ke sql/api sebagai DataTypeErrors
  • [SPARK-44291] [SC-135924][spark-43416][CONNECT] Perbaiki skema yang salah untuk kueri rentang
  • [SPARK-43922] [SC-135612][sql] Tambahkan dukungan parameter bernama di parser untuk panggilan fungsi
  • [SPARK-44300] [SC-135882][connect] Perbaiki pembersihan artefak untuk membatasi cakupan penghapusan ke artefak spesifik sesi
  • [SPARK-44293] [SC-135849][connect] Perbaiki URI yang tidak valid untuk JARs kustom di Spark Connect
  • [SPARK-44215] [SC-135850][shuffle] Jika jumlah chunk adalah 0, maka server harus melempar RuntimeException
  • [SPARK-44245] [SC-135851][python] pyspark.sql.dataframe sample() doctests harus hanya sebagai ilustrasi
  • [SPARK-44274] [SC-135814][connect] Pindahkan fungsi util yang digunakan oleh ArtifactManager ke common/utils
  • [SPARK-44194] [SC-135815][python][CORE] Tambahkan API JobTag ke PySpark SparkContext
  • [SPARK-42828] [SC-135733][python][SQL] Lebih eksplisit Anotasi jenis Python untuk GroupedData
  • [SPARK-44079] [SC-135486][sql] Perbaikan saat mengurai ArrayIndexOutOfBoundsException array sebagai struct menggunakan mode PERMISSIVE dengan catatan rusak
  • [SPARK-44255] [SC-135809][sql] Relokasi StorageLevel ke common/utils
  • [SPARK-42169] [SC-135795] [SQL] Menerapkan pembuatan kode untuk fungsi to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][PYTHON] Refactor PythonUDTFRunner untuk mengirim jenis pengembaliannya secara terpisah
  • [SPARK-43353] [SC-132734][python] Memigrasikan kesalahan sesi yang tersisa ke kelas kesalahan
  • [SPARK-44211] [SC-135718][python][CONNECT] Mengimplementasikan SparkSession.is_stopped
  • [SPARK-42784] [SC-135691] masih harus membuat subDir ketika jumlah subDir dalam dir gabungan kurang dari conf
  • [SPARK-41599] [SC-135616] Kebocoran memori di FileSystem.CACHE saat mengirimkan aplikasi ke kluster aman menggunakan InProcessLauncher
  • [SPARK-44241] [SC-135613][core] Secara keliru mengatur io.connectionTimeout/connectionCreationTimeout ke nol atau negatif akan menyebabkan kontra/penghancuran eksekutor yang tidak henti
  • [SPARK-44133] [SC-134795][13.x][PYTHON] Upgrade MyPy dari 0,920 menjadi 0,982
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde dalam format JSON
  • [SPARK-44188] [SC-135173][core] Hapus metode yang tidak berguna resetAllPartitions di ActiveJob
  • [SPARK-43757] [SC-135418][connect] Ubah kompatibilitas klien dari daftar izinkan ke daftar tolak
  • [SPARK-43474] [SC-135521] [SS] [SAMBUNGKAN] Tambahkan akses sambungkan spark ke Dataframe runtime menurut ID.
  • [SPARK-44183] [SC-135209][python] Buat PyArrow versi minimum menjadi 4.0.0
  • [SPARK-44248] [SC-135554][ss][SQL][kafka] Tambahkan lokasi pilihan di sumber kafka v2
  • [SPARK-43929] [SC-134510][sql][PYTHON][connect] Tambahkan fungsi waktu tanggal ke Scala, Python, dan Connect API - bagian 1
  • [SPARK-44161] [SC-135326][connect] Menangani input Row untuk UDF
  • [SPARK-44227] [SC-135520][sql] Ekstrak SkemaUtils dari StructField
  • [SPARK-44064] [SC-135116][core][SQL] Tambahkan fungsi baru apply ke NonFateSharingCache
  • [SPARK-44171] [SC-135269][sql] Tetapkan nama ke kelas kesalahan LEGACY_ERROR_TEMP[2279-2282] & hapus beberapa kelas kesalahan yang tidak digunakan
  • [SPARK-44056] [SC-134758][sql] Sertakan nama UDF dalam pesan kesalahan kegagalan eksekusi UDF saat tersedia
  • [SPARK-44205] [SC-135422][sql] Ekstrak Kode Katalis dari DecimalType
  • [SPARK-44220] [SC-135484][sql] Pindahkan StringConcat ke sql/api
  • [SPARK-44146] [SC-135230][connect] Pisahkan jar dan file kelas dari Spark Connect Session
  • [SPARK-44206] [SC-135411][sql] DataSet.selectExpr scope Session.active
  • [SPARK-40850] [SC-135417][sql] Memperbaiki kueri yang ditafsirkan dalam kasus pengujian dapat menjalankan Codegen
  • [SPARK-44204] [SC-135253][sql][HIVE] Tambahkan recordHiveCall yang hilang untuk getPartitionNames
  • [SPARK-44237] [SC-135485][core] Sederhanakan logika pencarian konstruktor DirectByteBuffer
  • [SPARK-44189] [SC-135170][connect][PYTHON] Mendukung parameter posisi dengan sql()
  • [SPARK-44140] [SC-134893][sql][PYTHON] Mendukung parameter posisional di Python sql()
  • [SPARK-44164] [SC-135158][sql] Ekstrak metode toAttribute dari StructField ke kelas Util
  • [SPARK-44178] [SC-135113][connect] Dukungan parameter posisi di sql()
  • [SPARK-43208] [SC-128955][sql][HIVE] IsolatedClassLoader harus menutup input stream pada kelas penghalang setelah selesai membaca
  • [SPARK-43063] [SC-128382][sql] df.show handle null harus mencetak NULL alih-alih null
  • [SPARK-42539] [SC-124464][sql][HIVE] Hilangkan classloader terpisah saat menggunakan versi Hive 'bawaan' untuk client metadata
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] Tambahkan pola opsional untuk Catalog.listFunctions
  • [SPARK-44066] [SC-134878][sql] Mendukung parameter posisi di Scala/Java sql()
  • [SPARK-44078] [SC-134869][connect][CORE] Tambahkan dukungan untuk isolasi classloader/resource
  • [SPARK-43470] [SC-135187][core] Tambahkan INFORMASI versi OS, Java, Python ke log aplikasi
  • [SPARK-43136] [SC-135238][connect][Followup] Menambahkan pengujian untuk KeyAs
  • [SPARK-39740] [SC-135093][ui]: Tingkatkan garis waktu vis ke 7.7.2 untuk memperbaiki CVE-2020-28487
  • [SPARK-42298] [SC-133952][sql] Tetapkan nama ke _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459][sql][PYTHON][connect] Tambahkan pola opsional untuk Catalog.listTables
  • [SPARK-44026] [SC-135181] Mengizinkan penyediaan nilai awal untuk SQLMetrics
  • [SPARK-44202] [SC-135244][core] Tambahkan API JobTag ke JavaSparkContext
  • [SPARK-44030] [SC-135237][sql] Implementasikan DataTypeExpression untuk menawarkan Unapply untuk ekspresi
  • [SPARK-43876] Kembalikan "[SC-134603][sql] Aktifkan hashmap cepat untuk kueri yang berbeda"
  • [SPARK-40082] [SC-126437] Jadwalkan mergeFinalize saat mendorong penggabungan shuffleMapStage mencoba kembali tetapi tidak ada tugas yang sedang berjalan
  • [SPARK-43888] [SC-132893][core] Relokasi Pengelogan ke common/utils
  • [SPARK-43474] [SC-134400] [SS] [SAMBUNGKAN] Menambahkan SessionHolder ke SparkConnectPlanner
  • [SPARK-43944] [SC-134490][connect][PYTHON] Tambahkan fungsi string ke Scala dan Python - bagian 2
  • [SPARK-44134] [SC-134954][core] Memperbaiki pengaturan sumber daya (GPU/FPGA) menjadi 0 ketika diatur dalam spark-defaults.conf
  • [SPARK-44142] [SC-134947][python] Ganti jenis dengan tpe dalam utilitas untuk mengonversi jenis python ke jenis spark
  • [SPARK-43952] [SC-134695][core][CONNECT][sql] Tambahkan API SparkContext untuk pembatalan kueri menurut tag
  • [SPARK-44000] [SC-133634][sql] Tambahkan petunjuk untuk menonaktifkan penyiaran dan replikasi salah satu sisi join
  • [SPARK-43937] [SC-134362][connect][PYTHON] Tambahkan ifnull,isnotnull,equal_null,nullif,nvl,nvl2 ke Scala dan Python
  • [SPARK-43624] [13.x][sc-134557][PS][connect] Tambahkan EWM ke SparkConnectPlanner.
  • [SPARK-44040] [SC-134366][sql] Perbaiki statistik komputasi saat simpul AggregateExec di atas QueryStageExec
  • [SPARK-43485] [SC-131264][sql] Perbaiki pesan kesalahan untuk unit argumen fungsi add/diff datetime
  • [SPARK-43794] [SC-132561][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749][connect][SS]Mengimplementasikan MapGroupsWithState dan FlatMapGroupsWithState APIs untuk Spark Connect
  • [SPARK-43529] [SQL] Dukungan terhadap ekspresi-ekspresi CREATE/REPLACE TABLE OPTIONS + proses pembersihan kode
  • [SPARK-44106] [SC-134750][python][CONNECT] Tambahkan __repr__ untuk GroupedData
  • [SPARK-42299] [SC-133190] Tetapkan nama ke _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388][sql] Menambahkan dukungan untuk aes_encrypt IV dan AAD
  • [SPARK-43932] [SC-134138][sql][PYTHON][connect] Tambahkan current seperti fungsi ke Scala dan Python
  • [SPARK-43934] [SC-134108][sql][PYTHON][connect] Tambahkan fungsi regexp_* ke Scala dan Python
  • [SPARK-44107] [SC-134746][connect][PYTHON] Sembunyikan metode Kolom yang tidak didukung dari penyelesaian otomatis
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde dalam format JSON
  • [SPARK-43773] [SC-132659][connect][PYTHON] Menerapkan fungsi 'levenshtein(str1, str2[, threshold])' di klien python
  • [SPARK-44125] [SC-134745][r] Dukungan Java 21 dalam SparkR
  • [SPARK-43919] [SC-133374][sql] Memisahkan fungsionalitas JSON dari Row
  • [SPARK-43769] [SC-132520][connect] Mengimplementasikan fungsi 'levenshtein(str1, str2[, threshold])'
  • [SPARK-44012] [SC-134662][ss] KafkaDataConsumer untuk menampilkan beberapa status baca
  • [SPARK-43876] [SC-134603][sql] Aktifkan hashmap cepat untuk kueri yang berbeda
  • [SPARK-44024] [SC-134497][sql] Ubah penggunaan map saat unzip hanya digunakan untuk mengekstrak satu elemen
  • [SPARK-43928] [SC-134467][sql][PYTHON][connect] Tambahkan operasi bit ke Scala, Python, dan Connect API
  • [SPARK-44092] [SC-134506][core] Tambahkan Utils.isJavaVersionAtLeast21 dan buat core modul lulus dengan Java 21
  • [SPARK-44018] [SC-134512][sql] Tingkatkan hashCode dan toString untuk beberapa Ekspresi DS V2
  • [SPARK-44105] [SC-134582][sql] LastNonNull harus diselesaikan secara tunda
  • [SPARK-44081] [SC-134434] Menyederhanakan PARTitionedFileUtil API sedikit
  • [SPARK-43791] [SC-132531][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] Tentukan dan gunakan Unresolved[Leaf|Unary]Sifat simpul.
  • [SPARK-43852] [SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684][sql] Refaktor resolusi nilai kolom default
  • [SPARK-43493] [SC-132063][sql] Tambahkan argumen jarak maksimum ke fungsi levenshtein()
  • [SPARK-44075] [SC-134382][connect] Jadikan transformStatCorr tunda
  • [SPARK-43925] [SC-134381][sql][PYTHON][connect] Tambahkan beberapa, bool_or, bool_and, semua ke Scala, Python dan Connect
  • [SPARK-43931] [SC-134158][sql][PYTHON][connect] Tambahkan fungsi make_* ke Scala dan Python
  • [SPARK-43762] [SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] Tetapkan nama ke kelas kesalahan _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367][sql] Meningkatkan pesan kesalahan: CANNOT_DECODE_URL, , CANNOT_MERGE_INCOMPATIBLE_DATA_TYPECANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
  • [SPARK-43938] [SC-133887][connect][PYTHON] Tambahkan fungsi to_* ke Scala dan Python
  • [SPARK-44055] [SC-134321][core] Hapus fungsi redundan override dari CheckpointRDD
  • [SPARK-43802] [SC-132597][sql] Perbaiki codegen untuk unhex dan unbase64 dengan failOnError=true
  • [SPARK-43798] [SC-133990][sql][PYTHON] Mendukung fungsi tabel yang ditentukan pengguna Python
  • [SPARK-43941] [SC-134286][sql][PYTHON][connect] Tambahkan any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, kurangi ke Scala, Python, dan Connect API
  • [SPARK-43380] [SC-133100][sql] Perbaiki masalah konversi jenis data Avro untuk menghindari menghasilkan hasil yang salah
  • [SPARK-43803] [SC-133729] [SS] [SAMBUNGKAN] Meningkatkan awaitTermination() untuk menangani pemutusan sambungan klien
  • [SPARK-43179] [SC-129070][shuffle] Memungkinkan aplikasi mengontrol apakah metadata mereka disimpan di db oleh External Shuffle Service

Dukungan driver Databricks ODBC/JDBC

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Lihat Pembaruan pemeliharaan Databricks Runtime 13.3.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 22.04.2 LTS
    • Catatan: Ini adalah versi Ubuntu yang digunakan oleh kontainer Databricks Runtime. Kontainer Databricks Runtime berjalan pada komputer virtual penyedia cloud, yang mungkin menggunakan versi Ubuntu atau distribusi Linux yang berbeda.
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Danau Delta: 2.4.0

Pustaka Python yang diinstal

Pustaka Versi Pustaka Versi Pustaka Versi
direktori aplikasi 1.4.4 argon2-cffi 21.3.0 Pengikatan Argon2-cffi 21.2.0
asttoken 2.2.1 atribut 21.4.0 panggilan balik 0.2.0
beautifulsoup4 4.11.1 hitam 22.6.0 pemutih 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
sertifikat 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 klik 8.0.4 Kriptografi 37.0.1
pengendara sepeda 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.6.0 penghias 5.1.1
defusedxml 0.7.1 distlib 0.3.7 konversi docstring ke markdown 0.12
titik masuk 0,4 menjalankan 1.2.0 gambaran umum aspek 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 alat pengelola font 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 IDNA 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client (klien Jupyter) 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 gantungan kunci 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient (klien layanan web yang menggunakan RESTful) 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Mccabe 0.7.0 penyetelan salah 0.8.4
more-itertools 8.10.0 ekstensi mypy 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 buku catatan 6.4.12 numpy (perpustakaan Python untuk operasi numerik) 1.21.5
oauthlib 3.2.0 pengemasan 21.3 Panda 1.4.4
Pandocfilters 1.5.0 pengurai 0.8.3 spesifikasi jalur 0.9.0
kambing hitam 0.5.2 pexpect=4.8.0 4.8.0 pickleshare 0.7.5
Bantal 9.2.0 pipa 22.2.2 platformdir 2.5.2
secara plot 5.9.0 pengaya 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic (perpustakaan Python untuk validasi data) 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 permintaan 2.28.1
tali 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy (perpustakaan Python untuk komputasi ilmiah) 1.9.1 Seaborn (perpustakaan Python untuk visualisasi data) 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 Enam 1.16.0
alat penyaring sup 2.3.1 ssh-import-id 5.11 stack-data 0.6.2
statsmodels (paket Python untuk pemodelan statistik) 0.13.2 kegigihan 8.1.0 selesai 0.13.1
jalur uji 0.6.0 threadpoolctl 2.2.0 Tokenisasi-RT 4.2.1
tomli 2.0.1 Tornado 6.1 traitlets=5.0.5 5.1.1
ekstensi pengetikan (typing_extensions) 4.3.0 ujson 5.4.0 pembaruan otomatis tanpa pengawasan 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings=0.5.1 0.5.1 apa itu patch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Perpustakaan R yang terinstal

Pustaka R diinstal dari cuplikan CRAN dari Posit Package Manager pada 2023-02-10: https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/.

Pustaka Versi Pustaka Versi Pustaka Versi
anak panah 10.0.1 askpass 1.1 pastikanbahwa 0.2.1
pemindahan fitur ke versi lama (backports) 1.4.1 dasar 4.2.2 base64enc 0.1-3
sedikit 4.0.5 bit-64 4.0.5 blob 1.2.3
sepatu bot 1.3-28 menyeduh 1,0-8 Brio 1.1.3
sapu 1.0.3 bslib 0.4.2 cashmere 1.0.6
layanan panggilan 3.7.3 caret 6.0-93 cellranger 1.1.0
kronogram 2.3-59 kelas 7.3-21 CLI 3.6.0
pemangkas 0.8.0 Jam 0.6.1 kluster 2.1.4
codetools 0.2-19 ruang warna 2.1-0 commonmark 1.8.1
pengkompilasi 4.2.2 konfig 0.3.1 cpp11 0.4.3
kriyon 1.5.2 kredensial 1.3.2 melengkung 5.0.0
data.table (sebuah paket untuk pengolahan data table) 1.14.6 kumpulan data 4.2.2 DBI 1.1.3
dbplyr 2.3.0 deskripsi 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 pencahayaan turun 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
elipsis 0.3.2 menilai 0.20 penggemar 1.0.4
warna-warna 2.1.1 pemetaan cepat 1.1.0 fontawesome 0.5.0
untuk kucing 1.0.0 foreach (pengulangan untuk setiap elemen) 1.5.2 asing 0.8-82
bengkel pandai besi 0.2.0 Fs 1.6.1 masa depan 1.31.0
menerapkan di masa depan 1.10.0 kumur 1.3.0 obat generik 0.1.3
Gert 1.9.2 ggplot2 3.4.0 GH 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 variabel global 0.16.2
lem 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 Grafik 4.2.2 grDevices 4.2.2
kisi 4.2.2 gridExtra 2.3 gsubfn 0,7
dapat di-gt 0.3.1 topi keras 1.2.0 tempat aman 2.5.1
lebih tinggi 0.10 HMS 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
Id 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Pengiterasi 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 rajut 1.42
Pelabelan 0.4.2 nanti 1.3.0 rangka 0.20-45
lahar 1.7.1 siklus hidup 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
Massa 7.3-58.2 Matriks 1.5-1 memosankan 2.0.1
Metode 4.2.2 mgcv 1.8-41 pantomim 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv Agustus 2016 - Januari 2017 openssl 2.0.5 paralel 4.2.2
secara paralel 1.34.0 pilar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 pujian 1.0.0
prettyunits 1.1.1 Proc 1.18.0 ProsesX 3.8.0
prodlim 2019.11.13 profvis 0.3.7 kemajuan 1.2.2
progresr 0.13.0 janji 1.2.0.1 Proto 1.0.0
proksi 0,4-27 P.S. 1.7.2 menggeram lembut 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest (algoritma pembelajaran mesin) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
pembaca 2.1.3 readxl (membaca file Excel) 1.4.2 Resep 1.0.4
pertandingan ulang 1.0.1 pertandingan ulang 2 2.1.2 pengontrol jarak jauh 2.4.2
contoh replikasi 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.5 timbangan / sisik 1.2.1
selektor 0,4-2 informasi sesi 1.2.2 bentuk 1.4.6
mengkilap 1.7.4 sourcetools 0.1.7-1 sparklyr - paket R untuk analisis data dan pembelajaran mesin 1.7.9
SparkR 3.4.1 spasial 7.3-15 garis lengkung 4.2.2
sqldf 0,4-11 SQUAREM 2021.1 statistik 4.2.2
statistik4 4.2.2 string 1.7.12 stringr 1.5.0
bertahan hidup 3.5-3 Sistem 3.4.1 systemfonts 1.0.4
bahasa pemrograman Tcl/Tk 4.2.2 ujiitu 3.1.6 pembahasan teks 0.3.6
tibble 3.1.8 tidyr 1.3.0 pilih rapi 1.2.0
rapi 1.3.2 pertukaran waktu 0.2.0 TanggalWaktu 4022.108
tinytex 0,44 alat 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 gunakan ini 2.1.6 utf8 1.2.3
Utilitas 4.2.2 UUID (Pengidentifikasi Unik Universal) 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 Vroom 1.6.1 Waldo 0.4.0
kumis 0.4.1 dengan 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 Zip 2.2.2

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.390
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-impor-ekspor 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.390
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.390
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK Dukungan 1.12.390
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware bayangan-kriogenik 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core Jackson Annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine kafein 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib referensi_asli-java 1.1-asli
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib sistem_asli-java 1.1-asli
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-asli
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-asli
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone Annotasi yang rentan terhadap kesalahan 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava jambu biji 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger pembuat profil 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi kode_sumber_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (algoritma kompresi) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-app_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typeafe konfig 1.2.1
com.typeafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Tidak peduli 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0,21%
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics inti metrik 4.2.10
io.dropwizard.metrics metrik-graphite 4.2.10
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.2.10
io.dropwizard.metrics metrik-jetty9 4.2.10
io.dropwizard.metrics metrik-jmx 4.2.10
io.dropwizard.metrics metrik-json 4.2.10
io.dropwizard.metrics metrik-jvm 4.2.10
io.dropwizard.metrics metrik-servlet 4.2.10
io.netty netty-all 4.1.87.Final
io.netty Netty Buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-kodek-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_umum 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction Transaction-API 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine acar 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
jaring.bunga salju snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr StringTemplate 3.2.1
org.apache.ant semut 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow format tanda panah 11.0.0
org.apache.arrow inti-memori-panah 11.0.0
org.apache.arrow Arrow-Memory-Netty 11.0.0
org.apache.arrow panah-vektor 11.0.0
org.apache.avro Avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-koleksi4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons Commons-Math3 3.6.1
org.apache.commons commons-text (teks umum) 1.10.0
org.apache.curator kurator dan klien 2.13.0
org.apache.curator kerangka kerja kurator 2.13.0
org.apache.curator kurasi resep 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop lingkungan kerja klien Hadoop 3.3.4
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive apache hive-llap-client 2.3.9
org.apache.hive apache hive-llap-common 2.3.9
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API penyimpanan hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.9
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy tanaman anggur 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean berbayang xbean-asm9 4.22
org.apache.yetus anotasi penonton 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.6.3
org.apache.zookeeper penjaga kebun binatang-jute 3.6.3
org.checkerframework pemeriksa kualitas 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty lanjutan dermaga 9.4.51.v20230217
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty Jetty Plus 9.4.51.v20230217
org.eclipse.jetty Jetty-Proxy 9.4.51.v20230217
org.eclipse.jetty keamanan jetty 9.4.51.v20230217
org.eclipse.jetty Jetty Server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty Aplikasi web Jetty 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket WebSocket-API 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-klien 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utilitas 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-inti 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey biasa 2.36
org.glassfish.jersey.core Jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator Hibernate Validator 6.1.7.Terakhir
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging pengelogan jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client (klien Java untuk MariaDB) 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap pengganjal 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibel dengan skalar 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1,33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on