Databricks Runtime 11.2 (EoS)

Nota

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan dan akhir masa pakai. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 11.2, didukung oleh Apache Spark 3.3.0. Databricks merilis versi ini pada September 2022.

Fitur dan peningkatan baru

Ubah ke ALTER TABLE izin dalam kontrol akses tabel (ACL tabel)

Sekarang, pengguna hanya memerlukan MODIFY izin untuk mengubah skema tabel atau properti dengan ALTER TABLE. Kepemilikan masih diperlukan untuk memberikan izin pada tabel, mengubah pemilik dan lokasinya, atau mengganti namanya. Perubahan ini membuat model izin untuk ACL tabel konsisten dengan Katalog Unity. Lihat ALTER TABLE.

Pemangkasan dinamis untuk MERGE INTO

Saat menggunakan komputasi yang diaktifkan Photon, MERGE INTO sekarang menggunakan pemangkasan file dan partisi dinamis jika sesuai untuk meningkatkan performa, misalnya ketika tabel sumber kecil digabungkan ke dalam tabel target yang lebih besar.

Peningkatan deteksi konflik di Delta dengan pemangkasan file dinamis

Saat memeriksa potensi konflik selama commit, pendeteksian konflik sekarang mempertimbangkan file yang dipangkas oleh pemangkasan file dinamis, tetapi tidak akan dipangkas oleh filter statis. Ini menghasilkan penurunan jumlah transaksi yang gagal.

Kartu Integrasi Sumber Terbuka baru pada beranda DSE/SQL

Memperkenalkan kartu 'integrasi Open Source' baru di beranda DSE/SQL yang menampilkan opsi integrasi open source seperti DLT dan dbt core.

CONVERT TO DELTA peningkatan deteksi partisi

CONVERT TO DELTA secara otomatis menyimpulkan skema partisi untuk tabel Parquet yang terdaftar di metastore Apache Hive atau Katalog Unity, mengeliminasi kebutuhan untuk menyertakan klausul PARTITIONED BY.

CONVERT TO DELTA memanfaatkan informasi partisi dari metastore untuk menemukan file untuk tabel Parquet alih-alih mencantumkan seluruh jalur dasar, memastikan partisi yang dihilangkan tidak ditambahkan ke tabel Delta.

Lihat Konversi ke Delta Lake.

Skema tabel sekarang mendukung nilai default untuk kolom

Skema tabel sekarang mendukung pengaturan nilai default untuk kolom. INSERT, UPDATE, dan DELETE perintah untuk kolom ini dapat merujuk ke nilai-nilai ini dengan DEFAULT kata kunci. Misalnya, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET diikuti oleh INSERT INTO t VALUES (1, DEFAULT) akan menambahkan baris (1, 42). Perilaku ini didukung untuk sumber data CSV, JSON, Orc, dan Parquet.

Fungsi geospasial H3 baru

Anda sekarang dapat menggunakan 28 ekspresi H3 bawaan baru untuk pemrosesan geospasial di kluster yang diaktifkan Photon, tersedia di SQL, Scala, dan Python. Lihat fungsi geospasial H3 .

Dependensi Databricks Runtime baru

Saat ini, Databricks Runtime bergantung pada pustaka H3 Java versi 3.7.0.

Bawa kunci Anda sendiri: Enkripsi kredensial Git

Anda dapat menggunakan Azure Key Vault untuk mengenkripsi token akses pribadi Git (PAT) atau kredensial Git lainnya.

Lihat Mengonfigurasi integrasi Git untuk folder Git.

SQL: Fungsi agregat baru any_value

Fungsi agregat baru any_value mengembalikan nilai expr acak untuk sekelompok baris. any_value Lihat fungsi agregat.

Perintah sistem file Utilitas Databricks diizinkan pada lebih banyak jenis kluster

dbutils.fs perintah (kecuali perintah-perintah terkait pemasangan) sekarang diizinkan pada kluster dengan isolasi pengguna menggunakan Katalog Unity, serta kluster ACL tabel warisan apabila pengguna memiliki izin ANY FILE.

Hak akses CREATE sekarang dapat diberikan di metastores untuk Katalog Unity.

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT, dan hak istimewa HAK CIPTA PENYEDIA sekarang dapat diberikan pada Unity Catalog metastore.

Penulisan yang dioptimalkan untuk tabel yang tidak dipartisi di kluster yang diaktifkan Photon

Tabel terkelola Unity Catalog sekarang secara otomatis mempertahankan file dengan ukuran yang disetel dengan baik dari tabel yang tidak dipartisi untuk meningkatkan kecepatan kueri dan mengoptimalkan performa.

Dukungan foton untuk lebih banyak sumber data

Photon sekarang mendukung lebih banyak sumber data, termasuk CSV dan Avro, dan juga kompatibel dengan bingkai data yang di-cache. Sebelumnya, memindai sumber data ini berarti bahwa seluruh kueri tidak dapat dioptimalkan dengan foton, terlepas dari operator atau ekspresi kueri. Sekarang, kueri yang memindai sumber data ini dapat dioptimalkan menggunakan teknologi foton, menghasilkan peningkatan yang signifikan pada latensi dan pengurangan TCO.

Fitur ini diaktifkan secara default oleh konfigurasi spark.databricks.photon.photonRowToColumnar.enabled.

Limitations:

  • Skema dengan jenis berlapis tidak didukung (yaitu array, peta, dan struktur) dalam rilis ini.
  • Sumber ORC, RDD, Kinesis, Kafka, dan EventHub tidak didukung dalam rilis ini.

SQL: ALTER SHARE sekarang mendukung VERSI MULAI

Perintah ALTER SHARE sekarang mendukung START VERSION, yang memungkinkan penyedia untuk berbagi data mulai dari versi tabel tertentu. Lihat ALTER SHARE.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • distlib dari 0.3.4 hingga 0.3.5
    • filelock dari 3.7.1 hingga 3.8.0
    • plotly dari 5.8.2 ke 5.9.0
    • protobuf dari 4.21.2 ke 4.21.5
  • Pustaka R yang ditingkatkan:
    • sapu dari 0,8,0 hingga 1,0,0
    • bslib dari 0.3.1 hingga 0.4.0
    • callr dari 3.7.0 ke 3.7.1
    • caret dari 6,0-92 ke 6,0-93
    • dbplyr dari 2.2.0 ke 2.2.1
    • devtools dari 2.4.3 hingga 2.4.4
    • evaluasi dari 0,15 hingga 0,16
    • farver dari 2.1.0 ke 2.1.1
    • fontawesome dari 0.2.2 hingga 0.3.0
    • dari 1.26.1 hingga 1.27.0
    • versi generik dari 0.1.2 ke 0.1.3
    • gert dari 1.6.0 hingga 1.7.0
    • global dari 0,15,1 ke 0,16,0
    • googlesheets4 dari 1.0.0 hingga 1.0.1
    • hardhat dari 1.1.0 hingga 1.2.0
    • htmltool dari 0.5.2 hingga 0.5.3
    • secara paralel dari 1.32.0 hingga 1.32.1
    • pilar dari 1.7.0 hingga 1.8.0
    • pkgload dari 1.2.4 ke 1.3.0
    • processx dari 3.6.1 hingga 3.7.0
    • Rcpp dari 1.0.8.3 ke 1.0.9
    • resep dari 0.2.0 hingga 1.0.1
    • rlang dari 1.0.2 ke 1.0.4
    • roxygen2 dari 7.2.0 ke 7.2.1
    • RSQLite dari 2.2.14 ke 2.2.15
    • sass dari 0.4.1 hingga 0.4.2
    • mengkilap dari 1.7.1 hingga 1.7.2
    • stringi dari 1.7.6 ke 1.7.8
    • tibble dari 3.1.7 ke 3.1.8
    • tidyverse dari 1.3.1 hingga 1.3.2
    • timeDate dari 3043.102 hingga 4021.104
    • xfun dari 0,31 hingga 0,32
  • Pustaka Java yang ditingkatkan:
    • org.apache.orc.orc-core dari 1.7.4 hingga 1.7.5
    • org.apache.orc.orc-mapreduce dari 1.7.4 ke 1.7.5
    • org.apache.orc.orc-shims dari 1.7.4 hingga 1.7.5

Apache Spark

Databricks Runtime 11.2 mencakup Apache Spark 3.3.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 11.1 (EoS), serta perbaikan bug tambahan dan peningkatan berikut yang dilakukan pada Spark:

  • [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Mengembalikan jenis interval ANSI yang lebih luas dari fungsi persentil
  • [SPARK-40054] [SQL] Memulihkan sintaks penanganan kesalahan try_cast()
  • [SPARK-39489] [CORE] Meningkatkan performa JsonProtocol pengelogan peristiwa dengan menggunakan Jackson alih-alih Json4s
  • [SPARK-39319] [CORE][sql] Buat konteks kueri sebagai bagian dari SparkThrowable
  • [SPARK-40085] [SQL] Gunakan kelas kesalahan INTERNAL_ERROR alih-alih IllegalStateException untuk menunjukkan bug
  • [SPARK-40001] [SQL] Menulis nilai NULL ke kolom DEFAULT JSON sebagai 'null' ke penyimpanan
  • [SPARK-39635] [SQL] Mendukung metrik pengemudi dalam API metrik khusus DS v2
  • [SPARK-39184] [SQL] Menangani array hasil yang terlalu kecil dalam urutan tanggal dan timestamp
  • [SPARK-40019] [SQL] Komentar refaktor arrayType berisiNull dan refaktor logika kesalahpahaman dalam ekspresi collectionOperator tentang containsNull
  • [SPARK-39989] [SQL] Mendukung perkiraan statistik kolom jika ekspresi dapat dilipat
  • [SPARK-39926] [SQL] Memperbaiki bug pada dukungan DEFAULT kolom untuk pemindaian Parquet yang tidak tervektorisasi
  • [SPARK-40052] [SQL] Menangani buffer byte langsung di VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Memperbaiki jenis interval target dalam kesalahan cast overflow
  • [SPARK-39835] [SQL] Perbaiki EliminateSorts hapus pengurutan global di bawah pengurutan lokal
  • [SPARK-40002] [SQL] Jangan mendorong batas bawah melalui jendela menggunakan ntile
  • [SPARK-39976] [SQL] ArrayIntersect harus menangani null dalam ekspresi kiri dengan benar
  • [SPARK-39985] [SQL] Mengaktifkan nilai DEFAULT kolom yang bersifat implisit dalam penyisipan dari DataFrames
  • [SPARK-39776] [SQL] JOIN string verbose harus menambahkan tipe join
  • [SPARK-38901] [SQL] DS V2 mendukung fungsi push down misc
  • [SPARK-40028] [SQL][followup] Meningkatkan contoh fungsi string
  • [SPARK-39983] [CORE][sql] Jangan cache hubungan siaran yang tidak diserialisasi pada driver
  • [SPARK-39812] [SQL] Menyederhanakan kode yang dibangun AggregateExpression dengan toAggregateExpression
  • [SPARK-40028] [SQL] Menambahkan contoh biner untuk ekspresi string
  • [SPARK-39981] [SQL] Menghasilkan pengecualian QueryExecutionErrors.castingCauseOverflowErrorInTableInsert pada Cast
  • [SPARK-40007] [PYTHON][sql] Tambahkan 'mode' ke fungsi
  • [SPARK-40008] [SQL] Mendukung konversi bilangan bulat ke interval ANSI
  • [SPARK-40003] [PYTHON][sql] Tambahkan 'median' ke fungsi
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand harus mencache ulang hubungan hasil
  • [SPARK-39951] [SQL] Perbarui pemeriksaan kolom Parquet V2 untuk bidang berlapis
  • [SPARK-33236] [shuffle] Backport ke Databricks Runtime 11.x: Aktifkan layanan shuffle berbasis Push untuk menyimpan status di database tingkat NM demi pekerjaan yang mempertahankan restart
  • [SPARK-39836] [SQL] Sederhanakan V2ExpressionBuilder dengan mengekstrak metode umum.
  • [SPARK-39873] [SQL] Hapus OptimizeLimitZero dan gabungkan ke dalam EliminateLimits
  • [SPARK-39961] [SQL] DS V2 push-down menerjemahkan Cast jika cast aman
  • [SPARK-39872] [SQL] Ubah untuk digunakan BytePackerForLong#unpack8Values dengan api input Array di VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Menghapus aturan yang tidak perlu AliasHelper atau PredicateHelper untuk beberapa aturan
  • [SPARK-39900] [SQL] Menangani kondisi parsial atau ternegasi dalam pushdown predikat format biner
  • [SPARK-39904] [SQL] Ubah nama inferDate menjadi prefersDate dan perjelas semantik opsi pada sumber data CSV.
  • [SPARK-39958] [SQL] Menambahkan log peringatan ketika tidak dapat memuat objek metrik kustom
  • [SPARK-39932] [SQL] WindowExec harus menghapus buffer partisi akhir
  • [SPARK-37194] [SQL] Hindari pengurutan yang tidak perlu dalam penulisan v1 jika bukan partisi dinamis
  • [SPARK-39902] [SQL] Menambahkan detail Pemindaian ke spark plan scan node di SparkUI
  • [SPARK-39865] [SQL] Perlihatkan pesan kesalahan yang tepat pada kesalahan kapasitas berlebih saat penyisipan tabel
  • [SPARK-39940] [SS] Memperbarui tabel katalog pada kueri streaming dengan sink DSv1
  • [SPARK-39827] [SQL] Gunakan kelas ARITHMETIC_OVERFLOW kesalahan pada int overflow di add_months()
  • [SPARK-39914] [SQL] Menambahkan Filter DS V2 ke konversi Filter V1
  • [SPARK-39857] [SQL] Manual Databricks Runtime 11.x backport; V2ExpressionBuilder menggunakan tipe data LiteralValue yang salah untuk predikat In #43454
  • [SPARK-39840] [SQL][python] Pisahkan PythonArrowInput sebagai simetri terhadap PythonArrowOutput
  • [SPARK-39651] [SQL] Pangkas kondisi filter jika perbandingan dengan rand bersifat deterministik
  • [SPARK-39877] [PyTHON] Menambahkan unpivot ke PySpark DataFrame API
  • [SPARK-39909] [SQL] Mengatur pemeriksaan informasi push down untuk JDBCV2Suite
  • [SPARK-39834] [SQL][ss] Sertakan statistik asal dan batasan untuk LogicalRDD jika berasal dari DataFrame
  • [SPARK-39849] [SQL] Dataset.as(StructType) mengisi kolom baru yang hilang dengan nilai null
  • [SPARK-39860] [SQL] Ekspresi lainnya harus memperluas Predikat
  • [SPARK-39823] [SQL][python] Ganti nama Dataset.as sebagai Dataset.to dan tambahkan DataFrame.to di PySpark
  • [SPARK-39918] [SQL][minor] Ganti kata "tidak sebanding" dengan "tidak dapat dibandingkan" dalam pesan kesalahan
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder menggunakan jenis data LiteralValue yang salah untuk predikat 'In'
  • [SPARK-39862] [SQL] Backport manual untuk PR 43654 yang menargetkan Databricks Runtime 11.x: Perbarui SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS untuk mengizinkan/menolak ALTER TABLE ... TAMBAHKAN perintah COLUMN secara terpisah.
  • [SPARK-39844] [SQL] Backport manual untuk PR 43652 yang menargetkan Databricks Runtime 11.x
  • [SPARK-39899] [SQL] Perbaiki meneruskan parameter pesan ke InvalidUDFClassException
  • [SPARK-39890] [SQL] Menjadikan TakeOrderedAndProjectExec mewarisi AliasAwareOutputOrdering
  • [SPARK-39809] [PyTHON] Mendukung CharType di PySpark
  • [SPARK-38864] [SQL] Menambahkan unpivot / melt ke Himpunan Data
  • [SPARK-39864] [SQL] Lazily mendaftarkan ExecutionListenerBus
  • [SPARK-39808] [SQL] Mendukung fungsi agregat MODE
  • [SPARK-39875] [SQL] Mengubah protected metode di kelas akhir ke private atau package-visible
  • [SPARK-39731] [SQL] Memperbaiki masalah dalam sumber data CSV dan JSON saat mengurai tanggal dalam format "yyyyMMdd" dengan kebijakan pengurai waktu YANG DIKOREKSI
  • [SPARK-39805] [SS] Hentikan Trigger.Once dan Promosikan Trigger.AvailableNow
  • [SPARK-39784] [SQL] Letakkan nilai Literal di sisi kanan filter sumber data setelah menerjemahkan Ekspresi Katalis ke filter sumber data
  • [SPARK-39672] [SQL][3.1] Perbaiki penghapusan proyek sebelum memfilter dengan subkueri berkorelasi
  • [SPARK-39552] [SQL] Menyatukan v1 dan v2 DESCRIBE TABLE
  • [SPARK-39810] [SQL] Catalog.tableExists harus menangani namespace berlapis
  • [SPARK-37287] [SQL] Menarik keluar partisi dinamis dan pengurutan wadah dari FileFormatWriter
  • [SPARK-39469] [SQL] Mengidentifikasi jenis tanggal untuk inferensi skema CSV
  • [SPARK-39148] [SQL] DS V2 proses agregat "push down" dapat bekerja dengan OFFSET atau LIMIT
  • [SPARK-39818] [SQL] Memperbaiki bug pada tipe ARRAY, STRUCT, MAP dengan nilai DEFAULT dengan bidang NULL
  • [SPARK-39792] [SQL] Menambahkan DecimalDivideWithOverflowCheck untuk rata-rata desimal
  • [SPARK-39798] [SQL] Replace toSeq.toArray dengan .toArray[Any] dalam konstruktor GenericArrayData
  • [SPARK-39759] [SQL] Menerapkan listIndexes dalam JDBC (dialek H2)
  • [SPARK-39385] [SQL] Mendukung pendorongan ke bawah REGR_AVGX dan REGR_AVGY
  • [SPARK-39787] [SQL] Menggunakan kelas kesalahan dalam kesalahan penguraian fungsi to_timestamp
  • [SPARK-39760] [PYTHON] Dukungan Varchar di PySpark
  • [SPARK-39557] [SQL] Backport manual ke Databricks Runtime 11.x: Mendukung jenis ARRAY, STRUCT, MAP sebagai nilai DEFAULT
  • [SPARK-39758] [SQL][3.3] Perbaiki NPE dari fungsi regexp pada pola yang tidak valid
  • [SPARK-39749] [SQL] Mode ANSI SQL: Gunakan representasi string biasa pada transmisi Desimal ke String
  • [SPARK-39704] [SQL] Menerapkan createIndex & dropIndex & indexExists di JDBC (dialek H2)
  • [SPARK-39803] [SQL] Gunakan LevenshteinDistance alih-alih StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Mendukung jenis TimestampNTZ di sumber data JDBC
  • [SPARK-39781] [SS] Menambahkan dukungan untuk menyediakan max_open_files ke penyedia penyimpanan status rocksdb
  • [SPARK-39719] [R] Menerapkan databaseExists/getDatabase di SparkR dengan dukungan untuk namespace 3L
  • [SPARK-39751] [SQL] Mengganti nama metrik pengecekan kunci agregat hash
  • [SPARK-39772] [SQL] namespace harus null ketika database null di konstruktor lama
  • [SPARK-39625] [SPARK-38904][sql] Tambahkan Dataset.as(StructType)
  • [SPARK-39384] [SQL] Mengkompilasi fungsi agregat regresi linier bawaan untuk dialek JDBC
  • [SPARK-39720] [R] Terapkan tableExists/getTable di SparkR untuk namespace 3L
  • [SPARK-39744] [SQL] REGEXP_INSTR Menambahkan fungsi
  • [SPARK-39716] [R] Buat currentDatabase/setCurrentDatabase/listCatalogs di SparkR mendukung namespace 3L
  • [SPARK-39788] [SQL] Ganti nama catalogName menjadi dialectName untuk JdbcUtils
  • [SPARK-39647] [CORE] Daftarkan pelaksana dengan ESS sebelum mendaftarkan BlockManager
  • [SPARK-39754] [CORE][sql] Hapus yang tidak digunakan import atau tidak perlu {}
  • [SPARK-39706] [SQL] Atur kolom yang hilang dengan defaultValue sebagai konstanta di ParquetColumnVector
  • [SPARK-39699] [SQL] Membuat CollapseProject lebih cerdas tentang ekspresi pembuatan koleksi
  • [SPARK-39737] [SQL] PERCENTILE_CONT dan PERCENTILE_DISC harus mendukung filter agregat
  • [SPARK-39579] [SQL][python][R] Buat ListFunctions/getFunction/functionExists kompatibel dengan namespace 3 lapisan
  • [SPARK-39627] [SQL] Pendorongan JDBC V2 harus menyatukan API kompilasi
  • [SPARK-39748] [SQL][ss] Sertakan rencana logis asal untuk LogicalRDD jika berasal dari DataFrame
  • [SPARK-39385] [SQL] Menerjemahkan fungsi agregat regresi linier untuk pushdown
  • [SPARK-39695] [SQL] REGEXP_SUBSTR Menambahkan fungsi
  • [SPARK-39667] [SQL] Tambahkan solusi lain ketika tidak ada cukup memori untuk membangun dan menyiarkan tabel
  • [SPARK-39666] [ES-337834][sql] Gunakan UnsafeProjection.create untuk menghormati spark.sql.codegen.factoryMode di ExpressionEncoder
  • [SPARK-39643] [SQL] Melarang ekspresi subkueri dalam nilai DEFAULT
  • [SPARK-38647] [SQL] Menambahkan campuran SupportsReportOrdering dalam antarmuka untuk Pemindaian (DataSourceV2)
  • [SPARK-39497][SQL] Meningkatkan pengecualian analisis kolom kunci peta yang hilang
  • [SPARK-39661] [SQL] Hindari membuat Pencatat SLF4J yang tidak perlu
  • [SPARK-39713] [SQL] Mode ANSI: tambahkan saran penggunaan try_element_at untuk kesalahan INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL]DS V2 mendukung push down fungsi tanggal dan waktu
  • [SPARK-39638] [SQL] Ubah untuk digunakan ConstantColumnVector untuk menyimpan kolom partisi di OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Bersihkan ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) dari ColumnVectorUtils
  • [SPARK-39231] [SQL] Gunakan ConstantColumnVector alih-alih On/OffHeapColumnVector menyimpan kolom partisi di VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog tidak boleh melempar NoSuchDatabaseException di loadNamspaceMetadata
  • [SPARK-39447] [SQL] Menghindari AssertionError di AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Pengerjaan ulang MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec harus menghormati urutan output anak
  • [SPARK-39606] [SQL] Menggunakan statistik anak untuk memperkirakan operator urutan
  • [SPARK-39611] [PYTHON][ps] Perbaiki alias yang salah dalam array_ufunc
  • [SPARK-39656] [SQL][3.3] Perbaiki namespace yang salah di DescribeNamespaceExec
  • [SPARK-39675] [SQL] Alihkan konfigurasi 'spark.sql.codegen.factoryMode' dari tujuan pengujian ke tujuan internal
  • [SPARK-39139] [SQL] DS V2 mendukung operasi push down DS V2 UDF
  • [SPARK-39434][SQL] Menyediakan konteks kueri kesalahan runtime saat indeks array berada di luar batas
  • [SPARK-39479] [SQL] DS V2 mendukung penurunan fungsi matematika (non ANSI)
  • [SPARK-39618] [SQL] REGEXP_COUNT Menambahkan fungsi
  • [SPARK-39553] [CORE] Pengacakan multi-utas tidak boleh melempar NPE saat menggunakan Scala 2.13
  • [SPARK-38755] [PyTHON][3.3] Tambahkan file untuk mengatasi fungsi umum panda yang hilang
  • [SPARK-39444] [SQL] Menambahkan OptimizeSubqueries ke dalam daftar nonExcludableRules
  • [SPARK-39316] [SQL] Gabungkan PromotePrecision dan CheckOverflow ke dalam aritmatika biner desimal
  • [SPARK-39505] [UI] Konten log escape yang dirender di UI
  • [SPARK-39448] [SQL] Tambahkan ReplaceCTERefWithRepartition ke dalam nonExcludableRules daftar
  • [SPARK-37961] [SQL] Mengambil alih maxRows/maxRowsPerPartition untuk beberapa operator logis
  • [SPARK-35223] Kembalikan Tambahkan IssueNavigationLink
  • [SPARK-39633] [SQL] Mendukung cap waktu dalam detik untuk TimeTravel menggunakan opsi Dataframe
  • [SPARK-38796] [SQL] Perbarui dokumentasi untuk string format angka dengan fungsi {try_}to_number
  • [SPARK-39650] [SS] Memperbaiki skema nilai yang salah dalam deduplikasi streaming dengan kompatibilitas ke belakang
  • [SPARK-39636] [CORE][ui] Perbaiki beberapa bug di JsonProtocol, yang memengaruhi tumpukan StorageLevels dan Task/Executor ResourceRequests
  • [SPARK-39432] [SQL] Mengembalikan ELEMENT_AT_BY_INDEX_ZERO dari element_at(*, 0)
  • [SPARK-39349] Menambahkan metode CheckError terpusat untuk QA jalur kesalahan
  • [SPARK-39453] [SQL] DS V2 mendukung pendorongan fungsi non-agregat lainnya (non ANSI)
  • [SPARK-38978] [SQL] DS V2 mendukung pendorongan ke bawah operator OFFSET
  • [SPARK-39567] [SQL] Mendukung interval ANSI dalam fungsi persentil
  • [SPARK-39383] [SQL] Mendukung kolom DEFAULT di sumber data ALTER TABLE ALTER COLUMNS ke V2
  • [SPARK-39396] [SQL] Perbaiki pengecualian login LDAP 'kode kesalahan 49 - kredensial tidak valid'
  • [SPARK-39548] [SQL] Perintah CreateView dengan pernyataan klausa jendela mengalami masalah definisi jendela yang salah atau tidak ditemukan
  • [SPARK-39575] [AVRO] tambahkan ByteBuffer#rewind setelah ByteBuffer#get di Avr...
  • [SPARK-39543] Opsi DataFrameWriterV2 harus diteruskan ke properti penyimpanan jika fallback ke v1
  • [SPARK-39564] [SS] Mengekspos informasi tabel katalog ke rencana logis dalam kueri streaming
  • [SPARK-39582] [SQL] Perbaiki penanda "Sejak" untuk array_agg
  • [SPARK-39388] [SQL] Menggunakan kembali orcSchema saat melakukan push down predikat Orc
  • [SPARK-39511] [SQL] Tingkatkan penurunan pembatas lokal 1 untuk bagian kanan dari left semi/anti join jika kondisi gabungan kosong
  • [SPARK-38614] [SQL] Jangan mendorong batas bawah melalui jendela yang menggunakan percent_rank
  • [SPARK-39551] [SQL] Menambahkan pemeriksaan rencana tidak valid AQE
  • [SPARK-39383] [SQL] Mendukung kolom DEFAULT di ALTER TABLE ADD COLUMNS ke sumber data V2
  • [SPARK-39538] [SQL] Hindari membuat Pencatat SLF4J yang tidak perlu
  • [SPARK-39383] [SQL] Backport manual ke Databricks Runtime 11.x: Ubah dukungan kolom DEFAULT untuk menghindari pemakaian Analyzer utama secara berlebihan.
  • [SPARK-39397] [SQL] Rilekskan AliasAwareOutputExpression untuk mendukung alias dengan ekspresi
  • [SPARK-39496] [SQL] Menangani null pada struktur di Inline.eval
  • [SPARK-39545] [SQL] Mengganti concat method untuk ExpressionSet di Scala 2.13 untuk meningkatkan performa
  • [SPARK-39340] [SQL] DS v2 agg pushdown seharusnya memperbolehkan penggunaan titik dalam nama kolom tingkat atas
  • [SPARK-39488] [SQL] Menyederhanakan penanganan kesalahan TempResolvedColumn
  • [SPARK-38846] [SQL] Menambahkan pemetaan data eksplisit antara Teradata Numeric Type dan Spark DecimalType
  • [SPARK-39520] [SQL] Mengambil alih -- metode untuk ExpressionSet di Scala 2.13
  • [SPARK-39470] [SQL] Mendukung pemeran interval ANSI ke desimal
  • [SPARK-39477] [SQL] Menghapus info "Jumlah kueri" dari file emas SQLQueryTestSuite
  • [SPARK-39419] [SQL] Memperbaiki ArraySort untuk melempar pengecualian saat komparator mengembalikan null
  • [SPARK-39061] [SQL] Mengatur status nullable dengan benar untuk Inline atribut output
  • [SPARK-39320] [SQL] Mendukung fungsi agregat MEDIAN
  • [SPARK-39261] [CORE] Meningkatkan pemformatan baris baru untuk pesan kesalahan
  • [SPARK-39355] [SQL] Kolom tunggal menggunakan tanda petik untuk membentuk UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE harus meredakan properti
  • [SPARK-37623] [SQL] Mendukung Fungsi Agregat ANSI: regr_intercept
  • [SPARK-39374] [SQL] Meningkatkan pesan kesalahan untuk daftar kolom yang ditentukan pengguna
  • [SPARK-39255] [SQL][3.3] Meningkatkan pesan kesalahan
  • [SPARK-39321] [SQL] Refaktor TryCast untuk menggunakan RuntimeReplaceable
  • [SPARK-39406] [PyTHON] Menerima array NumPy di createDataFrame
  • [SPARK-39267] [SQL] Membersihkan simbol dsl yang tidak perlu
  • [SPARK-39171] [SQL] Menyatukan ekspresi Cast
  • [SPARK-28330] [SQL] Dukungan ANSI SQL: klausa hasil offset dalam ekspresi kueri
  • [SPARK-39203] [SQL] Menulis ulang lokasi tabel ke URI absolut berdasarkan URI database
  • [SPARK-39313] [SQL] toCatalystOrdering harus gagal jika V2Expression tidak dapat diterjemahkan
  • [SPARK-39301] [SQL][python] Manfaatkan LocalRelation dan hormati ukuran batch Arrow dalam createDataFrame dengan optimasi Arrow
  • [SPARK-39400] [SQL] spark-sql harus menghapus direktori sumber daya Hive dalam semua situasi

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 11.2.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Danau Delta: 2.1.0

Perpustakaan Python terinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
Antergos Linux 2015.10 (ISO-Bergulir) argon2-cffi 20.1.0 pembangkit asinkron 1.10
atribut 21.2.0 panggilan balik 0.2.0 backports.entry-points-selectable 1.1.1
hitam 22.3.0 pemutih 4.0.0 boto3 1.21.18
botocore 1.24.18 sertifikat 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 klik 8.0.3
Kriptografi 3.4.8 pengendara sepeda 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 penghias 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
titik masuk 0,3 gambaran umum aspek 1.0.0 filelock 3.8.0
IDNA 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client (klien Jupyter) 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline (modul untuk menampilkan grafik secara inline) 0.1.2
penyetelan salah 0.8.4 ekstensi mypy 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
buku catatan 6.4.5 numpy (perpustakaan Python untuk operasi numerik) 1.20.3 pengemasan 21.0
Panda 1.3.4 Pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 kambing hitam 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Bantal 8.4.0 pipa 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy (perpustakaan Python untuk komputasi ilmiah) 1.7.1
Seaborn (perpustakaan Python untuk visualisasi data) 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
Enam 1.16.0 ssh-import-id 5.10 statsmodels (paket Python untuk pemodelan statistik) 0.12.2
kegigihan 8.0.1 selesai 0.9.4 jalur uji 0.5.0
threadpoolctl 2.2.0 Tokenisasi-RT 4.2.1 tomli 2.0.1
Tornado 6.1 traitlets 5.1.0 ekstensi-pengetikan 3.10.0.2
pembaruan otomatis tanpa pengawasan 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings versi 0.5.1 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Perpustakaan R terpasang

Library R diinstal dari cuplikan CRAN Microsoft pada 2022-08-15.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
askpass 1.1 pastikanbahwa 0.2.1 pemindahan fitur ke versi lama (backports) 1.4.1
dasar 4.1.3 base64enc 0.1-3 bit 4.0.4
bit-64 4.0.5 blob 1.2.3 sepatu bot 1.3-28
menyeduh 1.0-7 Brio 1.1.3 sapu 1.0.0
bslib 0.4.0 cashmere 1.0.6 layanan panggilan 3.7.1
caret 6.0-93 cellranger 1.1.0 kronogram 2.3-57
class 7.3-20 CLI 3.3.0 pemangkas 0.8.0
kluster 2.1.3 codetools 0.2-18 ruang warna 2.0-3
commonmark 1.8.0 pengkompilasi 4.1.3 config 0.3.1
cpp11 0.4.2 kriyon 1.5.1 kredensial 1.3.2
melengkung 4.3.2 data.table (sebuah paket untuk pengolahan data table) 1.14.2 kumpulan data 4.1.3
DBI 1.1.3 dbplyr 2.2.1 deskripsi 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
pencahayaan turun 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 elipsis 0.3.2 menilai 0,16
penggemar 1.0.3 warna-warna 2.1.1 pemetaan cepat 1.1.0
fontawesome 0.3.0 untuk kucing 0.5.1 foreach (pengulangan untuk setiap elemen) 1.5.2
asing 0.8-82 bengkel pandai besi 0.2.0 fs 1.5.2
masa depan 1.27.0 menerapkan di masa depan 1.9.0 kumur 1.2.0
obat generik 0.1.3 Gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
variabel global 0.16.0 lem 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 Grafik 4.1.3
grDevices 4.1.3 kisi 4.1.3 gridExtra 2.3
gsubfn 0.7 gtabel 0.3.0 topi keras 1.2.0
tempat aman 2.5.0 lebih tinggi 0,9 HMS 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Pengiterasi 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.39 Pelabelan 0.4.2 nanti 1.3.0
rangka 0.20-45 lahar 1.6.10 siklus hidup 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Markdown 1.1 Massa 7.3-56 Matrix 1.4-1
memosankan 2.0.1 Metode 4.1.3 mgcv 1.8-40
pantomim 0.12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv Agustus 2016 - Januari 2017 openssl 2.0.2
paralel 4.1.3 secara paralel 1.32.1 pilar 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
apresiasi 1.0.0 prettyunits 1.1.1 pROC 1.18.0
ProsesX 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Kemajuan 1.2.2 progresr 0.10.1 janji 1.2.0.1
proto 1.0.0 proksi 0,4-27 P.S. 1.7.1
menggeram lembut 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest (algoritma pembelajaran mesin) 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 alat baca 2.1.2 readxl (membaca file Excel) 1.4.0
recipes 1.0.1 pertandingan ulang 1.0.1 pertandingan ulang 2 2.1.2
pengontrol jarak jauh 2.4.2 contoh replikasi 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.2
timbangan / sisik 1.2.0 selektor 0,4-2 informasi sesi 1.2.2
bentuk 1.4.6 mengkilap 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 spasial 7.3-11
garis lengkung 4.1.3 sqldf 0,4-11 SQUAREM 2021.1
statistik 4.1.3 statistik4 4.1.3 string 1.7.8
stringr 1.4.0 bertahan hidup 3.2-13 Sistem 3.4
systemfonts 1.0.4 bahasa pemrograman Tcl/Tk 4.1.3 ujiitu 3.1.4
pemformatan teks 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 TanggalWaktu 4021.104
tinytex 0.40 perangkat 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 gunakan ini 2.1.6 utf8 1.2.2
Utilitas 4.1.3 UUID (Pengidentifikasi Unik Universal) 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 Vroom 1.5.7 Waldo 0.4.0
kumis 0,4 dengan 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Pustaka Java dan Scala terinstal (versi kluster Scala 2.12)

ID Grup Identifikasi Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.189
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-impor-ekspor 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.189
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.189
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS Java SDK Dukungan 1.12.189
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware bayangan-kriogenik 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core Jackson Annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine kafein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib rujukan_asli-java-natives 1.1
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib native_sistem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava jambu 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger pembuat profil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi kode_sumber_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.ning compress-lzf (algoritma kompresi) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Tidak peduli 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0,21%
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics inti metrik 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrik-jmx 4.1.1
io.dropwizard.metrics metrik-json 4.1.1
io.dropwizard.metrics metrik-jvm 4.1.1
io.dropwizard.metrics metrik-servlet 4.1.1
io.netty netty-all 4.1.74.Final
io.netty Netty Buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) 4.1.74.Final
io.netty Kelas netty-tcnative 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_umum 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine mentimun acar 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
jaring.bunga salju snowflake-jdbc 3.13.14
jaring.bunga salju spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr StringTemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format tanda panah 7.0.0
org.apache.arrow inti-memori-panah 7.0.0
org.apache.arrow Arrow-Memory-Netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-koleksi4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text (teks umum) 1.9
org.apache.curator kurator dan klien 2.13.0
org.apache.curator kerangka kerja kurator 2.13.0
org.apache.curator kurasi resep 2.13.0
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop hadoop-klien-api 3.3.2-databricks
org.apache.hadoop lingkungan kerja klien Hadoop 3.3.2
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API penyimpanan hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.9
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy tanaman anggur 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus anotasi penonton 0.5.0
org.apache.zookeeper penjaga kebun binatang 3.6.2
org.apache.zookeeper penjaga kebun binatang-jute 3.6.2
org.checkerframework pemeriksa kualitas 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty lanjutan dermaga 9.4.46.v20220331
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty Plus 9.4.46.v20220331
org.eclipse.jetty Jetty-Proxy 9.4.46.v20220331
org.eclipse.jetty keamanan jetty 9.4.46.v20220331
org.eclipse.jetty Jetty Server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Aplikasi web Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-klien 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-inti 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey biasa 2.34
org.glassfish.jersey.core Jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator Hibernate Validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client (klien Java untuk MariaDB) 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap pengganjal 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark tidak digunakan 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on