Bagikan melalui

Databricks Runtime 11.1 (tidak didukung)

  • Artikel

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 11.1, didukung oleh Apache Spark 3.3.0. Databricks merilis gambar-gambar ini pada Juli 2022.

Fitur dan peningkatan baru

Photon adalah GA

Photon sekarang tersedia secara umum, dimulai dengan Databricks Runtime 11.1. Photon adalah mesin kueri vektor asli di Azure Databricks, ditulis agar kompatibel langsung dengan API Apache Spark sehingga berfungsi dengan kode yang ada. Photon dikembangkan di C++ untuk memanfaatkan perangkat keras modern, dan menggunakan teknik terbaru dalam pemrosesan kueri vektorisasi untuk memanfaatkan paralelisme tingkat data dan instruksi dalam CPU, meningkatkan performa pada data dan aplikasi dunia nyata—semuanya secara asli di data lake Anda.

Photon adalah bagian dari runtime dengan performa tinggi yang menjalankan panggilan SQL dan DataFrame API yang ada lebih cepat dan mengurangi total biaya per beban kerja Anda. Photon digunakan secara default di gudang SQL Databricks.

Fitur dan peningkatan baru meliputi:

  • Operator pengurutan vektorisasi baru
  • Fungsi jendela baru yang di vektorisasi
  • Jenis dan ukuran instans baru di semua cloud

Keterbatasan:

  • UDF Scala/Python tidak didukung oleh Photon
  • RDD tidak didukung oleh Photon
  • Streaming Terstruktur tidak didukung oleh Photon

Untuk informasi selengkapnya, lihat pengumuman Photon berikut ini.

Foton: Operator pengurutan vektor baru

Photon sekarang mendukung pengurutan vektor untuk saat kueri berisi SORT_BY, CLUSTER_BY, atau fungsi jendela dengan ORDER BY.

Batasan: Photon tidak mendukung klausa global ORDER BY . Mengurutkan untuk evaluasi jendela akan difoto, tetapi pengurutan global akan terus berjalan di Spark.

Foton: Fungsi jendela baru yang di-vektorisasi

Photon sekarang mendukung evaluasi fungsi jendela vektor untuk banyak jenis bingkai dan fungsi. Fungsi jendela baru meliputi: row_number, , rank, dense_rank, laglead, percent_rank, ntile, dan nth_value. Jenis bingkai jendela yang didukung: menjalankan (UNBOUNDED PRECEDING AND CURRENT ROW), unbounded (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), growing (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING), dan shrinking (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Keterbatasan:

  • Photon hanya ROWS mendukung versi semua jenis bingkai.
  • Photon belum mendukung jenis bingkai geser (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Foton: Jenis instans yang didukung

  • dds_v5
  • ds_v5
  • eas_v4
  • eds_v4
  • eds_v5
  • es_v5
  • las_v3
  • ls_v3

Umpan data perubahan sekarang dapat secara otomatis menangani tanda waktu di luar rentang

Ubah umpan data (CDF) sekarang memiliki mode baru bagi Anda untuk memberikan tanda waktu atau versi melewati versi penerapan terbaru tanpa melemparkan kesalahan. Mode ini dinonaktifkan secara default. Anda dapat mengaktifkannya dengan mengatur konfigurasi spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled ke true.

Menjelaskan dan memperlihatkan fungsi SQL sekarang menampilkan nama Katalog Unity dalam outputnya (Pratinjau Umum)

Perintah DESC TABLE, , DESC DATABASE, DESC SCHEMADESC NAMESPACE, DESC FUNCTION, EXPLAIN, , dan SHOW CREATE TABLE sekarang selalu menampilkan nama katalog dalam outputnya.

Inferensi dan evolusi skema untuk file Parquet di Auto Loader (Pratinjau Umum)

Auto Loader sekarang mendukung inferensi dan evolusi skema untuk file Parquet. Sama seperti format JSON, CSV, dan Avro, Anda sekarang dapat menggunakan kolom data yang diselamatkan untuk menyelamatkan data tak terduga yang mungkin muncul di file Parquet Anda. Ini termasuk data yang tidak dapat diurai dalam jenis data yang diharapkan, kolom yang memiliki casing yang berbeda, atau kolom tambahan yang bukan bagian dari skema yang diharapkan. Anda dapat mengonfigurasi Auto Loader untuk mengembangkan skema secara otomatis saat menemukan penambahan kolom baru dalam data masuk. Lihat Mengonfigurasi inferensi dan evolusi skema di Pemuat Otomatis.

Auto Loader sekarang mendukung evolusi skema untuk Avro (GA)

Lihat Mengonfigurasi inferensi dan evolusi skema di Pemuat Otomatis.

Dukungan Delta Lake untuk penimpaan partisi dinamis

Delta Lake sekarang memungkinkan mode timpa partisi dinamis untuk menimpa semua data yang ada di setiap partisi logis yang penulisannya akan menerapkan data baru. Lihat Menimpa data secara selektif dengan Delta Lake.

Dukungan skema informasi untuk objek yang dibuat di Katalog Unity

Skema informasi menyediakan API berbasis SQL yang menjelaskan sendiri ke metadata berbagai objek database, termasuk tabel dan tampilan, batasan, dan rutinitas. Dalam skema informasi, Anda menemukan sekumpulan tampilan yang menjelaskan objek yang diketahui oleh katalog skema bahwa Anda memiliki hak istimewa untuk melihat. Skema SYSTEM informasi katalog mengembalikan informasi tentang objek di semua katalog dalam metastore. Lihat Skema informasi.

Batasan informasi pada tabel Delta Lake dengan Unity Catalog (Pratinjau Umum)

Anda sekarang dapat menentukan kunci primer informasi dan batasan kunci asing pada tabel Delta Lake dengan Katalog Unity. Batasan informasi tidak diberlakukan. Lihat klausa CONSTRAINT.

Unity Catalog adalah GA

Unity Catalog sekarang tersedia secara umum dimulai dengan Databricks Runtime 11.1. Lihat Apakah itu Katalog Unity?.

Delta Sharing adalah GA

Berbagi Delta sekarang tersedia secara umum dimulai dengan Databricks Runtime 11.1.

Databricks ke Databricks Delta Sharing dikelola sepenuhnya tanpa perlu bertukar token. Anda dapat membuat dan mengelola penyedia, penerima, dan berbagi di UI atau dengan SQL dan REST API.

Beberapa fitur termasuk membatasi akses penerima, mengkueri data dengan daftar akses IP dan pembatasan wilayah, dan mendelegasikan manajemen Berbagi Delta ke non-admin. Anda juga dapat mengkueri perubahan pada data atau berbagi versi tambahan dengan Ubah Umpan Data. Lihat Berbagi data dan aset AI dengan aman menggunakan Berbagi Delta.

Perubahan perilaku

Redaksi properti sensitif untuk DESCRIBE TABLE dan SHOW TABLE PROPERTIES

DESCRIBE TABLE Perintah dan SHOW TABLE PROPERTIES sekarang meredaksi properti sensitif.

Kluster pekerjaan default ke mode akses pengguna tunggal dengan Databricks Runtime 11.1 dan yang lebih tinggi

Agar mampu Unity Catalog, kluster pekerjaan menggunakan Databricks Runtime 11.1 dan yang lebih tinggi yang dibuat melalui antarmuka pengguna pekerjaan atau API pekerjaan akan default ke mode akses pengguna tunggal. Mode akses Pengguna Tunggal mendukung sebagian besar bahasa pemrograman, fitur kluster, dan fitur tata kelola data. Anda masih dapat mengonfigurasi mode akses bersama melalui UI atau API, tetapi bahasa atau fitur mungkin terbatas.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • filelock dari 3.6.0 hingga 3.7.1
    • plotly dari 5.6.0 ke 5.8.2
    • protobuf dari 3.20.1 ke 4.21.2
  • Pustaka R yang ditingkatkan:
    • chron dari 2,3-56 ke 2,3-57
    • DBI dari 1.1.2 hingga 1.1.3
    • dbplyr dari 2.1.1 ke 2.2.0
    • e1071 dari 1,7-9 ke 1,7-11
    • dari 1.25.0 ke 1.26.1
    • global dari 0,14,0 ke 0,15,1
    • hardhat dari 0.2.0 hingga 1.1.0
    • ipred dari 0,9-12 ke 0,9-13
    • openssl dari 2.0.0 hingga 2.0.2
    • secara paralel dari 1.31.1 hingga 1.32.0
    • processx dari 3.5.3 hingga 3.6.1
    • progressr dari 0.10.0 ke 0.10.1
    • proxy dari 0,4-26 ke 0,4-27
    • ps dari 1.7.0 ke 1.7.1
    • randomForest dari 4,7-1 hingga 4,7-1,1
    • roxygen2 dari 7.1.2 ke 7.2.0
    • Rserve dari 1,8-10 ke 1,8-11
    • RSQLite dari 2.2.13 ke 2.2.14
    • sparklyr dari 1.7.5 ke 1.7.7
    • tinytex dari 0,38 hingga 0,40
    • usethis dari 2.1.5 hingga 2.1.6
    • xfun dari 0,30 hingga 0,31
  • Pustaka Java yang ditingkatkan:
    • io.delta.delta-sharing-spark_2.12 dari 0.4.0 hingga 0.5.0

Apache Spark

Databricks Runtime 11.2 mencakup Apache Spark 3.3.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 11.1 (tidak didukung), serta perbaikan bug dan peningkatan tambahan berikut yang dilakukan pada Spark:

  • [SPARK-40054] [SQL] Memulihkan sintaks penanganan kesalahan try_cast()
  • [SPARK-39489] [CORE] Meningkatkan performa JsonProtocol pengelogan peristiwa dengan menggunakan Jackson alih-alih Json4s
  • [SPARK-39319] [CORE] [SQL] Membuat konteks kueri sebagai bagian dari SparkThrowable
  • [SPARK-40085] [SQL] Gunakan kelas kesalahan INTERNAL_ERROR alih-alih IllegalStateException untuk menunjukkan bug
  • [SPARK-40001] [SQL] Buat penulisan NULL ke kolom DEFAULT JSON menulis 'null' ke penyimpanan
  • [SPARK-39635] [SQL] Mendukung metrik driver di API metrik kustom DS v2
  • [SPARK-39184] [SQL] Menangani array hasil berukuran kurang dalam urutan tanggal dan tanda waktu
  • [SPARK-40019] [SQL] Komentar refaktor arrayType berisiNull dan refaktor logika kesalahpahaman dalam ekspresi collectionOperator tentang containsNull
  • [SPARK-39989] [SQL] Mendukung perkiraan statistik kolom jika ekspresi dapat dilipat
  • [SPARK-39926] [SQL] Memperbaiki bug dalam kolom dukungan DEFAULT untuk pemindaian Parquet non-vektorisasi
  • [SPARK-40052] [SQL] Menangani buffer byte langsung di VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Memperbaiki jenis interval target dalam kesalahan cast overflow
  • [SPARK-39835] [SQL] Perbaiki EliminateSorts hapus pengurutan global di bawah pengurutan lokal
  • [SPARK-40002] [SQL] Jangan mendorong batas bawah melalui jendela menggunakan ntile
  • [SPARK-39976] [SQL] ArrayIntersect harus menangani null dalam ekspresi kiri dengan benar
  • [SPARK-39985] [SQL] Mengaktifkan nilai kolom DEFAULT implisit dalam sisipan dari DataFrames
  • [SPARK-39776] [SQL] JOIN verbose string harus menambahkan jenis Gabungan
  • [SPARK-38901] [SQL] DS V2 mendukung fungsi push down misc
  • [SPARK-40028] [SQL] [Tindak Lanjut] Meningkatkan contoh fungsi string
  • [SPARK-39983] [CORE] [SQL] Jangan menyimpan relasi siaran yang tidak diserialisasi pada driver
  • [SPARK-39812] [SQL] Menyederhanakan kode yang dibangun AggregateExpression dengan toAggregateExpression
  • [SPARK-40028] [SQL] Menambahkan contoh biner untuk ekspresi string
  • [SPARK-39981] [SQL] Lempar pengecualian QueryExecutionErrors.castingCauseOverflowErrorInTableInsert di Cast
  • [SPARK-40007] [PyTHON] [SQL] Menambahkan 'mode' ke fungsi
  • [SPARK-40008] [SQL] Mendukung transmisi integral ke interval ANSI
  • [SPARK-40003] [PyTHON] [SQL] Menambahkan 'median' ke fungsi
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand harus mencache ulang hubungan hasil
  • [SPARK-39951] [SQL] Perbarui pemeriksaan kolom Parquet V2 untuk bidang berlapis
  • [SPARK-39775] [CORE] [AVRO] Menonaktifkan validasi nilai default saat mengurai skema Avro
  • [SPARK-33236] [Acak] Backport ke DBR 11.x: Aktifkan layanan acak berbasis Push untuk menyimpan status di tingkat NM DB untuk pekerjaan yang mempertahankan hidupkan ulang
  • [SPARK-39836] [SQL] Sederhanakan V2ExpressionBuilder dengan mengekstrak metode umum.
  • [SPARK-39867] [SQL] Batas global tidak boleh mewarisi OrderPreservingUnaryNode
  • [SPARK-39873] [SQL] Hapus OptimizeLimitZero dan gabungkan ke dalam EliminateLimits
  • [SPARK-39961] [SQL] DS V2 push-down menerjemahkan Cast jika cast aman
  • [SPARK-39872] [SQL] Ubah untuk digunakan BytePackerForLong#unpack8Values dengan api input Array di VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Menghapus aturan yang tidak perlu AliasHelper atau PredicateHelper untuk beberapa aturan
  • [SPARK-39962] [WARMFIX] [ES-393486] [PyTHON] [SQL] Terapkan proyeksi saat atribut grup kosong
  • [SPARK-39900] [SQL] Mengatasi kondisi parsial atau dinegasikan dalam pushdown predikat format biner
  • [SPARK-39904] [SQL] Ganti nama inferDate untuk memilihDate dan mengklarifikasi semantik opsi di sumber data CSV
  • [SPARK-39958] [SQL] Menambahkan log peringatan ketika tidak dapat memuat objek metrik kustom
  • [SPARK-39936] [SQL] Menyimpan skema di properti untuk Tampilan Spark
  • [SPARK-39932] [SQL] WindowExec harus menghapus buffer partisi akhir
  • [SPARK-37194] [SQL] Hindari pengurutan yang tidak perlu dalam penulisan v1 jika bukan partisi dinamis
  • [SPARK-39902] [SQL] Menambahkan detail Pemindaian ke simpul pemindaian paket spark di SparkUI
  • [SPARK-39865] [SQL] Perlihatkan pesan kesalahan yang tepat pada kesalahan luapan sisipan tabel
  • [SPARK-39940] [SS] Refresh tabel katalog pada kueri streaming dengan sink DSv1
  • [SPARK-39827] [SQL] Gunakan kelas ARITHMETIC_OVERFLOW kesalahan pada int overflow di add_months()
  • [SPARK-39914] [SQL] Menambahkan Filter DS V2 ke konversi Filter V1
  • [SPARK-39857] [SQL] Backport DBR 11.x manual; V2ExpressionBuilder menggunakan jenis data LiteralValue yang salah untuk Predikat #43454
  • [SPARK-39840] [SQL] [PyTHON] Factor PythonArrowInput keluar sebagai simetri ke PythonArrowOutput
  • [SPARK-39651] [SQL] Memangkas kondisi filter jika dibandingkan dengan rand adalah deterministik
  • [SPARK-39877] [PyTHON] Menambahkan unpivot ke PySpark DataFrame API
  • [SPARK-39847] [WARMFIX] [SS] Memperbaiki kondisi balapan di RocksDBLoader.loadLibrary() jika utas pemanggil terganggu
  • [SPARK-39909] [SQL] Mengatur pemeriksaan informasi push down untuk JDBCV2Suite
  • [SPARK-39834] [SQL] [SS] Sertakan statistik dan batasan asal untuk LogicalRDD jika berasal dari DataFrame
  • [SPARK-39849] [SQL] Dataset.as(StructType) mengisi kolom baru yang hilang dengan nilai null
  • [SPARK-39860] [SQL] Ekspresi lainnya harus memperluas Predikat
  • [SPARK-39823] [SQL] [PyTHON] Ganti nama Dataset.as sebagai Dataset.to dan tambahkan DataFrame.to di PySpark
  • [SPARK-39918] [SQL] [MINOR] Ganti kata "tidak sebanding" dengan "tidak dapat dibandingkan" dalam pesan kesalahan
  • [SPARK-39857] [SQL] [3.3] V2ExpressionBuilder menggunakan jenis data LiteralValue yang salah untuk Dalam predikat
  • [SPARK-39862] [SQL] Backport manual untuk PR 43654 yang menargetkan DBR 11.x: Perbarui SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS untuk mengizinkan/menolak UBAH TABEL ... TAMBAHKAN perintah COLUMN secara terpisah.
  • [SPARK-39844] [SQL] Backport manual untuk PR 43652 yang menargetkan DBR 11.x
  • [SPARK-39899] [SQL] Perbaiki meneruskan parameter pesan ke InvalidUDFClassException
  • [SPARK-39890] [SQL] Membuat TakeOrderedAndProjectExec mewarisi AliasAwareOutputOrdering
  • [SPARK-39809] [PyTHON] Mendukung CharType di PySpark
  • [SPARK-38864] [SQL] Menambahkan unpivot / melt ke Himpunan Data
  • [SPARK-39864] [SQL] Lazily mendaftarkan ExecutionListenerBus
  • [SPARK-39808] [SQL] Mendukung MODE fungsi agregat
  • [SPARK-39839] [SQL] Menangani kasus khusus Desimal panjang variabel null dengan offset non-nolAndSize dalam pemeriksaan integritas struktural UnsafeRow
  • [SPARK-39875] [SQL] Mengubah protected metode di kelas akhir ke private atau package-visible
  • [SPARK-39731] [SQL] Memperbaiki masalah dalam sumber data CSV dan JSON saat mengurai tanggal dalam format "yyyyMMdd" dengan kebijakan pengurai waktu YANG DIKOREKSI
  • [SPARK-39805] [SS] Hentikan Trigger.Once dan Promosikan Trigger.AvailableNow
  • [SPARK-39784] [SQL] Letakkan nilai Literal di sisi kanan filter sumber data setelah menerjemahkan Ekspresi Katalis ke filter sumber data
  • [SPARK-39672] [SQL] [3.1] Perbaiki penghapusan proyek sebelum memfilter dengan subkueri berkorelasi
  • [SPARK-39552] [SQL] Menyatukan v1 dan v2 DESCRIBE TABLE
  • [SPARK-39806] [SQL] _metadata Mengakses pada tabel yang dipartisi dapat menabrak kueri
  • [SPARK-39810] [SQL] Catalog.tableExists harus menangani namespace berlapis
  • [SPARK-37287] [SQL] Menarik keluar partisi dinamis dan pengurutan wadah dari FileFormatWriter
  • [SPARK-39469] [SQL] Jenis tanggal inferensi untuk inferensi skema CSV
  • [SPARK-39148] [SQL] Pendorongan agregat DS V2 dapat berfungsi dengan OFFSET atau LIMIT
  • [SPARK-39818] [SQL] Memperbaiki bug dalam jenis ARRAY, STRUCT, MAP dengan nilai DEFAULT dengan bidang NULL
  • [SPARK-39792] [SQL] Menambahkan DecimalDivideWithOverflowCheck untuk rata-rata desimal
  • [SPARK-39798] [SQL] Replcace toSeq.toArray dengan .toArray[Any] dalam konstruktor GenericArrayData
  • [SPARK-39759] [SQL] Menerapkan listIndexes dalam JDBC (dialek H2)
  • [SPARK-39385] [SQL] Mendukung pendorongan ke bawah REGR_AVGX dan REGR_AVGY
  • [SPARK-39787] [SQL] Menggunakan kelas kesalahan dalam kesalahan penguraian fungsi to_timestamp
  • [SPARK-39760] [PyTHON] Mendukung Varchar di PySpark
  • [SPARK-39557] [SQL] Backport manual ke DBR 11.x: Mendukung jenis ARRAY, STRUCT, MAP sebagai nilai DEFAULT
  • [SPARK-39758] [SQL] [3.3] Perbaiki NPE dari fungsi regexp pada pola yang tidak valid
  • [SPARK-39749] [SQL] Mode ANSI SQL: Gunakan representasi string biasa pada transmisi Desimal ke String
  • [SPARK-39704] [SQL] Menerapkan createIndex & dropIndex & indexExists di JDBC (dialek H2)
  • [SPARK-39803] [SQL] Gunakan LevenshteinDistance alih-alih StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Mendukung jenis TimestampNTZ di sumber data JDBC
  • [SPARK-39781] [SS] Menambahkan dukungan untuk menyediakan max_open_files ke penyedia penyimpanan status rocksdb
  • [SPARK-39719] [R] Menerapkan databaseExists/getDatabase di SparkR mendukung namespace layanan 3L
  • [SPARK-39751] [SQL] Mengganti nama metrik pemeriksaan kunci agregat hash
  • [SPARK-39772] Namespace layanan [SQL] harus null ketika database null di konstruktor lama
  • [SPARK-39625] [SPARK-38904] [SQL] Tambahkan Dataset.as(StructType)
  • [SPARK-39384] [SQL] Mengkompilasi fungsi agregat regresi linier bawaan untuk dialek JDBC
  • [SPARK-39720] [R] Terapkan tableExists/getTable di SparkR untuk namespace 3L
  • [SPARK-39744] [SQL] REGEXP_INSTR Menambahkan fungsi
  • [SPARK-39716] [R] Buat currentDatabase/setCurrentDatabase/listCatalogs di SparkR mendukung namespace 3L
  • [SPARK-39788] [SQL] Ganti nama catalogName menjadi dialectName untuk JdbcUtils
  • [SPARK-39647] [CORE] Daftarkan pelaksana dengan ESS sebelum mendaftarkan BlockManager
  • [SPARK-39754] [CORE] [SQL] Menghapus yang tidak digunakan import atau tidak perlu {}
  • [SPARK-39706] [SQL] Atur kolom yang hilang dengan defaultValue sebagai konstanta di ParquetColumnVector
  • [SPARK-39699] [SQL] Membuat CollapseProject lebih cerdas tentang ekspresi pembuatan koleksi
  • [SPARK-39737] [SQL] PERCENTILE_CONT dan PERCENTILE_DISC harus mendukung filter agregat
  • [SPARK-39579] [SQL][PYTHON][R] Membuat ListFunctions/getFunction/functionExists kompatibel dengan namespace 3 lapisan
  • [SPARK-39627] [SQL] Pushdown JDBC V2 harus menyatukan API kompilasi
  • [SPARK-39748] [SQL] [SS] Sertakan rencana logis asal untuk LogicalRDD jika berasal dari DataFrame
  • [SPARK-39385] [SQL] Menerjemahkan fungsi agregat regresi linier untuk pushdown
  • [SPARK-39695] [SQL] REGEXP_SUBSTR Menambahkan fungsi
  • [SPARK-39667] [SQL] Tambahkan solusi lain ketika tidak ada cukup memori untuk membangun dan menyiarkan tabel
  • [SPARK-39666] [ES-337834] [SQL] Gunakan UnsafeProjection.create untuk menghormati spark.sql.codegen.factoryMode di ExpressionEncoder
  • [SPARK-39643] [SQL] Melarang ekspresi subkueri dalam nilai DEFAULT
  • [SPARK-38647] [SQL] Menambahkan campuran SupportsReportOrdering dalam antarmuka untuk Pemindaian (DataSourceV2)
  • [SPARK-39497][SQL] Meningkatkan pengecualian analisis kolom kunci peta yang hilang
  • [SPARK-39661] [SQL] Hindari membuat Pencatat SLF4J yang tidak perlu
  • [SPARK-39713] [SQL] Mode ANSI: tambahkan saran penggunaan try_element_at untuk kesalahan INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL] DS V2 mendukung fungsi tanggalwaktu push down
  • [SPARK-39638] [SQL] Ubah untuk digunakan ConstantColumnVector untuk menyimpan kolom partisi di OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Bersihkan ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) dari ColumnVectorUtils
  • [SPARK-39231] [SQL] Gunakan ConstantColumnVector alih-alih On/OffHeapColumnVector menyimpan kolom partisi di VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog tidak boleh melempar NoSuchDatabaseException di loadNamspaceMetadata
  • [SPARK-39447] [SQL] Hindari AssertionError di AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] MISSING_COLUMN pengerjaan ulang
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec harus menghormati urutan output anak
  • [SPARK-39606] [SQL] Menggunakan statistik anak untuk memperkirakan operator pesanan
  • [SPARK-39611] [PyTHON] [PS] Memperbaiki alias yang salah dalam array_ufunc
  • [SPARK-39656] [SQL] [3.3] Perbaiki namespace yang salah di DescribeNamespaceExec
  • [SPARK-39675] [SQL] Beralih konfigurasi 'spark.sql.codegen.factoryMode' dari tujuan pengujian ke tujuan internal
  • [SPARK-39139] [SQL] DS V2 mendukung push down DS V2 UDF
  • [SPARK-39434][SQL] Menyediakan konteks kueri kesalahan runtime saat indeks array berada di luar batas
  • [SPARK-39479] [SQL] DS V2 mendukung fungsi matematika push down (non ANSI)
  • [SPARK-39618] [SQL] REGEXP_COUNT Menambahkan fungsi
  • [SPARK-39553] [CORE] Pengacakan multi-utas yang tidak terdaftar tidak boleh melempar NPE saat menggunakan Scala 2.13
  • [SPARK-38755] [PyTHON] [3.3] Tambahkan file untuk mengatasi fungsi umum panda yang hilang
  • [SPARK-39444] [SQL] Menambahkan OptimizeSubqueries ke dalam daftar nonExcludableRules
  • [SPARK-39316] [SQL] Gabungkan PromotePrecision dan CheckOverflow ke dalam aritmatika biner desimal
  • [SPARK-39505] [UI] Konten log escape yang dirender di UI
  • [SPARK-39448] [SQL] Tambahkan ReplaceCTERefWithRepartition ke dalam nonExcludableRules daftar
  • [SPARK-37961] [SQL] Mengambil alih maxRows/maxRowsPerPartition untuk beberapa operator logis
  • [SPARK-35223] Kembalikan Tambahkan IssueNavigationLink
  • [SPARK-39633] [SQL] Mendukung tanda waktu dalam detik untuk TimeTravel menggunakan opsi Dataframe
  • [SPARK-38796] [SQL] Perbarui dokumentasi untuk string format angka dengan fungsi {try_}to_number
  • [SPARK-39650] [SS] Memperbaiki skema nilai yang salah dalam deduplikasi streaming dengan kompatibilitas mundur
  • [SPARK-39636] [CORE] [UI] Memperbaiki beberapa bug di JsonProtocol, yang memengaruhi tumpukan StorageLevels dan ResourceRequests Tugas/Eksekutor
  • [SPARK-39432] [SQL] Mengembalikan ELEMENT_AT_BY_INDEX_ZERO dari element_at(*, 0)
  • [SPARK-39349] Menambahkan metode CheckError terpusat untuk QA jalur kesalahan
  • [SPARK-39453] [SQL] DS V2 mendukung pendorongan fungsi non-agregat lainnya (non ANSI)
  • [SPARK-38978] [SQL] DS V2 mendukung operator push down OFFSET
  • [SPARK-39567] [SQL] Mendukung interval ANSI dalam fungsi persentil
  • [SPARK-39383] [SQL] Mendukung kolom DEFAULT di ALTER TABLE ALTER COLUMNS ke sumber data V2
  • [SPARK-39396] [SQL] Memperbaiki pengecualian login LDAP 'kode kesalahan 49 - kredensial yang tidak valid'
  • [SPARK-39548] [SQL] Perintah CreateView dengan kueri klausa jendela mencapai masalah definisi jendela yang salah tidak ditemukan
  • [SPARK-39575] [AVRO] tambahkan ByteBuffer#rewind setelah ByteBuffer#get di Avr...
  • [SPARK-39543] Opsi DataFrameWriterV2 harus diteruskan ke properti penyimpanan jika fallback ke v1
  • [SPARK-39564] [SS] Mengekspos informasi tabel katalog ke paket logis dalam kueri streaming
  • [SPARK-39582] [SQL] Perbaiki penanda "Sejak" untuk array_agg
  • [SPARK-39388] [SQL] Gunakan orcSchema kembali saat mendorong ke bawah predikat Orc
  • [SPARK-39511] [SQL] Tingkatkan push down batas lokal 1 untuk sisi kanan kiri semi/anti join jika kondisi gabungan kosong
  • [SPARK-38614] [SQL] Jangan mendorong batas bawah melalui jendela yang menggunakan percent_rank
  • [SPARK-39551] [SQL] Menambahkan pemeriksaan paket tidak valid AQE
  • [SPARK-39383] [SQL] Mendukung kolom DEFAULT di ALTER TABLE ADD COLUMNS ke sumber data V2
  • [SPARK-39538] [SQL] Hindari membuat Pencatat SLF4J yang tidak perlu
  • [SPARK-39383] [SQL] Backport manual ke DBR 11.x: Refaktor dukungan kolom DEFAULT untuk melewati Analyzer utama
  • [SPARK-39397] [SQL] Rilekskan AliasAwareOutputExpression untuk mendukung alias dengan ekspresi
  • [SPARK-39496] [SQL] Menangani struct null di Inline.eval
  • [SPARK-39545] [SQL] Mengambil alih concat metode untuk ExpressionSet di Scala 2.13 untuk meningkatkan performa
  • [SPARK-39340] [SQL] Pushdown agg DS v2 harus memungkinkan titik-titik dalam nama kolom tingkat atas
  • [SPARK-39488] [SQL] Menyederhanakan penanganan kesalahan TempResolvedColumn
  • [SPARK-38846] [SQL] Menambahkan pemetaan data eksplisit antara Teradata Numeric Type dan Spark DecimalType
  • [SPARK-39520] [SQL] Mengambil alih -- metode untuk ExpressionSet di Scala 2.13
  • [SPARK-39470] [SQL] Mendukung pemeran interval ANSI ke desimal
  • [SPARK-39477] [SQL] Menghapus info "Jumlah kueri" dari file emas SQLQueryTestSuite
  • [SPARK-39419] [SQL] Memperbaiki ArraySort untuk melempar pengecualian saat komparator mengembalikan null
  • [SPARK-39061] [SQL] Mengatur nullable dengan benar untuk Inline atribut output
  • [SPARK-39320] [SQL] Mendukung fungsi agregat MEDIAN
  • [SPARK-39261] [CORE] Meningkatkan pemformatan baris baru untuk pesan kesalahan
  • [SPARK-39355] [SQL] Kolom tunggal menggunakan yang dikutip untuk membangun UnresolvedAttribute
  • [SPARK-39351] [SQL] TAMPILKAN CREATE TABLE harus meredakan properti
  • [SPARK-37623] [SQL] Mendukung Fungsi Agregat ANSI: regr_intercept
  • [SPARK-39374] [SQL] Meningkatkan pesan kesalahan untuk daftar kolom yang ditentukan pengguna
  • [SPARK-39255] [SQL] [3.3] Meningkatkan pesan kesalahan
  • [SPARK-39321] [SQL] Refaktor TryCast untuk menggunakan RuntimeReplaceable
  • [SPARK-39406] [PyTHON] Menerima array NumPy di createDataFrame
  • [SPARK-39267] [SQL] Membersihkan simbol dsl yang tidak perlu
  • [SPARK-39171] [SQL] Menyatukan ekspresi Cast
  • [SPARK-28330] [SQL] Mendukung ANSI SQL: hasil klausa offset dalam ekspresi kueri
  • [SPARK-39203] [SQL] Menulis ulang lokasi tabel ke URI absolut berdasarkan URI database
  • [SPARK-39313] [SQL] toCatalystOrdering harus gagal jika V2Expression tidak dapat diterjemahkan
  • [SPARK-39301] [SQL] [PyTHON] Manfaatkan LocalRelation dan hormati ukuran batch Panah dalam createDataFrame dengan pengoptimalan Panah
  • [SPARK-39400] [SQL] spark-sql harus menghapus dir sumber daya apache hive dalam semua kasus

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Databricks Runtime 11.1.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Pustaka Python yang diinstal

Pustaka Versi Pustaka Versi Pustaka Versi
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
hitam 22.3.0 pemutih 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 klik 8.0.3
cryptography 3.4.8 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
titik masuk 0,3 facets-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 ekstensi mypy 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
buku catatan 6.4.5 numpy 1.20.3 packaging 21.0
pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 patsy 0.5.2 pexpect=4.8.0 4.8.0
pickleshare 0.7.5 Pillow 8.4.0 pip 21.2.4
platformdir 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 permintaan 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets=5.0.5 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings=0.5.1 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Pustaka R yang diinstal

Pustaka R diinstal dari rekam jepret Microsoft CRAN pada 2022-08-15.

Pustaka Versi Pustaka Versi Pustaka Versi
askpass 1.1 assertthat 0.2.1 backports 1.4.1
dasar 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.0
bslib 0.4.0 cachem 1.0.6 callr 3.7.1
caret 6.0-93 cellranger 1.1.0 chron 2.3-57
kelas 7.3-20 cli 3.3.0 clipr 0.8.0
klaster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 informasi masuk 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 ellipsis 0.3.2 evaluate 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.27.0 future.apply 1.9.0 gargle 1.2.0
generics 0.1.3 Gert 1.7.0 ggplot2 3.3.6
GH 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.0 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 graphics 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 hardhat 1.2.0
haven 2.5.0 highr 0,9 hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.39 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 lifecycle 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matrix 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0.12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pillar 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
kemajuan 1.2.2 progressr 0.10.1 promises 1.2.0.1
proto 1.0.0 proksi 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
recipes 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.2
scales 1.2.0 selectr 0.4-2 sessioninfo 1.2.2
bentuk 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 survival 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
pembahasan teks 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,40 alat 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 vroom 1.5.7 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)

ID Grup ID Artefak Versi
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-app_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21%
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty kelas netty-tcnative 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collector 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine Acar 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark tidak digunakan 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1