Databricks Runtime 11.2 (tidak didukung)
Catatan rilis berikut memberikan informasi tentang Databricks Runtime 11.2, didukung oleh Apache Spark 3.3.0. Databricks merilis gambar-gambar ini pada bulan September 2022.
Fitur dan peningkatan baru
- Mengubah izin ALTER TABLE dalam kontrol akses tabel (ACL tabel)
- Pemangkasan dinamis untuk MERGE INTO
- Deteksi konflik yang ditingkatkan di Delta dengan pemangkasan file dinamis
- Kartu Integrasi Sumber Terbuka baru pada beranda DSE/SQL
- PENINGKATAN deteksi partisi CONVERT TO DELTA
- Skema tabel sekarang mendukung nilai default untuk kolom
- Fungsi geospasial H3 baru
- Dependensi Databricks Runtime baru
- Bawa kunci Anda sendiri: Enkripsi kredensial Git
- SQL: Fungsi agregat baru any_value
- Perintah sistem file Utilitas Databricks diizinkan pada lebih banyak jenis kluster
- Hak istimewa CREATE sekarang dapat diberikan pada metastores untuk Katalog Unity
- Penulisan yang dioptimalkan untuk tabel yang tidak dipartisi di kluster yang diaktifkan Photon
- Dukungan foton untuk lebih banyak sumber data
- SQL: ALTER SHARE sekarang mendukung VERSI MULAI
Mengubah izin ALTER TABLE dalam kontrol akses tabel (ACL tabel)
Sekarang, pengguna hanya memerlukan MODIFY
izin untuk mengubah skema tabel atau properti dengan ALTER TABLE
. Kepemilikan masih diperlukan untuk memberikan izin pada tabel, mengubah pemilik dan lokasinya, atau mengganti namanya. Perubahan ini membuat model izin untuk ACL tabel konsisten dengan Katalog Unity. Lihat ALTER TABLE.
Pemangkasan dinamis untuk MERGE INTO
Saat menggunakan komputasi yang diaktifkan Photon, MERGE INTO
sekarang menggunakan pemangkasan file dan partisi dinamis jika sesuai untuk meningkatkan performa, misalnya ketika tabel sumber kecil digabungkan ke dalam tabel target yang lebih besar.
Deteksi konflik yang disempurnakan di Delta dengan pemangkasan file dinamis
Saat memeriksa potensi konflik selama penerapan, deteksi konflik sekarang mempertimbangkan file yang dipangkas oleh pemangkasan file dinamis, tetapi tidak akan dipangkas oleh filter statis. Ini menghasilkan penurunan jumlah transaksi yang gagal.
Kartu Integrasi Sumber Terbuka baru pada beranda DSE/SQL
Memperkenalkan kartu 'Integrasi Sumber Terbuka' baru di beranda DSE/SQL yang menampilkan opsi integrasi sumber terbuka seperti Tabel Langsung Delta dan inti dbt.
PENINGKATAN deteksi partisi CONVERT TO DELTA
CONVERT TO DELTA
secara otomatis menyimpulkan skema partisi untuk tabel Parquet yang terdaftar ke metastore Apache Hive atau Katalog Unity, menghilangkan kebutuhan untuk memberikan PARTITIONED BY
klausul.
CONVERT TO DELTA
memanfaatkan informasi partisi dari metastore untuk menemukan file untuk tabel Parquet alih-alih mencantumkan seluruh jalur dasar, memastikan partisi yang dihilangkan tidak ditambahkan ke tabel Delta.
Lihat Mengonversi ke Delta Lake.
Skema tabel sekarang mendukung nilai default untuk kolom
Skema tabel sekarang mendukung pengaturan nilai default untuk kolom. INSERT
, UPDATE
, dan DELETE
perintah untuk kolom ini dapat merujuk ke nilai-nilai ini dengan DEFAULT
kata kunci. Misalnya, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET
diikuti oleh INSERT INTO t VALUES (1, DEFAULT)
akan menambahkan baris (1, 42)
. Perilaku ini didukung untuk sumber data CSV, JSON, Orc, dan Parquet.
Fungsi geospasial H3 baru
Anda sekarang dapat menggunakan 28 ekspresi H3 bawaan baru untuk pemrosesan geospasial di kluster yang diaktifkan Photon, tersedia di SQL, Scala, dan Python. Lihat Fungsi geospasial H3.
Dependensi Databricks Runtime baru
Databricks Runtime sekarang tergantung pada pustaka H3 Java versi 3.7.0.
Bawa kunci Anda sendiri: Enkripsi kredensial Git
Anda dapat menggunakan Azure Key Vault untuk mengenkripsi token akses pribadi Git (PAT) atau kredensial Git lainnya.
Lihat Menyiapkan folder Databricks Git (Repos).
SQL: Fungsi agregat baru any_value
Fungsi agregat baru any_value
mengembalikan nilai expr
acak untuk sekelompok baris. Lihat fungsi agregat any_value.
Perintah sistem file Utilitas Databricks diizinkan pada lebih banyak jenis kluster
dbutils.fs
perintah (kecuali untuk perintah terkait pemasangan) sekarang diizinkan pada kluster isolasi pengguna dengan Katalog Unity, serta kluster ACL tabel warisan ketika pengguna memiliki ANY FILE
izin.
Hak istimewa CREATE sekarang dapat diberikan pada metastores untuk Katalog Unity
BUAT KATALOG, BUAT LOKASI EKSTERNAL, BUAT BERBAGI, BUAT PENERIMA, dan BUAT hak istimewa PENYEDIA sekarang dapat diberikan pada metastor Katalog Unity.
Penulisan yang dioptimalkan untuk tabel yang tidak dipartisi di kluster yang diaktifkan Photon
Tabel terkelola Unity Catalog sekarang secara otomatis mempertahankan file dengan ukuran yang disetel dengan baik dari tabel yang tidak dipartisi untuk meningkatkan kecepatan kueri dan mengoptimalkan performa.
Dukungan foton untuk lebih banyak sumber data
Photon sekarang mendukung lebih banyak sumber data, termasuk CSV dan Avro, dan juga kompatibel dengan bingkai data yang di-cache. Sebelumnya, memindai sumber data ini berarti bahwa seluruh kueri tidak dapat difoto, terlepas dari operator atau ekspresi kueri. Sekarang, kueri yang memindai sumber data ini dapat difotonisasi, membuka kunci latensi yang signifikan dan peningkatan TCO.
Fitur ini diaktifkan secara default oleh spark.databricks.photon.photonRowToColumnar.enabled
konfigurasi.
Batasan:
- Skema dengan jenis berlapis tidak didukung (yaitu array, peta, dan struktur) dalam rilis ini.
- Sumber ORC, RDD, Kinesis, Kafka, dan EventHub tidak didukung dalam rilis ini.
SQL: ALTER SHARE sekarang mendukung VERSI MULAI
Perintah ALTER SHARE
sekarang mendukung START VERSION
, yang memungkinkan penyedia untuk berbagi data mulai dari versi tabel tertentu. Lihat MENGUBAH BERBAGI.
Peningkatan pustaka
- Pustaka Python yang ditingkatkan:
- distlib dari 0.3.4 hingga 0.3.5
- filelock dari 3.7.1 hingga 3.8.0
- plotly dari 5.8.2 ke 5.9.0
- protobuf dari 4.21.2 ke 4.21.5
- Pustaka R yang ditingkatkan:
- sapu dari 0,8,0 hingga 1,0,0
- bslib dari 0.3.1 hingga 0.4.0
- callr dari 3.7.0 ke 3.7.1
- caret dari 6,0-92 hingga 6,0-93
- dbplyr dari 2.2.0 ke 2.2.1
- devtools dari 2.4.3 hingga 2.4.4
- evaluasi dari 0,15 hingga 0,16
- jauh dari 2.1.0 ke 2.1.1
- fontawesome dari 0.2.2 hingga 0.3.0
- dari 1.26.1 hingga 1.27.0
- generik dari 0.1.2 hingga 0.1.3
- gert dari 1.6.0 hingga 1.7.0
- global dari 0,15,1 ke 0,16,0
- googlesheets4 dari 1.0.0 hingga 1.0.1
- hardhat dari 1.1.0 hingga 1.2.0
- htmltool dari 0.5.2 hingga 0.5.3
- secara paralel dari 1.32.0 hingga 1.32.1
- pilar dari 1.7.0 hingga 1.8.0
- pkgload dari 1.2.4 ke 1.3.0
- processx dari 3.6.1 hingga 3.7.0
- Rcpp dari 1.0.8.3 ke 1.0.9
- resep dari 0.2.0 hingga 1.0.1
- rlang dari 1.0.2 ke 1.0.4
- roxygen2 dari 7.2.0 ke 7.2.1
- RSQLite dari 2.2.14 ke 2.2.15
- sass dari 0.4.1 hingga 0.4.2
- mengkilap dari 1.7.1 hingga 1.7.2
- stringi dari 1.7.6 hingga 1.7.8
- tibble dari 3.1.7 ke 3.1.8
- rapi dari 1.3.1 hingga 1.3.2
- timeDate dari 3043.102 hingga 4021.104
- xfun dari 0,31 hingga 0,32
- Pustaka Java yang ditingkatkan:
- org.apache.orc.orc-core dari 1.7.4 hingga 1.7.5
- org.apache.orc.orc-mapreduce dari 1.7.4 ke 1.7.5
- org.apache.orc.orc-shims dari 1.7.4 hingga 1.7.5
Apache Spark
Databricks Runtime 11.2 mencakup Apache Spark 3.3.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam Databricks Runtime 11.1 (tidak didukung), serta perbaikan bug dan peningkatan tambahan berikut yang dilakukan pada Spark:
- [SPARK-40151] [WARMFIX] [SC-109002] [SC-108809] [SQL] Mengembalikan jenis interval ANSI yang lebih luas dari fungsi persentil
- [SPARK-40054] [SQL] Memulihkan sintaks penanganan kesalahan try_cast()
- [SPARK-39489] [CORE] Meningkatkan performa JsonProtocol pengelogan peristiwa dengan menggunakan Jackson alih-alih Json4s
- [SPARK-39319] [CORE] [SQL] Membuat konteks kueri sebagai bagian dari
SparkThrowable
- [SPARK-40085] [SQL] Gunakan kelas kesalahan INTERNAL_ERROR alih-alih IllegalStateException untuk menunjukkan bug
- [SPARK-40001] [SQL] Buat penulisan NULL ke kolom DEFAULT JSON menulis 'null' ke penyimpanan
- [SPARK-39635] [SQL] Mendukung metrik driver di API metrik kustom DS v2
- [SPARK-39184] [SQL] Menangani array hasil berukuran kurang dalam urutan tanggal dan tanda waktu
- [SPARK-40019] [SQL] Komentar refaktor arrayType berisiNull dan refaktor logika kesalahpahaman dalam ekspresi collectionOperator tentang
containsNull
- [SPARK-39989] [SQL] Mendukung perkiraan statistik kolom jika ekspresi dapat dilipat
- [SPARK-39926] [SQL] Memperbaiki bug dalam kolom dukungan DEFAULT untuk pemindaian Parquet non-vektorisasi
- [SPARK-40052] [SQL] Menangani buffer byte langsung di VectorizedDeltaBinaryPackedReader
- [SPARK-40044] [SQL] Memperbaiki jenis interval target dalam kesalahan cast overflow
- [SPARK-39835] [SQL] Perbaiki EliminateSorts hapus pengurutan global di bawah pengurutan lokal
- [SPARK-40002] [SQL] Jangan mendorong batas bawah melalui jendela menggunakan ntile
- [SPARK-39976] [SQL] ArrayIntersect harus menangani null dalam ekspresi kiri dengan benar
- [SPARK-39985] [SQL] Mengaktifkan nilai kolom DEFAULT implisit dalam sisipan dari DataFrames
- [SPARK-39776] [SQL] JOIN verbose string harus menambahkan jenis Gabungan
- [SPARK-38901] [SQL] DS V2 mendukung fungsi push down misc
- [SPARK-40028] [SQL] [Tindak Lanjut] Meningkatkan contoh fungsi string
- [SPARK-39983] [CORE] [SQL] Jangan menyimpan relasi siaran yang tidak diserialisasi pada driver
- [SPARK-39812] [SQL] Menyederhanakan kode yang dibangun
AggregateExpression
dengantoAggregateExpression
- [SPARK-40028] [SQL] Menambahkan contoh biner untuk ekspresi string
- [SPARK-39981] [SQL] Lempar pengecualian QueryExecutionErrors.castingCauseOverflowErrorInTableInsert di Cast
- [SPARK-40007] [PyTHON] [SQL] Menambahkan 'mode' ke fungsi
- [SPARK-40008] [SQL] Mendukung transmisi integral ke interval ANSI
- [SPARK-40003] [PyTHON] [SQL] Menambahkan 'median' ke fungsi
- [SPARK-39952] [SQL] SaveIntoDataSourceCommand harus mencache ulang hubungan hasil
- [SPARK-39951] [SQL] Perbarui pemeriksaan kolom Parquet V2 untuk bidang berlapis
- [SPARK-33236] [Acak] Backport ke DBR 11.x: Aktifkan layanan acak berbasis Push untuk menyimpan status di tingkat NM DB untuk pekerjaan yang mempertahankan hidupkan ulang
- [SPARK-39836] [SQL] Sederhanakan V2ExpressionBuilder dengan mengekstrak metode umum.
- [SPARK-39873] [SQL] Hapus
OptimizeLimitZero
dan gabungkan ke dalamEliminateLimits
- [SPARK-39961] [SQL] DS V2 push-down menerjemahkan Cast jika cast aman
- [SPARK-39872] [SQL] Ubah untuk digunakan
BytePackerForLong#unpack8Values
dengan api input Array diVectorizedDeltaBinaryPackedReader
- [SPARK-39858] [SQL] Menghapus aturan yang tidak perlu
AliasHelper
atauPredicateHelper
untuk beberapa aturan - [SPARK-39900] [SQL] Mengatasi kondisi parsial atau dinegasikan dalam pushdown predikat format biner
- [SPARK-39904] [SQL] Ganti nama inferDate untuk memilihDate dan mengklarifikasi semantik opsi di sumber data CSV
- [SPARK-39958] [SQL] Menambahkan log peringatan ketika tidak dapat memuat objek metrik kustom
- [SPARK-39932] [SQL] WindowExec harus menghapus buffer partisi akhir
- [SPARK-37194] [SQL] Hindari pengurutan yang tidak perlu dalam penulisan v1 jika bukan partisi dinamis
- [SPARK-39902] [SQL] Menambahkan detail Pemindaian ke simpul pemindaian paket spark di SparkUI
- [SPARK-39865] [SQL] Perlihatkan pesan kesalahan yang tepat pada kesalahan luapan sisipan tabel
- [SPARK-39940] [SS] Refresh tabel katalog pada kueri streaming dengan sink DSv1
- [SPARK-39827] [SQL] Gunakan kelas
ARITHMETIC_OVERFLOW
kesalahan pada int overflow diadd_months()
- [SPARK-39914] [SQL] Menambahkan Filter DS V2 ke konversi Filter V1
- [SPARK-39857] [SQL] Backport DBR 11.x manual; V2ExpressionBuilder menggunakan jenis data LiteralValue yang salah untuk Predikat #43454
- [SPARK-39840] [SQL] [PyTHON] Factor PythonArrowInput keluar sebagai simetri ke PythonArrowOutput
- [SPARK-39651] [SQL] Memangkas kondisi filter jika dibandingkan dengan rand adalah deterministik
- [SPARK-39877] [PyTHON] Menambahkan unpivot ke PySpark DataFrame API
- [SPARK-39909] [SQL] Mengatur pemeriksaan informasi push down untuk JDBCV2Suite
- [SPARK-39834] [SQL] [SS] Sertakan statistik dan batasan asal untuk LogicalRDD jika berasal dari DataFrame
- [SPARK-39849] [SQL] Dataset.as(StructType) mengisi kolom baru yang hilang dengan nilai null
- [SPARK-39860] [SQL] Ekspresi lainnya harus memperluas Predikat
- [SPARK-39823] [SQL] [PyTHON] Ganti nama Dataset.as sebagai Dataset.to dan tambahkan DataFrame.to di PySpark
- [SPARK-39918] [SQL] [MINOR] Ganti kata "tidak sebanding" dengan "tidak dapat dibandingkan" dalam pesan kesalahan
- [SPARK-39857] [SQL] [3.3] V2ExpressionBuilder menggunakan jenis data LiteralValue yang salah untuk Dalam predikat
- [SPARK-39862] [SQL] Backport manual untuk PR 43654 yang menargetkan DBR 11.x: Perbarui SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS untuk mengizinkan/menolak UBAH TABEL ... TAMBAHKAN perintah COLUMN secara terpisah.
- [SPARK-39844] [SQL] Backport manual untuk PR 43652 yang menargetkan DBR 11.x
- [SPARK-39899] [SQL] Perbaiki meneruskan parameter pesan ke
InvalidUDFClassException
- [SPARK-39890] [SQL] Membuat TakeOrderedAndProjectExec mewarisi AliasAwareOutputOrdering
- [SPARK-39809] [PyTHON] Mendukung CharType di PySpark
- [SPARK-38864] [SQL] Menambahkan unpivot / melt ke Himpunan Data
- [SPARK-39864] [SQL] Lazily mendaftarkan ExecutionListenerBus
- [SPARK-39808] [SQL] Mendukung MODE fungsi agregat
- [SPARK-39875] [SQL] Mengubah
protected
metode di kelas akhir keprivate
ataupackage-visible
- [SPARK-39731] [SQL] Memperbaiki masalah dalam sumber data CSV dan JSON saat mengurai tanggal dalam format "yyyyMMdd" dengan kebijakan pengurai waktu YANG DIKOREKSI
- [SPARK-39805] [SS] Hentikan Trigger.Once dan Promosikan Trigger.AvailableNow
- [SPARK-39784] [SQL] Letakkan nilai Literal di sisi kanan filter sumber data setelah menerjemahkan Ekspresi Katalis ke filter sumber data
- [SPARK-39672] [SQL] [3.1] Perbaiki penghapusan proyek sebelum memfilter dengan subkueri berkorelasi
- [SPARK-39552] [SQL] Menyatukan v1 dan v2
DESCRIBE TABLE
- [SPARK-39810] [SQL] Catalog.tableExists harus menangani namespace berlapis
- [SPARK-37287] [SQL] Menarik keluar partisi dinamis dan pengurutan wadah dari FileFormatWriter
- [SPARK-39469] [SQL] Jenis tanggal inferensi untuk inferensi skema CSV
- [SPARK-39148] [SQL] Pendorongan agregat DS V2 dapat berfungsi dengan OFFSET atau LIMIT
- [SPARK-39818] [SQL] Memperbaiki bug dalam jenis ARRAY, STRUCT, MAP dengan nilai DEFAULT dengan bidang NULL
- [SPARK-39792] [SQL] Menambahkan DecimalDivideWithOverflowCheck untuk rata-rata desimal
- [SPARK-39798] [SQL] Replcace
toSeq.toArray
dengan.toArray[Any]
dalam konstruktorGenericArrayData
- [SPARK-39759] [SQL] Menerapkan listIndexes dalam JDBC (dialek H2)
- [SPARK-39385] [SQL] Mendukung pendorongan ke bawah
REGR_AVGX
danREGR_AVGY
- [SPARK-39787] [SQL] Menggunakan kelas kesalahan dalam kesalahan penguraian fungsi to_timestamp
- [SPARK-39760] [PyTHON] Mendukung Varchar di PySpark
- [SPARK-39557] [SQL] Backport manual ke DBR 11.x: Mendukung jenis ARRAY, STRUCT, MAP sebagai nilai DEFAULT
- [SPARK-39758] [SQL] [3.3] Perbaiki NPE dari fungsi regexp pada pola yang tidak valid
- [SPARK-39749] [SQL] Mode ANSI SQL: Gunakan representasi string biasa pada transmisi Desimal ke String
- [SPARK-39704] [SQL] Menerapkan createIndex & dropIndex & indexExists di JDBC (dialek H2)
- [SPARK-39803] [SQL] Gunakan
LevenshteinDistance
alih-alihStringUtils.getLevenshteinDistance
- [SPARK-39339] [SQL] Mendukung jenis TimestampNTZ di sumber data JDBC
- [SPARK-39781] [SS] Menambahkan dukungan untuk menyediakan max_open_files ke penyedia penyimpanan status rocksdb
- [SPARK-39719] [R] Menerapkan databaseExists/getDatabase di SparkR mendukung namespace layanan 3L
- [SPARK-39751] [SQL] Mengganti nama metrik pemeriksaan kunci agregat hash
- [SPARK-39772] Namespace layanan [SQL] harus null ketika database null di konstruktor lama
- [SPARK-39625] [SPARK-38904] [SQL] Tambahkan Dataset.as(StructType)
- [SPARK-39384] [SQL] Mengkompilasi fungsi agregat regresi linier bawaan untuk dialek JDBC
- [SPARK-39720] [R] Terapkan tableExists/getTable di SparkR untuk namespace 3L
- [SPARK-39744] [SQL]
REGEXP_INSTR
Menambahkan fungsi - [SPARK-39716] [R] Buat currentDatabase/setCurrentDatabase/listCatalogs di SparkR mendukung namespace 3L
- [SPARK-39788] [SQL] Ganti nama
catalogName
menjadidialectName
untukJdbcUtils
- [SPARK-39647] [CORE] Daftarkan pelaksana dengan ESS sebelum mendaftarkan BlockManager
- [SPARK-39754] [CORE] [SQL] Menghapus yang tidak digunakan
import
atau tidak perlu{}
- [SPARK-39706] [SQL] Atur kolom yang hilang dengan defaultValue sebagai konstanta di
ParquetColumnVector
- [SPARK-39699] [SQL] Membuat CollapseProject lebih cerdas tentang ekspresi pembuatan koleksi
- [SPARK-39737] [SQL]
PERCENTILE_CONT
danPERCENTILE_DISC
harus mendukung filter agregat - [SPARK-39579] [SQL][PYTHON][R] Membuat ListFunctions/getFunction/functionExists kompatibel dengan namespace 3 lapisan
- [SPARK-39627] [SQL] Pushdown JDBC V2 harus menyatukan API kompilasi
- [SPARK-39748] [SQL] [SS] Sertakan rencana logis asal untuk LogicalRDD jika berasal dari DataFrame
- [SPARK-39385] [SQL] Menerjemahkan fungsi agregat regresi linier untuk pushdown
- [SPARK-39695] [SQL]
REGEXP_SUBSTR
Menambahkan fungsi - [SPARK-39667] [SQL] Tambahkan solusi lain ketika tidak ada cukup memori untuk membangun dan menyiarkan tabel
- [SPARK-39666] [ES-337834] [SQL] Gunakan UnsafeProjection.create untuk menghormati
spark.sql.codegen.factoryMode
di ExpressionEncoder - [SPARK-39643] [SQL] Melarang ekspresi subkueri dalam nilai DEFAULT
- [SPARK-38647] [SQL] Menambahkan campuran SupportsReportOrdering dalam antarmuka untuk Pemindaian (DataSourceV2)
- [SPARK-39497][SQL] Meningkatkan pengecualian analisis kolom kunci peta yang hilang
- [SPARK-39661] [SQL] Hindari membuat Pencatat SLF4J yang tidak perlu
- [SPARK-39713] [SQL] Mode ANSI: tambahkan saran penggunaan try_element_at untuk kesalahan INVALID_ARRAY_INDEX
- [SPARK-38899] [SQL] DS V2 mendukung fungsi tanggalwaktu push down
- [SPARK-39638] [SQL] Ubah untuk digunakan
ConstantColumnVector
untuk menyimpan kolom partisi diOrcColumnarBatchReader
- [SPARK-39653] [SQL] Bersihkan
ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)
dariColumnVectorUtils
- [SPARK-39231] [SQL] Gunakan
ConstantColumnVector
alih-alihOn/OffHeapColumnVector
menyimpan kolom partisi diVectorizedParquetRecordReader
- [SPARK-39547] [SQL] V2SessionCatalog tidak boleh melempar NoSuchDatabaseException di loadNamspaceMetadata
- [SPARK-39447] [SQL] Hindari AssertionError di AdaptiveSparkPlanExec.doExecuteBroadcast
- [SPARK-39492] [SQL] MISSING_COLUMN pengerjaan ulang
- [SPARK-39679] [SQL] TakeOrderedAndProjectExec harus menghormati urutan output anak
- [SPARK-39606] [SQL] Menggunakan statistik anak untuk memperkirakan operator pesanan
- [SPARK-39611] [PyTHON] [PS] Memperbaiki alias yang salah dalam array_ufunc
- [SPARK-39656] [SQL] [3.3] Perbaiki namespace yang salah di DescribeNamespaceExec
- [SPARK-39675] [SQL] Beralih konfigurasi 'spark.sql.codegen.factoryMode' dari tujuan pengujian ke tujuan internal
- [SPARK-39139] [SQL] DS V2 mendukung push down DS V2 UDF
- [SPARK-39434][SQL] Menyediakan konteks kueri kesalahan runtime saat indeks array berada di luar batas
- [SPARK-39479] [SQL] DS V2 mendukung fungsi matematika push down (non ANSI)
- [SPARK-39618] [SQL]
REGEXP_COUNT
Menambahkan fungsi - [SPARK-39553] [CORE] Pengacakan multi-utas yang tidak terdaftar tidak boleh melempar NPE saat menggunakan Scala 2.13
- [SPARK-38755] [PyTHON] [3.3] Tambahkan file untuk mengatasi fungsi umum panda yang hilang
- [SPARK-39444] [SQL] Menambahkan OptimizeSubqueries ke dalam daftar nonExcludableRules
- [SPARK-39316] [SQL] Gabungkan PromotePrecision dan CheckOverflow ke dalam aritmatika biner desimal
- [SPARK-39505] [UI] Konten log escape yang dirender di UI
- [SPARK-39448] [SQL] Tambahkan
ReplaceCTERefWithRepartition
ke dalamnonExcludableRules
daftar - [SPARK-37961] [SQL] Mengambil alih maxRows/maxRowsPerPartition untuk beberapa operator logis
- [SPARK-35223] Kembalikan Tambahkan IssueNavigationLink
- [SPARK-39633] [SQL] Mendukung tanda waktu dalam detik untuk TimeTravel menggunakan opsi Dataframe
- [SPARK-38796] [SQL] Perbarui dokumentasi untuk string format angka dengan fungsi {try_}to_number
- [SPARK-39650] [SS] Memperbaiki skema nilai yang salah dalam deduplikasi streaming dengan kompatibilitas mundur
- [SPARK-39636] [CORE] [UI] Memperbaiki beberapa bug di JsonProtocol, yang memengaruhi tumpukan StorageLevels dan ResourceRequests Tugas/Eksekutor
- [SPARK-39432] [SQL] Mengembalikan ELEMENT_AT_BY_INDEX_ZERO dari element_at(*, 0)
- [SPARK-39349] Menambahkan metode CheckError terpusat untuk QA jalur kesalahan
- [SPARK-39453] [SQL] DS V2 mendukung pendorongan fungsi non-agregat lainnya (non ANSI)
- [SPARK-38978] [SQL] DS V2 mendukung operator push down OFFSET
- [SPARK-39567] [SQL] Mendukung interval ANSI dalam fungsi persentil
- [SPARK-39383] [SQL] Mendukung kolom DEFAULT di ALTER TABLE ALTER COLUMNS ke sumber data V2
- [SPARK-39396] [SQL] Memperbaiki pengecualian login LDAP 'kode kesalahan 49 - kredensial yang tidak valid'
- [SPARK-39548] [SQL] Perintah CreateView dengan kueri klausa jendela mencapai masalah definisi jendela yang salah tidak ditemukan
- [SPARK-39575] [AVRO] tambahkan ByteBuffer#rewind setelah ByteBuffer#get di Avr...
- [SPARK-39543] Opsi DataFrameWriterV2 harus diteruskan ke properti penyimpanan jika fallback ke v1
- [SPARK-39564] [SS] Mengekspos informasi tabel katalog ke paket logis dalam kueri streaming
- [SPARK-39582] [SQL] Perbaiki penanda "Sejak" untuk
array_agg
- [SPARK-39388] [SQL] Gunakan
orcSchema
kembali saat mendorong ke bawah predikat Orc - [SPARK-39511] [SQL] Tingkatkan push down batas lokal 1 untuk sisi kanan kiri semi/anti join jika kondisi gabungan kosong
- [SPARK-38614] [SQL] Jangan mendorong batas bawah melalui jendela yang menggunakan percent_rank
- [SPARK-39551] [SQL] Menambahkan pemeriksaan paket tidak valid AQE
- [SPARK-39383] [SQL] Mendukung kolom DEFAULT di ALTER TABLE ADD COLUMNS ke sumber data V2
- [SPARK-39538] [SQL] Hindari membuat Pencatat SLF4J yang tidak perlu
- [SPARK-39383] [SQL] Backport manual ke DBR 11.x: Refaktor dukungan kolom DEFAULT untuk melewati Analyzer utama
- [SPARK-39397] [SQL] Rilekskan AliasAwareOutputExpression untuk mendukung alias dengan ekspresi
- [SPARK-39496] [SQL] Menangani struct null di
Inline.eval
- [SPARK-39545] [SQL] Mengambil alih
concat
metode untukExpressionSet
di Scala 2.13 untuk meningkatkan performa - [SPARK-39340] [SQL] Pushdown agg DS v2 harus memungkinkan titik-titik dalam nama kolom tingkat atas
- [SPARK-39488] [SQL] Menyederhanakan penanganan kesalahan TempResolvedColumn
- [SPARK-38846] [SQL] Menambahkan pemetaan data eksplisit antara Teradata Numeric Type dan Spark DecimalType
- [SPARK-39520] [SQL] Mengambil alih
--
metode untukExpressionSet
di Scala 2.13 - [SPARK-39470] [SQL] Mendukung pemeran interval ANSI ke desimal
- [SPARK-39477] [SQL] Menghapus info "Jumlah kueri" dari file emas SQLQueryTestSuite
- [SPARK-39419] [SQL] Memperbaiki ArraySort untuk melempar pengecualian saat komparator mengembalikan null
- [SPARK-39061] [SQL] Mengatur nullable dengan benar untuk
Inline
atribut output - [SPARK-39320] [SQL] Mendukung fungsi agregat
MEDIAN
- [SPARK-39261] [CORE] Meningkatkan pemformatan baris baru untuk pesan kesalahan
- [SPARK-39355] [SQL] Kolom tunggal menggunakan yang dikutip untuk membangun UnresolvedAttribute
- [SPARK-39351] [SQL] TAMPILKAN CREATE TABLE harus meredakan properti
- [SPARK-37623] [SQL] Mendukung Fungsi Agregat ANSI: regr_intercept
- [SPARK-39374] [SQL] Meningkatkan pesan kesalahan untuk daftar kolom yang ditentukan pengguna
- [SPARK-39255] [SQL] [3.3] Meningkatkan pesan kesalahan
- [SPARK-39321] [SQL] Refaktor TryCast untuk menggunakan RuntimeReplaceable
- [SPARK-39406] [PyTHON] Menerima array NumPy di createDataFrame
- [SPARK-39267] [SQL] Membersihkan simbol dsl yang tidak perlu
- [SPARK-39171] [SQL] Menyatukan ekspresi Cast
- [SPARK-28330] [SQL] Mendukung ANSI SQL: hasil klausa offset dalam ekspresi kueri
- [SPARK-39203] [SQL] Menulis ulang lokasi tabel ke URI absolut berdasarkan URI database
- [SPARK-39313] [SQL]
toCatalystOrdering
harus gagal jika V2Expression tidak dapat diterjemahkan - [SPARK-39301] [SQL] [PyTHON] Manfaatkan LocalRelation dan hormati ukuran batch Panah dalam createDataFrame dengan pengoptimalan Panah
- [SPARK-39400] [SQL] spark-sql harus menghapus dir sumber daya apache hive dalam semua kasus
Pembaruan pemeliharaan
Lihat Pembaruan pemeliharaan Databricks Runtime 11.2.
Lingkungan sistem
- Sistem Operasi: Ubuntu 20.04.4 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.1.3
- Danau Delta: 2.1.0
Pustaka Python yang diinstal
Pustaka | Versi | Pustaka | Versi | Pustaka | Versi |
---|---|---|---|---|---|
Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 | async-generator | 1.10 |
attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
hitam | 22.3.0 | pemutih | 4.0.0 | boto3 | 1.21.18 |
botocore | 1.24.18 | certifi | 2021.10.8 | cffi | 1.14.6 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | klik | 8.0.3 |
cryptography | 3.4.8 | cycler | 0.10.0 | Cython | 0.29.24 |
dbus-python | 1.2.16 | debugpy | 1.4.1 | decorator | 5.1.0 |
defusedxml | 0.7.1 | distlib | 0.3.5 | distro-info | 0.23ubuntu1 |
titik masuk | 0,3 | facets-overview | 1.0.0 | filelock | 3.8.0 |
idna | 3.2 | ipykernel | 6.12.1 | ipython | 7.32.0 |
ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0.18.0 |
Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 |
MarkupSafe | 2.0.1 | matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
mistune | 0.8.4 | ekstensi mypy | 0.4.3 | nbclient | 0.5.3 |
nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
buku catatan | 6.4.5 | numpy | 1.20.3 | packaging | 21.0 |
pandas | 1.3.4 | pandocfilters | 1.4.3 | parso | 0.8.2 |
pathspec | 0.9.0 | patsy | 0.5.2 | pexpect=4.8.0 | 4.8.0 |
pickleshare | 0.7.5 | Pillow | 8.4.0 | pip | 21.2.4 |
platformdir | 2.5.2 | plotly | 5.9.0 | prometheus-client | 0.11.0 |
prompt-toolkit | 3.0.20 | protobuf | 4.21.5 | psutil | 5.8.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
pycparser | 2,20 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | pytz | 2021.3 |
pyzmq | 22.2.1 | permintaan | 2.26.0 | requests-unixsocket | 0.2.0 |
s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
six | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
tornado | 6.1 | traitlets=5.0.5 | 5.1.0 | typing-extensions | 3.10.0.2 |
unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
wcwidth | 0.2.5 | webencodings=0.5.1 | 0.5.1 | wheel | 0.37.0 |
widgetsnbextension | 3.6.0 |
Pustaka R yang diinstal
Pustaka R diinstal dari rekam jepret Microsoft CRAN pada 2022-08-15.
Pustaka | Versi | Pustaka | Versi | Pustaka | Versi |
---|---|---|---|---|---|
askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
dasar | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
bit64 | 4.0.5 | blob | 1.2.3 | boot | 1.3-28 |
brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.0 |
bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.1 |
caret | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
kelas | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
klaster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
cpp11 | 0.4.2 | crayon | 1.5.1 | informasi masuk | 1.3.2 |
curl | 4.3.2 | data.table | 1.14.2 | datasets | 4.1.3 |
DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
downlit | 0.4.2 | dplyr | 1.0.9 | dtplyr | 1.2.1 |
e1071 | 1.7-11 | ellipsis | 0.3.2 | evaluate | 0.16 |
fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
fontawesome | 0.3.0 | forcats | 0.5.1 | foreach | 1.5.2 |
foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
future | 1.27.0 | future.apply | 1.9.0 | gargle | 1.2.0 |
generics | 0.1.3 | Gert | 1.7.0 | ggplot2 | 3.3.6 |
GH | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
globals | 0.16.0 | glue | 1.6.2 | googledrive | 2.0.0 |
googlesheets4 | 1.0.1 | gower | 1.0.0 | graphics | 4.1.3 |
grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
gsubfn | 0,7 | gtable | 0.3.0 | hardhat | 1.2.0 |
haven | 2.5.0 | highr | 0,9 | hms | 1.1.1 |
htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
httr | 1.4.3 | ids | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
knitr | 1.39 | labeling | 0.4.2 | later | 1.3.0 |
lattice | 0.20-45 | lava | 1.6.10 | lifecycle | 1.0.1 |
listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
markdown | 1.1 | MASS | 7.3-56 | Matrix | 1.4-1 |
memoise | 2.0.1 | methods | 4.1.3 | mgcv | 1.8-40 |
mime | 0.12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
modelr | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-157 |
nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.0 |
pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
kemajuan | 1.2.2 | progressr | 0.10.1 | promises | 1.2.0.1 |
proto | 1.0.0 | proksi | 0.4-27 | ps | 1.7.1 |
purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.0 |
recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
remotes | 2.4.2 | reprex | 2.0.1 | reshape2 | 1.4.4 |
rlang | 1.0.4 | rmarkdown | 2.14 | RODBC | 1.3-19 |
roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
Rserve | 1.8-11 | RSQLite | 2.2.15 | rstudioapi | 0,13 |
rversions | 2.1.1 | rvest | 1.0.2 | sass | 0.4.2 |
scales | 1.2.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
bentuk | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
sparklyr | 1.7.7 | SparkR | 3.3.0 | spatial | 7.3-11 |
splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
stats | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
stringr | 1.4.0 | survival | 3.2-13 | sys | 3.4 |
systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
pembahasan teks | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
tinytex | 0,40 | alat | 4.1.3 | tzdb | 0.3.0 |
urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
viridisLite | 0.4.0 | vroom | 1.5.7 | waldo | 0.4.0 |
whisker | 0,4 | withr | 2.5.0 | xfun | 0,32 |
xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.5 | zip | 2.2.0 |
Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.12)
ID Grup | ID Artefak | Versi |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
com.amazonaws | aws-java-sdk-config | 1.12.189 |
com.amazonaws | aws-java-sdk-core | 1.12.189 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
com.amazonaws | aws-java-sdk-directory | 1.12.189 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
com.amazonaws | aws-java-sdk-efs | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
com.amazonaws | aws-java-sdk-emr | 1.12.189 |
com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
com.amazonaws | aws-java-sdk-glue | 1.12.189 |
com.amazonaws | aws-java-sdk-iam | 1.12.189 |
com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
com.amazonaws | aws-java-sdk-kms | 1.12.189 |
com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
com.amazonaws | aws-java-sdk-logs | 1.12.189 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
com.amazonaws | aws-java-sdk-rds | 1.12.189 |
com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
com.amazonaws | aws-java-sdk-ses | 1.12.189 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
com.amazonaws | aws-java-sdk-sns | 1.12.189 |
com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
com.amazonaws | aws-java-sdk-sts | 1.12.189 |
com.amazonaws | aws-java-sdk-support | 1.12.189 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
com.amazonaws | jmespath-java | 1.12.189 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | stream | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.13.3 |
com.fasterxml.jackson.core | jackson-core | 2.13.3 |
com.fasterxml.jackson.core | jackson-databind | 2.13.3 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.3 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.3 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.3 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.3 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.3 |
com.github.ben-manes.caffeine | caffeine | 2.3.4 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | inti | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | zstd-jni | 1.5.2-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.6 |
com.google.crypto.tink | tink | 1.6.1 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.0.204 |
com.helger | profiler | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.ning | compress-lzf | 1.1 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.15 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 2.2.1 |
dev.ludovic.netlib | blas | 2.2.1 |
dev.ludovic.netlib | lapack | 2.2.1 |
hadoop3 | jets3t-0.7 | liball_deps_2.12 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0,21% |
io.delta | delta-sharing-spark_2.12 | 0.5.0 |
io.dropwizard.metrics | metrics-core | 4.1.1 |
io.dropwizard.metrics | metrics-graphite | 4.1.1 |
io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.74.Final |
io.netty | netty-buffer | 4.1.74.Final |
io.netty | netty-codec | 4.1.74.Final |
io.netty | netty-common | 4.1.74.Final |
io.netty | netty-handler | 4.1.74.Final |
io.netty | netty-resolver | 4.1.74.Final |
io.netty | kelas netty-tcnative | 2.0.48.Final |
io.netty | netty-transport | 4.1.74.Final |
io.netty | netty-transport-classes-epoll | 4.1.74.Final |
io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-unix-common | 4.1.74.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | collector | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activation | 1.1.1 |
javax.annotation | javax.annotation-api | 1.3.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.13 |
mvn | hadoop3 | liball_deps_2.12 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | Acar | 1.2 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.14 |
net.snowflake | spark-snowflake_2.12 | 2.10.0-spark_3.2 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.8 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | arrow-format | 7.0.0 |
org.apache.arrow | arrow-memory-core | 7.0.0 |
org.apache.arrow | arrow-memory-netty | 7.0.0 |
org.apache.arrow | arrow-vector | 7.0.0 |
org.apache.avro | avro | 1.11.0 |
org.apache.avro | avro-ipc | 1.11.0 |
org.apache.avro | avro-mapred | 1.11.0 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.9 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recipes | 2.13.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-api | 3.3.2-databricks |
org.apache.hadoop | hadoop-client-runtime | 3.3.2 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.7.2 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.13 |
org.apache.httpcomponents | httpcore | 4.4.14 |
org.apache.ivy | ivy | 2.5.0 |
org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
org.apache.logging.log4j | log4j-api | 2.17.2 |
org.apache.logging.log4j | log4j-core | 2.17.2 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.7.5 |
org.apache.orc | orc-mapreduce | 1.7.5 |
org.apache.orc | orc-shims | 1.7.5 |
org.apache.parquet | parquet-column | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-common | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-encoding | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4.20 |
org.apache.yetus | audience-annotations | 0.5.0 |
org.apache.zookeeper | zookeeper | 3.6.2 |
org.apache.zookeeper | zookeeper-jute | 3.6.2 |
org.checkerframework | checker-qual | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
org.glassfish.jersey.core | jersey-client | 2.34 |
org.glassfish.jersey.core | jersey-common | 2.34 |
org.glassfish.jersey.core | jersey-server | 2.34 |
org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
org.hibernate.validator | hibernate-validator | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | anotasi | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.mlflow | mlflow-spark | 1.27.0 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.3.3 |
org.roaringbitmap | RoaringBitmap | 0.9.25 |
org.roaringbitmap | shims | 0.9.25 |
org.rocksdb | rocksdbjni | 6.24.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.14 |
org.scala-lang | scala-library_2.12 | 2.12.14 |
org.scala-lang | scala-reflect_2.12 | 2.12.14 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.2 |
org.scalanlp | breeze_2.12 | 1.2 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.36 |
org.slf4j | jul-to-slf4j | 1.7.36 |
org.slf4j | slf4j-api | 1.7.36 |
org.spark-project.spark | tidak digunakan | 1.0.0 |
org.threeten | threeten-extra | 1.5.0 |
org.tukaani | xz | 1.8 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | macro-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | snakeyaml | 1.24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
Saran dan Komentar
https://aka.ms/ContentUserFeedback.
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat:Kirim dan lihat umpan balik untuk