Databricks Runtime 11.0 (EoS)

Nota

Dukungan untuk versi Databricks Runtime ini telah berakhir. Untuk tanggal akhir dukungan, lihat Riwayat akhir dukungan dan akhir masa pakai. Untuk semua versi Databricks Runtime yang didukung, lihat catatan rilis Versi dan kompatibilitas Databricks Runtime.

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 11.0, didukung oleh Apache Spark 3.3.0. Databricks merilis versi ini pada Juni 2022.

Fitur dan peningkatan baru

Versi baru Apache Spark

Databricks Runtime 11.0 dan Databricks Runtime 11.0 Photon termasuk Apache Spark 3.3.0. Untuk detailnya, lihat Apache Spark.

Python notebook sekarang menggunakan kernel IPython

Di Databricks Runtime 11.0 ke atas, Python notebook menggunakan kernel IPython untuk menjalankan kode Python. Lihat kernel IPython.

Dukungan untuk ipywidgets

Sekarang Anda dapat menggunakan ipywidgets untuk membuat notebook Python Databricks Anda interaktif. Lihat ipywidgets.

Konektor Synapse sekarang menulis data Parquet dalam mode non-tradisional

Konektor Azure Synapse sekarang menulis data Parquet dalam mode non-warisan. Ini mempertahankan format cap INT96 waktu saat menggunakan PolyBase dan COPY perintah untuk kedua jenis beban kerja batch dan streaming.

Skema HTTPS kini diberlakukan ketika klien ABFS menggunakan token SAS

Ketika klien Azure Blob File System (ABFS) menggunakan token Tanda Tangan Akses Bersama (SAS), skema HTTPS sekarang diberlakukan.

SQL: DESC kini merupakan alias untuk DESCRIBE

Sekarang Anda dapat menggunakan DESC sebagai alias DESCRIBE saat Anda menjelaskan lokasi eksternal atau kredensial penyimpanan. Contohnya:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Fungsi current_version baru menghasilkan detail versi

Fungsi baru current_version menghasilkan versi Databricks Runtime saat ini jika tersedia, versi Databricks SQL saat ini jika tersedia, dan detail versi terkait lainnya. Gunakan fungsi baru ini untuk mengkueri informasi terkait versi. Silakan lihat fungsi current_version.

Menghilangkan batasan tabel Delta yang hilang kini menimbulkan kesalahan

Jika Sekarang Anda mencoba menghilangkan batasan tabel Delta berdasarkan nama, dan batasan tersebut tidak ada, Anda akan mendapatkan kesalahan. Untuk mendapatkan perilaku sebelumnya, yang tidak menghasilkan kesalahan jika batasan tidak ada, Anda sekarang harus menggunakan pernyataan IF EXISTS. Lihat ALTER TABLE.

SQL: Klausa EXCEPT baru dalam pernyataan SELECT mengecualikan kolom dari pilihan

SELECT pernyataan sekarang mendukung EXCEPT klausul untuk mengecualikan kolom dari pilihan. Misalnya, SELECT * EXCEPT (x) FROM table mengembalikan semua table kolom kecuali x. Kolom berlapis juga diizinkan. Misalnya, SELECT * EXCEPT (x.a) FROM table mengembalikan semua kolom dari table tetapi menghilangkan bidang a dari struct x.

Dukungan untuk menghilangkan kolom dalam tabel Delta (Pratinjau Umum)

Anda dapat menggunakan ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> atau ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) untuk menghapus kolom atau daftar kolom, masing-masing, dari tabel Delta sebagai operasi khusus metadata. Kolom secara efektif "dihapus secara lembut", karena masih berada dalam file Parquet dasar tetapi tidak lagi terlihat oleh tabel Delta.

Anda dapat menggunakan REORG TABLE <table-name> APPLY (PURGE) untuk memicu penulisan ulang file pada file yang berisi data yang dihapus sementara seperti kolom yang dihilangkan.

Anda dapat menggunakan VACUUM untuk menghapus file yang dihapus dari penyimpanan fisik, termasuk file lama yang berisi kolom yang dihilangkan dan telah ditulis ulang oleh REORG TABLE.

Peningkatan COPY INTO

Anda sekarang dapat membuat tabel placeholder Delta kosong sehingga skema nantinya disimpulkan selama perintah COPY INTO.

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Pernyataan SQL sebelumnya bersifat idempoten dan dapat dijadwalkan untuk dijalankan sehingga mengambil data tepat satu kali ke dalam tabel Delta.

Nota

Tabel Delta kosong tidak dapat digunakan di luar COPY INTO. Anda tidak dapat menggunakan INSERT INTO dan MERGE INTO menulis data ke dalam tabel Delta tanpa skema. Setelah data disisipkan ke dalam tabel dengan COPY INTO, tabel dapat dikueri.

Jika data yang Anda serap tidak dapat dibaca karena beberapa masalah kerusakan, Anda dapat melewati file yang rusak dengan mengatur ignoreCorruptFiles ke true di FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Perintah COPY INTO mengembalikan jumlah file yang dilewati karena kerusakan dalam num_skipped_corrupt_files kolom. Metrik ini juga muncul di kolom di operationMetrics bawah numSkippedCorruptFiles setelah Anda menjalankan DESCRIBE HISTORY pada tabel Delta.

File yang rusak tidak dilacak oleh COPY INTO, sehingga dapat dimuat ulang dalam proses berikutnya jika kerusakan diperbaiki. Anda dapat melihat file mana yang rusak dengan berjalan COPY INTO dalam VALIDATE mode.

CONVERT TO DELTA sekarang didukung di lingkungan yang diaktifkan Katalog Unity (Pratinjau Umum)

Di lingkungan yang mendukung Unity-Catalog, dengan CONVERT TO DELTA Anda sekarang dapat:

  • Ubah file Parquet di lokasi eksternal menjadi Delta Lake.
  • Mengonversi tabel eksternal Parquet ke tabel Delta.

Perubahan perilaku

SQL: lpad dan rpad fungsi sekarang mendukung urutan byte

Fungsi lpad dan rpad telah diperbarui untuk menambahkan dukungan untuk urutan byte selain string.

Format string dalam format_string dan printf tidak lagi memungkinkan %0$

Menentukan format %0$ dalam fungsi format_string dan printf sekarang menghasilkan kesalahan secara bawaan. Perubahan ini untuk mempertahankan perilaku yang diharapkan dengan versi Databricks Runtime sebelumnya dan database pihak ketiga umum. Argumen pertama harus selalu mereferensikan %1$ saat Anda menggunakan indeks argumen untuk menunjukkan posisi argumen dalam daftar argumen.

Nilai null dalam file CSV sekarang ditulis sebagai string kosong yang tidak dikutip secara default

Nilai null dalam file CSV sebelumnya ditulis sebagai string kosong dengan tanda kutip. Dengan rilis ini, nilai null dalam file CSV sekarang ditulis sebagai string kosong yang tidak dikutip secara default. Untuk mengubah kembali ke perilaku sebelumnya, atur opsi nullValue ke "" untuk operasi penulisan.

Properti external tabel sekarang dicadangkan

Properti external sekarang menjadi properti tabel yang dicadangkan secara default. Sekarang pengecualian dilempar ketika properti external digunakan dengan klausul CREATE TABLE ... TBLPROPERTIES dan ALTER TABLE ... SET TBLPROPERTIES.

Log4j ditingkatkan dari Log4j 1 ke Log4j 2

Log4j 1 sedang ditingkatkan ke Log4j 2. Dependensi Log4j 1 lama sedang dihapus.

Jika Anda bergantung pada kelas Log4j 1 yang sebelumnya disertakan di dalam Databricks Runtime, kelas tersebut tidak lagi ada. Anda harus meningkatkan dependensi Anda ke Log4j 2.

Jika Anda memiliki plugin kustom atau file konfigurasi yang bergantung pada Log4j 2, plugin tersebut mungkin tidak lagi berfungsi dengan versi Log4j 2 dalam rilis ini. Untuk bantuan, hubungi tim akun Azure Databricks Anda.

Pustaka yang diinstal dari Maven sekarang diselesaikan di bidang komputasi Anda secara default

Pustaka Maven sekarang secara otomatis tersedia di bidang komputasi Anda saat Anda menginstal pustaka pada kluster. Kluster Anda harus memiliki akses ke Maven Central. Atau, Anda dapat kembali ke perilaku sebelumnya dengan mengatur properti konfigurasi Spark:

spark.databricks.libraries.enableMavenResolution false

Pemulihan kesalahan perangkat lunak

  • Kompatibilitas biner untuk LeafNode, UnaryNode, dan BinaryNode antara Apache Spark dan Databricks Runtime telah diperbaiki dan kelas sekarang kompatibel dengan Apache Spark 3.3.0 ke atas. Jika Anda menemukan pesan berikut atau serupa saat menggunakan paket pihak ketiga dengan Databricks Runtime, bangun kembali paket dengan Apache Spark 3.3.0 atau lebih tinggi: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:
    • platformdir dari 2.5.1 hingga 2.5.2
    • protobuf dari 3.20.0 hingga 3.20.1
  • Pustaka R yang ditingkatkan:
    • blob dari 1.2.2 ke 1.2.3
    • sapu dari 0,7,12 hingga 0,8,0
    • caret dari 6.0-91 hingga 6.0-92
    • cli dari 3.2.0 hingga 3.3.0
    • dplyr dari 1.0.8 hingga 1.0.9
    • pembaruan dari 1.24.0 ke versi masa depan 1.25.0
    • future.apply dari 1.8.1 hingga 1.9.0
    • gert dari 1.5.0 hingga 1.6.0
    • ggplot2 dari 3.3.5 ke 3.3.6
    • glmnet dari 4,1-3 hingga 4,1-4
    • haven dari 2.4.3 hingga 2.5.0
    • httr dari 1.4.2 hingga 1.4.3
    • knitr dari 1.38 hingga 1.39
    • magrittr dari 2.0.2 hingga 2.0.3
    • secara paralel dari 1.30.0 hingga 1.31.1
    • ps dari 1.6.0 ke 1.7.0
    • RColorBrewer dari 1,1-2 ke 1,1-3
    • RcppEigen dari 0.3.3.9.1 ke 0.3.3.9.2
    • readxl dari 1.3.1 hingga 1.4.0
    • rmarkdown dari 2.13 ke 2.14
    • rprojroot dari 2.0.2 ke 2.0.3
    • RSQLite dari 2.2.11 ke 2.2.13
    • skala dari 1.1.1 ke 1.2.0
    • testthat dari 3.1.2 ke 3.1.4
    • tibble dari 3.1.6 ke 3.1.7
    • tinytex dari 0,37 hingga 0,38
    • tzdb dari 0.2.0 hingga 0.3.0
    • uuid dari 1,0-4 hingga 1,1-0
    • vctrs dari 0.3.8 hingga 0.4.1
  • Pustaka Java yang ditingkatkan:
    • com.fasterxml.jackson.core.jackson-annotations dari 2.13.0 hingga 2.13.3
    • com.fasterxml.jackson.core.jackson-core dari 2.13.0 ke 2.13.3
    • com.fasterxml.jackson.core.jackson-databind dari 2.13.0 hingga 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor dari 2.13.0 hingga 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda dari 2.13.0 hingga 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer dari 2.13.0 hingga 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 dari 2.13.0 hingga 2.13.3
    • com.google.crypto.tink.tink dari 1.6.0 hingga 1.6.1
    • com.ning.compress-lzf dari 1.0.3 hingga 1.1
    • dev.ludovic.netlib.arpack dari 2.2.0 ke 2.2.1
    • dev.ludovic.netlib.blas dari 2.2.0 ke 2.2.1
    • dev.ludovic.netlib.lapack dari 2.2.0 ke 2.2.1
    • io.netty.netty-all dari 4.1.73.Final ke 4.1.74.Final
    • io.netty.netty-buffer berubah dari 4.1.73.Final menjadi 4.1.74.Final
    • io.netty.netty-codec dari 4.1.73.Final ke 4.1.74.Final
    • io.netty.netty-common dari 4.1.73.Final ke 4.1.74.Final
    • io.netty.netty-handler dari 4.1.73.Final ke 4.1.74.Final
    • io.netty.netty-resolver dari 4.1.73.Final ke 4.1.74.Final
    • kelas io.netty.netty-tcnative dari 2.0.46.Final hingga 2.0.48.Final
    • Pembaruan versi io.netty.netty-transport dari 4.1.73.Final menjadi 4.1.74.Final
    • io.netty.netty-transport-classes-epoll dari 4.1.73.Final ke 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue dari 4.1.73.Final ke 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 dari 4.1.73.Final ke 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 dari 4.1.73.Final ke 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 dari 4.1.73.Final ke 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-x86_64 dari 4.1.73.Final ke 4.1.74.Final
    • io.netty.netty-transport-native-unix-common dari 4.1.73.Final ke 4.1.74.Final
    • joda-time.joda-time dari 2.10.12 hingga 2.10.13
    • org.apache.commons.commons-math3 dari 3.4.1 hingga 3.6.1
    • org.apache.httpcomponents.httpcore dari 4.4.12 ke 4.4.14
    • org.apache.orc.orc-core dari 1.7.3 ke 1.7.4
    • org.apache.orc.orc-mapreduce dari 1.7.3 ke 1.7.4
    • org.apache.orc.orc-shims dari 1.7.3 hingga 1.7.4
    • org.eclipse.jetty.jetty-client diperbarui dari versi 9.4.43.v20210629 ke versi 9.4.46.v20220331
    • org.eclipse.jetty.jetty-continuation dari 9.4.43.v20210629 ke 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http dari 9.4.43.v20210629 ke 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
    • org.eclipse.jetty.jetty-jndi dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server dari 9.4.43.v20210629 ke 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets dari 9.4.43.v20210629 ke 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax dari 9.4.43.v20210629 menjadi 9.4.46.v20220331
    • org.eclipse.jetty.jetty-webapp dari 9.4.43.v20210629 ke 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml dari 9.4.43.v20210629 ke 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api dari 9.4.43.v20210629 ke 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client dari 9.4.43.v20210629 ke 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-common dari 9.4.43.v20210629 ke 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server dari 9.4.43.v20210629 ke 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet dari 9.4.43.v20210629 ke 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client dari 2.2.5 hingga 2.7.4
    • org.postgresql.postgresql dari 42.2.19 ke 42.3.3
    • org.roaringbitmap.RoaringBitmap dari 0.9.23 ke 0.9.25
    • org.roaringbitmap.shims dari 0.9.23 hingga 0.9.25
    • org.rocksdb.rocksdbjni dari 6.20.3 hingga 6.24.2
    • org.slf4j.jcl-over-slf4j dari 1.7.32 menjadi 1.7.36
    • org.slf4j.jul-to-slf4j dari 1.7.32 menjadi 1.7.36
    • org.slf4j.slf4j-api dari 1.7.30 ke 1.7.36

Apache Spark

Databricks Runtime 11.0 menyertakan Apache Spark 3.3.0.

Di bagian ini:

Spark SQL dan Core

Mode ANSI

  • Aturan sintaksis cast eksplisit baru dalam mode ANSI (SPARK-33354)
  • Elt() harus mengembalikan null jika indeks null di bawah mode ANSI (SPARK-38304)
  • Secara opsional mengembalikan hasil null jika elemen tidak ada dalam array/peta (SPARK-37750)
  • Izinkan konversi antara jenis numerik dan tipe stempel waktu (SPARK-37714)
  • Nonaktifkan kata kunci cadangan ANSI secara default (SPARK-37724)
  • Gunakan aturan penetapan penyimpanan untuk menyelesaikan pemanggilan fungsi (SPARK-37438)
  • Menambahkan konfigurasi untuk memungkinkan transmisi antara Datetime dan Numerik (SPARK-37179)
  • Tambahkan konfigurasi untuk secara opsional memaksakan kata kunci yang telah dipesan oleh ANSI (SPARK-37133)
  • Melarang operasi biner antara Interval dan String literal (SPARK-36508)

Penyempurnaan fitur

  • Mendukung jenis INTERVAL SQL ANSI (SPARK-27790)
  • Penyempurnaan Pesan Kesalahan (SPARK-38781)
  • Dukungan Metadata File Tersembunyi untuk Spark SQL (SPARK-37273)
  • Mendukung literal string kasar (SPARK-36371)
  • Kelas pembantu untuk batch Dataset.observe() (SPARK-34806)
  • Dukungan menentukan nomor partisi awal untuk penyeimbangan ulang (SPARK-38410)
  • Mendukung mode cascading untuk dropNamespace API (SPARK-37929)
  • Izinkan penugasan penyimpanan dan peralihan implisit di antara jenis tanggal dan waktu (SPARK-37707)
  • Kumpulkan, pertama dan terakhir harus berupa fungsi agregat deterministik (SPARK-32940)
  • Menambahkan ExpressionBuilder untuk fungsi dengan kelebihan beban kompleks (SPARK-37164)
  • Menambahkan dukungan array ke union by name (SPARK-36546)
  • Menambahkan df.withMetadata: penyederhanaan sintaks untuk memperbarui metadata dataframe (SPARK-36642)
  • Mendukung literal string kasar (SPARK-36371)
  • Gunakan CAST dalam penguraian tanggal/tanda waktu dengan pola default (SPARK-36418)
  • Kelas nilai dukungan dalam skema berlapis untuk Himpunan Data (SPARK-20384)
  • Menambahkan dukungan sintaks AS OF (SPARK-37219)
  • Tambahkan REPEATABLE di TABLESAMPLE untuk menentukan seed (SPARK-37165)
  • Menambahkan sintaks set catalog xxx ansi untuk mengubah katalog saat ini (SPARK-36841)
  • Mendukung ILIKE (SEMUA | APA SAJA | SOME) - case insensitive LIKE (SPARK-36674, SPARK-36736, SPARK-36778)
  • Tahap kueri dukungan memperlihatkan statistik runtime dalam mode penjelasan berformat (SPARK-38322)
  • Menambahkan metrik ukuran tumpahan untuk penggabungan dengan pengurutan (SPARK-37726)
  • Perbarui sintaks SQL SHOW FUNCTIONS (SPARK-37777)
  • Mendukung sintaks DROP COLUMN [JIKA ADA] (SPARK-38939)
  • Fungsi bawaan baru dan ekstensinya (SPARK-38783)

peningkatan performa

  • Pembuatan kode seluruh tahap
    • Menambahkan code-gen untuk pengurutan agregat tanpa mengelompokkan kunci (SPARK-37564)
    • Menambahkan code-gen untuk gabungan gabungan pengurutan luar penuh (SPARK-35352)
    • Menambahkan code-gen untuk gabungan hash terkocok luar penuh (SPARK-32567)
    • Menambahkan pembuatan kode untuk pengurutan dan pencampuran gabungan keberadaan (SPARK-37316)
  • Dorong ke bawah (filter)
    • Mendorong ke bawah filter melalui RebalancePartitions (SPARK-37828)
    • Mendorong ke bawah filter kolom boolean (SPARK-36644)
    • Dorong ke bawah batas 1 untuk sisi kanan gabungan semi/anti kiri jika kondisi gabungan kosong (SPARK-37917)
    • Menerjemahkan fungsi agregat yang lebih standar untuk pushdown (SPARK-37527)
    • Mendukung penerusan hubungan kosong melalui agregat/penggabungan (SPARK-35442)
    • Pemfilteran Runtime tingkat baris (SPARK-32268)
    • Mendukung Left Semi Join dalam filter runtime tingkat baris (SPARK-38565)
    • Mendukung pendorongan predikat dan pemangkasan kolom untuk CTEs yang telah dideduplikasi (SPARK-37670)
  • Vektorisasi
    • Menerapkan ConstantColumnVector dan meningkatkan performa metadata file tersembunyi (SPARK-37896)
    • Aktifkan pembacaan vektorisasi untuk VectorizedPlainValuesReader.readBooleans (SPARK-35867)
  • Gabungkan/hapus/ganti simpul
    • Gabungkan serikat kerja jika ada proyek di antara mereka (SPARK-37915)
    • Gabungkan menjadi satu cast jika kita dapat dengan aman menaikkan tingkat dua cast (SPARK-37922)
    • Hapus Sortir jika merupakan turunan dari RepartitionByExpression (SPARK-36703)
    • Menghapus gabungan luar jika hanya memiliki DISTINCT di sisi yang dialirkan dengan alias (SPARK-37292)
    • Ganti hash dengan agregat pengurutan jika anak sudah diurutkan (SPARK-37455)
    • Hanya menutup proyek jika kita tidak menduplikasi ungkapan yang mahal (SPARK-36718)
    • Menghapus alias redundan setelah RewritePredicateSubquery (SPARK-36280)
    • Menggabungkan subkueri skalar yang tidak berkorelasi (SPARK-34079)
  • Pemartisian
    • Jangan tambahkan pemangkasan partisi dinamis jika ada pemangkasan partisi statis (SPARK-38148)
    • Meningkatkan RebalancePartitions dalam aturan Pengoptimalisasi (SPARK-37904)
    • Tambahkan faktor partisi kecil untuk penyeimbangan ulang partisi (SPARK-37357)
  • Bergabung
    • Menyempurnakan logika untuk menurunkan gabungan broadcast hash di DynamicJoinSelection (SPARK-37753)
    • Abaikan kunci gabungan duplikat saat membangun relasi untuk gabungan hash acak SEMI/ANTI (SPARK-36794)
    • Dukungan mengoptimalkan gabungan miring bahkan jika memperkenalkan pengacakan ekstra (SPARK-33832)
  • AQE
    • Dukungan untuk menghilangkan batas dalam AQE Optimizer (SPARK-36424)
    • Optimalkan rencana satu baris dalam normal dan pengeksekusi kueri adaptif AQE (SPARK-38162)
  • Aggregate.groupOnly mendukung ekspresi yang dapat dilipat (SPARK-38489)
  • ArrayEquals ByteArrayMethods harus segera melewati pemeriksaan penyelarasan pada platform yang tidak sejajar (SPARK-37796)
  • Menambahkan pemangkasan pola pohon ke aturan CTESubstitution (SPARK-37379)
  • Menambahkan lebih banyak penyederhanaan operator Not (SPARK-36665)
  • Mendukung BooleanType di UnwrapCastInBinaryComparison (SPARK-36607)
  • Coalesce menghapus semua ekspresi setelah ekspresi pertama yang tidak dapat diubah ke null (SPARK-36359)
  • Tambahkan visitor rencana logika untuk menyebarkan atribut berbeda (SPARK-36194)

Penyempurnaan konektor bawaan

  • Umum
    • Serialisasi datetime yang fleksibel dari sumber data (SPARK-38437)
    • Perlakukan lokasi tabel sebagai absolut ketika huruf pertama jalurnya adalah slash pada perintah create/alter table (SPARK-38236)
    • Menghapus nol di depan dari partisi tipe angka statis kosong (SPARK-35561)
    • Dukungan ignoreCorruptFiles dan ignoreMissingFiles dalam opsi Sumber Data (SPARK-38767)
    • Tambahkan perintah SHOW CATALOGS (SPARK-35973)
  • Parket
    • Aktifkan nama kolom skema yang cocok menurut id bidang (SPARK-38094)
    • Hapus nama kolom pemeriksaan saat membaca/menulis data dalam format parquet (SPARK-27442)
    • Mendukung nilai boolean baca vektorisasi menggunakan pengodean RLE dengan Parquet DataPage V2 (SPARK-37864)
    • Mendukung pengodean halaman data Parquet v2 (DELTA_BINARY_PACKED) untuk jalur vektorisasi (SPARK-36879)
    • Rebase tanda waktu di zona waktu sesi yang disimpan dalam metadata Parquet/Avro (SPARK-37705)
    • Mendorong ke bawah grup menurut kolom partisi untuk agregat (SPARK-36646)
    • Agregat (Min/Maks/Hitungan) turun untuk Parquet (SPARK-36645)
    • Parquet: aktifkan kolom skema yang cocok menurut id bidang (SPARK-38094)
    • Kurangi ukuran halaman default dengan LONG_ARRAY_OFFSET jika G1GC dan ON_HEAP digunakan (SPARK-37593)
    • Menerapkan pengodean DELTA_BYTE_ARRAY dan DELTA_LENGTH_BYTE_ARRAY yang diproses secara vektorisasi untuk mendukung Parquet V2 (SPARK-37974)
    • Mendukung jenis kompleks untuk pembaca vektor Parquet (SPARK-34863)
  • Orc
    • Hapus nama bidang pemeriksaan saat membaca/menulis data yang ada di Orc (SPARK-37965)
    • Pendorongan agregat ke bawah untuk ORC (SPARK-34960)
    • Mendukung pembacaan dan penulisan interval ANSI dari/ke sumber data ORC (SPARK-36931)
    • Mendukung nama kolom yang hanya terdiri dari angka pada sumber data ORC (SPARK-36663)
  • JSON (JavaScript Object Notation)
    • Menghormati allowNonNumericNumbers saat mengurai nilai NaN dan Infinity yang dikutip di pembaca JSON (SPARK-38060)
    • Gunakan CAST untuk tanggalwaktu di CSV/JSON secara default (SPARK-36536)
    • Menyelaraskan pesan kesalahan untuk jenis kunci yang tidak didukung di MapType di pembaca Json (SPARK-35320)
  • CSV
    • Perbaikan mengacu pada kolom rekaman yang rusak dari CSV (SPARK-38534)
    • nilai null harus disimpan sebagai kosong alih-alih String kosong dengan tanda kutip "" secara default (SPARK-37575)
  • JDBC
    • Tambahkan pernyataan IMMEDIATE ke implementasi pemotongan dialek DB2 (SPARK-30062)
  • Hive
    • Dukungan menulis tabel wadah Apache Hive (format file Apache Hive dengan hash Apache Hive) (SPARK-32712)
    • Menggunakan ekspresi untuk memfilter partisi Hive di sisi klien (SPARK-35437)
    • Mendukung pemangkasan Partisi Dinamis untuk HiveTableScanExec (SPARK-36876)
    • InsertIntoHiveDir harus menggunakan sumber data jika dapat dikonversi (SPARK-38215)
    • Dukungan menulis tabel wadah Apache Hive (format Parquet/ORC dengan hash Apache Hive) (SPARK-32709)

Penonaktifan node

  • FallbackStorage tidak boleh mencoba memetakan nama host "remote" yang arbitrer (SPARK-38062)
  • ExecutorMonitor.onExecutorRemoved harus menangani ExecutorDecommission sebagai telah selesai (SPARK-38023)

Perubahan penting lainnya

  • Tambahkan penguncian berbutir halus ke BlockInfoManager (SPARK-37356)
  • Mendukung pemetaan jenis sumber daya Spark gpu/fpga ke jenis sumber daya YARN kustom (SPARK-37208)
  • Laporkan ukuran blok pengacakan yang akurat jika terdistorsi (SPARK-36967)
  • Mendukung Pengelogan Netty di lapisan jaringan (SPARK-36719)

Streaming Terstruktur

Fitur Utama

  • Memperkenalkan Trigger.AvailableNow untuk menjalankan kueri streaming seperti Trigger.Once dalam beberapa batch (SPARK-36533)

Perubahan penting lainnya

  • Gunakan StatefulOpClusteredDistribution untuk operator stateful dengan menghormati kompatibilitas mundur (SPARK-38204)
  • Memperbaiki batas waktu flatMapGroupsWithState dalam batch dengan data untuk kunci (SPARK-38320)
  • Memperbaiki masalah kebenaran pada stream-stream outer join dengan penyedia penyimpanan status RocksDB (SPARK-38684)
  • Mendukung Trigger.AvailableNow pada sumber data Kafka (SPARK-36649)
  • Optimalkan jalur tulis pada penyedia penyimpanan status RocksDB (SPARK-37224)
  • Memperkenalkan sumber data baru untuk menyediakan sekumpulan baris yang konsisten per microbatch (SPARK-37062)
  • Gunakan HashClusteredDistribution untuk operator stateful dengan memperhatikan kompatibilitas mundur yang dipertahankan (SPARK-38204)

PySpark

API Panda pada Spark

Peningkatan besar
  • Pengoptimalan indeks 'urutan terdistribusi' dengan default (SPARK-36559, SPARK-36338)
    • Dukungan untuk menentukan jenis indeks dan nama dalam PANDAS API di Spark (SPARK-36709)
    • Tampilkan jenis indeks default dalam paket SQL untuk API panda di Spark (SPARK-38654)
Fitur Utama
  • Menerapkan ps.merge_asof asli SparkSQL (SPARK-36813)
  • Mendukung TimedeltaIndex dalam API pandas pada Spark (SPARK-37525)
  • Mendukung fungsi timedelta di Python (SPARK-37275, SPARK-37510)
  • Menerapkan fungsi dalam CategoricalAccessor/CategoricalIndex (SPARK-36185)
  • Menggunakan formatter string standar Python untuk SQL API di API pandas pada Spark (SPARK-37436)
  • Mendukung operasi dasar Seri/Indeks timedelta (SPARK-37510)
  • Dukungan ps.MultiIndex.dtypes (SPARK-36930)
  • Menerapkan Index.map (SPARK-36469)
  • Terapkan Seri.xor dan Series.rxor (SPARK-36653)
  • Menerapkan operator unary invert dari integral ps.Series/Indeks (SPARK-36003)
  • Menerapkan DataFrame.cov (SPARK-36396)
  • Mendukung str dan tanda waktu untuk (Seri|DataFrame).describe() (SPARK-37657)
  • Dukung parameter columnlambda DataFrame.rename (SPARK-38763)

Perubahan penting lainnya

Perubahan mendasar
  • Hilangkan referensi ke dukungan Python 3.6 dalam dokumen dan python/dokumen (SPARK-36977)
  • Hapus hack namedtuple dengan mengganti modul pickle bawaan ke cloudpickle (SPARK-32079)
  • Tingkatkan versi minimum pandas ke 1.0.5 (SPARK-37465)
  • Peningkatan besar
    • Menyediakan profiler untuk UDF Python/Pandas (SPARK-37443)
    • Menggunakan formatter string standar Python untuk SQL API di PySpark (SPARK-37516)
    • Mengekspos kelas status dan kesalahan SQL dalam pengecualian PySpark (SPARK-36953)
    • Cobalah untuk menangkap faulthandler ketika pekerja Python gagal (SPARK-36062)
Fitur Utama
  • Menerapkan DataFrame.mapInArrow di Python (SPARK-37228)
  • Menggunakan formatter string standar Python untuk SQL API di PySpark (SPARK-37516)
  • Tambahkan df.withMetadata pyspark API (SPARK-36642)
  • Mendukung fitur timedelta Python (SPARK-37275)
  • Mengekspos fitur tableExists dalam pyspark.sql.catalog (SPARK-36176)
  • Mengungkapkan databaseExists dalam pyspark.sql.catalog (SPARK-36207)
  • Mengekspos functionExists dalam katalog pyspark sql (SPARK-36258)
  • Menambahkan Dataframe.observation ke PySpark (SPARK-36263)
  • Menambahkan API max_by/min_by ke PySpark (SPARK-36972)
  • Dukungan untuk menyimpulkan dict berlapis sebagai struct saat membuat DataFrame (SPARK-35929)
  • Tambahkan API bit/octet_length ke Scala, Python dan R (SPARK-36751)
  • Mendukung ILIKE API pada Python (SPARK-36882)
  • Tambahkan metode isEmpty untuk API DataFrame Python (SPARK-37207)
  • Menambahkan beberapa kolom yang menambahkan dukungan (SPARK-35173)
  • Menambahkan SparkContext.addArchive di PySpark (SPARK-38278)
  • Membuat tipe SQL yang dapat dievaluasi (SPARK-18621)
  • Petunjuk tipe sebaris untuk fpm.py dalam python/pyspark/mllib (SPARK-37396)
  • Implementasi parameter dropna dari SeriesGroupBy.value_counts (SPARK-38837)

MLLIB

Fitur Utama

  • Menambahkan param distanceMeasure ke trainKMeansModel (SPARK-37118)
  • Memperlihatkan LogisticRegression.setInitialModel, seperti yang KMeans dan lainnya lakukan (SPARK-36481)
  • Dukungan CrossValidatorModel mendapatkan simpangan baku metrik untuk setiap paramMap (SPARK-36425)

Peningkatan besar

  • Optimalkan beberapa treeAggregates di MLlib dengan menunda alokasi (SPARK-35848)
  • Ubah _shared_params_code_gen.py menjadi hint jenis sebaris untuk ml/param/shared.py (SPARK-37419)

Perubahan penting lainnya

SparkR

Antarmuka Pengguna

  • Ringkasan metrik spekulasi pada tingkat tahap (SPARK-36038)
  • Waktu blok baca acak terpadu untuk mengacak waktu tunggu pengambilan baca di StagePage (SPARK-37469)
  • Menambahkan konfigurasi yang dimodifikasi untuk eksekusi SQL di UI (SPARK-34735)
  • Buat ThriftServer mengenali spark.sql.redaction.string.regex (SPARK-36400)
  • Lampirkan dan mulai handler setelah aplikasi dimulai di UI (SPARK-36237)
  • Menambahkan durasi penerapan ke simpul grafik tab SQL (SPARK-34399)
  • Mendukung backend RocksDB di Spark History Server (SPARK-37680)
  • Tampilkan opsi untuk Pandas API di Spark di UI (SPARK-38656)
  • Ganti nama 'SQL' menjadi 'SQL / DataFrame' di halaman UI SQL (SPARK-38657)

Build

Pembaruan pemeliharaan

Lihat Databricks Runtime 11.0.

Lingkungan sistem

  • Sistem Operasi: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Danau Delta: 1.2.1

Perpustakaan Python terinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
Antergos Linux 2015.10 (ISO-Bergulir) argon2-cffi 20.1.0 pembangkit asinkron 1.10
atribut 21.2.0 panggilan balik 0.2.0 backports.entry-points-selectable 1.1.1
pemutih 4.0.0 boto3 1.21.18 botocore 1.24.18
sertifikat 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 pengendara sepeda 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 penghias 5.1.0
defusedxml 0.7.1 distlib 0.3.4 distro-info 0.23ubuntu1
titik masuk 0,3 gambaran umum aspek 1.0.0 filelock 3.6.0
IDNA 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client (klien Jupyter) 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline (modul untuk menampilkan grafik secara inline) 0.1.2
penyetelan salah 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 buku catatan 6.4.5
numpy (perpustakaan Python untuk operasi numerik) 1.20.3 pengemasan 21.0 Panda 1.3.4
Pandocfilters 1.4.3 parso 0.8.2 kambing hitam 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Bantal 8.4.0
pipa 21.2.4 platformdirs 2.5.2 plotly 5.6.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
pytz 2021.3 pyzmq 22.2.1 requests 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
scipy (perpustakaan Python untuk komputasi ilmiah) 1.7.1 Seaborn (perpustakaan Python untuk visualisasi data) 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 Enam 1.16.0 ssh-import-id 5.10
statsmodels (paket Python untuk pemodelan statistik) 0.12.2 kegigihan 8.0.1 selesai 0.9.4
jalur uji 0.5.0 threadpoolctl 2.2.0 Tornado 6.1
traitlets 5.1.0 pembaruan otomatis tanpa pengawasan 0.1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 pengkodean web 0.5.1
wheel 0.37.0 widgetsnbextension 3.6.0

Perpustakaan R terpasang

Pustaka R diinstal dari rekaman CRAN Microsoft pada 2022-05-06.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
askpass 1.1 pastikanbahwa 0.2.1 pemindahan fitur ke versi lama (backports) 1.4.1
dasar 4.1.3 base64enc 0.1-3 sedikit 4.0.4
bit-64 4.0.5 blob 1.2.3 sepatu bot 1.3-28
menyeduh 1.0-7 Brio 1.1.3 sapu 0.8.0
bslib 0.3.1 cashmere 1.0.6 layanan panggilan 3.7.0
caret 6.0-92 cellranger 1.1.0 kronogram 2.3-56
class 7.3-20 CLI 3.3.0 pemangkas 0.8.0
kluster 2.1.3 codetools 0.2-18 ruang warna 2.0-3
commonmark 1.8.0 pengkompilasi 4.1.3 config 0.3.1
cpp11 0.4.2 kriyon 1.5.1 kredensial 1.3.2
melengkung 4.3.2 data.table (sebuah paket untuk pengolahan data table) 1.14.2 kumpulan data 4.1.3
DBI 1.1.2 dbplyr 2.1.1 deskripsi 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
elipsis 0.3.2 menilai 0.15 penggemar 1.0.3
warna-warna 2.1.0 pemetaan cepat 1.1.0 fontawesome 0.2.2
untuk kucing 0.5.1 foreach (pengulangan untuk setiap elemen) 1.5.2 asing 0.8-82
bengkel pandai besi 0.2.0 fs 1.5.2 masa depan 1.25.0
menerapkan di masa depan 1.9.0 kumur 1.2.0 obat generik 0.1.2
Gert 1.6.0 ggplot2 3.3.6 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 variabel global 0.14.0
lem 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 Grafik 4.1.3 grDevices 4.1.3
kisi 4.1.3 gridExtra 2.3 gsubfn 0.7
gtabel 0.3.0 topi keras 0.2.0 tempat aman 2.5.0
lebih tinggi 0,9 HMS 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
ids 1.0.1 ini 0.3.1 ipred 0.9-12
isoband 0.2.5 Pengiterasi 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 knitr 1.39
Pelabelan 0.4.2 nanti 1.3.0 rangka 0.20-45
lahar 1.6.10 siklus hidup 1.0.1 listenv 0.8.0
lubridate 1.8.0 magrittr 2.0.3 Markdown 1.1
Massa 7.3-56 Matrix 1.4-1 memosankan 2.0.1
Metode 4.1.3 mgcv 1.8-40 pantomim 0.12
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv Agustus 2016 - Januari 2017
openssl 2.0.0 paralel 4.1.3 secara paralel 1.31.1
pilar 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
apresiasi 1.0.0 prettyunits 1.1.1 pROC 1.18.0
ProsesX 3.5.3 prodlim 2019.11.13 Kemajuan 1.2.2
progresr 0.10.0 janji 1.2.0.1 proto 1.0.0
proksi 0.4-26 P.S. 1.7.0 menggeram lembut 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest (algoritma pembelajaran mesin) 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 alat baca 2.1.2
readxl (membaca file Excel) 1.4.0 recipes 0.2.0 pertandingan ulang 1.0.1
pertandingan ulang 2 2.1.2 pengontrol jarak jauh 2.4.2 contoh replikasi 2.0.1
reshape2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.2
Sass 0.4.1 timbangan / sisik 1.2.0 selektor 0,4-2
informasi sesi 1.2.2 bentuk 1.4.6 mengkilap 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
spasial 7.3-11 garis lengkung 4.1.3 sqldf 0,4-11
SQUAREM 2021.1 statistik 4.1.3 statistik4 4.1.3
string 1.7.6 stringr 1.4.0 bertahan hidup 3.2-13
Sistem 3.4 bahasa pemrograman Tcl/Tk 4.1.3 ujiitu 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 TanggalWaktu 3043.102 tinytex 0.38
perangkat 4.1.3 tzdb 0.3.0 gunakan ini 2.1.5
utf8 1.2.2 Utilitas 4.1.3 UUID (Pengidentifikasi Unik Universal) 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.4.0 kumis 0,4 dengan 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Pustaka Java dan Scala terinstal (versi kluster Scala 2.12)

ID Kelompok Identifikasi Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.189
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-impor-ekspor 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.189
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.189
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS Java SDK Dukungan 1.12.189
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics aliran 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware bayangan-kriogenik 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.3.4
com.fasterxml.jackson.core Jackson Annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine kafein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib inti 1.1.2
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib rujukan_asli-java-natives 1.1
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib native_sistem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava jambu 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger pembuat profil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi kode_sumber_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.ning compress-lzf (algoritma kompresi) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Tidak peduli 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 0,21%
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics inti metrik 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrik-jmx 4.1.1
io.dropwizard.metrics metrik-json 4.1.1
io.dropwizard.metrics metrik-jvm 4.1.1
io.dropwizard.metrics metrik-servlet 4.1.1
io.netty netty-all 4.1.74.Final
io.netty Netty Buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) 4.1.74.Final
io.netty Kelas netty-tcnative 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_umum 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx pengumpul 0.12.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.13
pohon ahli hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine mentimun acar 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
jaring.bunga salju snowflake-jdbc 3.13.14
jaring.bunga salju spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr StringTemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format tanda panah 7.0.0
org.apache.arrow inti-memori-panah 7.0.0
org.apache.arrow Arrow-Memory-Netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-koleksi4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text (teks umum) 1.9
org.apache.curator kurator dan klien 2.13.0
org.apache.curator kerangka kerja kurator 2.13.0
org.apache.curator kurasi resep 2.13.0
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop hadoop-klien-api 3.3.2-databricks
org.apache.hadoop lingkungan kerja klien Hadoop 3.3.2
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API penyimpanan hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.9
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy tanaman anggur 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orc-shims 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus anotasi penonton 0.5.0
org.apache.zookeeper penjaga kebun binatang 3.6.2
org.apache.zookeeper penjaga kebun binatang-jute 3.6.2
org.checkerframework pemeriksa kualitas 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty lanjutan dermaga 9.4.46.v20220331
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty Plus 9.4.46.v20220331
org.eclipse.jetty Jetty-Proxy 9.4.46.v20220331
org.eclipse.jetty keamanan jetty 9.4.46.v20220331
org.eclipse.jetty Jetty Server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Aplikasi web Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-klien 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-inti 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey biasa 2.34
org.glassfish.jersey.core Jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator Hibernate Validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotasi 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client (klien Java untuk MariaDB) 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap pengganjal 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark tidak digunakan 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on