Bagikan melalui

Databricks Runtime 17.1

Catatan rilis berikut memberikan informasi tentang Databricks Runtime 17.1, didukung oleh Apache Spark 4.0.0.

Azure Databricks merilis versi ini pada Agustus 2025.

Tip

Untuk melihat catatan rilis untuk versi Databricks Runtime yang telah mencapai akhir masa dukungan (EoS), lihat Catatan rilis Databricks Runtime yang telah mencapai akhir masa dukungan. Versi EoS Databricks Runtime telah dihentikan dan mungkin tidak diperbarui.

Fitur dan peningkatan baru

Ekspresi SQL spasial yang diperluas dan jenis data GEOMETRI dan GEOGRAFI

Anda sekarang dapat menyimpan data geospasial di kolom GEOMETRY dan GEOGRAPHY bawaan untuk meningkatkan kinerja kueri spasial. Rilis ini menambahkan lebih dari 80 ekspresi SQL spasial baru, termasuk fungsi untuk mengimpor, mengekspor, mengukur, membangun, mengedit, memvalidasi, mengubah, dan menentukan hubungan topologis dengan gabungan spasial. Lihat Fungsi geospasial ST, GEOGRAPHY jenis, dan GEOMETRY jenis.

Ekspresi tabel umum rekursif (GA)

Ekspresi tabel umum rekursif (rCTEs) sekarang tersedia secara umum. Gunakan rCTEs untuk menavigasi data hierarkis dengan CTE yang mereferensikan dirinya sendiri dan UNION ALL untuk mengikuti alur hubungan yang bersifat rekursif.

Unity Catalog Python User-Defined Table Functions (UDTF)

Anda sekarang dapat mendaftarkan UDTF Python di Unity Catalog untuk tata kelola terpusat dan logika yang dapat digunakan kembali di seluruh kueri SQL. Lihat Fungsi tabel yang ditentukan pengguna (UDTF) Python di Unity Catalog.

Dukungan untuk kolasi default tingkat skema dan katalog

Anda sekarang dapat mengatur kolase default untuk skema dan katalog di Databricks Runtime 17.1. Ini memungkinkan Anda menentukan kolase yang berlaku untuk semua objek yang dibuat dalam skema atau katalog, memastikan perilaku kolase yang konsisten di seluruh data Anda.

Lingkungan eksekusi isolasi bersama untuk Batch Unity Catalog Python UDFs

Batch Unity Catalog Python UDFs dengan pemilik yang sama sekarang dapat berbagi lingkungan isolasi secara default. Ini dapat meningkatkan performa dan mengurangi penggunaan memori dengan mengurangi jumlah lingkungan terpisah yang perlu diluncurkan.

Untuk memastikan UDF selalu berjalan di lingkungan yang sepenuhnya terisolasi, tambahkan STRICT ISOLATION klausa karakteristik. Lihat Isolasi lingkungan.

Penanganan opsi JSON yang lebih baik dengan VARIANT

Fungsi from_json dan to_json sekarang menerapkan opsi JSON dengan benar saat bekerja dengan skema tingkat VARIANT atas. Ini memastikan perilaku yang konsisten dengan jenis data lain yang didukung.

display() mendukung Mode Real-Time Streaming

Anda dapat menggunakan fungsi display() dengan kueri streaming yang menggunakan pemicu waktu nyata. Dalam mode ini, display() secara otomatis menggunakan update mode output dan menghindari penambahan LIMIT klausa, yang tidak didukung dengan update. Interval refresh tampilan juga dipisahkan dari durasi batch untuk lebih mendukung kecepatan respons real-time.

Sumber kecepatan mendukung Mode Streaming Real-Time

Sumber laju dalam Streaming Terstruktur sekarang berfungsi dengan pemicu real-time, memungkinkan pembuatan data berkelanjutan untuk alur streaming menggunakan Mode streaming Real-Time.

Timer peristiwa didukung untuk jendela berbasis waktu

Azure Databricks mendukung pemicu berbasis waktu peristiwa untuk operasi jendela berbasis waktu dalam Mode Real-Time Streaming. Ini memungkinkan penanganan data terlambat dan penanda waktu yang lebih akurat dalam kueri streaming waktu nyata.

Scalar Python UDFs mendukung kredensial layanan

UDF Scalar Python dapat menggunakan kredensial layanan Unity Catalog untuk mengakses layanan cloud eksternal dengan aman. Ini berguna untuk mengintegrasikan operasi seperti tokenisasi berbasis cloud, enkripsi, atau manajemen rahasia langsung ke dalam transformasi data Anda.

Daftar skema yang disempurnakan

Konektor Snowflake menggunakan tabel INFORMATION_SCHEMA alih-alih perintah SHOW SCHEMAS untuk mencantumkan skema. Perubahan ini menghapus batas 10.000 skema dari pendekatan sebelumnya dan meningkatkan dukungan untuk database dengan sejumlah besar skema.

Pemetaan kolom string yang disempurnakan dalam penulisan Redshift

Saat menulis tabel ke Redshift menggunakan spark.write dengan kolom string yang tanpa panjang eksplisit dipetakan ke VARCHAR(MAX), bukan TEXT. Ini menghindari perilaku default Redshift untuk menafsirkan TEXT sebagai VARCHAR(256), yang dapat menyebabkan kesalahan saat menulis string yang lebih panjang.

Dukungan untuk DDL, SHOW, dan DESCRIBE pada tabel yang dikontrol akses

Perintah SQL seperti DDL, SHOW, dan DESCRIBE sekarang berjalan pada tabel yang dikontrol akses terperintah menggunakan kluster khusus. Ketika diperlukan untuk menerapkan kontrol akses, Azure Databricks merutekan perintah ini melalui komputasi tanpa server, seperti halnya membaca, menggabungkan, dan menambahkan. Lihat Dukungan untuk perintah DDL, SHOW, DESCRIBE, dan lainnya.

Mengurangi penggunaan memori untuk skema lebar di penulis Photon

Peningkatan dilakukan pada mesin Photon yang secara signifikan mengurangi penggunaan memori untuk skema lebar, skenario alamat yang sebelumnya mengakibatkan kesalahan di luar memori.

Dukungan untuk sintaks TIMESTAMP WITHOUT TIME ZONE

Anda sekarang dapat menentukan TIMESTAMP WITHOUT TIME ZONE alih-alih TIMESTAMP_NTZ. Perubahan ini meningkatkan kompatibilitas dengan Standar SQL.

Perubahan perilaku

Mengatasi masalah korelasi subkueri

Azure Databricks tidak lagi salah menghubungkan ekspresi agregat yang sama secara semantik antara subkueri dan kueri luarnya. Sebelumnya, ini dapat menyebabkan hasil kueri yang salah.

Tanda waktu NTZ literal tidak lagi didorong ke bawah

Untuk konektor Snowflake dan Snowflake Lakehouse Federation, TIMESTAMP_NTZ (tanda waktu tanpa zona waktu) literal tidak lagi diteruskan ke Snowflake. Perubahan ini mencegah kegagalan kueri yang disebabkan oleh penanganan tanda waktu yang tidak kompatibel dan meningkatkan keandalan untuk kueri yang terpengaruh.

Kesalahan yang dilontarkan untuk batasan yang tidak valid CHECK

Azure Databricks sekarang melemparkan AnalysisException jika CHECK ekspresi batasan tidak dapat diselesaikan selama validasi batasan.

Konektor Pulsar tidak lagi mengungkapkan Bouncy Castle

Perpustakaan Kastil Bouncy sekarang berbayang di konektor Pulsar untuk mencegah konflik classpath. Akibatnya, kelas org.bouncycastle.* dari konektor tidak dapat lagi diakses oleh tugas Spark. Jika kode aplikasi Anda bergantung pada Bouncy Castle, instal pustaka secara manual di kluster Anda.

Auto Loader menggunakan peristiwa file secara default jika tersedia

Auto Loader menggunakan peristiwa file alih-alih daftar direktori saat jalur beban adalah lokasi eksternal dengan peristiwa file diaktifkan. Default untuk useManagedFileEvents sekarang if_available adalah (adalah false). Ini dapat meningkatkan performa penyerapan dan mencatat peringatan jika peristiwa file belum diaktifkan.

Properti tabel internal difilter dari SHOW CREATE TABLE

SHOW CREATE TABLE tidak lagi menyertakan properti internal yang tidak dapat diatur secara manual atau diteruskan ke CREATE TABLE. Ini mengurangi kebingungan dan menyelaraskan output dengan opsi yang dapat dikonfigurasi pengguna.

Aturan yang lebih ketat untuk gabungan stream-stream dalam mode tambahan

Azure Databricks sekarang melarang kueri streaming dalam mode penambahan yang menggunakan gabungan stream-stream diikuti dengan agregasi jendela, kecuali marka air ditentukan di kedua sisi. Kueri tanpa marka air yang tepat dapat menghasilkan hasil non-final, melanggar jaminan mode tambahan.

Konektor teradata memperbaiki perbandingan string peka huruf besar/kecil

Konektor Teradata sekarang default ke TMODE=ANSI, menyelaraskan perilaku perbandingan string dengan Azure Databricks dengan membuatnya peka huruf besar/kecil. Perubahan ini dapat dikonfigurasi dan tidak memengaruhi pengguna yang ada kecuali mereka ikut serta.

Peningkatan pustaka

  • Pustaka Python yang ditingkatkan:

    • google-auth dari 2.40.1 hingga 2.40.0
    • mlflow-skinny dari 3.0.0 hingga 3.0.1
    • opentelemetry-api dari 1.33.0 ke 1.32.1
    • opentelemetry-sdk dari 1.33.0 hingga 1.32.1
    • opentelemetry-semantic-conventions dari 0.54b0 hingga 0.53b1
    • kemasan dari 24.1 hingga 24.2
    • pip dari 24.2 hingga 25.0.1

  • Pustaka R yang ditingkatkan:

  • cli dari 3.6.4 ke 3.6.5

  • curl dari 6.2.1 ke 6.4.0

  • generik dari 0.1.3 hingga 0.1.4

  • global dari 0,16,3 ke 0,18,0

  • openssl dari 2.3.2 ke 2.3.3

  • pilar dari 1.10.1 hingga 1.11.0

  • rlang dari 1.1.5 ke 1.1.6

  • sparklyr dari 1.9.0 ke 1.9.1

  • stringi dari 1.8.4 hingga 1.8.7

  • tibble dari 3.2.1 ke 3.3.0

  • utf8 dari 1.2.4 ke 1.2.6

  • Pustaka Java yang ditingkatkan:

    • software.amazon.cryptools.AmazonCorrettoCryptoProvider dari 2.4.1-linux-x86_64 hingga 2.5.0-linux-x86_64

Apache Spark

Databricks Runtime 17.1 mencakup Apache Spark 4.0.0. Rilis ini mencakup semua perbaikan dan peningkatan Spark yang disertakan dalam versi sebelumnya, serta yang berikut ini:

  • SPARK-52721 Memperbaiki parameter pesan untuk CANNOT_PARSE_DATATYPE
  • SPARK-51919 Izinkan penimpaan Sumber Data Python terdaftar secara statis
  • SPARK-52632 Kembalikan: Simpul paket tulis V2 tampilan cantik
  • SPARK-52715 String TIME SQL yang cantik - INTERVAL DAY-TIME
  • SPARK-51268 Membuat TreeNode bebas kunci
  • SPARK-52701 Perbaiki pelesiran jenis float32 dalam mod dengan bool di bawah ANSI
  • SPARK-52563 Memperbaiki bug penamaan variabel di _assert_pandas_almost_equal
  • SPARK-52541 Menambahkan panduan pemrograman untuk Alur Deklaratif
  • SPARK-51695 Memperbaiki kegagalan pengujian yang disebabkan oleh perubahan sintaks CHECK CONSTRAINT
  • SPARK-52666 Memetakan Jenis yang Ditentukan Pengguna untuk memperbaiki MutableValue di SpecificInternalRow
  • SPARK-52660 Menambahkan jenis waktu ke CodeGenerator#javaClass
  • SPARK-52693 Dukungan +/- Interval waktu sehari ANSI ke/dari WAKTU
  • SPARK-52705 Pemeriksaan deterministik refaktor untuk ekspresi pengelompokan
  • SPARK-52699 Mendukung penggabungan jenis waktu dalam mode terinterpretasi
  • SPARK-52503 Perbaiki penurunan saat kolom input tidak ada
  • SPARK-52535 Meningkatkan keterbacaan kode aturan ApplyColumnarRulesAndInsertTransitions
  • SPARK-52551 Menambahkan Predikat v2 baru BOOLEAN_EXPRESSION
  • SPARK-52698 Kembalikan: Meningkatkan petunjuk jenis untuk modul sumber data
  • SPARK-52684 Membuat CACHE TABLE Perintah atomik ketika menghadapi kesalahan eksekusi.
  • SPARK-52671 RowEncoder tidak akan mencari UDT yang diselesaikan
  • SPARK-52670 Membuat HiveResult berfungsi dengan UserDefinedType#stringifyValue
  • SPARK-52692 Mendukung pencachean tipe waktu
  • SPARK-51516 Dukungan untuk TIME oleh server Thrift
  • SPARK-52674 Bersihkan penggunaan API yang tidak digunakan lagi yang terkait dengan RandomStringUtils
  • SPARK-51428 Menetapkan Alias untuk pohon ekspresi yang disusun secara deterministik
  • SPARK-52672 Jangan ganti Urutkan/Memiliki ekspresi dengan alias jika ekspresi ada di Agregat
  • SPARK-52618 Casting TIME(n) ke TIME(m)
  • SPARK-52656 Perbaiki current_time()
  • SPARK-52630 Mengatur ulang operator streaming dan kode manajemen status dan direktori
  • SPARK-52649 Memangkas alias sebelum mencocokkan ekspresi Sortir/Memiliki/Filter di buildAggExprList
  • SPARK-52578 Menambahkan metrik untuk baris untuk melacak kasus dan tindakan di MergeRowsExec
  • SPARK-49428 Pindahkan Klien Scala Connect dari Konektor ke SQL
  • SPARK-52494 Mendukung sintaks operator tanda titik dua untuk mengakses bidang Varian
  • SPARK-52642 Gunakan daemonWorkers.get(worker) untuk menghindari ketidaksinkronan yang tidak terduga antara idleWorkers dan daemonWorkers
  • SPARK-52570 Aktifkan pembagian dengan nol untuk rmod numerik ketika ANSI diaktifkan
  • SPARK-52633 Deduplikasi output turunan Union tunggal sebelum DeduplicateRelations
  • SPARK-52600 Pindahkan CompletionIterator ke common/utils
  • SPARK-52626 Perbolehkan pengelompokan menurut jenis waktu
  • SPARK-52395 Gagalkan tugas reducer segera ketika permintaan pengambilan Prism gagal
  • SPARK-52596 Coba buat TIMESTAMP_NTZ dari DATE dan TIME
  • SPARK-52595 Ganti nama ekspresi TimeAdd menjadi TimestampAddInterval
  • SPARK-52586 Memperkenalkan AnyTimeType
  • SPARK-52583 Menambahkan API Pengembang untuk stringifying nilai di UserDefinedType
  • SPARK-52354 Menambahkan pemaksaan tipe pada UnionLoop
  • SPARK-52579 Mengatur pembuangan penelusuran balik berkala untuk pekerja Python
  • SPARK-52456 Menurunkan batas minimum spark.eventLog.rolling.maxFileSize
  • SPARK-52536 Atur asyncProfilerLoader direktori ekstraksi ke direktori lokal spark
  • SPARK-52405 Perluas V2JDBCTest untuk menguji beberapa pembacaan partisi
  • SPARK-52303 Promosikan ExternalCommandRunner ke Stabil
  • SPARK-52572 Hindari CAST_INVALID_INPUT DataFrame.isin dalam mode ANSI
  • SPARK-52349 Mengaktifkan pengujian divisi boolean dengan ANSI diaktifkan
  • SPARK-52402 Memperbaiki kesalahan pembagian dengan nol dalam korelasi Kendall dan Pearson dalam mode ANSI
  • SPARK-52356 Aktifkan divide-by-zero untuk boolean mod/rmod dengan ANSI diaktifkan
  • SPARK-52288 Hindari INVALID_ARRAY_INDEX dalam split/rsplit saat mode ANSI aktif
  • SPARK-52557 Menghindari Pemrosesan Input Tidak Valid dengan to_numeric(errors='coerce') dalam mode ANSI
  • SPARK-52440 Menambahkan instalasi Python tambahan untuk alur deklaratif
  • SPARK-52569 Memperbaiki pengecualian cast kelas di SecondsOfTimeWithFraction
  • SPARK-52540 Membuat TIMESTAMP_NTZ dari DATE dan TIME
  • SPARK-52539 Memperkenalkan kait sesi
  • SPARK-52554 Hindari beberapa perjalanan pulang pergi untuk pemeriksaan konfigurasi di Spark Connect
  • SPARK-52553 Memperbaiki NumberFormatException saat membaca changelog v1
  • SPARK-52534 Membuat MLCache dan MLHandler aman untuk utas
  • SPARK-52460 Menyimpan nilai TIME internal sebagai nanodetik
  • SPARK-52482 Dukungan ZStandard untuk pembaca sumber data file
  • SPARK-52531 OuterReference dalam agregat subkueri salah terkait dengan agregat kueri luar
  • SPARK-52339 Perbandingan perbandingan instans InMemoryFileIndex
  • SPARK-52418 Tambahkan variabel status noElements ke PercentileHeap untuk menghindari perhitungan berulang isEmpty()
  • SPARK-52537 Cetak stacktrace saat kegagalan membuat direktori sementara
  • SPARK-52462 Menerapkan koersi jenis sebelum deduplikasi output turunan di Union
  • SPARK-52528 Aktifkan pembagian oleh nol untuk modulus numerik dengan ANSI diaktifkan
  • SPARK-52458 Mendukung spark.eventLog.excludedPatterns
  • SPARK-52493 Mendukung TANDA WAKTU TANPA ZONA WAKTU
  • SPARK-51563 Mendukung nama jenis TIME(n) WITHOUT TIME ZONE yang sepenuhnya memenuhi syarat
  • SPARK-52450 Meningkatkan kinerja deepcopy skema
  • SPARK-52519 Aktifkan divide-by-zero untuk floordiv numerik dengan ANSI diaktifkan
  • SPARK-52489 Melarang adanya duplikat SQLEXCEPTION dan NOT FOUND Handler di dalam Skrip SQL
  • SPARK-52488 Hapus alias sebelum membungkus referensi eksternal di bawah HAVING
  • SPARK-52383 Meningkatkan kesalahan di SparkConnectPlanner
  • SPARK-52335 Menyatukan kesalahan jumlah wadah yang tidak valid untuk Sambungkan dan Klasik
  • SPARK-52337 Jadikan InvalidPlanInput kesalahan yang dihadapi pengguna
  • SPARK-52312 Abaikan V2WriteCommand saat pengelolaan cache DataFrame
  • SPARK-52487 Tambahkan Waktu dan Durasi Pengajuan Tahapan ke Rincian StagePage
  • SPARK-52433 Menyatukan koersi string di createDataFrame
  • SPARK-52427 Menormalkan daftar ekspresi agregat yang dicakup oleh Proyek
  • SPARK-51745 Terapkan Mesin Status untuk RocksDBStateStore
  • SPARK-52447 Memindahkan normalisasi GetViewColumnByNameAndOrdinal ke SessionCatalogSuite
  • SPARK-52397 Idempotent ExecutePlan: kedua ExecutePlan dengan operationId yang sama dan rencanakan reattaches
  • SPARK-52355 Jenis objek Infer VariantVal sebagai VariantType saat membuat DataFrame
  • SPARK-52425 Refaktor ExtractValue untuk digunakan kembali dalam implementasi single-pass
  • SPARK-52249 Aktifkan pembagian dengan nol untuk truediv numerik dengan ANSI diaktifkan
  • SPARK-52228 Mengintegrasikan microbenchmark interaksi status sistem ke dalam Quicksilver (TCP)
  • SPARK-48356 Meningkatkan inferensi skema kolom pernyataan FOR
  • SPARK-48353 Penyempurnaan penanganan pengecualian
  • SPARK-52060 Membuat node OneRowRelationExec
  • SPARK-52391 Refaktor TransformWithStateExec functions/vars ke dalam kelas dasar untuk Scala dan Python
  • SPARK-52218 Membuat fungsi tanggalwaktu saat ini dapat dievaluasi lagi
  • SPARK-52350 Memperbaiki tautan untuk panduan pemrograman SS pada versi 4.0
  • SPARK-52385 Menghapus TempResolvedColumns dari nama InheritAnalysisRules
  • SPARK-52392 Fungsionalitas Penganalisis sekali-lewat baru
  • SPARK-52243 Menambahkan dukungan NERF untuk kesalahan InvalidPlanInput terkait skema
  • SPARK-52338 Mewarisi kolase default dari skema ke Tampilan
  • SPARK-52307 Dukungan Iterator Arrow Skalar UDF
  • SPARK-52300 Membuat resolusi SQL UDTVF menggunakan konfigurasi yang konsisten dengan resolusi tampilan
  • SPARK-52219 Dukungan pengaturan urutan tingkat skema untuk tabel
  • SPARK-52272 V2SessionCatalog tidak mengubah skema pada Katalog Apache Hive
  • SPARK-51890 Menambahkan options parameter ke Tampilan Rencana Logis
  • SPARK-51936 ReplaceTableAsSelect harus menimpa tabel baru alih-alih menambahkan
  • SPARK-51302 Spark Connect mendukung JDBC harus menggunakan API DataFrameReader
  • SPARK-50137 Hindari fallback ke cara yang tidak kompatibel dengan Apache Hive pada pembuatan tabel gagal
  • SPARK-52184 Membungkus kesalahan sintaks JDBC mesin eksternal dengan pengecualian yang terintegrasi
  • SPARK-47618 Gunakan Magic Committer untuk semua wadah S3 secara default
  • SPARK-52305 Memperbaiki docstring untuk isnotnull, equal_null, nullif, nullifzero, nvl, nvl2, zeroifnull
  • SPARK-52174 Aktifkan spark.checkpoint.compress secara default
  • SPARK-52224 Memperkenalkan pyyaml sebagai dependensi untuk klien Python
  • SPARK-52233 Perbaiki map_zip_with untuk Jenis Titik Mengambang
  • SPARK-52036 Tambahkan sifat SQLConfHelper ke v2. FileScan
  • SPARK-52159 Hapus kondisi yang terlalu umum untuk dialek MariaDB
  • SPARK-50104 Mendukung SparkSession.executeCommand di Connect
  • SPARK-52240 Penggunaan indeks baris yang dikoreksi saat meledakkan array yang dikemas dalam pembaca vektorisasi
  • SPARK-52153 Memperbaiki from_json dan to_json dengan varian
  • SPARK-48618 Memperbaiki pengujian 'tidak ada' untuk memeriksa nama tiga bagian dan dua bagian
  • SPARK-52216 Jadikan InvalidCommandInput kesalahan yang dihadapi pengguna
  • SPARK-52299 Ganti JsonNode.fields yang tidak digunakan lagi
  • SPARK-52287 Tingkatkan pengaturan SparkContext untuk tidak mengisi o.a.s.internal.io.cloud.* jika tidak ada
  • SPARK-51430 Menghentikan pencatat konteks PySpark dari menyebarkan log ke stdout
  • SPARK-52278 Dukungan Scalar Arrow UDF argumen bernama
  • SPARK-52026 Blokir API panda pada Spark pada mode ANSI secara default
  • SPARK-52171 Implementasi gabungan StateDataSource untuk status v3
  • SPARK-52159 Menangani pemeriksaan keberadaan tabel dengan benar untuk dialek jdbc
  • SPARK-52158 Menambahkan objek InvalidInputErrors untuk memusatkan kesalahan di SparkConnectPlanner
  • SPARK-52195 Memperbaiki masalah penurunan kolom status awal untuk Python TWS
  • SPARK-52211 Strip $ akhiran dari log INFO SparkConnectServer
  • SPARK-52239 Dukungan mendaftarkan panah UDF
  • SPARK-52215 Menerapkan UDF Arrow Skalar
  • SPARK-52188 Perbaikan untuk StateDataSource di mana StreamExecution.RUN_ID_KEY tidak disetel
  • SPARK-52189 Tes file emas baru untuk NATURAL JOIN, GROUP BY, HAVING, ORDER BY dan LCAs
  • SPARK-52079 Menormalkan urutan atribut dalam daftar proyek dalam
  • SPARK-52234 Memperbaiki kesalahan pada input non-string ke schema_of_csv/xml
  • SPARK-52221 Refaktor SqlScriptingLocalVariableManager ke dalam manajer konteks yang lebih umum
  • SPARK-52181 Meningkatkan batas ukuran varian menjadi 128MiB
  • SPARK-52217 Lewati validasi referensi eksternal pada Filter dalam pemecahan tunggal
  • SPARK-51260 Memindahkan V2ExpressionBuilder dan PushableExpression ke modul Catalyst
  • SPARK-52156 Letakkan WARISAN CREATE TEMPORARY TABLE ... Penyedia USING di bawah bendera
  • SPARK-51012 Menghapus SparkStrategy dari Connect Shims
  • SPARK-52109 Menambahkan LISTTableSummaries API ke Api Katalog Tabel Sumber Data V2
  • SPARK-50915 Menambahkan getCondition dan menghentikan getErrorClass di PySparkException
  • SPARK-52022 Tambahkan metode default cek masuk untuk SparkThrowable.getQueryContext
  • SPARK-51147 Refaktor kelas terkait streaming ke direktori streaming khusus
  • SPARK-52120 Meneruskan sesi ke ConnectHelper
  • SPARK-52021 Pola operator dan ekspresi terpisah
  • SPARK-51722 Menghapus asal "stop" dari ParseException
  • SPARK-52096 Mengklasifikasi ulang kesalahan pernyataan offset pada sumber Kafka
  • SPARK-51985 Hapus Eksperimental dari AccumulatorSource
  • SPARK-51156 Dukungan autentikasi token statis di Spark Connect
  • SPARK-52157 Gunakan nama yang telah dihitung sebelumnya untuk OuterReference dalam pemecah satu kali lintas.
  • SPARK-52100 Aktifkan penggantian batas rekursi dalam sintaks
  • SPARK-51605 Membuat direktori induk sebelum menyentuh logFile
  • SPARK-52127 Peras protokol MapState KEYS / VALUES / ITERATOR untuk transformWithState di PySpark
  • SPARK-52040 ResolveLateralColumnAliasReference harus mempertahankan id rencana
  • SPARK-51638 Memperbaiki pengambilan blok RDD tersimpan disk jarak jauh melalui layanan acak eksternal
  • SPARK-51983 Siapkan lingkungan pengujian untuk API panda di Spark dengan mode ANSI diaktifkan
  • SPARK-52087 Tambahkan proses penyalinan tag dan asal ke AliasHelper.trimNonTopLevelAliases
  • SPARK-51210 Tambahkan opsi --enable-native-access=ALL-UNNAMED ke Java untuk Java 24+
  • SPARK-52052 Tambahkan .broadcast di objek pendamping dari SerializableConfiguration
  • SPARK-51823 Tambahkan konfigurasi untuk tidak menyimpan penyimpanan status pada eksekutor
  • SPARK-51291 Mengklasifikasikan ulang kesalahan validasi yang muncul dari pemuatan toko status
  • SPARK-52006 Mengecualikan akumulator CollectMetricsExec dari Spark UI + log peristiwa + heartbeat metrik
  • SPARK-52076 Secara eksplisit menutup ExecutePlanResponseReattachableIterator setelah penggunaan
  • SPARK-51428 Menetapkan Alias untuk pohon ekspresi yang disusun secara deterministik
  • SPARK-52079 Menormalkan urutan atribut dalam daftar proyek dalam
  • SPARK-52033 Perbaiki Buat bug node di mana output simpul anak dapat memiliki beberapa salinan Atribut yang sama
  • SPARK-51428 Menetapkan Alias untuk pohon ekspresi yang disusun secara deterministik
  • SPARK-52055 Sembunyikan pengecualian dalam ExecutePlanResponseReattachableIterator. del
  • SPARK-51921 Gunakan jenis panjang untuk durasi TTL dalam milidetik dalam transformWithState
  • SPARK-50763 Menambahkan aturan Analyzer untuk mengatasi fungsi tabel SQL
  • SPARK-51884 Menambahkan atribut cakupan luar untuk SubqueryExpression
  • SPARK-50762 Menambahkan aturan Analyzer untuk menyelesaikan UDF skalar SQL
  • SPARK-51814 Menggunakan list(self) alih-alih StructType.fields untuk kompat versi lama
  • SPARK-51537 Buat classloader khusus sesi berdasarkan classloader sesi default pada pelaksana
  • SPARK-50777 Menghapus metode init/destroy no-op berlebihan dari kelas Filter
  • SPARK-51691 SerializationDebugger harus menelan pengecualian ketika mencoba menemukan alasan masalah serialisasi
  • SPARK-51386 Memberikan nama untuk kondisi kesalahan _LEGACY_ERROR_TEMP_3300-3302
  • SPARK-50734 Menambahkan API katalog untuk membuat dan mendaftarkan SQL UDF
  • SPARK-51989 Menambahkan subkelas Filter yang hilang ke semua daftar dalam sumber data
  • SPARK-52037 Urutan dalam daftar proyek dalam LCA harus mematuhi urutan dalam daftar proyek asli
  • SPARK-52007 ID Ekspresi tidak boleh ada dalam ekspresi pengelompokan saat menggunakan kumpulan pengelompokan
  • SPARK-51860 Nonaktifkan spark.connect.grpc.debug.enabled secara default
  • SPARK-47952 Mendukung mengambil alamat dan port SparkConnectService GRPC secara nyata melalui pemrograman saat berjalan di Yarn.
  • SPARK-50906 Tambahkan pemeriksaan nullability untuk memeriksa apakah input dari to_avro selaras dengan skema
  • Dukungan perbaikan SPARK-50581 untuk UDAF di Dataset.observe()
  • SPARK-49946 Memerlukan kelas kesalahan di SparkOutOfMemoryError
  • SPARK-49748 Menambahkan getCondition dan menghentikan getErrorClass di SparkThrowable
  • SPARK-51959 Membuat fungsi tidak mengimpor ParentDataFrame
  • SPARK-51964 Menyelesaikan atribut dengan tepat dari output tersembunyi pada ORDER BY dan HAVING di atas sebuah Agregat dalam Analisis sekali jalan
  • SPARK-49942 Ganti nama errorClass menjadi kondisi di classifyException()
  • SPARK-51963 Menyederhanakan IndexToString.transform
  • SPARK-51946 Gagal membuat tabel sumber data yang tidak kompatibel dengan hive dengan 'col' sebagai nama partisi
  • SPARK-51553 Ubah EXTRACT untuk mendukung jenis data TIME
  • SPARK-51891 Kompres protokol ListState GET / PUT / APPENDLIST untuk transformWithState di PySpark
  • SPARK-51931 Menambahkan maxBytesPerOutputBatch untuk membatasi jumlah byte dalam batch output Arrow.
  • SPARK-51441 Menambahkan API DSv2 untuk batasan
  • SPARK-51814 Gunakan RecordBatch.schema.names alih-alih column_names untuk kompatibilitas pyarrow lama
  • SPARK-51913 JDBCTableCatalog#loadTable tidak boleh melemparkan kesalahan tabel tersebut dengan benar
  • SPARK-51840 Memulihkan kolom Partisi di HiveExternalCatalog#alterTable
  • SPARK-51414 Menambahkan fungsi make_time()
  • SPARK-49700 Antarmuka Scala Terpadu untuk Connect dan Classic
  • SPARK-51914 Tambahkan com.mysql.cj ke spark.sql.hive.metastore.sharedPrefixes
  • SPARK-51827 Mendukung Spark Connect pada transformWithState di PySpark
  • SPARK-51901 Melarang fungsi generator dalam kumpulan pengelompokan
  • SPARK-51423 Menambahkan fungsi current_time() untuk jenis data TIME
  • SPARK-51680 Mengatur jenis logis untuk TIME di penulis parket
  • SPARK-51889 Memperbaiki bug untuk MapState clear() di Python TWS
  • SPARK-51869 Membuat klasifikasi untuk kesalahan pengguna dalam UDF untuk Scala TransformWithState
  • SPARK-51878 Tingkatkan fillDefaultValue dengan mengeluarkan ekspresi default yang dapat dilipat.
  • SPARK-51757 Memperbaiki Offset Fungsi LEAD/LAG Melebihi Ukuran Grup Jendela
  • SPARK-51805 Pemanggilan fungsi dengan argumen yang tidak tepat seharusnya menghasilkan pengecualian yang tepat, bukan yang bersifat internal.
  • SPARK-51900 Melemparkan ketidakcocokan tipe data dengan benar di Penganalisis akses tunggal
  • SPARK-51421 Mendapatkan detik dari tipe data TIME
  • SPARK-51661 Penemuan partisi nilai kolom TIME
  • SPARK-51687 Filter pushdown dengan nilai TIME ke parquet
  • SPARK-51419 Mendapatkan jam tipe data TIME
  • SPARK-51881 Membuat AvroOptions dapat diperbandingkan
  • SPARK-51861 Menghapus info duplikat/tidak perlu dari Detail Rencana InMemoryRelation
  • SPARK-51814 Memperkenalkan transformasi API baruWithState di PySpark
  • SPARK-51779 Gunakan keluarga kolom virtual untuk penggabungan aliran
  • SPARK-51649 Penulisan/pembacaan dinamis partisi TIME
  • SPARK-51634 Mendukung TIME dalam vektor kolom off-heap
  • SPARK-51877 Tambahkan fungsi 'chr', 'random' dan 'uuid'
  • SPARK-51610 Dukungan untuk tipe data TIME di sumber data parquet
  • SPARK-51420 Mendapatkan menit dari tipe data TIME
  • SPARK-51822 Melemparkan kesalahan terklasifikasi ketika pemanggilan fungsi yang tidak diizinkan selama StatefulProcessor.init()
  • SPARK-51868 Memindahkan validasi koersi jenis ke objek terpisah
  • SPARK-49747 Memigrasikan file connect/ ke pencatatan terstruktur

Driver ODBC/JDBC Azure Databricks yang didukung

Databricks mendukung driver ODBC/JDBC yang dirilis dalam 2 tahun terakhir. Unduh driver dan peningkatan yang baru dirilis (unduh ODBC, unduh JDBC).

Pembaruan pemeliharaan

Lihat Pembaruan pemeliharaan Azure Databricks Runtime 17.1.

Lingkungan sistem

  • Sistem Operasi : Ubuntu 24.04.2 LTS
  • Java: Zulu17.58+21-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.4.2
  • Danau Delta: 4.0.0

Pustaka Python yang diinstal

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
tipe beranotasi 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
Pengikatan Argon2-cffi 21.2.0 anak panah 1.3.0 asttoken 2.0.5
astunparse 1.6.3 asinkron-lru 2.0.4 atribut 24.3.0
perintah otomatis 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
Azure Storage Blob 12.23.0 Azure Storage File Data Lake 12.17.0 babel 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 hitam 24.10.0
pemutih 6.2.0 blinker 1.7.0 boto3 1.36.2
botocore 1.36.3 cachetools (perangkat untuk caching) 5.5.1 sertifikat 31 Januari 2025
cffi 1.17.1 chardet 4.0.0 charset-normalizer 3.3.2
klik 8.1.7 cloudpickle (perpustakaan Python untuk serialisasi objek) 3.0.0 Komunikasi 0.2.1
Contourpy 1.3.1 Kriptografi 43.0.3 pengendara sepeda 0.11.0
Cython 3.0.12 databricks-sdk 0.49.0 dbus-python 1.3.2
debugpy 1.8.11 penghias 5.1.1 defusedxml 0.7.1
Tidak digunakan lagi 1.2.13 distlib 0.3.9 konversi docstring ke markdown 0.11
Mengeksekusi 0.8.3 gambaran umum aspek 1.1.1 fastapi 0.115.12
fastjsonschema 2.21.1 filelock 3.18.0 alat pengelola font 4.55.3
Fqdn 1.5.1 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.20.0 google-auth (autentikasi Google) 2.40.0
google-cloud-core 2.4.3 penyimpanan awan Google 3.1.0 google-crc32c 1.7.1
google-resumable-media (layanan media berkelanjutan dari Google) 2.7.2 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.14.0 httpcore 1.0.2
httplib2 0.20.4 httpx 0.27.0 IDNA 3.7
importlib-metadata 6.6.0 importlib_resources 6.4.0 memfleksi 7.3.1
iniconfig 1.1.1 ipyflow-core 0.0.209 ipykernel 6.29.5
ipython 8.30.0 ipython-genutils 0.2.0 ipywidgets 7.8.1
isodate 0.6.1 isodurasi 20.11.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.teks 3.12.1 Jedi 0.19.2
Jinja2 3.1.5 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 jsonpointer 3.0.0 jsonschema 4.23.0
Spesifikasi JSON Schema 2023.7.1 peristiwa Jupyter 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.3 jupyter_core 5.7.2 jupyter_server 2.14.1
Terminal Jupyter Server 0.4.4 jupyterlab 4.3.4 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3 kiwisolver 1.4.8
launchpadlib 1.11.0 lazr.restfulclient (klien layanan web yang menggunakan RESTful) 0.14.6 lazr.uri 1.0.6
markdown-it-py 2.2.0 MarkupSafe 3.0.2 matplotlib 3.10.0
matplotlib-inline (modul untuk menampilkan grafik secara inline) 0.1.7 Mccabe 0.7.0 mdurl 0.1.0
penyetelan salah 2.0.4 mlflow-skinny (versi ringan) 3.0.1 mmh3 5.1.0
more-itertools 10.3.0 msal 1.32.3 msal-extensions 1.3.1
mypy-extensions 1.0.0 nbclient 0.8.0 nbconvert 7.16.4
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
buku catatan 7.3.2 buku_catatan_shim 0.2.3 numpy (perpustakaan Python untuk operasi numerik) 2.1.3
oauthlib 3.2.2 opentelemetry-api 1.32.1 opentelemetry-sdk 1.32.1
opentelemetry-konvensi-semantik 0.53b1 Mengabaikan 7.4.0 pengemasan 24,2
Panda 2.2.3 Pandocfilters 1.5.0 pengurai 0.8.4
spesifikasi jalur 0.10.3 kambing hitam 1.0.1 pexpect 4.8.0
bantal 11.1.0 pipa 25.0.1 platformdirs 3.10.0
plotly 5.24.1 pengaya 1.5.0 prometheus_client 0.21.0
prompt-toolkit 3.0.43 proto-plus 1.26.1 protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 19.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.71 pycparser 2.21
pydantic (perpustakaan Python untuk validasi data) 2.10.6 pydantic_core 2.27.2 pyflakes 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 pyodbc 5.2.0 pyparsing 3.2.0
pyright 1.1.394 pytest 8.3.5 python-dateutil 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.0
pytoolconfig 1.2.6 pytz 2024.1 PyYAML (paket untuk memproses bahasa YAML dalam Python) 6.0.2
pyzmq 26.2.0 Merujuk 0.30.2 permohonan 2.32.3
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 kaya 13.9.4
tali 1.12.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.11.3 scikit-learn 1.6.1 scipy (perpustakaan Python untuk komputasi ilmiah) 1.15.1
Seaborn (perpustakaan Python untuk visualisasi data) 0.13.2 Send2Trash 1.8.2 setuptools 74.0.0
Enam 1.16.0 smmap 5.0.0 Sniffio 1.3.0
sortedcontainers 2.4.0 alat penyaring sup 2,5 sqlparse 0.5.3
ssh-import-id 5.11 stack-data 0.2.0 starlette 0.46.2
statsmodels (paket Python untuk pemodelan statistik) 0.14.4 strictyaml 1.7.3 kegigihan 9.0.0
selesai 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 Tornado 6.4.2
traitlets 5.14.3 typeguard (penjaga tipe) 4.3.0 type-python-dateutil 2.9.0.20241206
ekstensi pengetikan (typing_extensions) 4.12.2 tzdata 2024.1 ujson 5.10.0
pembaruan otomatis tanpa pengawasan 0.1 templat URI 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 warna web 24.11.1 pengkodean web 0.5.1
websocket-klien 1.8.0 apa itu patch 1.0.2 wheel 0.45.1
widgetsnbextension 3.6.6 terbungkus 1.17.0 yapf 0.40.2
zipp 3.21.0

Perpustakaan R yang terinstal

Pustaka R diinstal dari cuplikan CRAN Pengelola Paket Posit pada 20-03-2025.

Perpustakaan Versi Perpustakaan Versi Perpustakaan Versi
anak panah 19.0.1 askpass 1.2.1 pastikanbahwa 0.2.1
pemindahan fitur ke versi lama (backports) 1.5.0 dasar 4.4.2 base64enc 0.1-3
bigD 0.3.0 sedikit 4.6.0 bit-64 4.6.0-1
bitops 1.0-9 blob 1.2.4 sepatu bot 1.3-30
menyeduh 1.0-10 Brio 1.1.5 sapu 1.0.7
bslib 0.9.0 cashmere 1.1.0 layanan panggilan 3.7.6
caret 7.0-1 cellranger 1.1.0 kronogram 2.3-62
kelas 7.3-22 CLI 3.6.5 pemangkas 0.8.0
jam dinding 0.7.2 kluster 2.1.6 codetools 0.2-20
ruang warna 2.1-1 commonmark 1.9.5 pengkompilasi 4.4.2
konfig 0.3.2 Bimbang 1.2.0 cpp11 0.5.2
kriyon 1.5.3 kredensial 2.0.2 melengkung 6.4.0
data.table (sebuah paket untuk pengolahan data table) 1.17.0 kumpulan data 4.4.2 DBI 1.2.3
dbplyr 2.5.0 deskripsi 1.4.3 devtools 2.4.5
bagan 1.6.5 diffobj 0.3.5 digest 0.6.37
pencahayaan turun 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-16 elipsis 0.3.2 menilai 1.0.3
penggemar 1.0.6 warna-warna 2.1.2 pemetaan cepat 1.2.0
fontawesome 0.5.3 untuk kucing 1.0.0 foreach (pengulangan untuk setiap elemen) 1.5.2
asing 0.8-86 bengkel pandai besi 0.2.0 fs 1.6.5
masa depan 1.34.0 menerapkan di masa depan 1.11.3 kumur 1.5.2
obat generik 0.1.4 Gert 2.1.4 ggplot2 3.5.1
gh 1.4.1 git2r 0.35.0 gitcreds 0.1.2
glmnet 4.1-8 variabel global 0.18.0 lem 1.8.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.2
Grafik 4.4.2 grDevices 4.4.2 kisi 4.4.2
gridExtra 2.3 gsubfn 0,7 GT 0.11.1
gtabel 0.3.6 topi keras 1.4.1 tempat aman 2.5.4
lebih tinggi 0.11 HMS 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.1.1 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 Pengiterasi 1.0.14
jquerylib 0.1.4 jsonlite 1.9.1 JuicyJuice 0.1.0
KernSmooth 2.23-22 knitr 1,50 Pelabelan 0.4.3
nanti 1.4.1 rangka 0.22-5 lahar 1.8.1
siklus hidup 1.0.4 listenv 0.9.1 lubridate 1.9.4
magrittr 2.0.3 Markdown 1.13 Massa 7.3-60.0.1
Matrix 1.6-5 memosankan 2.0.1 Metode 4.4.2
mgcv 1.9-1 pantomim 0,13 miniUI 0.1.1.1
mlflow 2.20.4 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-164 nnet 7.3-19
numDeriv Agustus 2016 - Januari 2017 openssl 2.3.3 paralel 4.4.2
secara paralel 1.42.0 pilar 1.11.0 pkgbuild 1.4.6
pkgconfig 2.0.3 pkgdown 2.1.1 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 pujian 1.0.0
prettyunits 1.2.0 pROC 1.18.5 ProsesX 3.8.6
prodlim 2024.06.25 profvis 0.4.0 Kemajuan 1.2.3
progresr 0.15.1 janji 1.3.2 proto 1.0.0
proksi 0,4-27 P.S. 1.9.0 menggeram lembut 1.0.4
R6 2.6.1 ragg 1.3.3 randomForest (algoritma pembelajaran mesin) 4.7-1.2
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.14 RcppEigen 0.3.4.0.2 dapat direaksi 0.4.4
reactR 0.6.1 alat baca 2.1.5 readxl (membaca file Excel) 1.4.5
recipes 1.2.0 pertandingan ulang 2.0.0 pertandingan ulang 2 2.1.2
pengontrol jarak jauh 2.5.0 contoh replikasi 2.1.1 reshape2 1.4.4
rlang 1.1.6 rmarkdown 2.29 RODBC 1.3-26
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-15 RSQLite 2.3.9 rstudioapi 0.17.1
rversions 2.1.2 rvest 1.0.4 Sass 0.4.9
timbangan / sisik 1.3.0 selektor 0,4-2 informasi sesi 1.2.3
bentuk 1.4.6.1 mengkilap 1.10.0 sourcetools 0.1.7-1
sparklyr - paket R untuk analisis data dan pembelajaran mesin 1.9.1 SparkR 4.0.0 sparsevctrs 0.3.1
spasial 7.3-17 garis lengkung 4.4.2 sqldf 0,4-11
SQUAREM 2021.1 statistik 4.4.2 statistik4 4.4.2
string 1.8.7 stringr 1.5.1 bertahan hidup 3.5-8
gaya berani 5.17.14.1 Sistem 3.4.3 systemfonts 1.2.1
bahasa pemrograman Tcl/Tk 4.4.2 ujiitu 3.2.3 pemformatan teks 1.0.0
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 perubahan jam 0.3.0 TanggalWaktu 4041.110
tinytex 0.56 perangkat 4.4.2 tzdb 0.5.0
urlchecker 1.0.1 gunakan ini 3.1.0 utf8 1.2.6
Utilitas 4.4.2 UUID (Pengidentifikasi Unik Universal) 1.2-1 V8 6.0.2
vctrs 0.6.5 viridisLite 0.4.2 Vroom 1.6.5
Waldo 0.6.1 kumis 0.4.1 dengan 3.0.2
xfun 0,51 xml2 1.3.8 xopen 1.0.1
xtable 1.8-4 yaml 2.3.10 zeallot 0.1.0
zip 2.3.2

Pustaka Java dan Scala yang diinstal (versi kluster Scala 2.13)

ID Kelompok Identifikasi Artefak Versi
antlr antlr 2.7.7
com.amazonaws Klien Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws AWS Java SDK untuk CloudHSM 1.12.638
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK untuk CloudSearch) 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config (konfigurasi SDK Java untuk AWS) 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache (SDK Java AWS untuk ElastiCache) 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK untuk penyeimbangan beban elastis di AWS dengan Java) 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier (perangkat lunak pengembangan untuk Glacier dari Amazon Web Services) 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-impor-ekspor 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws AWS-Java-SDK-Pembelajaran Mesin 1.12.638
com.amazonaws aws-java-sdk-opsworks (SDK Java untuk OpsWorks) 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm (kit pengembangan perangkat lunak Java untuk AWS-SSM) 1.12.638
com.amazonaws SDK Java untuk Storage Gateway AWS 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws AWS Java SDK Dukungan 1.12.638
com.amazonaws aws-java-sdk-swf-libraries (perpustakaan untuk pengembangan perangkat lunak menggunakan Java dan AWS SWF) 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics aliran 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware bayangan-kriogenik 4.0.3
com.esotericsoftware Minlog 1.3.0
com.fasterxml teman sekelas 1.5.1
com.fasterxml.jackson.core Jackson Annotations 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype Jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.2
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine kafein 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib referensi_asli-java 1.1
com.github.fommil.netlib referensi_asli-java 1.1-penduduk asli
com.github.fommil.netlib sistem_asli-java 1.1
com.github.fommil.netlib sistem_asli-java 1.1-penduduk asli
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-penduduk asli
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-penduduk asli
com.github.luben zstd-jni 1.5.6-10
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone Annotasi yang rentan terhadap kesalahan 2.36.0
com.google.flatbuffers flatbuffers-java 24.3.25
com.google.guava kegagalan akses 1.0.2
com.google.guava jambu biji 33.4.0-jre
com.google.guava masa depan yang dapat didengarkan 9999.0-kosong-untuk-menghindari-konflik-dengan-guava
com.google.j2objc j2objc-anotasi 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger pembuat profil 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.10
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf (algoritma kompresi) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe konfig 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.9.0
commons-codec commons-codec 1.17.2
koleksi umum koleksi umum 3.2.2
commons-dbcp commons-dbcp 1.4
unggah berkas pada commons unggah berkas pada commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.18.0
commons-lang commons-lang 2.6
commons-logging (perpustakaan Java untuk fungsi pencatatan) commons-logging (perpustakaan Java untuk fungsi pencatatan) 1.1.3
kolam umum kolam umum 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Tidak peduli 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor udara 2.0.2
io.delta delta-sharing-client_2.13 1.3.3
io.dropwizard.metrics metrik dan anotasi 4.2.30
io.dropwizard.metrics inti metrik 4.2.30
io.dropwizard.metrics metrics-graphite 4.2.30
io.dropwizard.metrics pengukuran-pemeriksaan kesehatan 4.2.30
io.dropwizard.metrics metrics-jetty9 4.2.30
io.dropwizard.metrics metrik-jmx 4.2.30
io.dropwizard.metrics metrik-json 4.2.30
io.dropwizard.metrics metrik-jvm 4.2.30
io.dropwizard.metrics metrik-servlet 4.2.30
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.1.118.Final
io.netty Netty Buffer 4.1.118.Final
io.netty netty-codec 4.1.118.Final
io.netty netty-kodek-http 4.1.118.Final
io.netty netty-codec-http2 4.1.118.Final
io.netty netty-codec-socks 4.1.118.Final
io.netty netty-common 4.1.118.Final
io.netty netty-handler 4.1.118.Final
io.netty netty-handler-proxy 4.1.118.Final
io.netty netty-resolver (pustaka untuk pemecahan masalah terkait jaringan dalam Netty) 4.1.118.Final
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-windows-x86_64
io.netty Kelas netty-tcnative 2.0.70.Final
io.netty netty-transport 4.1.118.Final
io.netty netty-transport-classes-epoll (kelas transportasi netty - epoll) 4.1.118.Final
io.netty netty-transport-classes-kqueue 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-x86_64
io.netty netty-transport-native-unix-common (paket transport Netty untuk sistem Unix umum) 4.1.118.Final
io.prometheus simpleclient 0.16.1-databricks
io.prometheus simpleclient_umum 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway (gateway pendorong sederhana) 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_pelacakan_otel_agen 0.16.1-databricks
io.prometheus.jmx pengumpul 0.18.0
jakarta.anotasi jakarta.anotasi-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivasi 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction Transaction-API 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.13.0
net.java.dev.jna jna 5.8.0
net.razorvine mentimun acar 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
jaring.bunga salju snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_gabungan_semua 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr StringTemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow format tanda panah 18.2.0
org.apache.arrow inti-memori-panah 18.2.0
org.apache.arrow Arrow-Memory-Netty 18.2.0
org.apache.arrow arrow-memori-netty-penyangga-tambalan 18.2.0
org.apache.arrow arrow-vector 18.2.0
org.apache.avro Avro 1.12.0
org.apache.avro avro-ipc 1.12.0
org.apache.avro avro-mapred 1.12.0
org.apache.commons commons-koleksi4 4.4
org.apache.commons commons-compress 1.27.1
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.17.0
org.apache.commons Commons-Math3 3.6.1
org.apache.commons commons-text (teks umum) 1.13.0
org.apache.curator kurator dan klien 5.7.1
org.apache.curator kerangka kerja kurator 5.7.1
org.apache.curator kurasi resep 5.7.1
org.apache.datasketches datasketches-java 6.1.1
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby pertandingan derbi 10.14.2.0
org.apache.hadoop lingkungan kerja klien Hadoop 3.4.1
org.apache.hive hive-beeline (antarmuka perintah untuk Apache Hive) 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde (komponen pada Apache Hive untuk serialisasi dan deserialisasi) 2.3.10
org.apache.hive Hive-shims 2.3.10
org.apache.hive API penyimpanan hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common (As a specialized technical term, it might be appropriate to maintain it in its original form unless further context suggests an equivalent Indonesian term is necessary.) 2.3.10
org.apache.hive.shims Pengatur Jadwal Hive Shims 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy tanaman anggur 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json (pola tata letak JSON di log4j) 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.1.1-shaded-protobuf
org.apache.orc orc-format 1.1.0-shaded-protobuf
org.apache.orc orc-mapreduce 2.1.1-shaded-protobuf
org.apache.orc orc-shims 2.1.1
org.apache.poi Poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.26
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus anotasi penonton 0.13.0
org.apache.zookeeper penjaga kebun binatang 3.9.3
org.apache.zookeeper penjaga kebun binatang-jute 3.9.3
org.checkerframework pemeriksa kualitas 3.43.0
org.codehaus.janino Pengompilasi Umum 3.0.16
org.codehaus.janino Januari 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.53.v20231009
org.eclipse.jetty lanjutan dermaga 9.4.53.v20231009
org.eclipse.jetty jetty-http (protokol HTTP untuk server Jetty) 9.4.53.v20231009
org.eclipse.jetty jetty-io 9.4.53.v20231009
org.eclipse.jetty jetty-jndi 9.4.53.v20231009
org.eclipse.jetty Jetty Plus 9.4.53.v20231009
org.eclipse.jetty Jetty-Proxy 9.4.53.v20231009
org.eclipse.jetty keamanan jetty 9.4.53.v20231009
org.eclipse.jetty Jetty Server 9.4.53.v20231009
org.eclipse.jetty jetty-servlet 9.4.53.v20231009
org.eclipse.jetty jetty-servlets 9.4.53.v20231009
org.eclipse.jetty jetty-util 9.4.53.v20231009
org.eclipse.jetty jetty-util-ajax 9.4.53.v20231009
org.eclipse.jetty Aplikasi web Jetty 9.4.53.v20231009
org.eclipse.jetty jetty-xml 9.4.53.v20231009
org.eclipse.jetty.websocket WebSocket-API 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-klien 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-common 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-server 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-servlet 9.4.53.v20231009
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-pemindai lokasi 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-penanda-sumber-daya 1.0.3
org.glassfish.hk2.external aopalliance (dikemas ulang) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.41
org.glassfish.jersey.containers jersey-container-servlet-inti 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey biasa 2.41
org.glassfish.jersey.core Jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator Hibernate Validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotasi 17.0.0
org.jline Jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.9.1
org.objenesis objenesis 3.3
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.3.0
org.scala-sbt antarmuka pengujian 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalameta common_2.13 4.13.5
org.scalameta io_2.13 4.13.5
org.scalameta mdoc-parser_2.13 2.6.4
org.scalameta metaconfig-core_2.13 0.15.0
org.scalameta metaconfig-pprint_2.13 0.15.0
org.scalameta metaconfig-typesafe-config_2.13 0.15.0
org.scalameta parsers_2.13 4.13.5
org.scalameta scalafmt-config_2.13 3.9.6
org.scalameta scalafmt-core_2.13 3.9.6
org.scalameta scalafmt-macros_2.13 3.9.6
org.scalameta scalafmt-sysops_2.13 3.9.6
org.scalameta scalameta_2.13 4.13.5
org.scalameta trees_2.13 4.13.5
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest kompatibel dengan ScalaTest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel paiges-core_2.13 0.4.4
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
Stax stax-api 1.0.1

Tip

Untuk melihat catatan rilis untuk versi Databricks Runtime yang telah mencapai akhir masa dukungan (EoS), lihat Catatan rilis Databricks Runtime yang telah mencapai akhir masa dukungan. Versi EoS Databricks Runtime telah dihentikan dan mungkin tidak diperbarui.

  • Last updated on