Bagikan melalui

Catatan rilis komputasi tanpa server

Artikel ini menjelaskan fitur dan perilaku yang saat ini tersedia dan akan datang pada komputasi tanpa server untuk buku catatan dan pekerjaan.

Untuk informasi selengkapnya tentang komputasi tanpa server, lihat Menyambungkan ke komputasi tanpa server.

Azure Databricks secara berkala merilis pembaruan untuk komputasi tanpa server, secara otomatis meningkatkan runtime komputasi tanpa server untuk mendukung peningkatan dan pembaruan pada platform. Semua pengguna mendapatkan pembaruan yang sama, diluncurkan dalam waktu singkat.

versi lingkungan Tanpa Server

Komputasi tanpa server untuk notebook dan pekerjaan menggunakan versi lingkungan, yang menyediakan API klien yang stabil berdasarkan Spark Connect untuk memastikan kompatibilitas aplikasi. Ini memungkinkan Databricks untuk meningkatkan server secara independen, memberikan peningkatan performa, peningkatan keamanan, dan perbaikan bug tanpa memerlukan perubahan kode pada beban kerja.

Setiap versi lingkungan mencakup versi Python tertentu dan satu set paket Python dengan versi yang ditentukan. Databricks memperkenalkan fitur dan perbaikan baru di versi lingkungan terbaru sambil menerapkan pembaruan keamanan ke semua versi lingkungan yang didukung.

Untuk catatan rilis versi lingkungan tanpa server, lihat Versi lingkungan tanpa server.

Catatan rilis

Bagian ini mencakup catatan rilis untuk komputasi tanpa server. Catatan rilis diatur menurut tahun dan minggu dalam setahun. Komputasi tanpa server selalu berjalan menggunakan versi terbaru yang tercantum di sini.

Versi 17.3

28 Oktober 2025

Rilis komputasi tanpa server ini kira-kira sesuai dengan Databricks Runtime 17.3 LTS.

Fitur baru

  • LIMIT SEMUA dukungan untuk CTE rekursif: Anda sekarang dapat menggunakan LIMIT ALL klausul dengan ekspresi tabel umum rekursif (rCTEs) untuk secara eksplisit menentukan bahwa tidak ada batas baris yang harus diterapkan ke hasil kueri. Lihat Ekspresi tabel umum (CTE).

  • Menambahkan ke file dalam volume Katalog Unity mengembalikan kesalahan yang benar: Mencoba menambahkan ke file yang ada di volume Katalog Unity sekarang mengembalikan pesan kesalahan yang lebih deskriptif untuk membantu Anda memahami dan menyelesaikan masalah.

  • st_dump dukungan fungsi: Anda sekarang dapat menggunakan st_dump fungsi untuk menguraikan objek geometri ke dalam bagian konstituennya, mengembalikan satu set geometri yang lebih sederhana. Silakan lihat fungsi st_dump.

  • Fungsi cincin interior poligon sekarang didukung: Anda sekarang dapat menggunakan fungsi berikut untuk bekerja dengan cincin interior poligon:

    • st_numinteriorrings: Dapatkan jumlah batas dalam (cincin) poligon. Silakan lihat fungsi st_numinteriorrings.
    • st_interiorringn: Ekstrak batas bagian dalam ke-n dari poligon dan kembalikan sebagai garis. Silakan lihat fungsi st_interiorringn.

  • EXECUTE IMMEDIATE menggunakan ekspresi konstanta: EXECUTE IMMEDIATE Pernyataan sekarang mendukung penggunaan ekspresi konstan dalam string kueri, memungkinkan eksekusi SQL dinamis yang lebih fleksibel. Lihat EXECUTE IMMEDIATE.

  • Izinkan spark.sql.files.maxPartitionBytes dalam komputasi tanpa server: Anda sekarang dapat mengonfigurasi spark.sql.files.maxPartitionBytes Parameter konfigurasi Spark pada komputasi tanpa server untuk mengontrol jumlah maksimum byte yang akan dikemas ke dalam satu partisi saat membaca file. Lihat Mengonfigurasi properti Spark untuk notebook dan pekerjaan tanpa server.

Perubahan perilaku

  • Mendukung informasi pembaruan MV/ST dalam DESCRIBE EXTENDED AS JSON: DESCRIBE EXTENDED AS JSON Perintah sekarang menyertakan informasi pembaruan untuk tampilan materialisasi dan tabel streaming, memungkinkan visibilitas terhadap waktu dan status pembaruan terakhir.

  • Tambahkan kolom metadata ke DESCRIBE QUERY dan DESCRIBE TABLE: Perintah DESCRIBE QUERY dan DESCRIBE TABLE sekarang menyertakan kolom metadata dalam outputnya, memberikan informasi tambahan tentang properti dan karakteristik setiap kolom.

  • Penanganan struct null yang benar saat menghilangkan kolom NullType: Azure Databricks sekarang menangani nilai struct null dengan benar saat menjatuhkan kolom dengan NullType, mencegah potensi kerusakan data atau perilaku tak terduga.

  • Peningkatan penanganan struct null di Parquet: Rilis ini mencakup penyempurnaan tentang bagaimana nilai struct null ditangani saat membaca dari dan menulis ke file Parquet, memastikan perilaku yang lebih konsisten dan benar.

  • Meningkatkan pustaka aws-msk-iam-auth untuk Kafka: aws-msk-iam-auth Pustaka yang digunakan untuk autentikasi Amazon MSK IAM telah ditingkatkan ke versi terbaru, memberikan peningkatan keamanan dan kompatibilitas.

Versi 17.2

25 September 2025

Rilis komputasi tanpa server ini kira-kira sesuai dengan Databricks Runtime 17.2.

Fitur baru

  • ST_ExteriorRing fungsi sekarang didukung: Anda sekarang dapat menggunakan ST_ExteriorRing fungsi untuk mengekstrak batas luar poligon dan mengembalikannya sebagai linestring. Silakan lihat fungsi st_exteriorring.

  • Kata kunci dukungan TEMPORARY untuk pembuatan tampilan metrik: Anda sekarang dapat menggunakan TEMPORARY kata kunci saat membuat tampilan metrik. Tampilan metrik sementara hanya terlihat dalam sesi yang membuatnya dan dihilangkan saat sesi berakhir. Lihat CREATE VIEW.

  • Gunakan I/O asli untuk LokiFileSystem.getFileStatus di S3: LokiFileSystem.getFileStatus sekarang menggunakan tumpukan I/O asli untuk lalu lintas Amazon S3 dan mengembalikan org.apache.hadoop.fs.FileStatus objek alih-alih shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

  • Auto Loader menyimpulkan kolom partisi dalam singleVariantColumn mode: Auto Loader sekarang menyimpulkan kolom partisi dari jalur file saat menyerap data sebagai varian tipe semi terstruktur menggunakan opsi singleVariantColumn. Sebelumnya, kolom partisi tidak terdeteksi secara otomatis. Lihat Opsi Auto Loader.

Perubahan perilaku

  • DESCRIBE CONNECTION memperlihatkan pengaturan lingkungan untuk koneksi JDBC: Azure Databricks sekarang menyertakan pengaturan lingkungan yang ditentukan pengguna dalam DESCRIBE CONNECTION output untuk koneksi JDBC yang mendukung driver kustom dan berjalan dalam isolasi. Jenis koneksi lainnya tetap tidak berubah.

  • Opsi untuk memotong riwayat seragam selama migrasi tabel terkelola: Anda sekarang dapat memotong riwayat seragam saat memigrasikan tabel dengan Uniform/Iceberg diaktifkan menggunakan ALTER TABLE...SET MANAGED. Ini menyederhanakan migrasi dan mengurangi waktu henti dibandingkan dengan menonaktifkan dan mengaktifkan kembali Uniform secara manual.

  • Hasil yang benar untuk split dengan regex kosong dan batas positif: Azure Databricks sekarang mengembalikan hasil yang benar saat menggunakan split function dengan regex kosong dan batas positif. Sebelumnya, fungsi salah memotong string yang tersisa alih-alih menyertakannya di elemen terakhir.

  • Memperbaiki penanganan kesalahan url_decode dan try_url_decode di Photon: Di Photon, try_url_decode() dan url_decode() dengan failOnError = false sekarang mengembalikan NULL untuk string yang dikodekan URL yang tidak valid alih-alih kegagalan kueri.

  • Lingkungan eksekusi bersama untuk Unity Catalog Python UDTFs: Azure Databricks sekarang berbagi lingkungan eksekusi yang sama untuk fungsi tabel terdefinisi pengguna (UDTF) Python dari pemilik yang sama dan sesi Spark yang sama. Klausa opsional STRICT ISOLATION tersedia untuk menonaktifkan berbagi untuk UDTF dengan efek samping, seperti memodifikasi variabel lingkungan atau menjalankan kode arbitrer.

Versi 17.1

19 Agustus 2025

Rilis komputasi tanpa server ini kira-kira sesuai dengan Databricks Runtime 17.1.

Fitur baru

  • Mengurangi penggunaan memori untuk skema lebar di penulis Photon: Peningkatan dilakukan pada mesin Photon yang secara signifikan mengurangi penggunaan memori untuk skema luas, mengatasi skenario yang sebelumnya mengakibatkan kesalahan di luar memori.

Perubahan perilaku

  • Kesalahan yang dilemparkan untuk batasan yang tidak validCHECK: Azure Databricks sekarang melemparkan AnalysisException jika CHECK ekspresi batasan tidak dapat diselesaikan selama validasi batasan.

  • Konektor Pulsar tidak lagi mengekspos Bouncy Castle: Perpustakaan Kastil Bouncy sekarang berbayang di konektor Pulsar untuk mencegah konflik classpath. Akibatnya, pekerjaan Spark tidak dapat lagi mengakses org.bouncycastle.* kelas dari konektor. Jika kode Anda bergantung pada Bouncy Castle, instal pustaka secara manual di lingkungan tanpa server.

  • Auto Loader menggunakan peristiwa file secara default jika tersedia: Auto Loader menggunakan peristiwa file alih-alih daftar direktori saat jalur beban adalah lokasi eksternal dengan peristiwa file diaktifkan. Default untuk useManagedFileEvents sekarang if_available adalah (adalah false). Ini dapat meningkatkan performa penyerapan dan mencatat peringatan jika peristiwa file belum diaktifkan.

  • Konektor Teradata memperbaiki perbandingan string peka huruf besar/kecil: Konektor Teradata sekarang default ke TMODE=ANSI, menyelaraskan perilaku perbandingan string dengan Azure Databricks dengan membuatnya peka huruf besar/kecil. Perubahan ini dapat dikonfigurasi dan tidak memengaruhi pengguna yang ada kecuali mereka ikut serta.

Lingkungan tanpa server versi 4

13 Agustus 2025

Lingkungan versi 4 sekarang tersedia di notebook dan pekerjaan tanpa server Anda. Versi lingkungan ini mencakup peningkatan pustaka dan pembaruan API. Lihat Lingkungan tanpa server versi 4.

Versi 17.0

24 Juli 2025

Rilis komputasi tanpa server ini kira-kira sesuai dengan Databricks Runtime 17.0.

Fitur baru

  • Dukungan prosedur SQL: Skrip SQL sekarang dapat dienkapsulasi dalam prosedur yang disimpan sebagai aset yang dapat digunakan kembali di Katalog Unity. Anda dapat membuat prosedur menggunakan perintah CREATE PROCEDURE , lalu memanggilnya menggunakan perintah PANGGIL .

  • Atur kolase default untuk Fungsi SQL: Menggunakan klausa baru DEFAULT COLLATION dalam CREATE FUNCTION perintah menentukan kolase default yang digunakan untuk STRING parameter, jenis pengembalian, dan STRING literal dalam isi fungsi.

  • Dukungan ekspresi tabel umum rekursif (rCTE): Azure Databricks sekarang mendukung navigasi data hierarkis menggunakan ekspresi tabel umum rekursif (rCTEs). Gunakan CTE referensi mandiri dengan UNION ALL untuk mengikuti hubungan rekursif.

  • PySpark dan Spark Connect sekarang mendukung DataFrames df.mergeInto API: PySpark dan Spark Connect sekarang mendukung df.mergeInto API.

  • Dukungan ALL CATALOGS dalam SHOW SKEMA: Sintaks SHOW SCHEMAS diperbarui untuk menerima ALL CATALOGS, memungkinkan Anda untuk melakukan iterasi melalui semua katalog aktif yang mendukung namespaces. Atribut output sekarang menyertakan kolom catalog yang menampilkan katalog namespace yang sesuai.

  • Pengklusteran cair sekarang memampatkan vektor penghapusan lebih efisien: Tabel delta dengan pengklusteran cair sekarang menerapkan perubahan fisik dari vektor penghapusan lebih efisien saat OPTIMIZE dijalankan. Untuk detail selengkapnya, lihat Menerapkan perubahan pada file data Parquet.

  • Perbolehkan ekspresi non-deterministik dalam UPDATE/INSERT nilai kolom untuk operasi MERGE: Azure Databricks sekarang memungkinkan pemakaian ekspresi non-deterministik dalam nilai kolom yang diperbarui dan disisipkan saat operasi MERGE. Misalnya, Anda sekarang dapat menghasilkan nilai dinamis atau acak untuk kolom menggunakan ekspresi seperti rand().

  • Ubah API Python MERGE Delta untuk mengembalikan DataFrame alih-alih Unit: API Python MERGE (seperti DeltaMergeBuilder) sekarang juga mengembalikan DataFrame seperti API SQL, dengan hasil yang sama.

Perubahan perilaku

  • Perubahan perilaku untuk opsi daftar direktori inkremental Auto Loader: Nilai opsi Auto Loader cloudFiles.useIncrementalListing yang tidak digunakan lagi sekarang diatur ke nilai falsedefault . Akibatnya, perubahan ini menyebabkan Auto Loader melakukan daftar direktori lengkap setiap kali dijalankan. Databricks merekomendasikan untuk tidak menggunakan opsi ini. Sebagai gantinya, gunakan mode pemberitahuan file dengan perubahan file.

  • CREATE VIEW Klausa tingkat kolom sekarang menghasilkan kesalahan ketika klausa tersebut hanya berlaku untuk tampilan materialisasi: CREATE VIEW perintah yang menentukan klausa tingkat kolom yang hanya valid untuk MATERIALIZED VIEWs sekarang menghasilkan kesalahan. Klausa yang terpengaruh termasuk NOT NULL, jenis data yang ditentukan, DEFAULT, dan COLUMN MASK.

Target performa tanpa server adalah GA

10 Juni 2025

Memilih pengaturan performa tanpa server untuk pekerjaan dan alur sekarang tersedia secara umum.

Saat pengaturan Performa yang dioptimalkan diaktifkan, beban kerja Anda dioptimalkan untuk waktu mulai dan eksekusi yang lebih cepat. Ketika dinonaktifkan, beban kerja tanpa server berjalan pada mode performa standar, yang dioptimalkan untuk biaya dan memiliki latensi peluncuran yang sedikit lebih tinggi.

Untuk informasi selengkapnya, lihat Memilih mode performa dan Memilih mode performa.

Versi 16.4

Mei 28, 2025

Rilis komputasi tanpa server ini kira-kira sesuai dengan Databricks Runtime 16.4 LTS.

Perubahan perilaku

  • Perbaikan untuk memastikan opsi dihormati dalam rencana sumber data yang di-cache: Pembaruan ini memastikan bahwa pembacaan tabel menghormati opsi yang diatur untuk semua rencana sumber data ketika di-cache, bukan hanya pembacaan tabel pertama yang di-cache. Sebelumnya, pembacaan tabel sumber data meng-cache rencana pertama tetapi gagal mempertimbangkan opsi yang berbeda dalam kueri-kueri berikutnya.

  • Aktifkan penanda untuk memerlukan materialisasi sumber untuk operasi MERGE: Sebelumnya, pengguna dapat menonaktifkan materialisasi sumber di MERGE dengan mengatur merge.materializeSource ke none. Dengan bendera baru diaktifkan, materialisasi sumber akan selalu diperlukan, dan upaya untuk menonaktifkannya akan mengakibatkan kesalahan. Databricks berencana untuk mengaktifkan bendera ini hanya untuk pelanggan yang sebelumnya belum mengubah konfigurasi ini, sehingga sebagian besar pengguna tidak boleh mengalami perubahan perilaku apa pun.

Fitur baru

  • Auto Loader sekarang dapat membersihkan file yang diproses di direktori sumber: Anda sekarang dapat menginstruksikan Auto Loader untuk memindahkan atau menghapus file yang telah diproses secara otomatis. Ikut serta dalam fitur ini dengan menggunakan cloudFiles.cleanSource opsi Auto Loader. Lihat Opsi Auto Loader, di bawah cloudFiles.cleanSource.

  • Dukungan pelebaran tipe ditambahkan untuk streaming dari tabel Delta: Rilis ini menambahkan dukungan untuk streaming dari tabel Delta yang memiliki data kolom yang telah diperlebar tipe, dan untuk berbagi tabel Delta dengan pelebaran tipe diaktifkan menggunakan Berbagi Delta Databricks-ke-Databricks. Saat ini, fitur perluasan tipe berada di Pratinjau Publik. Lihat Pelebaran tipe.

  • IDENTIFIER dukungan sekarang tersedia di DBSQL untuk operasi katalog: Anda sekarang dapat menggunakan IDENTIFIER klausul saat melakukan operasi katalog berikut:

    • CREATE CATALOG
    • DROP CATALOG
    • COMMENT ON CATALOG
    • ALTER CATALOG

    Sintaks baru ini memungkinkan Anda menentukan nama katalog secara dinamis menggunakan parameter yang ditentukan untuk operasi ini, memungkinkan alur kerja SQL yang lebih fleksibel dan dapat digunakan kembali. Sebagai contoh sintaks, pertimbangkan CREATE CATALOG IDENTIFIER(:param) di mana param adalah parameter yang disediakan untuk menentukan nama katalog. Lihat klausa IDENTIFIER.

  • Ekspresi yang disusun sekarang menyediakan alias sementara yang dibuat secara otomatis: Alias yang dibuat secara otomatis untuk ekspresi yang disusun COLLATE sekarang menggabungkan informasi secara deterministik. Alias yang dibuat secara otomatis bersifat sementara (tidak stabil) dan tidak boleh diandalkan. Sebagai gantinya, sebagai praktik terbaik, gunakan expression AS alias secara konsisten dan eksplisit.

  • Menambahkan dukungan API pushdown filter ke sumber data Python: Komputasi tanpa server sekarang mendukung pushdown filter ke pembacaan batch sumber data Python sebagai API, mirip dengan SupportsPushDownFilters antarmuka. Lihat catatan rilis 16.4 LTS.

  • Peningkatan traceback Python UDF: Traceback Python UDF sekarang menyertakan bingkai dari driver dan eksekutor bersama dengan bingkai klien, menghasilkan pesan kesalahan yang lebih baik yang menunjukkan detail yang lebih besar dan lebih relevan (seperti konten baris bingkai di dalam UDF).

  • UNION/EXCEPT/INTERSECT di dalam tampilan dan EXECUTE IMMEDIATE sekarang mengembalikan hasil yang benar: Kueri untuk definisi tampilan sementara dan persisten dengan tingkat UNION/EXCEPT/INTERSECTatas dan kolom yang tidak di-alias sebelumnya mengembalikan hasil yang salah karena UNION/EXCEPT/INTERSECT kata kunci dianggap alias. Sekarang kueri tersebut akan melakukan operasi pada keseluruhan set dengan benar.

  • Rencana cache sumber data dan panduan migrasi: Membaca dari tabel sumber file akan dengan benar memenuhi opsi kueri (misalnya pemisah). Sebelumnya, rencana kueri pertama di-cache dan perubahan opsi berikutnya diabaikan. Untuk memulihkan perilaku sebelumnya, atur spark.sql.legacy.readFileSourceTableCacheIgnoreOptions ke true.

  • Fungsi listagg dan string_agg baru: Dimulai dengan rilis ini, Anda dapat menggunakan fungsi listagg dan string_agg untuk mengagregasi nilai STRING dan BINARY dalam grup. Lihat string_agg.

Mode performa sekarang dapat dikonfigurasi pada pekerjaan tanpa server

14 April 2025

Anda sekarang dapat memilih mode performa pekerjaan tanpa server menggunakan pengaturan Performa yang dioptimalkan di halaman detail pekerjaan. Sebelumnya, semua pekerjaan tanpa server dioptimalkan performanya. Sekarang, Anda dapat menonaktifkan pengaturan Performa yang dioptimalkan untuk menjalankan beban kerja pada mode performa standar. Mode peformance standar dirancang untuk mengurangi biaya pada beban kerja di mana latensi peluncuran yang sedikit lebih tinggi dapat diterima.

Mode kinerja standar tidak didukung untuk alur berkelanjutan, eksekusi satu kali yang dibuat menggunakan titik akhir runs/submit, atau tugas pekerjaan gudang SQL, termasuk tampilan materialisasi.

Untuk informasi selengkapnya tentang mode performa, lihat Memilih mode performa.

Versi 16.3

9 April 2025

Rilis komputasi tanpa server ini kira-kira sesuai dengan Databricks Runtime 16.3.

Perubahan perilaku

  • *Pesan kesalahan yang ditingkatkan ketika kafka.sasl.client.callback.handler.class diberi nilai yang tidak valid: Rilis ini menyertakan perubahan untuk mengembalikan pesan kesalahan yang lebih deskriptif ketika kafka.sasl.client.callback.handler.class diberi nilai yang tidak valid.

Fitur baru

  • Dukungan pembaca status adalah GA: Dukungan untuk membaca informasi status untuk kueri Streaming Terstruktur sekarang tersedia secara umum pada komputasi tanpa server. Lihat Baca informasi status Streaming Terstruktur.

  • Penurunan protokol tabel Delta adalah GA dengan perlindungan titik pemeriksaan: DROP FEATURE umumnya tersedia untuk menghapus fitur tabel Delta Lake dan menurunkan tingkat protokol tabel. Secara bawaan, DROP FEATURE sekarang membuat titik pemeriksaan yang dilindungi untuk pengalaman penurunan yang lebih optimal dan sederhana tanpa memerlukan waktu tunggu atau pemotongan riwayat. Lihat Menghilangkan fitur tabel Delta Lake dan menurunkan protokol tabel.

  • Tulis skrip SQL prosedural berdasarkan ANSI SQL/PSM (Pratinjau Umum): Anda sekarang dapat menggunakan kemampuan pembuatan skrip berdasarkan ANSI SQL/PSM untuk menulis logika prosedural dengan SQL, termasuk pernyataan alur kontrol, variabel lokal, dan penanganan pengecualian. Lihat pembuatan skrip SQL.

  • Pengurutan bawaan tingkat tabel dan pandangan: Anda sekarang dapat menentukan pengurutan bawaan untuk tabel dan pandangan. Ini menyederhanakan pembuatan tabel dan tampilan di mana semua atau sebagian besar kolom berbagi kolatasi yang sama. Lihat Kolate.

  • Fungsi H3 baru: Tiga fungsi H3 baru telah ditambahkan: h3_try_coverash3, h3_try_coverash3string, dan h3_try_tessellateaswkb.

  • Mengubah beberapa kolom tabel dalam satu ALTER TABLE pernyataan: Anda sekarang dapat mengubah beberapa kolom dalam satu ALTER TABLE pernyataan. Lihat ALTER TABLE ... COLUMN klausa.

Versi 16.2

13 Maret 2025

Rilis komputasi tanpa server ini kira-kira sesuai dengan Databricks Runtime 16.2.

Perubahan perilaku

  • Dalam Berbagi Delta, riwayat tabel diaktifkan secara default: Berbagi yang dibuat menggunakan perintah SQL ALTER SHARE <share> ADD TABLE <table> sekarang memiliki berbagi riwayat (WITH HISTORY) yang diaktifkan secara default. Lihat ALTER SHARE.

  • Pernyataan SQL kredensial mengembalikan kesalahan ketika ada ketidakcocokan jenis kredensial: Sekarang, jika jenis kredensial yang ditentukan dalam pernyataan SQL manajemen kredensial tidak cocok dengan jenis argumen kredensial, kesalahan dikembalikan dan pernyataan tidak dijalankan.

Fitur baru

  • Gunakan timestampdiff & timestampadd dalam ekspresi kolom yang dihasilkan Sekarang Anda dapat menggunakan fungsi timestampdiff dan fungsi timestampadd dalam ekspresi kolom yang dihasilkan di Delta Lake. Lihat kolom yang dihasilkan oleh Delta Lake.

  • Perbarui ke DESCRIBE TABLE mengembalikan metadata sebagaiJSON terstruktur: Anda sekarang dapat menggunakan perintah DESCRIBE TABLE AS JSON untuk mengembalikan metadata tabel sebagai dokumen JSON. Output JSON lebih terstruktur daripada laporan default yang dapat dibaca manusia dan dapat digunakan untuk menginterpretasikan skema tabel secara terprogram. Untuk mempelajari lebih lanjut, lihat DESCRIBE TABLE AS JSON.

  • Kolasi tidak sensitif terhadap kekosongan di akhir: Serverless sekarang mendukung kolasi yang tidak sensitif terhadap kekosongan di akhir. Misalnya, kolase ini memperlakukan 'Hello' dan 'Hello ' sama. Untuk mempelajari lebih lanjut, lihat kolasi RTRIM.

Perbaikan bug

  • pemrosesan klon inkremental yang ditingkatkan: Rilis ini mencakup perbaikan untuk kasus ekstrim di mana CLONE inkremental mungkin menyalin ulang file yang sudah disalin dari tabel sumber ke tabel target. Lihat Mengkloning tabel di Azure Databricks.

Pengaturan memori tinggi tersedia di notebook tanpa server (Pratinjau Umum)

7 Februari 2025

Anda sekarang dapat mengonfigurasi ukuran memori yang lebih tinggi untuk beban kerja notebook komputasi tanpa server Anda. Pengaturan ini dapat diterapkan ke beban kerja notebook interaktif dan terjadwal.

Penggunaan tanpa server dengan memori tinggi memiliki tingkat emisi DBU yang lebih tinggi daripada memori standar.

Untuk informasi selengkapnya, lihat Menggunakan komputasi tanpa server memori tinggi.

Versi 16.1

5 Februari 2025

Rilis komputasi tanpa server ini kira-kira sesuai dengan Databricks Runtime 16.0 dan Databricks Runtime 16.1.

Fitur baru

  • dukungan Avro untuk skema rekursif: Sekarang Anda dapat menggunakan opsi recursiveFieldMaxDepth dengan fungsi from_avro dan sumber data avro. Opsi ini mengatur kedalaman maksimum untuk rekursi skema pada sumber data Avro. Lihat Membaca dan menulis data Avro streaming.
  • Perluasan Dukungan untuk Confluent Schema Registry untuk Avro: Serverless sekarang mendukung referensi skema Avro dengan Confluent Schema Registry. Lihat Autentikasi ke Registri Skema Confluent yang eksternal.
  • Paksa rekalusterisasi pada tabel dengan klasterisasi cair: Anda sekarang dapat menggunakan sintaks OPTIMIZE FULL untuk memaksa rekalusterisasi semua rekaman dalam tabel dengan klasterisasi cair diaktifkan. Lihat Force reclustering untuk semua rekaman.
  • API Delta untuk Python sekarang mendukung kolom identitas: Anda sekarang dapat menggunakan API Delta untuk Python untuk membuat tabel dengan kolom identitas. Lihat Menggunakan kolom identitas di Delta Lake.
  • Membuat tabel berkluster cair selama penulisan streaming: Anda sekarang dapat menggunakan clusterBy untuk mengaktifkan pengklusteran cairan saat membuat tabel baru dengan penulisan Streaming Terstruktur. Lihat Mengaktifkan pengklusteran cairan.
  • Dukungan untuk klausul FULL OPTIMIZE: Komputasi Tanpa Server sekarang mendukung klausul OPTIMIZE FULL. Klausa ini mengoptimalkan semua rekaman dalam tabel yang menggunakan pengklusteran cairan, termasuk data yang mungkin sebelumnya telah diklusterkan.
  • Spesifikasi opsi untuk WITH dalam INSERT dan referensi tabel: Komputasi Tanpa Server sekarang mendukung spesifikasi opsi untuk referensi tabel dan nama tabel pernyataan INSERT yang dapat digunakan untuk mengontrol perilaku sumber data.
  • Fungsi SQL Baru: Fungsi SQL berikut sekarang tersedia pada komputasi tanpa server:
    • try_url_decode adalah versi url_decodeyang toleran terhadap kesalahan.
    • zeroifnull mengembalikan 0 jika ekspresi input zeroifnull()ke fungsi NULL.
    • nullifzero mengembalikan NULL jika input bernilai 0 atau input tersebut jika bukan 0.
    • dayname(expr) mengembalikan akronim bahasa Inggris tiga huruf untuk hari dalam seminggu untuk tanggal tertentu.
    • uniform(expr1, expr2 [,seed]) mengembalikan nilai acak dengan nilai independen dan terdistribusi secara identik dalam rentang angka yang ditentukan.
    • randstr(length) mengembalikan string acak dari length karakter alfa-numerik.
  • Aktifkan evolusi skema otomatis saat menggabungkan data ke dalam tabel Delta: dukungan telah ditambahkan untuk anggota withSchemaEvolution() kelas DeltaMergeBuilder. Gunakan withSchemaEvolution() untuk mengaktifkan evolusi skema otomatis selama MERGE operasi. Contohnya,mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.
  • Dukungan untuk kolasi di Apache Spark telah tersedia dalam Pratinjau Umum: Anda sekarang dapat menetapkan kolasi yang sadar bahasa, tidak peka terhadap huruf besar/kecil, dan tidak peka terhadap akses untuk STRING kolom dan ekspresi. Kolasi ini digunakan untuk perbandingan string, pengurutan, operasi pengelompokan, dan banyak fungsi string. Lihat Kolate.
  • Dukungan untuk pengurutan di Delta Lake sudah dapat diakses dalam Pratinjau Umum: Anda sekarang dapat menentukan pengurutan untuk kolom saat membuat atau mengubah tabel Delta. Lihat dukungan Collation untuk Delta Lake.
  • modus LITE untuk vakum sedang dalam tahap Pratinjau Umum: Anda sekarang dapat menggunakan VACUUM table_name LITE untuk melakukan operasi vakum yang lebih ringan bobotnya dengan menggunakan metadata di log transaksi Delta. Lihat mode Lengkap vs. mode ringan dan VACUUM.
  • Dukungan untuk membuat parameter klausul USE CATALOG with IDENTIFIER: Klausa IDENTIFIER sekarang didukung untuk pernyataan USE CATALOG. Dengan dukungan ini, Anda dapat membuat parameter katalog saat ini berdasarkan variabel string atau penanda parameter.
  • COMMENT ON COLUMN dukungan untuk tabel dan tampilan: Pernyataan COMMENT ON sekarang mendukung perubahan komentar untuk kolom tampilan dan tabel.
  • Pemanggilan parameter bernama untuk lebih banyak fungsi: Fungsi berikut mendukung pemanggilan parameter bernama :
  • Parameter SYNC METADATA ke perintah REPAIR TABLE didukung dengan metastore Apache Hive: Anda sekarang dapat menggunakan parameter SYNC METADATA dengan perintah REPAIR TABLE untuk memperbarui metadata tabel terkelola metastore Apache Hive. Lihat REPAIR TABLE.
  • Integritas data yang ditingkatkan untuk batch Apache Arrow terkompresi: Untuk melindungi lebih lanjut dari kerusakan data, setiap batch Apache Arrow terkompresi sekarang menyertakan konten dan cek-sum blok. Lihat Deskripsi Format Kerangka LZ4.
  • Driver Oracle JDBC Terpasang: Komputasi Tanpa Server sekarang memiliki Driver Oracle JDBC terpasang. Jika Anda menggunakan JAR driver JDBC yang diunggah pelanggan melalui DriverManager, Anda harus menulis ulang skrip untuk secara eksplisit menggunakan JAR kustom. Jika tidak, driver bawaan akan digunakan. Pengemudi ini hanya mendukung Federasi Lakehouse. Untuk penggunaan lain, Anda harus menyediakan driver Anda sendiri.
  • Kesalahan lebih rinci untuk tabel Delta yang diakses dengan jalur: Pengalaman pesan kesalahan baru untuk tabel Delta yang diakses menggunakan jalur sekarang tersedia. Semua pengecualian sekarang diteruskan ke pengguna. Pengecualian DELTA_MISSING_DELTA_TABLE sekarang diperuntukkan ketika file dasar tidak dapat dibaca sebagai tabel Delta.

Perubahan perilaku

  • Perubahan besar: RStudio yang dihosting mencapai akhir masa pakai: Dengan rilis ini, Server RStudio yang dihosting Databricks telah mencapai akhir masa pakai dan tidak tersedia di ruang kerja Azure Databricks apa pun yang berjalan pada komputasi serverless. Untuk mempelajari selengkapnya dan melihat daftar alternatif untuk RStudio, lihat Menyambungkan ke Server RStudio yang dihosting Databricks.

  • Perubahan mencolok: Penghapusan dukungan untuk mengubah byte, , shortdan intlong jenis ke jenis yang lebih luas: Untuk memastikan perilaku yang konsisten di seluruh tabel Delta dan Apache Iceberg, perubahan jenis data berikut tidak dapat lagi diterapkan ke tabel dengan fitur pelesiran jenis diaktifkan:

    • byte, short, int dan long ke decimal.
    • byte, short, dan int ke double.

  • Penguraian pola regex yang benar dengan negasi dalam pengelompokan karakter berlapis: Rilis ini mencakup perubahan untuk mendukung penguraian pola regex yang benar dengan negasi dalam pengelompokan karakter berlapis. Misalnya, [^[abc]] akan diproses sebagai "karakter apa pun yang BUKAN salah satu dari 'abc'".

    Selain itu, perilaku Photon tidak konsisten dengan Spark untuk kelas karakter berlapis. Pola regex yang berisi kelas karakter berlapis tidak akan lagi menggunakan Photon, dan sebaliknya akan menggunakan Spark. Kelas karakter bersarang adalah pola yang berisi tanda kurung siku di dalam tanda kurung siku, seperti [[a-c][1-3]].

  • Meningkatkan deteksi kecocokan duplikat di Delta Lake MERGE:MERGE sekarang mempertimbangkan kondisi yang ditentukan dalam klausa WHEN MATCHED. Lihat Upsert pada tabel Delta Lake menggunakan merge.

  • Fungsionalitas addArtifact() sekarang konsisten di seluruh jenis komputasi: Saat Anda menggunakan addArtifact(archive = True) untuk menambahkan dependensi ke komputasi tanpa server, arsip secara otomatis dibongkar.

Perbaikan bug

  • Sekarang, offset zona waktu mencakup detik saat diserialkan ke format CSV, JSON, dan XML: Tanda waktu dengan offset zona waktu yang mencakup detik (umum untuk tanda waktu dari sebelum 1900) mengabaikan detik saat diserialkan ke CSV, JSON, dan XML. Formatter tanda waktu default telah diperbaiki dan sekarang mengembalikan nilai offset yang benar untuk tanda waktu ini.

Perubahan lainnya

  • Mengganti nama kode kesalahan untuk sumber Streaming Terstruktur cloudFiles: Kode kesalahan berikut telah diganti namanya:
    • _LEGACY_ERROR_TEMP_DBR_0143 diganti namanya menjadi CF_INCORRECT_STREAM_USAGE.
    • _LEGACY_ERROR_TEMP_DBR_0260 diganti namanya menjadi CF_INCORRECT_BATCH_USAGE .

Versi 15.4

28 Oktober 2024

Rilis komputasi tanpa server ini kira-kira sesuai dengan Databricks Runtime 15.4

Fitur baru

  • Fungsi validasi UTF-8: Rilis ini memperkenalkan fungsi berikut untuk memvalidasi string UTF-8:
    • is_valid_utf8 memverifikasi apakah string adalah string UTF-8 yang valid.
    • make_valid_utf8 mengonversi string UTF-8 yang berpotensi tidak valid ke string UTF-8 yang valid menggunakan karakter substitusi.
    • validate_utf8 menimbulkan kesalahan jika input bukan string UTF-8 yang valid.
    • try_validate_utf8 mengembalikan NULL jika input bukan string UTF-8 yang valid.
  • Aktifkan UniForm Iceberg menggunakan ALTER TABLE: Anda sekarang dapat mengaktifkan UniForm Iceberg pada tabel yang ada tanpa menulis ulang file data. Lihat Mengaktifkan pembacaan menggunakan Iceberg pada tabel yang ada.
  • try_url_decode fungsi: Rilis ini memperkenalkan fungsi try_url_decode , yang mendekode string yang dikodekan URL. Jika string tidak dalam format yang benar, fungsi akan mengembalikan NULL daripada menghasilkan kesalahan.
  • Secara opsional memungkinkan pengoptimal untuk mengandalkan batasan kunci asing yang tidak diberlakukan: Untuk meningkatkan performa kueri, Anda sekarang dapat menentukan kata kunci RELY pada batasan FOREIGN KEY saat Anda MEMBUAT atau MENGUBAH tabel.
  • Pekerjaan paralel berjalan untuk penimpaan selektif: Penimpaan Selektif menggunakan replaceWhere sekarang menjalankan proses yang menghapus data dan menyisipkan data baru secara paralel, meningkatkan kinerja kueri dan utilisasi kluster.
  • Peningkatan performa untuk umpan data perubahan dengan penimpaan selektif: Penimpaan selektif dengan menggunakan replaceWhere pada tabel dengan umpan data perubahan tidak lagi membuat file data perubahan terpisah untuk data yang disisipkan. Operasi ini menggunakan kolom tersembunyi _change_type yang ada di file data Parquet dasar untuk merekam perubahan tanpa peningkatan volume tulis.
  • Latensi kueri yang disempurnakan COPY INTO untuk perintah: Rilis ini menyertakan perubahan yang meningkatkan latensi kueri untuk COPY INTO perintah. Peningkatan ini diimplementasikan dengan membuat pemuatan keadaan oleh penyimpanan keadaan RocksDB menjadi asinkron. Dengan perubahan ini, Anda akan melihat peningkatan pada waktu mulai untuk kueri dengan status besar, seperti kueri dengan sejumlah besar file yang sudah diserap.
  • Dukungan untuk menghilangkan fitur tabel batasan pemeriksaan: Sekarang Anda dapat menghilangkan fitur tabel checkConstraints dari tabel Delta menggunakan ALTER TABLE table_name DROP FEATURE checkConstraints. Lihat Menonaktifkan batasan pemeriksaan.

Perubahan perilaku

  • Perubahan pengikatan skema untuk tampilan: Ketika tipe data dalam kueri yang mendasari tampilan berubah dari yang digunakan saat pertama kali dibuat, Databricks tidak lagi mengeluarkan kesalahan untuk referensi ke tampilan ketika tidak ada konversi aman yang dapat dilakukan.

    Sebagai gantinya, tampilan mengkompensasi dengan menggunakan aturan konversi yang berlaku jika memungkinkan. Perubahan ini memungkinkan Databricks untuk mentolerir perubahan skema tabel dengan lebih mudah.

  • Melarang sintaks yang tidak terdokumentasikan ! untuk NOT di luar logika boolean: Databricks tidak akan lagi mentoleransi penggunaan ! sebagai sinonim untuk NOT di luar konteks logika boolean. Perubahan ini mengurangi kebingungan, selaras dengan standar SQL, dan membuat SQL lebih portabel. Contohnya:

    CREATE ... IF ! EXISTS, IS! NULL, properti kolom atau bidang ! NULL, ! IN dan ! BETWEEN harus diganti dengan:

    CREATE ... IF NOT EXISTS, IS NOT NULL, properti kolom atau bidang NOT NULL, NOT IN dan NOT BETWEEN.

    Operator ! awalan boolean (misalnya !is_mgr atau !(true AND false)) tidak terpengaruh oleh perubahan ini.

  • Melarang bagian sintaks definisi kolom yang tidak terdokumentasi dan tidak diolah pada tampilan: Databricks mendukung CREATE VIEW dengan kolom bernama dan komentar kolom.

    Spesifikasi jenis kolom, batasan NOT NULL, atau DEFAULT telah ditoleransi dalam sintaks tanpa memiliki efek apa pun. Databricks akan menghapus toleransi sintaks ini. Melakukannya mengurangi kebingungan, selaras dengan standar SQL, dan memungkinkan peningkatan di masa mendatang.

  • Penanganan kesalahan yang konsisten untuk decoding Base64 di Spark dan Photon: Rilis ini mengubah cara Photon menangani kesalahan decoding Base64 agar sesuai dengan penanganan Spark dari kesalahan ini. Sebelum perubahan ini, jalur pembuatan kode Photon dan Spark terkadang gagal menghasilkan pengecualian penguraian, sementara eksekusi yang ditafsirkan Spark dengan benar menghasilkan IllegalArgumentException atau ConversionInvalidInputError. Pembaruan ini memastikan bahwa Photon secara konsisten menimbulkan pengecualian yang sama dengan Spark selama kesalahan decoding Base64, memberikan penanganan kesalahan yang lebih dapat diprediksi dan dapat diandalkan.

  • Menambahkan batasan CHECK pada kolom yang tidak valid sekarang mengembalikan UNRESOLVED_COLUMN. WITH_SUGGESTION kelas kesalahan: Untuk memberikan pesan kesalahan yang lebih berguna, dalam Databricks Runtime 15.3 ke atas, pernyataan ALTER TABLE ADD CONSTRAINT yang menyertakan batasan CHECK yang merujuk nama kolom yang tidak valid mengembalikan UNRESOLVED_COLUMN. WITH_SUGGESTION kelas kesalahan. Sebelumnya, sebuah INTERNAL_ERROR telah dikembalikan.

JDK ditingkatkan dari JDK 8 ke JDK 17

15 Agustus 2024

Komputasi tanpa server untuk notebook dan alur kerja telah dimigrasikan dari Java Development Kit (JDK) 8 ke JDK 17 di sisi server. Peningkatan ini mencakup perubahan perilaku berikut:

  • Penguraian pola regex yang benar dengan negasi dalam pengelompokan karakter berlapis: Dengan peningkatan ini, Azure Databricks sekarang mendukung penguraian pola regex yang benar dengan negasi dalam pengelompokan karakter berlapis. Misalnya, [^[abc]] akan diproses sebagai "karakter apa pun yang BUKAN salah satu dari 'abc'".

    Selain itu, perilaku Photon tidak konsisten dengan Spark untuk kelas karakter berlapis. Pola regex yang berisi kelas karakter berlapis tidak akan lagi menggunakan Photon, dan sebaliknya akan menggunakan Spark. Kelas karakter bersarang adalah pola yang berisi tanda kurung siku di dalam tanda kurung siku, seperti [[a-c][1-3]].

Versi 15.1

23 Juli 2024

Rilis komputasi tanpa server ini kira-kira sesuai dengan Databricks Runtime 15.1

Fitur baru

Dukungan untuk sintaks bintang (*) dalam klausa WHERE: Anda sekarang dapat menggunakan sintaks bintang (*) dalam klausa WHERE untuk mengacu semua kolom dari daftar SELECT.

Contohnya,SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Changes

Pemulihan kesalahan yang lebih baik untuk penguraian JSON: Pengurai JSON yang digunakan untuk from_json() dan ekspresi jalur JSON sekarang pulih lebih cepat dari sintaks yang salah bentuk, yang mengakibatkan lebih sedikit kehilangan data.

Saat mengalami sintaks JSON yang salah bentuk dalam bidang struct, nilai array, kunci peta, atau nilai peta, pengurai JSON sekarang akan mengembalikan NULL hanya untuk bidang, kunci, atau elemen yang tidak dapat dibaca. Bidang, kunci, atau elemen berikutnya akan diurai dengan benar. Sebelum perubahan ini, pengurai JSON meninggalkan penguraian array, struktur, atau peta dan mengembalikan NULL konten yang tersisa.

Versi 14.3

15 April 2024

Ini adalah versi komputasi tanpa server awal. Versi ini kira-kira sesuai dengan Databricks Runtime 14.3 dengan beberapa modifikasi yang menghapus dukungan untuk beberapa fitur non-serverless dan warisan.

Parameter konfigurasi Spark yang Didukung

Untuk mengotomatiskan konfigurasi Spark pada komputasi tanpa server, Azure Databricks telah menghapus dukungan untuk mengatur sebagian besar konfigurasi Spark secara manual. Untuk menampilkan daftar parameter konfigurasi Spark yang didukung, lihat Mengonfigurasi properti Spark untuk buku catatan dan pekerjaan tanpa server.

Pekerjaan yang berjalan pada komputasi tanpa server akan gagal jika Anda mengatur konfigurasi Spark yang tidak didukung.

fungsi input_file tidak digunakan lagi

Fungsi input_file_name(), input_file_block_length(), dan input_file_block_start() tidak digunakan lagi. Menggunakan fungsi-fungsi ini sangat tidak disarankan.

Sebagai gantinya, gunakan kolom metadata file untuk mengambil informasi metadata file.

Perubahan perilaku

Komputasi tanpa server versi 2024.15 menyertakan perubahan perilaku berikut:

  • perbaikan bug unhex(hexStr): Saat menggunakan fungsi unhex(hexStr), hexStr selalu dilapisi ke kiri hingga menjadi byte utuh. Sebelumnya fungsi unhex mengabaikan separuh byte pertama. Misalnya: unhex('ABC') sekarang menghasilkan alih-alih x'0ABC'x'BC'.
  • Alias kolom yang dihasilkan secara otomatis sekarang stabil: Saat hasil ekspresi direferensikan tanpa alias kolom yang ditentukan pengguna, alias yang dihasilkan secara otomatis ini sekarang akan stabil. Algoritma baru dapat mengakibatkan perubahan pada nama yang dihasilkan secara otomatis sebelumnya yang digunakan dalam fitur seperti tampilan materialisasi.
  • Pemindaian tabel dengan bidang jenis CHAR sekarang selalu diisi: tabel Delta, tabel JDBC tertentu, dan sumber data eksternal menyimpan data CHAR dalam bentuk tidak berisi tambahan padding. Saat membaca, Azure Databricks sekarang akan menambahkan spasi pada data ke panjang yang sudah ditetapkan untuk memastikan makna yang tepat.
  • Konversi dari BIGINT/DECIMAL ke TIMESTAMP akan menghasilkan kesalahan untuk nilai yang melampaui batas: Azure Databricks memungkinkan konversi dari BIGINT dan DESIMAL ke TIMESTAMP dengan memperlakukan nilai sebagai jumlah detik dari epoch Unix. Sebelumnya, Azure Databricks akan mengembalikan nilai overflow, tetapi sekarang menghasilkan pengecualian dalam kasus overflow. Gunakan try_cast untuk mengembalikan NULL alih-alih pengecualian.
  • eksekusi PySpark UDF telah ditingkatkan agar sesuai dengan perilaku eksekusi UDF yang tepat pada komputasi khusus: Perubahan berikut telah dilakukan:
    • UDF dengan jenis pengembalian string tidak lagi secara implisit mengonversi nilai non-string menjadi string. Sebelumnya, UDF dengan tipe pengembalian str akan menerapkan pembungkus str(..) ke hasil, terlepas dari jenis data aktual nilai yang dikembalikan.
    • UDF dengan jenis pengembalian timestamp tidak lagi secara implisit menerapkan konversi zona waktu ke tanda waktu.
  • Last updated on