Rilis Tabel Langsung Delta 2022.37

14 September - 22, 2022

Fitur dan peningkatan ini dirilis dengan rilis Delta Live Tables 2022.37.

Versi Runtime Databricks yang digunakan oleh rilis ini

Channel:

• CURRENT (default): Databricks Runtime 10.3.7
• PRATINJAU: Databricks Runtime 11.0.5

Fitur dan peningkatan baru dalam rilis ini

• Permintaan Mulai API pembaruan alur sekarang mengembalikan request_id bidang dalam isi respons. request_id adalah pengidentifikasi stabil untuk permintaan asli yang memulai pembaruan. Jika pembaruan dicoba ulang atau dimulai ulang, pembaruan baru mewarisi request_id.

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Permintaan API baru requests (GET /pipelines/{pipeline_id}/requests/{request_id}) mengembalikan status pembaruan alur yang terkait dengan request_id. Respons mencakup informasi tentang pembaruan terbaru.

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

• Kode Python Anda sekarang dapat memanggil spark.sql operasi di luar dlt.table() atau dlt.view() fungsi, selama operasi tidak membaca dari tampilan materialisasi atau tabel streaming.

• Entri log peristiwa sekarang berisi maturity properti untuk menunjukkan stabilitas skema peristiwa. Nilai yang memungkinkan adalah stable, evolving, dan deprecated. Untuk informasi selengkapnya tentang log peristiwa Tabel Langsung Delta, lihat Apa itu log peristiwa Delta Live Tables?.

• Pesan kesalahan ditingkatkan ketika perubahan yang tidak kompatibel dilakukan pada tabel sumber yang digunakan oleh tabel streaming.

• Sekarang Anda dapat memilih kebijakan kluster di UI Delta Live Tables saat membuat atau mengedit alur. Sebelumnya, mengatur kebijakan kluster untuk alur yang diperlukan untuk mengedit pengaturan JSON alur.

• Startup alur yang lebih cepat. Rilis ini mencakup peningkatan yang mempercepat SETTING_UP_TABLES langkah ketika alur dimulai.

Perbaikan Bug dalam rilis ini

• Rilis ini memperbaiki bug yang mencegah peningkatan skala Otomatis yang Ditingkatkan saat tidak ada instans kluster menganggur yang tersedia.