Rilis DLT 2022.37

14 - 22 September 2022

Fitur dan peningkatan ini dirilis dengan rilis DLT 2022.37.

Versi Runtime Databricks yang digunakan oleh rilis ini

Channel:

• CURRENT (default): Databricks Runtime Versi 10.3.7
• PRATINJAU: Databricks Runtime 11.0.5

Fitur dan peningkatan baru dalam rilis ini

• Permintaan API pembaruan mulai sekarang mengembalikan bidang request_id di isi respons. request_id adalah pengidentifikasi stabil untuk permintaan asli yang memulai pembaruan. Jika pembaruan dicoba kembali atau dimulai ulang, pembaruan baru mewarisi request_id.

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Permintaan API requests baru (GET /pipelines/{pipeline_id}/requests/{request_id}) mengembalikan status pembaruan alur yang terkait dengan request_id. Respons mencakup informasi tentang pembaruan terbaru.

{
  "status": "ACTIVE",
  "latest_update": {}
}

• Kode Python Anda sekarang dapat memanggil operasi spark.sql di luar fungsi dlt.table() atau dlt.view(), selama operasi tidak membaca dari tampilan terwujud atau tabel streaming.

• Entri log peristiwa sekarang berisi properti maturity untuk menunjukkan stabilitas skema peristiwa. Nilai yang mungkin adalah stable, evolving, dan deprecated. Untuk informasi selengkapnya tentang log peristiwa DLT, lihat Log peristiwa alur.

• Pesan kesalahan menjadi lebih jelas ketika perubahan tidak kompatibel dilakukan pada tabel sumber untuk tabel streaming.

• Anda sekarang dapat memilih kebijakan kluster di antarmuka pengguna DLT saat membuat atau mengedit alur. Sebelumnya, mengatur kebijakan kluster untuk sebuah alur memerlukan pengeditan pengaturan JSON alur.

• Startup jalur yang lebih cepat. Rilis ini mencakup peningkatan yang mempercepat langkah SETTING_UP_TABLES saat alur kerja dimulai.

Perbaikan Bug dalam rilis ini

• Rilis ini memperbaiki bug yang mencegah peningkatan skala otomatis dari peningkatan skala ketika tidak ada instans kluster menganggur yang tersedia.