DLT sürüm 2022.40

28 Eylül - 5 Ekim 2022

Bu özellikler ve iyileştirmeler, DLT'nin 2022.40 sürümüyle kullanıma sunuldu.

Bu sürüm tarafından kullanılan Databricks Runtime sürümleri

Kanalı:

• GÜNCEL (varsayılan): Databricks Runtime 11.0.7
• ÖNİzLEME: Databricks Runtime 11.0.7

Bu sürümdeki yeni özellikler ve geliştirmeler

• İşlem hattı ayarlarınızda default veya maintenance dışında bir küme etiketi kullanmak işlem hattı oluşturma veya düzenleme sırasında hatalara neden olur. Lakeflow üzerinde Spark Bildirimli İşlem Hatları için küme yapılandırması hakkında daha fazla bilgi için bkz. İşlem hatları için klasik işlem yapılandırma.

• Artık işlem hatlarını doğrudan Lakeflow not defterlerinizdeki Spark Bildirimli İşlem Hatları'ndan açabilir veya çalıştırabilirsiniz. Bkz . Not defteriyle işlem hatlarını geliştirme ve hatalarını ayıklama (eski).

• Bu sürüm, DLT API istekleri tarafından döndürülen işlem hattı ayarları veri yapısında uyumsuzluk yaratan bir değişiklik içerir. Bu değişiklik, edition alanını büyük harf değeri olarak döndürür. Daha önce bu değer karışık küçük/büyük harf olarak döndürülürdü. Dönüş değerinin doğru işlenmesini sağlamak için API yanıtlarında edition değerini okuyan istemcilerinizi güncelleştirmeniz gerekir. Ancak API isteklerindeki edition değeri büyük/küçük harfe duyarlı değildir; bu alan dahil olmak üzere istek gönderen istemcilerinizin güncelleştirilmesi gerekmez.

Bu sürümdeki Hata Düzeltmeleri

• Bu sürüm, güncelleştirme hatasından sonra bile DLT kullanıcı arabiriminin bir işlem hattını RUNNING durumunda göstermesine neden olan bir hatayı düzeltir.

• Bu güncelleştirme, verilerin sütununda aynı değere sahip yinelenen DELETE işlemlerini içerdiği durumlarda veriler yeniden işlenirken, SEQUENCE hatasını düzeltir. Bu senaryo, hedef tabloda NULL değerlerin alınmasına ve DeleteVersion değerinin kaldırılmasına neden olur. Bu, kaydı NOT-DELETEDolarak işaretlemeye eşdeğerdir. Bu değişiklikle, yinelenen DELETE işlemleri aynı anda işlenir ve kaydı her zaman DELETEDolarak işaretler.

• Bu sürüm, önceki bir tarihsel kaydın, sonraki tarihsel kayıtla aynı sütunları içermesi durumunda silinmesi halinde, SCD türü 2 işleme sırasında satırların gizlenmesine neden olan bir hatayı düzeltir.

• Bu güncelleştirme, expect_or_fail beklentisi olan bir görünümün, beklenti başarısız olsa bile, RUNNING durumunda kalmasına neden olan bir hatayı düzeltir. Bu düzeltmeyle işlem hattı başarısız olur ve FAILED durumuna geçirilir.