DLT sürüm 2022.37

14 - 22 Eylül 2022

Bu özellikler ve iyileştirmeler DLT'nin 2022.37 sürümüyle yayımlandı.

Bu sürüm tarafından kullanılan Databricks Runtime sürümleri

Channel:

• GÜNCEL (varsayılan): Databricks Runtime 10.3.7
• ÖNİzLEME: Databricks Runtime 11.0.5

Bu sürümdeki yeni özellikler ve geliştirmeler

• Güncelleştirme API'sini başlatma isteği şimdi yanıt gövdesindeki request_id alanını döndürür. request_id, güncelleştirmeyi başlatan özgün istek için kararlı bir tanımlayıcıdır. Bir güncelleştirme yeniden denenirse veya yeniden başlatılırsa, yeni güncelleştirme request_iddevralır.

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Yeni requests API isteği (GET /pipelines/{pipeline_id}/requests/{request_id}), request_idile ilişkili işlem hattı güncelleştirmesinin durumunu döndürür. Yanıt, en son güncelleştirme hakkında bilgi içerir.

{
  "status": "ACTIVE",
  "latest_update": {}
}

• Python kodunuz artık, işlem gerçekleştirilmiş bir görünümden veya akış tablosundan okumadığı sürece, spark.sql veya dlt.table() işlevleri dışında dlt.view() işlemleri çağırabilir.

• Olay günlüğü girdileri artık olay şemasının kararlılığını göstermek için maturity özelliğini içerir. Olası değerler stable, evolvingve deprecated. DLT olay günlüğü hakkında daha fazla bilgi için bkz İşlem hattı olay günlüğü.

• Akış tablosu tarafından kullanılan kaynak tablolarda uyumsuz değişiklikler yapıldığında hata iletisi iyileştirilir.

• Artık işlem hattı oluştururken veya düzenlerken DLT kullanıcı arabiriminde bir küme ilkesi seçebilirsiniz. Daha önce bir işlem hattı için küme ilkesini ayarlamak için işlem hattının JSON ayarlarını düzenlemek gerekiyordu.

• Daha hızlı boru hattı başlatma. Bu sürüm, bir işlem hattı başlatıldığında SETTING_UP_TABLES adımını hızlandıran geliştirmeler içeriyor.

Bu sürümdeki Hata Düzeltmeleri

• Bu sürüm, boşta küme örneği olmadığında gelişmiş otomatik ölçeklendirmenin ölçeği artırmasını engelleyen bir hatayı düzeltir.