Versión DLT 2022.37

14 de septiembre de 22, 2022

Estas características y mejoras se publicaron con la versión 2022.37 de DLT.

Versiones de Databricks Runtime usadas por esta versión

Channel:

• CURRENT (valor predeterminado): Databricks Runtime 10.3.7
• VERSIÓN PRELIMINAR: Databricks Runtime 11.0.5

Nuevas características y mejoras en esta versión

• La solicitud de inicio de actualización de API ahora devuelve el campo request_id en el cuerpo de la respuesta. request_id es un identificador estable para la solicitud original que inicia la actualización. Si se reintenta o reinicia una actualización, la nueva actualización hereda el request_id.

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

La nueva solicitud de API requests (GET /pipelines/{pipeline_id}/requests/{request_id}) devuelve el estado de la actualización de canalización asociada a request_id. La respuesta incluye información sobre la actualización más reciente.

{
  "status": "ACTIVE",
  "latest_update": {}
}

• Su código Python ya puede llamar a operaciones spark.sql fuera de las funciones dlt.table() o dlt.view(), siempre que la operación no esté leyendo de una tabla de vista materializada o de streaming.

• Las entradas del registro de eventos ahora contienen la maturity propiedad para indicar la estabilidad del esquema de eventos. Los valores posibles son stable, evolving y deprecated. Para obtener más información sobre el registro de eventos DLT, consulte Registro de eventos de canalización.

• El mensaje de error se mejora cuando se realizan cambios incompatibles en las tablas de origen usadas por una tabla de streaming.

• Ahora puede seleccionar una directiva de clúster en la interfaz de usuario de DLT al crear o editar una canalización. Anteriormente, establecer la directiva de clúster para una canalización requería editar la configuración JSON de la canalización.

• Inicio de canalización más rápido. Esta versión incluye mejoras que aceleran el paso de SETTING_UP_TABLES cuando se inicia una canalización.

Correcciones de errores en esta versión

• Esta versión corrige un error que impide que el escalado automático mejorado se escale verticalmente cuando no haya ninguna instancia de clúster inactiva disponible.