Versión DLT 2022.40

28 de septiembre: 5 de octubre de 2022

Estas características y mejoras se publicaron con la versión 2022.40 de DLT.

Versiones de Databricks Runtime usadas por esta versión

Canal:

• CURRENT (valor predeterminado): Databricks Runtime 11.0.7
• VERSIÓN PRELIMINAR: Databricks Runtime 11.0.7

Nuevas características y mejoras en esta versión

• El uso de una etiqueta de clúster que no sea default o maintenance en la configuración de la canalización produce errores durante la creación o edición de la canalización. Para más información sobre la configuración del clúster para canalizaciones declarativas de Spark de Lakeflow, consulte Configurar computación clásica para canalizaciones.

• Ahora puede abrir o ejecutar canalizaciones directamente desde los cuadernos de Canalizaciones declarativas de Spark de Lakeflow. Ver Desarrollo y depuración de canalizaciones con un cuaderno (heredado).

• Esta versión incluye un cambio importante en la estructura de datos de configuración de canalización devuelta por las solicitudes de DLTAPI. Este cambio devuelve el campo edition como un valor en mayúsculas. Antes, este valor se devolvía con mayúsculas y minúsculas mezcladas. Debe actualizar los clientes que lean el valor de edition en las respuestas de API para garantizar el procesamiento correcto del valor devuelto. Sin embargo, el edition valor de las solicitudes de API no distingue mayúsculas de minúsculas; los clientes que envían solicitudes, incluido este campo, no requieren actualización.

Correcciones de errores en esta versión

• Esta versión corrige un error que provoca que la interfaz de usuario de DLT muestre una canalización en un estado RUNNING incluso después de un error de actualización.

• Esta actualización corrige un error en la interfaz de APPLY_CHANGES al volver a procesar los datos de entrada en los que los datos contienen operaciones duplicadas DELETE con el mismo valor en la SEQUENCE columna. Este escenario da como resultado NULL valores en la tabla de destino y la eliminación del valor de DeleteVersion. Esto equivale a marcar el registro como NOT-DELETED. Con este cambio, las operaciones de DELETE duplicadas se controlan de forma idempotente y siempre marcan el registro como DELETED.

• Esta versión corrige un error que provoca que las filas se ocultan durante el procesamiento del tipo 2 de SCD cuando se elimina un registro histórico anterior que contiene las mismas columnas que el siguiente registro histórico.

• Esta actualización corrige un error que provoca que una vista con una expect_or_fail expectativa permanezca en el estado RUNNING incluso si se produce un error en la expectativa. Con esta corrección, se produce un error en la canalización y se realiza la transición al estado FAILED.