Versión DLT 2022.49

6 - 9 de diciembre de 2022

Estas características y mejoras se publicaron con la versión 2022.49 de DLT.

Versiones de Databricks Runtime usadas por esta versión

Canal:

• CURRENT (valor predeterminado): Databricks Runtime 11.0.11
• VERSIÓN PRELIMINAR: Databricks Runtime 11.3.2

Nuevas características y mejoras en esta versión

• Ahora puede importar archivos desde una carpeta de Git de Databricks como módulos de Python. Puede importar archivos desde la ruta de acceso del repositorio actual o una ruta de acceso de repositorio especificada mediante sys.path.append().

• El escalado automático mejorado ahora está disponible con carácter general. Con esta versión, el escalado automático mejorado es el modo de escalado automático predeterminado para las nuevas canalizaciones creadas en la interfaz de usuario. Databricks recomienda actualizar las canalizaciones que usan el escalado automático del clúster existente para usar el escalado automático mejorado.

• En el caso de las canalizaciones que se ejecutan en modo continuo, el límite de reintento predeterminado es ahora 2 cuando se producen errores reintentos. Incluido el intento original, todos los procesos tienen tres intentos (con retardo exponencial) para ejecutarse cuando se producen errores no fatales. Anteriormente, los valores predeterminados eran reintentos ilimitados para los flujos por lotes y cinco reintentos para los flujos de streaming.

• El parámetro pipelines.maxFlowRetryAttempts de configuración ahora se aplica al límite de reintentos para todos los flujos, incluidos los flujos de procesamiento por lotes y de streaming, y las canalizaciones continuas o desencadenadas. Anteriormente, pipelines.maxFlowRetryAttempts se aplicaba a todos los límites de reintentos en modo desencadenado, pero solo los flujos por lotes en modo continuo; los reintentos para las canalizaciones de streaming en modo continuo se controlaron mediante pipelines.numStreamRetryAttempts. En el caso de las canalizaciones existentes, pipelines.numStreamRetryAttempts se sigue admitiendo para flujos de streaming en modo continuo. Si se establecen ambos, pipelines.numStreamRetryAttempts y pipelines.maxFlowRetryAttempts, pipelines.numStreamRetryAttempts tiene prioridad para los flujos de streaming en modo continuo. De lo contrario, se usa el valor configurado para pipelines.maxFlowRetryAttempts . Consulte Referencia de propiedades de canalización.

Correcciones de errores en esta versión

• Esta versión corrige un error que provocaba la visualización de cálculos de DBU por hora incorrectos para clústeres habilitados para Photon.

• Esta versión corrige un error que provocaba el fallo de las tareas de mantenimiento de DLT en los espacios de trabajo habilitados para el catálogo de Unity.

• Esta versión corrige un error en el que detener o reiniciar una canalización continua que ingiere datos con cargador automático hace que la canalización se bloquee durante varios minutos.