Compartir vía

Delta Live Tables, versión 2022.49

  • Artículo

Del 6 al 9 de diciembre de 2022

Estas características y mejoras se publicaron con la versión 2022.49 de Delta Live Tables.

Versiones de Databricks Runtime usadas en esta versión

Canal:

  • ACTUAL (valor predeterminado): Databricks Runtime 11.0.11
  • VERSIÓN PRELIMINAR: Databricks Runtime 11.3.2

Nuevas características y mejoras en esta versión

  • Ahora puede importar archivos de una carpeta Git de Databricks como módulos de Python. Puede importar archivos desde la ruta de acceso al repositorio actual o una ruta de acceso al repositorio especificado mediante sys.path.append().

  • El escalado automático mejorado ahora está disponible con carácter general. Con esta versión, el escalado automático mejorado es el modo de escalado automático predeterminado para las canalizaciones nuevas creadas en la interfaz de usuario. Databricks recomienda actualizar las canalizaciones que usan el escalado automático del clúster existente para usar el escalado automático mejorado.

  • En el caso de las canalizaciones que se ejecutan en modo continuo, el límite de reintento predeterminado ahora es 2 cuando se producen errores que se pueden volver a intentar. Incluido el intento original, todos los flujos tienen tres intentos (con retroceso exponencial) de ejecución cuando se producen errores no irrecuperables. Anteriormente, los valores predeterminados eran reintentos ilimitados para los flujos por lotes y cinco reintentos para los flujos de streaming.

  • El parámetro de configuración pipelines.maxFlowRetryAttempts se aplica ahora al límite de reintentos para todos los flujos, incluidos los flujos por lotes y los flujos de streaming, además de las canalizaciones continuas o desencadenadas. Anteriormente, pipelines.maxFlowRetryAttempts se aplicaba a todos los límites de reintentos en modo desencadenado, pero solo los flujos por lotes en modo continuo; los reintentos de las canalizaciones de streaming en modo continuo se controlaban mediante pipelines.numStreamRetryAttempts. En el caso de las canalizaciones existentes, pipelines.numStreamRetryAttempts sigue siendo compatible con los flujos de streaming en modo continuo. Si se establecen pipelines.numStreamRetryAttempts y pipelines.maxFlowRetryAttempts, pipelines.numStreamRetryAttempts tiene prioridad para los flujos de streaming en modo continuo. De lo contrario, se usa el valor configurado para pipelines.maxFlowRetryAttempts. Consulte Referencia de propiedades de Delta Live Tables.

Correcciones de errores en esta versión

  • En esta versión, se corrige un error que hace que se muestren cálculos de DBU por hora incorrectos para clústeres habilitados para Photon.

  • En esta versión, se corrige un error que hace que las tareas de mantenimiento de Delta Live Tables presenten un error en las áreas de trabajo habilitadas para el catálogo de Unity.

  • En esta versión, se corrige un error en el que detener o reiniciar una canalización continua que ingiere datos con el cargador automático hace que la canalización se bloquee durante varios minutos.