Compartir vía

Delta Live Tables, versión 2022.37

  • Artículo

14 a 22 de septiembre de 2022

Estas características y mejoras se publicaron con la versión 2022.37 de Delta Live Tables.

Versiones de Databricks Runtime usadas en esta versión

Canal:

  • ACTUAL (valor predeterminado): Databricks Runtime 10.3.7
  • VERSIÓN PRELIMINAR: Databricks Runtime 11.0.5

Nuevas características y mejoras en esta versión

  • La solicitud de API de actualización de inicio ahora devuelve el request_id campo en el cuerpo de la respuesta. request_id es un identificador estable para la solicitud original que inicia la actualización. Si se reintenta o reinicia una actualización, la nueva actualización hereda el request_id.
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

La nueva solicitud de API requests (GET /pipelines/{pipeline_id}/requests/{request_id}) devuelve el estado de la actualización de canalización asociada a request_id. La respuesta incluye información sobre la actualización más reciente.

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

  • Su código Python ya puede llamar a operaciones spark.sql fuera de las funciones dlt.table() o dlt.view(), siempre que la operación no esté leyendo de una tabla de vista materializada o streaming.

  • Las entradas del registro de eventos ahora contienen la propiedad maturity para indicar la estabilidad del esquema de eventos. Los valores posibles son stable, evolving y deprecated. Para más información sobre el Registro de eventos de Delta Live Tables, consulte ¿Qué es el registro de eventos de Delta Live Tables?.

  • El mensaje de error se ha mejorado cuando se realizan cambios incompatibles en las tablas de orígenes usadas por una tabla de streaming.

  • Ahora puede seleccionar una directiva de clúster en la interfaz de usuario de Delta Live Tables al crear o editar una canalización. Anteriormente, al establecer la directiva de clúster de una canalización era necesario editar la configuración JSON de esta.

  • Inicio de canalización más rápido. Esta versión incluye mejoras que aceleran el paso de SETTING_UP_TABLES cuando se inicia una canalización.

Correcciones de errores en esta versión

  • Esta versión corrige un error que impide que el escalado automático mejorado se escale verticalmente cuando no haya ninguna instancia de clúster inactiva disponible.