Actualizaciones de mantenimiento de Databricks Runtime

  • Artículo

En este artículo se enumeran las actualizaciones de mantenimiento de las versiones de Databricks Runtime admitidas. Para agregar una actualización de mantenimiento a un clúster existente, debe reiniciarlo. Para conocer las actualizaciones de mantenimiento de las versiones no admitidas de Databricks Runtime, vea Actualizaciones de mantenimiento de Databricks Runtime (archivado).

Nota:

Las versiones se publican por fases. Es posible que su cuenta de Azure Databricks no se actualice durante unos días después de la fecha de lanzamiento inicial.

Versiones de Databricks Runtime

Actualizaciones de mantenimiento por versión:

Databricks Runtime 14.3

Consulte Databricks Runtime 14.3 LTS.

  • 3 de enero de 2024
    • [SPARK-46933] Agregar métrica de tiempo de ejecución de consultas a conectores que usan JDBCRDD.
    • [SPARK-46763] corregir el error de aserción en ReplaceDeduplicateWithAggregate para los atributos duplicados.
    • [SPARK-46954] XML: Encapsula InputStreamReader con BufferedReader.
    • [SPARK-46655] Omitir captura de contexto de consulta en métodos de DataFrame.
    • [SPARK-44815] Cache df.schema para evitar RPC adicional.
    • [SPARK-46952] XML: limitar el tamaño del registro dañado.
    • [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
    • [SPARK-46736] conservar el campo de mensaje vacío en el conector protobuf.
    • [SPARK-45182] Omitir la finalización de tareas de la fase anterior después de volver a intentar la fase primaria indeterminada según lo determinado por la suma de comprobación.
    • [SPARK-46414] Usar prependBaseUri para representar importaciones de Javascript.
    • [SPARK-46383] Reducir el uso del montón de controladores al reducir la duración de TaskInfo.accumulables().
    • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
    • [SPARK-46954] XML: optimizar la búsqueda de índices de esquema.
    • [SPARK-46676] dropDuplicatesWithinWatermark no debe producir un error en la canonización del plan.
    • [SPARK-46644] Agregar y combinar en SQLMetric para usar isZero.
    • [SPARK-46731] Administrar la instancia del proveedor del almacén de estado por origen de datos de estado: lector.
    • [SPARK-46677] Corrección dataframe["*"] resolución.
    • [SPARK-46610] Crear tabla debe producir una excepción cuando no hay ningún valor para una clave en las opciones.
    • [SPARK-46941] No se puede insertar el nodo de límite de grupo de ventanas para el cálculo superior k si contiene SizeBasedWindowFunction.
    • [SPARK-45433] Corrección de la inferencia de esquema CSV/JSON cuando las marcas de tiempo no coinciden con el valor timestampFormat especificado.
    • [SPARK-46930] Agregar soporte para un prefijo personalizado para los campos de tipo Union en Avro.
    • [SPARK-46227] Backport a 14.3.
    • [SPARK-46822] Respeta spark.sql.legacy.charVarcharAsString al convertir el tipo jdbc en el tipo de catalizador en jdbc.
    • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 14.2

Consulte Databricks Runtime 14.2.

  • 8 de febrero de 2024
    • [SPARK-46930] Agregar soporte para un prefijo personalizado para los campos de tipo Union en Avro.
    • [SPARK-46822] Respeta spark.sql.legacy.charVarcharAsString al convertir el tipo jdbc en el tipo de catalizador en jdbc.
    • [SPARK-46952] XML: limitar el tamaño del registro dañado.
    • [SPARK-46644] Agregar y combinar en SQLMetric para usar isZero.
    • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
    • [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
    • [SPARK-46941] No se puede insertar el nodo de límite de grupo de ventanas para el cálculo superior k si contiene SizeBasedWindowFunction.
    • [SPARK-46933] Agregar métrica de tiempo de ejecución de consultas a conectores que usan JDBCRDD.
    • Actualizaciones de seguridad del sistema operativo
  • 31 de enero de 2024
    • [SPARK-46382] XML: documento de actualización de ignoreSurroundingSpaces.
    • [SPARK-46382] XML: capturar los valores intercalados entre elementos.
    • [SPARK-46763] corregir el error de aserción en ReplaceDeduplicateWithAggregate para los atributos duplicados.
    • Revierta [SPARK-46769] Refinar la inferencia de esquema relacionada con la marca de tiempo.
    • [SPARK-46677] Corrección dataframe["*"] resolución.
    • [SPARK-46382] XML: ignoreSurroundingSpaces predeterminado en true.
    • [SPARK-46633] Corregir lector Avro para manipular bloques de longitud cero.
    • [SPARK-45964] Quitar el descriptor de acceso sql privado en el paquete XML y JSON en el paquete catalyst.
    • [SPARK-46581] Comentario de actualización en isZero en AcumuladorV2.
    • [SPARK-45912] Mejora de la API XSDToSchema: cambio a la API de HDFS para la accesibilidad del almacenamiento en la nube.
    • [SPARK-45182] Omitir la finalización de tareas de la fase anterior después de volver a intentar la fase primaria indeterminada según lo determinado por la suma de comprobación.
    • [SPARK-46660] solicitudes ReattachExecute actualizan la vida de SessionHolder.
    • [SPARK-46610] Crear tabla debe producir una excepción cuando no hay ningún valor para una clave en las opciones.
    • [SPARK-46383] Reducir el uso del montón de controladores al reducir la duración de TaskInfo.accumulables().
    • [SPARK-46769] Refinar la inferencia de esquema relacionada con la marca de tiempo.
    • [SPARK-46684] Corregir CoGroup.applyInPandas/Arrow para pasar argumentos correctamente.
    • [SPARK-46676] dropDuplicatesWithinWatermark no debe producir un error en la canonización del plan.
    • [SPARK-45962] Quitar treatEmptyValuesAsNulls y usar nullValue opción en su lugar en XML.
    • [SPARK-46541] Corregir la referencia de columna ambigua en la unión automática.
    • [SPARK-46599] XML: use TypeCoercion.findTightestCommonType para comprobar la compatibilidad.
    • Actualizaciones de seguridad del sistema operativo
  • 17 de enero de 2024
    • El nodo shuffle del plan de explicación devuelto por una consulta de Photon se actualiza para agregar la marca causedBroadcastJoinBuildOOM=true cuando se produce un error de memoria insuficiente durante un orden aleatorio que forma parte de una combinación de difusión.
    • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
    • [SPARK-46261]DataFrame.withColumnsRenamed debe mantener el orden dict/map.
    • [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
    • [SPARK-46145] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista.
    • [SPARK-46484] Hacer que las funciones auxiliares resolveOperators conserven el identificador del plan.
    • [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
    • [SPARK-46609] Evitar la explosión exponencial en PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] Deshabilitar las subconsultas con OFFSET correlacionado para corregir el error de corrección.
    • [SPARK-46152] XML: se ha agregado compatibilidad con DecimalType en la inferencia de esquemas XML.
    • [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
    • [SPARK-45814] Hacer que la llamada ArrowConverters.createEmptyArrowBatch se cierre() para evitar la pérdida de memoria.
    • [SPARK-46058] Agregar una marca independiente para privateKeyPassword.
    • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
    • [SPARK-46600] Mover código compartido entre SqlConf y SqlApiConf a SqlApiConfHelper.
    • [SPARK-46478] Revertir SPARK-43049 para usar oracle varchar(255) para la cadena.
    • [SPARK-46417] No se produce un error al llamar a hive.getTable y throwException es false.
    • [SPARK-46153] XML: se ha agregado compatibilidad con TimestampNTZType.
    • [BACKPORT][[SPARK-46056]]https://issues.apache.org/jira/browse/SPARK-46056) Se ha corregido el NPE de lectura vectorial de Parquet con el valor predeterminado byteArrayDecimalType.
    • [SPARK-46466] El lector de parquet vectorizado nunca debe fusionarse mediante cambio de base para la marca de tiempo ntz.
    • [SPARK-46260]DataFrame.withColumnsRenamed debe respetar el orden de ordenación.
    • [SPARK-46036] Quitar la clase de error de la función raise_error.
    • [SPARK-46294] Limpiar la semántica de init frente al valor cero.
    • [SPARK-46173] Omitir la llamada a trimAll durante el análisis de fechas.
    • [SPARK-46250] Análisis pormenorizado de test_parity_listener.
    • [SPARK-46587] XML: se ha corregido la conversión de enteros grandes XSD.
    • [SPARK-46396] La inferencia de marca de tiempo no debe producir una excepción.
    • [SPARK-46241] Corregir la rutina de control de errores para que no se convierta en recursividad infinita.
    • [SPARK-46355] XML: cerrar InputStreamReader al finalizar la lectura.
    • [SPARK-46370] Se ha corregido el error al consultar desde la tabla después de cambiar los valores predeterminados de columna.
    • [SPARK-46265] Las aserciones de AddArtifact RPC hacen que el cliente de conexión sea incompatible con clústeres anteriores.
    • [SPARK-46308] Prohibir el control de errores recursivos.
    • [SPARK-46337] Hacer que CTESubstitution conserve PLAN_ID_TAG.
  • 14 de diciembre de 2023
    • [SPARK-46141] Cambiar el valor predeterminado de spark.sql.legacy.ctePrecedencePolicy a CORRECTED.
    • [SPARK-45730] Hacer que ReloadingX509TrustManagerSuite sea más fiable.
    • [SPARK-45852] Tratar correctamente el error de recursividad durante el registro.
    • [SPARK-45808] Mejor control de errores para excepciones de SQL.
    • [SPARK-45920] Agrupar por ordinal debe ser idempotente.
    • Revertir "[SPARK-45649] Unificar el marco de preparación para OffsetWindowFunctionFrame".
    • [SPARK-45733] Admitir varias directivas de reintento.
    • [SPARK-45509] Corregir el comportamiento de referencia de columnas df para Spark Connect.
    • [SPARK-45655] Permitir expresiones no deterministas dentro de AggregateFunctions en CollectMetrics.
    • [SPARK-45905] El tipo menos común entre los tipos decimales debe conservar primero los dígitos integrales.
    • [SPARK-45136] Mejorar la compatibilidad con ClosureCleaner con Ammonite.
    • [SPARK-46255] Compatibilidad con tipo complejo:> conversión de cadenas.
    • [SPARK-45859] Hacer que los objetos UDF en ml.functions sean diferidos.
    • [SPARK-46028] Hacer que Column.__getitem__ acepte la columna de entrada.
    • [SPARK-45798] Declare el identificador de sesión del lado servidor.
    • [SPARK-45892] Validación del plan del optimizador de refactorización para desacoplar validateSchemaOutput y validateExprIdUniqueness.
    • [SPARK-45844] Implemente la no distinción entre mayúsculas y minúsculas para XML.
    • [SPARK-45770] Presentar plan DataFrameDropColumns para Dataframe.drop.
    • [SPARK-44790] XML: implementación to_xml y enlaces para Python, Connect y SQL.
    • [SPARK-45851] Admitir varias directivas en el cliente de Scala.
    • Actualizaciones de seguridad del sistema operativo
  • 29 de noviembre de 2023
    • Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
    • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se interpretaran erróneamente como caracteres comodín.
    • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
    • [SPARK-45852] El cliente de Python para Spark Connect detecta ahora errores de recursividad durante la conversión de texto.
    • [SPARK-45808] Control de errores mejorado para las excepciones de SQL.
    • [SPARK-45920]El ordinal GROUP BY no reemplaza el ordinal.
    • Revierta [SPARK-45649].
    • [SPARK-45733] Se ha agregado compatibilidad con varias directivas de reintento.
    • [SPARK-45509] Se ha corregido el comportamiento de referencia de columnas df para Spark Connect.
    • [SPARK-45655] Permita expresiones no deterministas dentro de AggregateFunctions en CollectMetrics.
    • [SPARK-45905] El tipo menos común entre los tipos decimales ahora conserva primero los dígitos integrales.
    • [SPARK-45136] Mejore ClosureCleaner con compatibilidad con Ammonite.
    • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
    • [SPARK-46028]Column.__getitem__ acepta columnas de entrada.
    • [SPARK-45798] Declare el identificador de sesión del lado servidor.
    • [SPARK-45892] Validación del plan del optimizador de refactorización para desacoplar validateSchemaOutput y validateExprIdUniqueness.
    • [SPARK-45844] Implemente la no distinción entre mayúsculas y minúsculas para XML.
    • [SPARK-45770] Se ha corregido la resolución de columna con DataFrameDropColumns para Dataframe.drop.
    • [SPARK-44790] Se ha agregado la implementación to_xml y los enlaces para Python, Spark Connect y SQL.
    • [SPARK-45851] Se ha agregado compatibilidad con varias directivas en el cliente de Scala.
    • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 14.1

Consulte Databricks Runtime 14.1.

  • 8 de febrero de 2024
    • [SPARK-46952] XML: limitar el tamaño del registro dañado.
    • [SPARK-45182] Omitir la finalización de tareas de la fase anterior después de volver a intentar la fase primaria indeterminada según lo determinado por la suma de comprobación.
    • [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
    • [SPARK-46933] Agregar métrica de tiempo de ejecución de consultas a conectores que usan JDBCRDD.
    • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
    • [SPARK-45582] Asegúrese de que la instancia de almacén no se usa después de llamar a la confirmación en la agregación de streaming del modo de salida.
    • [SPARK-46930] Agregar soporte para un prefijo personalizado para los campos de tipo Union en Avro.
    • [SPARK-46941] No se puede insertar el nodo de límite de grupo de ventanas para el cálculo superior k si contiene SizeBasedWindowFunction.
    • [SPARK-46396] La inferencia de marca de tiempo no debe producir una excepción.
    • [SPARK-46822] Respeta spark.sql.legacy.charVarcharAsString al convertir el tipo jdbc en el tipo de catalizador en jdbc.
    • [SPARK-45957] Evitar generar el plan de ejecución para comandos que no son ejecutables.
    • Actualizaciones de seguridad del sistema operativo
  • 31 de enero de 2024
    • [SPARK-46684] Corregir CoGroup.applyInPandas/Arrow para pasar argumentos correctamente.
    • [SPARK-46763] corregir el error de aserción en ReplaceDeduplicateWithAggregate para los atributos duplicados.
    • [SPARK-45498] Seguimiento: omitir la finalización de tareas de los intentos de fase antiguos.
    • [SPARK-46382] XML: documento de actualización de ignoreSurroundingSpaces.
    • [SPARK-46383] Reducir el uso del montón de controladores al reducir la duración de TaskInfo.accumulables().
    • [SPARK-46382] XML: ignoreSurroundingSpaces predeterminado en true.
    • [SPARK-46677] Corrección dataframe["*"] resolución.
    • [SPARK-46676] dropDuplicatesWithinWatermark no debe producir un error en la canonización del plan.
    • [SPARK-46633] Corregir lector Avro para manipular bloques de longitud cero.
    • [SPARK-45912] Mejora de la API XSDToSchema: cambio a la API de HDFS para la accesibilidad del almacenamiento en la nube.
    • [SPARK-46599] XML: Usar TypeCoercion.findTightestCommonType para la comprobación de compatibilidad.
    • [SPARK-46382] XML: capturar los valores intercalados entre elementos.
    • [SPARK-46769] Refinar la inferencia de esquema relacionada con la marca de tiempo.
    • [SPARK-46610] Crear tabla debe producir una excepción cuando no hay ningún valor para una clave en las opciones.
    • [SPARK-45964] Quitar el descriptor de acceso sql privado en el paquete XML y JSON en el paquete catalyst.
    • Revierta [SPARK-46769] Refinar la inferencia de esquema relacionada con la marca de tiempo.
    • [SPARK-45962] Quitar treatEmptyValuesAsNulls y usar nullValue opción en su lugar en XML.
    • [SPARK-46541] Corregir la referencia de columna ambigua en la unión automática.
    • Actualizaciones de seguridad del sistema operativo
  • 17 de enero de 2024
    • El nodo shuffle del plan de explicación devuelto por una consulta de Photon se actualiza para agregar la marca causedBroadcastJoinBuildOOM=true cuando se produce un error de memoria insuficiente durante un orden aleatorio que forma parte de una combinación de difusión.
    • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
    • [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
    • [SPARK-46417] No se produce un error al llamar a hive.getTable y throwException es false.
    • [SPARK-46484] Hacer que las funciones auxiliares resolveOperators conserven el identificador del plan.
    • [SPARK-46153] XML: se ha agregado compatibilidad con TimestampNTZType.
    • [SPARK-46152] XML: se ha agregado compatibilidad con DecimalType en la inferencia de esquemas XML.
    • [SPARK-46145] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista.
    • [SPARK-46478] Revertir SPARK-43049 para usar oracle varchar(255) para la cadena.
    • [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
    • [SPARK-46337] Hacer que CTESubstitution conserve PLAN_ID_TAG.
    • [SPARK-46466] El lector de parquet vectorizado nunca debe fusionarse mediante cambio de base para la marca de tiempo ntz.
    • [SPARK-46587] XML: se ha corregido la conversión de enteros grandes XSD.
    • [SPARK-45814] Hacer que la llamada ArrowConverters.createEmptyArrowBatch se cierre() para evitar la pérdida de memoria.
    • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
    • [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
    • [SPARK-46173] Omitir la llamada a trimAll durante el análisis de fechas.
    • [SPARK-46355] XML: cerrar InputStreamReader al finalizar la lectura.
    • [SPARK-46600] Mover código compartido entre SqlConf y SqlApiConf a SqlApiConfHelper.
    • [SPARK-46261]DataFrame.withColumnsRenamed debe mantener el orden dict/map.
    • [SPARK-46056] Corregir NPE de lectura vectorizada de Parquet con el valor predeterminado byteArrayDecimalType.
    • [SPARK-46260]DataFrame.withColumnsRenamed debe respetar el orden de ordenación.
    • [SPARK-46250] Análisis pormenorizado de test_parity_listener.
    • [SPARK-46370] Se ha corregido el error al consultar desde la tabla después de cambiar los valores predeterminados de columna.
    • [SPARK-46609] Evitar la explosión exponencial en PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Agregar una marca independiente para privateKeyPassword.
  • 14 de diciembre de 2023
    • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se administraban incorrectamente y se interpretaban erróneamente como caracteres comodín.
    • [SPARK-45509] Corregir el comportamiento de referencia de columnas df para Spark Connect.
    • [SPARK-45844] Implemente la no distinción entre mayúsculas y minúsculas para XML.
    • [SPARK-46141] Cambiar el valor predeterminado de spark.sql.legacy.ctePrecedencePolicy a CORRECTED.
    • [SPARK-46028] Hacer que Column.__getitem__ acepte la columna de entrada.
    • [SPARK-46255] Compatibilidad con tipo complejo:> conversión de cadenas.
    • [SPARK-45655] Permitir expresiones no deterministas dentro de AggregateFunctions en CollectMetrics.
    • [SPARK-45433] Corrección de la inferencia de esquema CSV/JSON cuando las marcas de tiempo no coinciden con el valor timestampFormat especificado.
    • [SPARK-45316] Agregue nuevos parámetros ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD y NewHadoopRDD.
    • [SPARK-45852] Tratar correctamente el error de recursividad durante el registro.
    • [SPARK-45920] Agrupar por ordinal debe ser idempotente.
    • Actualizaciones de seguridad del sistema operativo
  • 29 de noviembre de 2023
    • Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
    • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se interpretaran erróneamente como caracteres comodín.
    • Al ingerir datos CSV mediante Auto Loader o Streaming Tables, los archivos CSV de gran tamaño ahora se pueden dividir y se pueden procesar en paralelo durante la inferencia de esquemas y el procesamiento de datos.
    • [SPARK-45892] Validación del plan del optimizador de refactorización para desacoplar validateSchemaOutput y validateExprIdUniqueness.
    • [SPARK-45620] Las API relacionadas con UDF de Python ahora usan camelCase.
    • [SPARK-44790] Se ha agregado la implementación to_xml y los enlaces para Python, Spark Connect y SQL.
    • [SPARK-45770] Se ha corregido la resolución de columna con DataFrameDropColumns para Dataframe.drop.
    • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
    • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
    • [SPARK-44784] Se han hecho herméticas las pruebas SBT.
    • Actualizaciones de seguridad del sistema operativo
  • 10 de noviembre de 2023
    • [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
    • [SPARK-45250] Se ha agregado compatibilidad con el perfil de recursos de tarea en el nivel de fase para clústeres YARN cuando la asignación dinámica está deshabilitada.
    • [SPARK-44753] Se han agregado el lector y el escritor de DataFrame XML para PySpark SQL.
    • [SPARK-45396] Se ha agregado una entrada de documento para el módulo PySpark.ml.connect.
    • [SPARK-45584] Se ha corregido un error de ejecución de subconsulta con TakeOrderedAndProjectExec.
    • [SPARK-45541] Se ha agregado SSLFactory.
    • [SPARK-45577] Se ha corregido UserDefinedPythonTableFunctionAnalyzeRunner para pasar valores plegados de argumentos con nombre.
    • [SPARK-45562] Se ha hecho que "rowTag" sea una opción obligatoria.
    • [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
    • [SPARK-43380] Se ha corregido la ralentización en la lectura de Avro.
    • [SPARK-45430]FramelessOffsetWindowFunction ya no genera un error cuando IGNORE NULLS y offset > rowCount.
    • [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
    • [SPARK-45386] Se ha corregido un problema que provocaba que StorageLevel.NONE devolviera 0 de forma incorrecta.
    • [SPARK-44219] Se han agregado comprobaciones de validación por regla para reescrituras de optimización.
    • [SPARK-45543] Se ha corregido un problema en el que InferWindowGroupLimit provocaba un error si las otras funciones de ventana no tenían el mismo marco de ventana que las funciones de clasificación.
    • Actualizaciones de seguridad del sistema operativo
  • 27 de septiembre de 2023
    • [SPARK-44823] Se ha actualizado black a 23.9.1 y se ha corregido una comprobación errónea.
    • [SPARK-45339] PySpark ahora registra los errores que reintenta.
    • Se ha revertido [SPARK-42946]. Se han eliminado los datos confidenciales que estaban anidados en la sustitución de variables.
    • [SPARK-44551]: se han editado los comentarios para sincronizarlos con OSS.
    • [SPARK-45360] El generador de sesiones de Spark admite la inicialización desde SPARK_REMOTE.
    • [SPARK-45279] Se ha adjuntado plan_id a todos los planes lógicos.
    • [SPARK-45425] Se ha asignado TINYINT a ShortType para MsSqlServerDialect.
    • [SPARK-45419] Se ha quitado la entrada de asignación de versión de archivo de las versiones más grandes para evitar reutilizar los identificadores de archivo sst rocksdb.
    • [SPARK-45488] Se ha agregado compatibilidad con el valor del elemento rowTag.
    • [SPARK-42205] Se ha eliminado el registro de Accumulables en los eventos de inicio de Task/Stage en los registros de eventos de JsonProtocol.
    • [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
    • [SPARK-45256] Se produce un error en DurationWriter al escribir más valores de los estipulados en la capacidad inicial.
    • [SPARK-43380] Se han corregido problemas de conversión de tipos de datos de Avro sin causar una regresión del rendimiento.
    • [SPARK-45182] Se ha agregado compatibilidad para revertir la fase de asignación aleatoria, por lo que todas las tareas de fase se pueden reintentar cuando la salida de la fase sea indeterminada.
    • [SPARK-45399] Se han agregado opciones XML mediante newOption.
    • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 14.0

Consulte Databricks Runtime 14.0.

  • 8 de febrero de 2024
    • [SPARK-46396] La inferencia de marca de tiempo no debe producir una excepción.
    • [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
    • [SPARK-45182] Omitir la finalización de tareas de la fase anterior después de volver a intentar la fase primaria indeterminada según lo determinado por la suma de comprobación.
    • [SPARK-46933] Agregar métrica de tiempo de ejecución de consultas a conectores que usan JDBCRDD.
    • [SPARK-45957] Evitar generar el plan de ejecución para comandos que no son ejecutables.
    • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
    • [SPARK-46930] Agregar soporte para un prefijo personalizado para los campos de tipo Union en Avro.
    • [SPARK-46941] No se puede insertar el nodo de límite de grupo de ventanas para el cálculo superior k si contiene SizeBasedWindowFunction.
    • [SPARK-45582] Asegúrese de que la instancia de almacén no se usa después de llamar a la confirmación en la agregación de streaming del modo de salida.
    • Actualizaciones de seguridad del sistema operativo
  • 31 de enero de 2024
    • [SPARK-46541] Corregir la referencia de columna ambigua en la unión automática.
    • [SPARK-46676] dropDuplicatesWithinWatermark no debe producir un error en la canonización del plan.
    • [SPARK-46769] Refinar la inferencia de esquema relacionada con la marca de tiempo.
    • [SPARK-45498] Seguimiento: omitir la finalización de tareas de los intentos de fase antiguos.
    • Revierta [SPARK-46769] Refinar la inferencia de esquema relacionada con la marca de tiempo.
    • [SPARK-46383] Reducir el uso del montón de controladores al reducir la duración de TaskInfo.accumulables().
    • [SPARK-46633] Corregir lector Avro para manipular bloques de longitud cero.
    • [SPARK-46677] Corrección dataframe["*"] resolución.
    • [SPARK-46684] Corregir CoGroup.applyInPandas/Arrow para pasar argumentos correctamente.
    • [SPARK-46763] corregir el error de aserción en ReplaceDeduplicateWithAggregate para los atributos duplicados.
    • [SPARK-46610] Crear tabla debe producir una excepción cuando no hay ningún valor para una clave en las opciones.
    • Actualizaciones de seguridad del sistema operativo
  • 17 de enero de 2024
    • El nodo shuffle del plan de explicación devuelto por una consulta de Photon se actualiza para agregar la marca causedBroadcastJoinBuildOOM=true cuando se produce un error de memoria insuficiente durante un orden aleatorio que forma parte de una combinación de difusión.
    • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
    • [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
    • [SPARK-46250] Análisis pormenorizado de test_parity_listener.
    • [SPARK-45814] Hacer que la llamada ArrowConverters.createEmptyArrowBatch se cierre() para evitar la pérdida de memoria.
    • [SPARK-46173] Omitir la llamada a trimAll durante el análisis de fechas.
    • [SPARK-46484] Hacer que las funciones auxiliares resolveOperators conserven el identificador del plan.
    • [SPARK-46466] El lector de parquet vectorizado nunca debe fusionarse mediante cambio de base para la marca de tiempo ntz.
    • [SPARK-46056] Corregir NPE de lectura vectorizada de Parquet con el valor predeterminado byteArrayDecimalType.
    • [SPARK-46058] Agregar una marca independiente para privateKeyPassword.
    • [SPARK-46478] Revertir SPARK-43049 para usar oracle varchar(255) para la cadena.
    • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
    • [SPARK-46417] No se produce un error al llamar a hive.getTable y throwException es false.
    • [SPARK-46261]DataFrame.withColumnsRenamed debe mantener el orden dict/map.
    • [SPARK-46370] Se ha corregido el error al consultar desde la tabla después de cambiar los valores predeterminados de columna.
    • [SPARK-46609] Evitar la explosión exponencial en PartitioningPreservingUnaryExecNode.
    • [SPARK-46600] Mover código compartido entre SqlConf y SqlApiConf a SqlApiConfHelper.
    • [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
    • [SPARK-46337] Hacer que CTESubstitution conserve PLAN_ID_TAG.
    • [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
    • [SPARK-46260]DataFrame.withColumnsRenamed debe respetar el orden de ordenación.
    • [SPARK-46145] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista.
  • 14 de diciembre de 2023
    • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se administraban incorrectamente y se interpretaban erróneamente como caracteres comodín.
    • [SPARK-46255] Compatibilidad con tipo complejo:> conversión de cadenas.
    • [SPARK-46028] Hacer que Column.__getitem__ acepte la columna de entrada.
    • [SPARK-45920] Agrupar por ordinal debe ser idempotente.
    • [SPARK-45433] Corrección de la inferencia de esquema CSV/JSON cuando las marcas de tiempo no coinciden con el valor timestampFormat especificado.
    • [SPARK-45509] Corregir el comportamiento de referencia de columnas df para Spark Connect.
    • Actualizaciones de seguridad del sistema operativo
  • 29 de noviembre de 2023
    • Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
    • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se interpretaran erróneamente como caracteres comodín.
    • Al ingerir datos CSV mediante Auto Loader o Streaming Tables, los archivos CSV de gran tamaño ahora se pueden dividir y se pueden procesar en paralelo durante la inferencia de esquemas y el procesamiento de datos.
    • Se ha actualizado el conector de Spark-snowflake a la versión 2.12.0.
    • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
    • Revierta [SPARK-45592].
    • [SPARK-45892] Validación del plan del optimizador de refactorización para desacoplar validateSchemaOutput y validateExprIdUniqueness.
    • [SPARK-45592] Se ha corregido el problema de corrección en AQE con InMemoryTableScanExec.
    • [SPARK-45620] Las API relacionadas con UDF de Python ahora usan camelCase.
    • [SPARK-44784] Se han hecho herméticas las pruebas SBT.
    • [SPARK-45770] Se ha corregido la resolución de columna con DataFrameDropColumns para Dataframe.drop.
    • [SPARK-45544] compatibilidad integrada con SSL en TransportContext.
    • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
    • Actualizaciones de seguridad del sistema operativo
  • 10 de noviembre de 2023
    • Se han cambiado las consultas de fuente de distribución de datos en las vistas materializadas y las tablas de streaming de Unity Catalog para mostrar mensajes de error.
    • [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
    • [SPARK-45584] Se ha corregido un error de ejecución de subconsulta con TakeOrderedAndProjectExec.
    • [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
    • [SPARK-45541] Se ha agregado SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction ya no genera un error cuando IGNORE NULLS y offset > rowCount.
    • [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
    • [SPARK-44219][SQL] Se han agregado validaciones adicionales por regla para las reescrituras de optimización.
    • [SPARK-45543] Se ha corregido un problema en el que InferWindowGroupLimit provocaba un error si las otras funciones de ventana no tenían el mismo marco de ventana que las funciones de clasificación.
    • Actualizaciones de seguridad del sistema operativo
  • 23 de octubre de 2023
    • [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
    • [SPARK-45396] Se ha agregado la entrada de documento para el módulo PySpark.ml.connect y se ha agregado Evaluator a __all__ en ml.connect.
    • [SPARK-45256] Se ha corregido un problema que provocaba que DurationWriter generara un error al escribir más valores de los estipulados en la capacidad inicial.
    • [SPARK-45279] Se ha adjuntado plan_id a todos los planes lógicos.
    • [SPARK-45250] Se ha agregado compatibilidad con el perfil de recursos de tarea en el nivel de fase para clústeres YARN cuando la asignación dinámica está deshabilitada.
    • [SPARK-45182] Se ha agregado compatibilidad para revertir la fase de asignación aleatoria, por lo que todas las tareas de fase se pueden reintentar cuando la salida de la fase sea indeterminada.
    • [SPARK-45419][SS] Evite reutilizar archivos rocksdb sst en una instancia de rocksdb diferente quitando la entrada del mapa de versiones de archivo de las versiones más grandes.
    • [SPARK-45386] Se ha corregido un problema que provocaba que StorageLevel.NONE devolviera 0 de forma incorrecta.
    • Actualizaciones de seguridad del sistema operativo
  • 13 de octubre de 2023
    • Dependencia de Snowflake-jdbc actualizada de la versión 3.13.29 a 3.13.33.
    • La función array_insert se basa en 1 para los índices positivos y negativos, mientras que antes se basaba en 0 para los índices negativos. Ahora inserta un nuevo elemento al final de las matrices de entrada para el índice -1. Para restaurar el comportamiento anterior, establezca spark.sql.legacy.negativeIndexInArrayInsert en true.
    • Azure Databricks ya no omite los archivos dañados cuando una inferencia de esquema CSV con Auto Loader ha habilitado ignoreCorruptFiles.
    • [SPARK-45227] Se ha corregido un problema sutil de seguridad de subprocesos con CoarseGrainedExecutorBackend.
    • [SPARK-44658]ShuffleStatus.getMapStatus debe devolver None en lugar de Some(null).
    • [SPARK-44910]Encoders.bean no admite superclases con argumentos de tipo genérico.
    • [SPARK-45346] La inferencia de esquema Parquet respeta las marcas que distinguen mayúsculas de minúsculas al combinar el esquema.
    • Revierta [SPARK-42946].
    • [SPARK-42205] Se ha actualizado el protocolo JSON para quitar el registro de Accumulables en una tarea o en eventos de inicio de fase.
    • [SPARK-45360] El generador de sesiones de Spark admite la inicialización desde SPARK_REMOTE.
    • [SPARK-45316] Agregue nuevos parámetros ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD y NewHadoopRDD.
    • [SPARK-44909] Omita la ejecución del servidor de streaming de registro del distribuidor torch cuando no esté disponible.
    • [SPARK-45084]StateOperatorProgress ahora usa un número de partición aleatorio preciso.
    • [SPARK-45371] Se han corregido problemas de sombreado en el cliente Scala de Spark Connect.
    • [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
    • [SPARK-44840] Haga que array_insert() se base en 1 para índices negativos.
    • [SPARK-44551]: se han editado los comentarios para sincronizarlos con OSS.
    • [SPARK-45078] La función ArrayInsert hace ahora una conversión explícita cuando el tipo de elemento no es igual al tipo de componente derivado.
    • [SPARK-45339] Pyspark ahora registra los errores de reintento.
    • [SPARK-45057] Evite adquirir bloqueo de lectura cuando keepReadLock sea falso.
    • [SPARK-44908] Se ha corregido la funcionalidad cruzada de parámetros foldCol de validador.
    • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 13.3 LTS

Consulte Databricks Runtime 13.3 LTS.

  • 8 de febrero de 2024
    • [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
    • [SPARK-46933] Agregar métrica de tiempo de ejecución de consultas a conectores que usan JDBCRDD.
    • [SPARK-45582] Asegúrese de que la instancia de almacén no se usa después de llamar a la confirmación en la agregación de streaming del modo de salida.
    • [SPARK-46396] La inferencia de marca de tiempo no debe producir una excepción.
    • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
    • [SPARK-46941] No se puede insertar el nodo de límite de grupo de ventanas para el cálculo superior k si contiene SizeBasedWindowFunction.
    • Actualizaciones de seguridad del sistema operativo
  • 31 de enero de 2024
    • [SPARK-46610] Crear tabla debe producir una excepción cuando no hay ningún valor para una clave en las opciones.
    • [SPARK-46383] reducir el uso del montón de controladores al reducir la duración de TaskInfo.accumulables().
    • [SPARK-46600] Mover código compartido entre SqlConf y SqlApiConf a SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark no debe producir un error en la canonización del plan.
    • [SPARK-46763] corregir el error de aserción en ReplaceDeduplicateWithAggregate para los atributos duplicados.
    • Actualizaciones de seguridad del sistema operativo
  • 17 de enero de 2024
    • El nodo shuffle del plan de explicación devuelto por una consulta de Photon se actualiza para agregar la marca causedBroadcastJoinBuildOOM=true cuando se produce un error de memoria insuficiente durante un orden aleatorio que forma parte de una combinación de difusión.
    • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
    • [SPARK-46058] Agregar una marca independiente para privateKeyPassword.
    • [SPARK-46173] Omitir la llamada a trimAll durante el análisis de fechas.
    • [SPARK-46370] Se ha corregido el error al consultar desde la tabla después de cambiar los valores predeterminados de columna.
    • [SPARK-46370] Se ha corregido el error al consultar desde la tabla después de cambiar los valores predeterminados de columna.
    • [SPARK-46370] Se ha corregido el error al consultar desde la tabla después de cambiar los valores predeterminados de columna.
    • [SPARK-46609] Evitar la explosión exponencial en PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
    • [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
    • [SPARK-46249] Requerir bloqueo de instancia para adquirir métricas de RocksDB para evitar la carrera con operaciones en segundo plano.
    • [SPARK-46417] No se produce un error al llamar a hive.getTable y throwException es false.
    • [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
    • [SPARK-46478] Revertir SPARK-43049 para usar oracle varchar(255) para la cadena.
    • [SPARK-46250] Análisis pormenorizado de test_parity_listener.
    • [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
    • [SPARK-46056] Corregir NPE de lectura vectorizada de Parquet con el valor predeterminado byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista.
    • [SPARK-46466] El lector de parquet vectorizado nunca debe fusionarse mediante cambio de base para la marca de tiempo ntz.
  • 14 de diciembre de 2023
    • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se administraban incorrectamente y se interpretaban erróneamente como caracteres comodín.
    • [SPARK-45920] Agrupar por ordinal debe ser idempotente.
    • [SPARK-44582] Omisión del iterador en SMJ si se ha limpiado.
    • [SPARK-45433] Corrección de la inferencia de esquema CSV/JSON cuando las marcas de tiempo no coinciden con el valor timestampFormat especificado.
    • [SPARK-45655] Permitir expresiones no deterministas dentro de AggregateFunctions en CollectMetrics.
    • Actualizaciones de seguridad del sistema operativo
  • 29 de noviembre de 2023
    • Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
    • Se ha actualizado el conector de Spark-snowflake a la versión 2.12.0.
    • [SPARK-44846] Se han quitado expresiones de agrupación complejas después de RemoveRedundantAggregates.
    • [SPARK-45544] compatibilidad integrada con SSL en TransportContext.
    • [SPARK-45892] Validación del plan del optimizador de refactorización para desacoplar validateSchemaOutput y validateExprIdUniqueness.
    • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
    • Actualizaciones de seguridad del sistema operativo
  • 10 de noviembre de 2023
    • Los filtros de partición en las consultas de streaming de Delta Lake se insertan antes de la limitación de frecuencia para lograr un mejor uso.
    • Se han cambiado las consultas de fuente de distribución de datos en las vistas materializadas y las tablas de streaming de Unity Catalog para mostrar mensajes de error.
    • [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
    • [SPARK-45584] Se ha corregido un error de ejecución de subconsulta con TakeOrderedAndProjectExec.
    • [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
    • [SPARK-45541] Se ha agregado SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction ya no genera un error cuando IGNORE NULLS y offset > rowCount.
    • [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
    • [SPARK-44219][SQL] Se han agregado validaciones adicionales por regla para las reescrituras de optimización.
    • [SPARK-45543] Se ha corregido un problema en el que InferWindowGroupLimit provocaba un error si las otras funciones de ventana no tenían el mismo marco de ventana que las funciones de clasificación.
    • Actualizaciones de seguridad del sistema operativo
  • 23 de octubre de 2023
    • [SPARK-45256] Se ha corregido un problema que provocaba que DurationWriter generara un error al escribir más valores de los estipulados en la capacidad inicial.
    • [SPARK-45419][SS] Evite reutilizar archivos rocksdb sst en una instancia de rocksdb diferente quitando la entrada del mapa de versiones de archivo de las versiones más grandes.
    • [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
    • Correcciones varias.
  • 13 de octubre de 2023
    • Dependencia de Snowflake-jdbc actualizada de la versión 3.13.29 a 3.13.33.
    • La función array_insert se basa en 1 para los índices positivos y negativos, mientras que antes se basaba en 0 para los índices negativos. Ahora inserta un nuevo elemento al final de las matrices de entrada para el índice -1. Para restaurar el comportamiento anterior, establezca spark.sql.legacy.negativeIndexInArrayInsert en true.
    • Se ha corregido un error en torno a la no omisión de archivos dañados cuando ignoreCorruptFiles está habilitado durante la inferencia de esquemas CSV con Auto Loader.
    • Revierta [SPARK-42946].
    • [SPARK-42205] Se ha actualizado el protocolo JSON para quitar el registro de Accumulables en una tarea o en eventos de inicio de fase.
    • [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
    • [SPARK-45316] Agregue nuevos parámetros ignoreCorruptFiles y ignoreMissingFiles a HadoopRDD y NewHadoopRDD.
    • [SPARK-44740] Se han corregido los valores de metadatos para Artifacts.
    • [SPARK-45360] Se ha inicializado la configuración de compilación de sesiones de Spark desde SPARK_REMOTE.
    • [SPARK-44551]: se han editado los comentarios para sincronizarlos con OSS.
    • [SPARK-45346][SQL] Ahora, la inferencia de esquema Parquet respeta las marcas que distinguen mayúsculas de minúsculas al combinar el esquema.
    • [SPARK-44658]ShuffleStatus.getMapStatus ahora devuelve None en lugar de Some(null).
    • [SPARK-44840] Se ha hecho que array_insert() se base en 1 para índices negativos.
  • 14 de septiembre de 2023
    • [SPARK-44873] Se ha agregado compatibilidad para alter view con columnas anidadas en el cliente de Hive.
    • [SPARK-44878] Se ha desactivado el límite estricto para el administrador de escritura de RocksDB para evitar la excepción de inserción en la memoria caché llena.
  • 30 de agosto de 2023
    • El comando dbutils cp (dbutils.fs.cp) se ha optimizado para una copia más rápida. Con esta mejora, las operaciones de copia pueden ser hasta 100 veces más rápidas, en función del tamaño del archivo. La característica está disponible en todas las nubes y sistemas de archivos accesibles en Databricks, incluidos los volúmenes de Unity Catalog y los montajes de DBFS.
    • [SPARK-44455] Cite identificadores con acentos graves en el resultado de SHOW CREATE TABLE.
    • [SPARK-44763] Se ha corregido un error que mostraba una cadena como un doble en la aritmética binaria con intervalo.
    • [SPARK-44871] Se ha corregido el comportamiento de percentile_disc.
    • [SPARK-44714] Facilitar la restricción de la resolución LCA con respecto a las consultas.
    • [SPARK-44818] Se ha corregido la carrera para la interrupción de tareas pendiente emitida antes de inicializarse taskThread.
    • [SPARK-44505] Se ha agregado invalidación para la compatibilidad con columnas en el examen de DSv2.
    • [SPARK-44479] Se ha corregido la conversión protobuf a partir de un tipo de estructura vacío.
    • [SPARK-44718] Haga coincidir la configuración predeterminada del modo memoria ColumnVector con el valor de configuración OffHeapMemoryMode.
    • [SPARK-42941] Se ha agregado compatibilidad con StreamingQueryListener en Python.
    • [SPARK-44558] Exporte el nivel de registro de Spark Connect de PySpark.
    • [SPARK-44464] Se ha corregido applyInPandasWithStatePythonRunner de las filas de salida que tienen Null como primer valor de columna.
    • [SPARK-44643] Se ha corregido Row.__repr__ cuando el campo es una fila vacía.
    • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 12.2 LTS

Consulte Databricks Runtime 12.2 LTS.

  • 13 de febrero de 2024
    • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
    • [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
    • Actualizaciones de seguridad del sistema operativo
  • 31 de enero de 2024
    • [SPARK-46763] Corregir el error de aserción en ReplaceDeduplicateWithAggregate para los atributos duplicados.
    • Actualizaciones de seguridad del sistema operativo
  • 25 de diciembre de 2023
    • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
    • [SPARK-39440] Agregar una configuración para deshabilitar la escala de tiempo de eventos.
    • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
    • [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
    • [SPARK-46417] No se produce un error al llamar a hive.getTable y throwException es false.
    • [SPARK-43067] Corregir la ubicación del archivo de recursos de clase de error en el conector de Kafka.
    • [SPARK-46249] Requerir bloqueo de instancia para adquirir métricas de RocksDB para evitar la carrera con operaciones en segundo plano.
    • [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
    • [SPARK-46058] Agregar una marca independiente para privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista.
    • [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
    • [SPARK-42852] Revertir los cambios relacionados con NamedLambdaVariable de EquivalentExpressions.
  • 14 de diciembre de 2023
    • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se administraban incorrectamente y se interpretaban erróneamente como caracteres comodín.
    • [SPARK-44582] Omisión del iterador en SMJ si se ha limpiado.
    • [SPARK-45920] Agrupar por ordinal debe ser idempotente.
    • [SPARK-45655] Permitir expresiones no deterministas dentro de AggregateFunctions en CollectMetrics.
    • Actualizaciones de seguridad del sistema operativo
  • 29 de noviembre de 2023
    • Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
    • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se interpretaran erróneamente como caracteres comodín.
    • [SPARK-42205] Se han quitado los registros acumulables de los eventos de inicio de Stage y Task.
    • [SPARK-44846] Se han quitado expresiones de agrupación complejas después de RemoveRedundantAggregates.
    • [SPARK-43718] Se ha corregido la nulabilidad para las claves en combinaciones USING.
    • [SPARK-45544] compatibilidad integrada con SSL en TransportContext.
    • [SPARK-43973] La interfaz de usuario de flujo estructurado ahora muestra correctamente las consultas con errores.
    • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
    • Actualizaciones de seguridad del sistema operativo
  • 14 de noviembre de 2023
    • Los filtros de partición en las consultas de streaming de Delta Lake se insertan antes de la limitación de frecuencia para lograr un mejor uso.
    • [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
    • [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
    • [SPARK-45584] Se ha corregido un error de ejecución de subconsulta con TakeOrderedAndProjectExec.
    • [SPARK-45541] Se ha agregado SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction ya no genera un error cuando IGNORE NULLS y offset > rowCount.
    • [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
    • Actualizaciones de seguridad del sistema operativo
  • 24 de octubre de 2023
    • [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
    • Correcciones varias.
  • 13 de octubre de 2023
    • Dependencia de Snowflake-jdbc actualizada de la versión 3.13.29 a 3.13.33.
    • [SPARK-42553] Asegure al menos una unidad de tiempo después del intervalo.
    • [SPARK-45346] La inferencia de esquema Parquet respeta las marcas que distinguen mayúsculas de minúsculas al combinar el esquema.
    • [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
    • [SPARK-45084]StateOperatorProgress para utilizar un número de partición aleatoria efectivo y preciso.
  • 12 de septiembre de 2023
    • [SPARK-44873] Se ha agregado soporte para alter view con columnas anidadas en el cliente de Hive.
    • [SPARK-44718] Haga coincidir la configuración predeterminada del modo memoria ColumnVector con el valor de configuración OffHeapMemoryMode.
    • [SPARK-43799] Se ha agregado la opción binaria de descriptor a la API Protobuf de PySpark.
    • Correcciones varias.
  • 30 de agosto de 2023
    • [SPARK-44485] Se ha optimizado TreeNode.generateTreeString.
    • [SPARK-44818] Se ha corregido la carrera para la interrupción de tareas pendiente emitida antes de inicializarse taskThread.
    • [11.3-13.0][[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871) Se ha corregido el comportamiento percentile_disc.
    • [SPARK-44714] Restricción sencilla de la resolución de LCA con respecto a las consultas.
    • Actualizaciones de seguridad del sistema operativo
  • 15 de agosto de 2023
    • [SPARK-44504] La tarea de mantenimiento limpia los proveedores cargados en caso de error de detención.
    • [SPARK-44464] Se ha corregido applyInPandasWithStatePythonRunner de las filas de salida que tienen Null como primer valor de columna.
    • Actualizaciones de seguridad del sistema operativo
  • 29 de julio de 2023
    • Se ha corregido un error en el que dbutils.fs.ls() devolvía INVALID_PARAMETER_VALUE.LOCATION_OVERLAP cuando se le llamaba para una ruta de acceso de ubicación de almacenamiento que entraba en conflicto con otra ubicación de almacenamiento externa o administrada.
    • [SPARK-44199]CacheManager ya no actualiza fileIndex innecesariamente.
    • Actualizaciones de seguridad del sistema operativo
  • 24 de julio de 2023
    • [SPARK-44337] Se ha corregido un problema que provocaba que cualquier campo establecido en Any.getDefaultInstance generara errores de análisis.
    • [SPARK-44136] [SS] Se ha corregido un problema que provocaba que StateManager se materializara en un ejecutor en lugar del controlador en FlatMapGroupsWithStateExec.
    • Actualizaciones de seguridad del sistema operativo
  • 23 de junio de 2023
    • Actualizaciones de seguridad del sistema operativo
  • 15 de junio de 2023
    • approx_count_distinct fotonizado.
    • La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
    • [SPARK-43779][SQL] ParseToDate ahora carga EvalMode en el subproceso principal.
    • [SPARK-43156][SPARK-43098] prueba de error de recuento de subconsulta escalar extendida con decorrelateInnerQuery desactivado.
    • Actualizaciones de seguridad del sistema operativo
  • 2 de junio de 2023
    • El analizador JSON en el modo failOnUnknownFields quita un registro en modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
    • Mejora el rendimiento de las actualizaciones incrementales con SHALLOW CLONE Iceberg y Parquet.
    • Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
    • [SPARK-43404] Omita la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB a fin de evitar errores de coincidencia de id.
    • [SPARK-43413][11.3-13.0] Se ha corregido la nulabilidad de IN de la subconsulta ListQuery.
    • [SPARK-43522] Se ha corregido la creación de un nombre de columna de estructura con el índice de matriz.
    • [SPARK-43541][SQL] Propague todas las etiquetas Project en la resolución de expresiones y columnas que faltan.
    • [SPARK-43527] Se ha corregido catalog.listCatalogs en PySpark.
    • [SPARK-43123] Los metadatos de campo internos ya no se filtran a los catálogos.
    • [SPARK-43340] Se ha corregido el campo de seguimiento de pila que faltaba en los registros de eventos.
    • [SPARK-42444]DataFrame.drop ahora controla correctamente las columnas duplicadas.
    • [SPARK-42937]PlanSubqueries ahora establece InSubqueryExec#shouldBroadcast en verdadero.
    • [SPARK-43286] Se ha actualizado el modo CBC de aes_encrypt para generar IV aleatorios.
    • [SPARK-43378] Cierre correctamente los objetos de secuencia en deserializeFromChunkedBuffer.
  • 17 de mayo de 2023
    • Los exámenes de Parquet ahora son sólidos con respecto a los OEM al examinar archivos excepcionalmente estructurados ajustando dinámicamente el tamaño del lote. Los metadatos de archivo se analizan para reducir de forma preventiva el tamaño del lote y se reducen de nuevo en los reintentos de tareas como una red de seguridad final.
    • Si se leyó un archivo Avro con solo la opción failOnUnknownFields\ o con autocargador en el modo de evolución del esquema failOnNewColumns\, las columnas que tienen tipos de datos diferentes se leerían como null\ en lugar de producir un error que indica que el archivo no se puede leer. Estas lecturas ahora producen un error y recomiendan a los usuarios que usen la opción rescuedDataColumn\.
    • El cargador automático ahora hace lo siguiente.
      • Lee y ya no recupera los tipos Integer, Short, Byte si se proporciona uno de estos tipos de datos, pero el archivo Avro sugiere uno de los otros dos tipos.
      • Impide que los tipos de intervalo de lectura sean tipos de fecha o marca de tiempo para evitar obtener fechas dañadas.
      • Evita la lectura de los tipos Decimal con menor precisión.
    • [SPARK-43172] Expone el host y el token del cliente de conexión de Spark.
    • [SPARK-43293]__qualified_access_only se omite en columnas normales.
    • [SPARK-43098] Se ha corregido un error de corrección COUNT cuando la subconsulta escalar se agrupa por cláusula.
    • [SPARK-43085] Compatibilidad con la asignación de columnas DEFAULT para nombres de tabla de varias partes.
    • [SPARK-43190]ListQuery.childOutput ahora es coherente con la salida secundaria.
    • [SPARK-43192] Se ha quitado la validación del conjunto de caracteres del agente de usuario.
    • Actualizaciones de seguridad del sistema operativo
  • 25 de abril de 2023
    • Si se leyó un archivo Parquet con solo la opción failOnUnknownFields o con autocargador en el modo de evolución del esquema failOnNewColumns, las columnas que tenían tipos de datos diferentes se leerían como null en lugar de producir un error que indica que el archivo no se puede leer. Estas lecturas ahora producen un error y recomiendan a los usuarios que usen la opción rescuedDataColumn.
    • Auto Loader ahora lee correctamente y ya no recupera los tipos Integer, Short, Byte si se proporciona uno de estos tipos de datos. El archivo Parquet sugiere uno de los otros dos tipos. Cuando la columna de datos rescatada estaba anteriormente, la falta de coincidencia del tipo de datos provocaba que las columnas se guardaran aunque fueran legibles.
    • [SPARK-43009] Se ha parametrizado sql() con constantes de Any
    • [SPARK-42406] Finalice los campos recursivos de Protobuf quitando el campo
    • [SPARK-43038] Compatibilidad con el modo CBC mediante aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Cambie para imprimir workdir si appDirs es NULL cuando el trabajador gestione el evento WorkDirCleanup
    • [SPARK-43018] Corrección del error de comandos de INSERT con literales de marca de tiempo
    • Actualizaciones de seguridad del sistema operativo
  • 11 de abril de 2023
    • Admite formatos de origen de datos heredados en el comando SYNC.
    • Corrige un error en el comportamiento %autoreload de los cuadernos que están fuera de un repositorio.
    • Se ha corregido un error por el que la evolución del esquema del cargador automático puede entrar en un bucle de error infinito, cuando se detecta una nueva columna en el esquema de un objeto JSON anidado.
    • [SPARK-42928] Hace que resolvePersistentFunction se sincronice.
    • [SPARK-42936] Corrige el error de LCA cuando su agregado secundario puede resolver directamente la cláusula.
    • [SPARK-42967] Corrige SparkListenerTaskStart.stageAttemptId cuándo se inicia una tarea después de cancelar la fase.
    • Actualizaciones de seguridad del sistema operativo
  • 29 de marzo de 2023

    • Databricks SQL ahora admite la especificación de valores predeterminados para columnas de tablas de Delta Lake, ya sea en tiempo de creación de tablas o después. Los comandos INSERT, UPDATE, DELETE y MERGE posteriores pueden hacer referencia al valor predeterminado de cualquier columna mediante la palabra clave DEFAULT explícita. Además, si alguna asignación INSERT contiene una lista explícita de menos columnas que la tabla de destino, los valores predeterminados de columna correspondientes se sustituyen por las columnas restantes (o NULL si no se especifica ningún valor predeterminado).

      Por ejemplo:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Auto Loader ahora inicia al menos una limpieza sincrónica de registros de RocksDB para flujos Trigger.AvailableNow para asegurarse de que el punto de control se pueda limpiar periódicamente para flujos de cargador automático de ejecución rápida. Esto puede hacer que algunas secuencias tarden más tiempo antes de que se apaguen, pero le ahorrarán costos de almacenamiento y mejorará la experiencia del cargador automático en futuras ejecuciones.

    • Ahora puede modificar una tabla Delta para agregar compatibilidad con las características de tabla mediante DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Aumente lockAcquireTimeoutMs a 2 minutos para adquirir el almacén de estado de RocksDB en Structure Streaming

    • [SPARK-42521] Agregue NULL a cada INSERT con listas especificadas por el usuario de menos columnas que la tabla de destino

    • [SPARK-42702][SPARK-42623] Admita consultas con parámetros en subconsulta y CTE.

    • [SPARK-42668] Detectar excepciones al intentar cerrar la secuencia comprimida en la detención de HDFSStateStoreProvider

    • [SPARK-42403][CORE] JsonProtocol debe controlar cadenas JSON nulas

  • 8 de marzo de 2023
    • Se ha mejorado el mensaje de error "Error al inicializar la configuración" para proporcionar más contexto para el cliente.
    • Hay un cambio terminológico para agregar características a una tabla Delta mediante la propiedad table. La sintaxis preferida ahora es 'delta.feature.featureName'='supported' en lugar de 'delta.feature.featureName'='enabled'. Para la compatibilidad con versiones anteriores, usar 'delta.feature.featureName'='enabled' todavía funciona y seguirá funcionando.
    • A partir de esta versión, es posible crear o reemplazar una tabla por una propiedad de tabla delta.ignoreProtocolDefaults adicional para omitir las configuraciones de Spark relacionadas con el protocolo, que incluye versiones predeterminadas de lector y escritor, así como características de tabla compatibles de forma predeterminada.
    • [SPARK-42070] Cambiar el valor predeterminado del argumento de la función Mask de -1 a NULL
    • [SPARK-41793] Resultado incorrecto para los marcos de ventana definidos por una cláusula de alcance en decimales significativos
    • [SPARK-42484] Mejor mensaje de error de UnsafeRowUtils
    • [SPARK-42516] Capturar siempre la configuración de zona horaria de sesión al crear vistas
    • [SPARK-42635] Corrija la expresión TimestampAdd.
    • [SPARK-42622] Se ha desactivado la sustitución en valores
    • [SPARK-42534] Corrección de la cláusula de límite de DB2Dialect
    • [SPARK-42121] Agregar funciones integradas con valores de tabla posexplode, posexplode_outer, json_tuple y pila
    • [SPARK-42045] Modo SQL ANSI: Round/Bround debe devolver un error en desbordamiento de enteros pequeños o pequeños o significativos
    • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 11.3 LTS

Consulte Databricks Runtime 11.3 LTS.

  • 13 de febrero de 2024
    • [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
    • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
    • Actualizaciones de seguridad del sistema operativo
  • 31 de enero de 2024
    • Actualizaciones de seguridad del sistema operativo
  • 25 de diciembre de 2023
    • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
    • [SPARK-46058] Agregar una marca independiente para privateKeyPassword.
    • [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
    • [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
    • [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
    • [SPARK-39440] Agregar una configuración para deshabilitar la escala de tiempo de eventos.
    • [SPARK-46249] Requerir bloqueo de instancia para adquirir métricas de RocksDB para evitar la carrera con operaciones en segundo plano.
    • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
  • 14 de diciembre de 2023
    • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se administraban incorrectamente y se interpretaban erróneamente como caracteres comodín.
    • Actualizaciones de seguridad del sistema operativo
  • 29 de noviembre de 2023
    • Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
    • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se interpretaran erróneamente como caracteres comodín.
    • [SPARK-43973] La interfaz de usuario de flujo estructurado ahora muestra correctamente las consultas con errores.
    • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
    • [SPARK-45544] compatibilidad integrada con SSL en TransportContext.
    • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
    • [SPARK-43718] Se ha corregido la nulabilidad para las claves en combinaciones USING.
    • [SPARK-44846] Se han quitado expresiones de agrupación complejas después de RemoveRedundantAggregates.
    • Actualizaciones de seguridad del sistema operativo
  • 14 de noviembre de 2023
    • Los filtros de partición en las consultas de streaming de Delta Lake se insertan antes de la limitación de frecuencia para lograr un mejor uso.
    • [SPARK-42205] Se han quitado los registros acumulables de los eventos de inicio de fase y tarea.
    • [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
    • Revierta [SPARK-33861].
    • [SPARK-45541] Se ha agregado SSLFactory.
    • [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
    • [SPARK-45584] Se ha corregido un error de ejecución de subconsulta con TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction ya no genera un error cuando IGNORE NULLS y offset > rowCount.
    • [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
    • Actualizaciones de seguridad del sistema operativo
  • 24 de octubre de 2023
    • [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
    • Correcciones varias.
  • 13 de octubre de 2023
    • Dependencia de Snowflake-jdbc actualizada de la versión 3.13.29 a 3.13.33.
    • [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
    • [SPARK-45084]StateOperatorProgress para utilizar un número de partición aleatoria efectivo y preciso.
    • [SPARK-45346] La inferencia del esquema Parquet respeta ahora las marcas que distinguen mayúsculas de minúsculas al combinar el esquema.
    • Actualizaciones de seguridad del sistema operativo
  • 10 de septiembre de 2023
    • Correcciones varias.
  • 30 de agosto de 2023
    • [SPARK-44818] Se ha corregido la carrera para la interrupción de tareas pendiente emitida antes de inicializarse taskThread.
    • [SPARK-44871][11.3-13.0] Se ha corregido el comportamiento de percentile_disc.
    • Actualizaciones de seguridad del sistema operativo
  • 15 de agosto de 2023
    • [SPARK-44485] Se ha optimizado TreeNode.generateTreeString.
    • [SPARK-44504] La tarea de mantenimiento limpia los proveedores cargados en caso de error de detención.
    • [SPARK-44464] Se ha corregido applyInPandasWithStatePythonRunner de las filas de salida que tienen Null como primer valor de columna.
    • Actualizaciones de seguridad del sistema operativo
  • 27 de julio de 2023
    • Se ha corregido un error en el que dbutils.fs.ls() devolvía INVALID_PARAMETER_VALUE.LOCATION_OVERLAP cuando se le llamaba para una ruta de acceso de ubicación de almacenamiento que entraba en conflicto con otra ubicación de almacenamiento externa o administrada.
    • [SPARK-44199]CacheManager ya no actualiza fileIndex innecesariamente.
    • Actualizaciones de seguridad del sistema operativo
  • 24 de julio de 2023
    • [SPARK-44136] Se ha corregido un problema que provocaba que StateManager se materializara en el ejecutor en lugar del controlador en FlatMapGroupsWithStateExec.
    • Actualizaciones de seguridad del sistema operativo
  • 23 de junio de 2023
    • Actualizaciones de seguridad del sistema operativo
  • 15 de junio de 2023
    • approx_count_distinct fotonizado.
    • La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
    • [SPARK-43779][SQL] ParseToDate ahora carga EvalMode en el subproceso principal.
    • [SPARK-40862] Admite subconsultas no agregadas en RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Prueba de errores de recuento de subconsulta escalar extendida con decorrelateInnerQuery desactivado.
    • [SPARK-43098] Se ha corregido el error COUNT de corrección cuando la subconsulta escalar tiene un grupo por cláusula
    • Actualizaciones de seguridad del sistema operativo
  • 2 de junio de 2023
    • El analizador JSON en el modo failOnUnknownFields quita un registro en modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
    • Mejora el rendimiento de las actualizaciones incrementales con SHALLOW CLONE Iceberg y Parquet.
    • Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
    • [SPARK-43404] Omita la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB a fin de evitar errores de coincidencia de id.
    • [SPARK-43527] Se ha corregido catalog.listCatalogs en PySpark.
    • [SPARK-43413][11.3-13.0] Se ha corregido la nulabilidad de IN de la subconsulta ListQuery.
    • [SPARK-43340] Se ha corregido el campo de seguimiento de pila que faltaba en los registros de eventos.

Databricks Runtime 10.4 LTS

Consulte Databricks Runtime 10.4 LTS.

  • 13 de febrero de 2024
    • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
    • Actualizaciones de seguridad del sistema operativo
  • 31 de enero de 2024
    • Actualizaciones de seguridad del sistema operativo
  • 25 de diciembre de 2023
    • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
    • [SPARK-46058] Agregar una marca independiente para privateKeyPassword.
    • [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
    • [SPARK-39440] Agregar una configuración para deshabilitar la escala de tiempo de eventos.
    • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
  • 14 de diciembre de 2023
    • Actualizaciones de seguridad del sistema operativo
  • 29 de noviembre de 2023
    • Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
    • [SPARK-45544] compatibilidad integrada con SSL en TransportContext.
    • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
    • [SPARK-43718] Se ha corregido la nulabilidad para las claves en combinaciones USING.
    • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Se han quitado los registros acumulables de los eventos de inicio de fase y tarea.
    • [SPARK-44846] Se han quitado expresiones de agrupación complejas después de RemoveRedundantAggregates.
    • Actualizaciones de seguridad del sistema operativo
  • 14 de noviembre de 2023
    • [SPARK-45541] Se ha agregado SSLFactory.
    • [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
    • [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
    • [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
    • [SPARK-45584] Se ha corregido un error de ejecución de subconsulta con TakeOrderedAndProjectExec.
    • Revierta [SPARK-33861].
    • Actualizaciones de seguridad del sistema operativo
  • 24 de octubre de 2023
    • [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
    • Actualizaciones de seguridad del sistema operativo
  • 13 de octubre de 2023
    • [SPARK-45084]StateOperatorProgress para utilizar un número de partición aleatoria efectivo y preciso.
    • [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
    • Actualizaciones de seguridad del sistema operativo
  • 10 de septiembre de 2023
    • Correcciones varias.
  • 30 de agosto de 2023
    • [SPARK-44818] Se ha corregido la carrera para la interrupción de tareas pendiente emitida antes de inicializarse taskThread.
    • Actualizaciones de seguridad del sistema operativo
  • 15 de agosto de 2023
    • [SPARK-44504] La tarea de mantenimiento limpia los proveedores cargados en caso de error de detención.
    • [SPARK-43973] La interfaz de usuario de flujo estructurado ahora muestra correctamente las consultas con errores.
    • Actualizaciones de seguridad del sistema operativo
  • 23 de junio de 2023
    • Actualizaciones de seguridad del sistema operativo
  • 15 de junio de 2023
    • La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
    • [SPARK-43098] Se ha corregido el error COUNT de corrección cuando la subconsulta escalar tiene un grupo por cláusula
    • [SPARK-40862] Admite subconsultas no agregadas en RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Prueba de recuento de subconsulta escalar extendida con decorrelateInnerQuery desactivado.
    • Actualizaciones de seguridad del sistema operativo
  • 2 de junio de 2023
    • El analizador JSON en el modo failOnUnknownFields quita un registro en modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
    • Se ha corregido un problema en el análisis de datos de rescate de JSON para evitar UnknownFieldException.
    • Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
    • [SPARK-43404] Omita la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB a fin de evitar errores de coincidencia de id.
    • [SPARK-43413] Se ha corregido la nulabilidad de IN de la subconsulta ListQuery.
    • Actualizaciones de seguridad del sistema operativo
  • 17 de mayo de 2023
    • Los exámenes de Parquet ahora son sólidos con respecto a los OEM al examinar archivos excepcionalmente estructurados ajustando dinámicamente el tamaño del lote. Los metadatos de archivo se analizan para reducir de forma preventiva el tamaño del lote y se reducen de nuevo en los reintentos de tareas como una red de seguridad final.
    • [SPARK-41520] Patrón de árbol dividido AND_OR para separar AND y OR.
    • [SPARK-43190]ListQuery.childOutput ahora es coherente con la salida secundaria.
    • Actualizaciones de seguridad del sistema operativo
  • 25 de abril de 2023
    • [SPARK-42928] Haga que resolvePersistentFunction se sincronice.
    • Actualizaciones de seguridad del sistema operativo
  • 11 de abril de 2023
    • Se ha corregido un error por el que la evolución del esquema del cargador automático puede entrar en un bucle de error infinito, cuando se detecta una nueva columna en el esquema de un objeto JSON anidado.
    • [SPARK-42937]PlanSubqueries ahora establece InSubqueryExec#shouldBroadcast en verdadero.
    • [SPARK-42967] Se ha corregido SparkListenerTaskStart.stageAttemptId cuando se inicia una tarea después de cancelar la fase.
  • 29 de marzo de 2023
    • [SPARK-42668] Detectar excepciones al intentar cerrar la secuencia comprimida en la detención de HDFSStateStoreProvider
    • [SPARK-42635] Corrija…
    • Actualizaciones de seguridad del sistema operativo
  • 14 de marzo de 2023
    • [SPARK-41162] Corrección de anti- y semicombinación para la unión automática con agregaciones
    • [SPARK-33206] Corrección del cálculo de la ponderación de la memoria caché de índices aleatorios para archivos de índice pequeños
    • [SPARK-42484] Se ha mejorado el mensaje de error UnsafeRowUtils
    • Correcciones varias.
  • 28 de febrero de 2023
    • Se ha agregado compatibilidad con la columna generada para date_format aaaa-MM-dd. Este cambio es compatible con la eliminación de particiones para aaaa-MM-dd como elemento date_format en columnas generadas.
    • Los usuarios ahora pueden leer y escribir determinadas tablas Delta que requieren la versión 3 del lector y la versión 7 del escritor mediante Databricks Runtime 9.1 LTS o posterior. Para ello, las características de tabla enumeradas en el protocolo de las tablas deben ser compatibles con la versión actual de Databricks Runtime.
    • Se ha agregado compatibilidad con la columna generada para date_format aaaa-MM-dd. Este cambio es compatible con la eliminación de particiones para aaaa-MM-dd como elemento date_format en columnas generadas.
    • Actualizaciones de seguridad del sistema operativo
  • 16 de febrero de 2023
    • [SPARK-30220] Habilitación mediante subconsultas Exists/In fuera del nodo Filtro
    • Actualizaciones de seguridad del sistema operativo
  • 31 de enero de 2023
    • Los tipos de tabla de las tablas JDBC ahora son EXTERNAL de manera predeterminada.
  • 18 de enero de 2023
    • El conector de Azure Synapse devuelve un mensaje de error más descriptivo cuando un nombre de columna contiene caracteres no válidos, como espacios en blanco o punto y coma. En tales casos, se devolverá el siguiente mensaje: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Borrado del lote de escritura después de la confirmación del almacén de estado de RocksDB
    • [SPARK-41199] Corrección del problema de métricas cuando el origen de streaming DSv1 y el origen de streaming DSv2 se usan conjuntamente
    • [SPARK-41198] Corregir las métricas en la consulta de streaming con el origen de streaming CTE y DSv1.
    • [SPARK-41339] Cerrar y volver a crear el lote de escritura de RocksDB en lugar de simplemente borrar.
    • [SPARK-41732] Aplicar la eliminación basada en patrones de árbol para la regla SessionWindowing.
    • Actualizaciones de seguridad del sistema operativo
  • 29 de noviembre de 2022
    • Los usuarios pueden configurar el comportamiento de los espacios en blanco iniciales y finales al escribir datos mediante el conector de Redshift. Se han agregado las siguientes opciones para controlar el control de espacios en blanco:
      • csvignoreleadingwhitespace, cuando se establece en true, quita el espacio en blanco inicial de los valores durante las escrituras cuando tempformat se establece en CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
      • csvignoretrailingwhitespace, cuando se establece en true, quita el espacio en blanco final de los valores durante las escrituras cuando tempformat se establece en CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
    • Se ha corregido un error con el análisis de JSON en el cargador automático cuando todas las columnas se dejaban como cadenas (cloudFiles.inferColumnTypes no se había establecido o se había establecido en false) y el JSON contenía objetos anidados.
    • Actualizaciones de seguridad del sistema operativo
  • 15 de noviembre de 2022
    • Se ha actualizado Apache commons-text a 1.10.0.
    • [SPARK-40646] Se ha corregido el análisis de JSON para estructuras, mapas y matrices, por lo que cuando una parte de un registro no coincide con el esquema, el resto del registro todavía se puede analizar correctamente en lugar de devolver valores NULL. Para participar en el comportamiento mejorado, establezca spark.sql.json.enablePartialResults en true. La marca está deshabilitada de forma predeterminada para conservar el comportamiento original.
    • [SPARK-40292] Corrección de nombres de columna en la función arrays_zip cuando se hace referencia a matrices desde estructuras anidadas
    • Actualizaciones de seguridad del sistema operativo
  • 1 de noviembre de 2022
    • Se ha corregido un problema por el que si una tabla Delta tenía una columna definida por el usuario denominada _change_type, pero la opción Change data feed (Cambiar fuente de distribución de datos) estaba deshabilitada en esa tabla, los datos de esa columna se rellenaban incorrectamente con valores NULL al ejecutar MERGE.
    • Se ha corregido un problema con el cargador automático en el que un archivo se puede duplicar en el mismo microproceso cuando allowOverwrites está habilitado.
    • [SPARK-40697] Agrega relleno de caracteres de lectura para cubrir archivos de datos externos
    • [SPARK-40596] Rellenar ExecutorDecommission con mensajes en ExecutorDecommissionInfo
    • Actualizaciones de seguridad del sistema operativo
  • 18 de octubre de 2022
    • Actualizaciones de seguridad del sistema operativo
  • 5 de octubre de 2022
    • [SPARK-40468] Corrección de la eliminación de columnas en CSV cuando se selecciona _corrupt_record.
    • Actualizaciones de seguridad del sistema operativo
  • 22 de septiembre de 2022
    • Los usuarios pueden establecer spark.conf.set (spark.databricks.io.listKeysWithPrefix.azure.enabled y true) para volver a habilitar la lista integrada para Auto Loader en ADLS Gen2. La lista integrada se desactivó anteriormente debido a problemas de rendimiento, pero puede haber provocado un aumento en los costos de almacenamiento para los clientes.
    • [SPARK-40315] Adición de hashCode() para el literal de ArrayBasedMapData
    • [SPARK-40213] Compatibilidad con la conversión de valores ASCII para caracteres Latino-1
    • [SPARK-40380] Corrección del plegado constante de InvokeLike para evitar literales no serializables insertados en el plan
    • [SPARK-38404] Mejora de la resolución de CTE cuando un CTE anidado hace referencia a un CTE externo
    • [SPARK-40089] Corrección de la ordenación para algunos tipos decimales
    • [SPARK-39887] RemoveRedundantAliases debe mantener alias que hacen que la salida de los nodos de proyección sea única
  • 6 de septiembre de 2022
    • [SPARK-40235] Uso del bloqueo interrumpible en lugar de sincronizado en Executor.updateDependencies().
    • [SPARK-40218] GROUPING SETS debe conservar las columnas de agrupación.
    • [SPARK-39976] ArrayIntersect debe controlar null en la primera expresión correctamente.
    • [SPARK-40053] Adición de assume a casos de cancelación dinámica que requieren entorno de tiempo de ejecución de Python.
    • [SPARK-35542] Corrección: el creador de depósitos diseñado para varias columnas con parámetros splitsArray, inputCols y outputCols no se puede cargar después de guardarlo.
    • [SPARK-40079] Adición de la validación inputCols de Imputer para el caso de entrada vacío.
  • 24 de agosto de 2022
    • [SPARK-39983] No almacenar en caché las relaciones de difusión no serializadas en el controlador.
    • [SPARK-39775] Deshabilitación de la validación de valores predeterminados al analizar esquemas de Avro.
    • [SPARK-39962] Aplicar proyección cuando los atributos de grupo están vacíos
    • [SPARK-37643] Si charVarcharAsString es true, para la consulta de predicados del tipo de datos char debe omitir la regla rpadding.
    • Actualizaciones de seguridad del sistema operativo
  • 9 de agosto de 2022
    • [SPARK-39847] Corrección de la condición de carrera en RocksDBLoader.loadLibrary() si se interrumpe el subproceso del autor de la llamada
    • [SPARK-39731] Corrección del problema en los orígenes de datos CSV y JSON cuando se analicen fechas en formato "yyyyMMdd" con la directiva de analizador de hora CORREGIDA
    • Actualizaciones de seguridad del sistema operativo
  • 27 de julio de 2022
    • [SPARK-39625][SQL] Agregar Dataset.as (StructType).
    • [SPARK-39689] Compatibilidad con 2 caracteres lineSep en el origen de datos CSV.
    • [SPARK-39104] El elemento InMemoryRelation#isCachedColumnBuffersLoaded debe ser seguro para subprocesos.
    • [SPARK-39570] Ahora, la tabla insertada permitirá el uso de expresiones con alias.
    • [SPARK-39702] Reducción de la sobrecarga de memoria de TransportCipher$EncryptedMessage mediante un byteRawChannel compartido.
    • [SPARK-39575] agregar ByteBuffer#rewind después de ByteBuffer#get en AvroDeserializer.
    • [SPARK-39476] Deshabilitación de la optimización de conversión de desajustado al convertir de Long a Float/Double o de Integer a Float.
    • [SPARK-38868] No propagar excepciones del predicado de filtro al optimizar las combinaciones externas.
    • Actualizaciones de seguridad del sistema operativo
  • 20 de julio de 2022
    • Haga que la operación Merge Delta sea coherente cuando el origen no es determinista.
    • [SPARK-39355] Una sola columna usa comillas para construir UnresolvedAttribute.
    • [SPARK-39548] Comando CreateView con una consulta de cláusula de ventana da un problema de definición de ventana errónea no encontrada.
    • [SPARK-39419] Se ha corregido el elemento ArraySort para que produzca una excepción si el comparador devuelve un valor nulo.
    • Se ha deshabilitado el uso de las API integradas en la nube por parte del cargador automático para la lista de directorios en Azure.
    • Actualizaciones de seguridad del sistema operativo
  • 5 de julio de 2022
    • [SPARK-39376] Se han ocultado las columnas duplicadas en la expansión de estrella del alias de subconsulta de NATURAL/USING JOIN.
    • Actualizaciones de seguridad del sistema operativo
  • 15 de junio de 2022
    • [SPARK-39283] Se ha corregido el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator.
    • [SPARK-39285] Spark no debe comprobar los nombres de campo al leer archivos.
    • [SPARK-34096] Mejorar el rendimiento de nth_value omite los valores NULL en la ventana de desplazamiento.
    • [SPARK-36718] Se ha corregido la comprobación isExtractOnly en CollapseProject.
  • 2 de junio de 2022
    • [SPARK-39093] Se evita un error de compilación de codegen al dividir intervalos de año y mes o intervalos de día y hora por un entero.
    • [SPARK-38990] Se evita la excepción NullPointerException al evaluar el formato de date_trunc y trunc como una referencia enlazada.
    • Actualizaciones de seguridad del sistema operativo
  • 18 de mayo de 2022
    • Corrige una posible pérdida de memoria integrada en el cargador automático.
    • [SPARK-38918] La eliminación de columnas anidadas debe filtrar los atributos que no pertenecen a la relación actual.
    • [SPARK-37593] Reducción del tamaño de página predeterminado por LONG_ARRAY_OFFSET si se usan G1GC y ON_HEAP.
    • [SPARK-39084] Corregir df.rdd.isEmpty() mediante TaskContext para detener el iterador en la finalización de la tarea.
    • [SPARK-32268] Agregar columnPruning en injectBloomFilter.
    • [SPARK-38974] Filtrar funciones registradas con un nombre de base de datos determinado en funciones de lista.
    • [SPARK-38931] Crear directorio dfs raíz para RocksDBFileManager con un número desconocido de claves en el primer punto de control.
    • Actualizaciones de seguridad del sistema operativo
  • 19 de abril de 2022
    • Se ha actualizado el SDK de AWS de Java de la versión 1.11.655 a la 1.12.1899.
    • Se ha corregido un problema que provocaba que las bibliotecas con ámbito de cuaderno no funcionara en trabajos de streaming por lotes.
    • [SPARK-38616] Se realiza un seguimiento del texto de la consulta SQL en el nodo de árbol de Catalyst
    • Actualizaciones de seguridad del sistema operativo
  • 6 de abril de 2022
    • Las siguientes funciones Spark SQL pasan a estar disponibles en esta versión:
      • timestampadd() y dateadd(): agregue una duración de tiempo en una unidad especificada a una expresión de marca de tiempo.
      • timestampdiff() y datediff(): calcule la diferencia de tiempo entre dos expresiones de marca de tiempo en una unidad especificada.
    • El Parquet-MR se ha actualizado a la versión 1.12.2
    • Compatibilidad mejorada con esquemas completos en archivos parquet
    • [SPARK-38631] Utiliza una implementación basada en Java para descomprimir en Utils.unpack.
    • [SPARK-38509][SPARK-38481] Selección exclusiva de tres cambios de timestmapadd/diff.
    • [SPARK-38523] Corrección que hace referencia a la columna de registro dañada de CSV.
    • [SPARK-38237] Permitir a ClusteredDistribution requerir claves de agrupación en clústeres completas.
    • [SPARK-38437][SQL] Serialización Lenient de datetime desde el origen de datos.
    • [SPARK-38180] Permitir expresiones seguras de conversión vertical en predicados de igualdad correlacionados.
    • [SPARK-38155] No permitir agregados distintos en subconsultas laterales con predicados no admitidos.
    • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 9.1 LTS

Consulte Databricks Runtime 9.1 LTS.

  • 13 de febrero de 2024
    • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
    • Actualizaciones de seguridad del sistema operativo
  • 31 de enero de 2024
    • Actualizaciones de seguridad del sistema operativo
  • 25 de diciembre de 2023
    • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
    • [SPARK-46058] Agregar una marca independiente para privateKeyPassword.
    • [SPARK-39440] Agregar una configuración para deshabilitar la escala de tiempo de eventos.
    • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
  • 14 de diciembre de 2023
    • Actualizaciones de seguridad del sistema operativo
  • 29 de noviembre de 2023
    • Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
    • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
    • [SPARK-45544] compatibilidad integrada con SSL en TransportContext.
    • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
    • Actualizaciones de seguridad del sistema operativo
  • 14 de noviembre de 2023
    • [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
    • [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
    • [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
    • [SPARK-45584] Se ha corregido un error de ejecución de subconsulta con TakeOrderedAndProjectExec.
    • [SPARK-45541] Se ha agregado SSLFactory.
    • [SPARK-42205] Se han quitado los registros acumulables de los eventos de inicio de fase y tarea.
    • Actualizaciones de seguridad del sistema operativo
  • 24 de octubre de 2023
    • [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
    • Actualizaciones de seguridad del sistema operativo
  • 13 de octubre de 2023
    • Actualizaciones de seguridad del sistema operativo
  • 10 de septiembre de 2023
    • Correcciones varias.
  • 30 de agosto de 2023
    • Actualizaciones de seguridad del sistema operativo
  • 15 de agosto de 2023
    • Actualizaciones de seguridad del sistema operativo
  • 23 de junio de 2023
    • La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
    • Actualizaciones de seguridad del sistema operativo
  • 15 de junio de 2023
    • [SPARK-43098] Se ha corregido el error COUNT de corrección cuando la subconsulta escalar tiene un grupo por cláusula.
    • [SPARK-43156][SPARK-43098] Extender la prueba de errores de recuento de subconsulta escalares con decorrelateInnerQuery desactivado.
    • [SPARK-40862] Admite subconsultas no agregadas en RewriteCorrelatedScalarSubquery.
    • Actualizaciones de seguridad del sistema operativo
  • 2 de junio de 2023
    • El analizador JSON en el modo failOnUnknownFields quita un registro en modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
    • Se ha corregido un problema en el análisis de datos de rescate de JSON para evitar UnknownFieldException.
    • Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
    • [SPARK-37520] Agregar las funciones de cadena startswith() y endswith()
    • [SPARK-43413] Se ha corregido la nulabilidad de IN de la subconsulta ListQuery.
    • Actualizaciones de seguridad del sistema operativo
  • 17 de mayo de 2023
    • Actualizaciones de seguridad del sistema operativo
  • 25 de abril de 2023
    • Actualizaciones de seguridad del sistema operativo
  • 11 de abril de 2023
    • Se ha corregido un error por el que la evolución del esquema del cargador automático puede entrar en un bucle de error infinito, cuando se detecta una nueva columna en el esquema de un objeto JSON anidado.
    • [SPARK-42967] Se ha corregido SparkListenerTaskStart.stageAttemptId cuando se inicia una tarea después de cancelar la fase.
  • 29 de marzo de 2023
    • Actualizaciones de seguridad del sistema operativo
  • 14 de marzo de 2023
    • [SPARK-42484] Se ha mejorado el mensaje de error de UnsafeRowUtils.
    • Correcciones varias.
  • 28 de febrero de 2023
    • Los usuarios ahora pueden leer y escribir determinadas tablas Delta que requieren la versión 3 del lector y la versión 7 del escritor mediante Databricks Runtime 9.1 LTS o posterior. Para ello, las características de tabla enumeradas en el protocolo de las tablas deben ser compatibles con la versión actual de Databricks Runtime.
    • Actualizaciones de seguridad del sistema operativo
  • 16 de febrero de 2023
    • Actualizaciones de seguridad del sistema operativo
  • 31 de enero de 2023
    • Los tipos de tabla de las tablas JDBC ahora son EXTERNAL de manera predeterminada.
  • 18 de enero de 2023
    • Actualizaciones de seguridad del sistema operativo
  • 29 de noviembre de 2022
    • Se ha corregido un error con el análisis de JSON en el cargador automático cuando todas las columnas se dejaban como cadenas (cloudFiles.inferColumnTypes no se había establecido o se había establecido en false) y el JSON contenía objetos anidados.
    • Actualizaciones de seguridad del sistema operativo
  • 15 de noviembre de 2022
    • Se ha actualizado Apache commons-text a 1.10.0.
    • Actualizaciones de seguridad del sistema operativo
    • Correcciones varias.
  • 1 de noviembre de 2022
    • Se ha corregido un problema por el que si una tabla Delta tenía una columna definida por el usuario denominada _change_type, pero la opción Change data feed (Cambiar fuente de distribución de datos) estaba deshabilitada en esa tabla, los datos de esa columna se rellenaban incorrectamente con valores NULL al ejecutar MERGE.
    • Se ha corregido un problema con el cargador automático en el que un archivo se puede duplicar en el mismo microproceso cuando allowOverwrites está habilitado.
    • [SPARK-40596] Rellenar ExecutorDecommission con mensajes en ExecutorDecommissionInfo
    • Actualizaciones de seguridad del sistema operativo
  • 18 de octubre de 2022
    • Actualizaciones de seguridad del sistema operativo
  • 5 de octubre de 2022
    • Correcciones varias.
    • Actualizaciones de seguridad del sistema operativo
  • 22 de septiembre de 2022
    • Los usuarios pueden establecer spark.conf.set(“spark.databricks.io.listKeysWithPrefix.azure.enabled”, “true”) para volver a habilitar la lista integrada para Auto Loader en ADLS Gen2. La lista integrada se desactivó anteriormente debido a problemas de rendimiento, pero puede haber provocado un aumento en los costos de almacenamiento para los clientes.
    • [SPARK-40315] Adición de hashCode() para el literal de ArrayBasedMapData
    • [SPARK-40089] Corrección de la ordenación para algunos tipos decimales
    • [SPARK-39887] RemoveRedundantAliases debe mantener alias que hacen que la salida de los nodos de proyección sea única
  • 6 de septiembre de 2022
    • [SPARK-40235] Uso del bloqueo interrumpible en lugar de sincronizado en Executor.updateDependencies()
    • [SPARK-35542] Corrección: el creador de depósitos diseñado para varias columnas con parámetros splitsArray, inputCols y outputCols no se puede cargar después de guardarlo
    • [SPARK-40079] Adición de la validación inputCols de Imputer para el caso de entrada vacío
  • 24 de agosto de 2022
    • [SPARK-39666] Uso de UnsafeProjection.create para respetar spark.sql.codegen.factoryMode en ExpressionEncoder
    • [SPARK-39962] Aplicar proyección cuando los atributos de grupo están vacíos
    • Actualizaciones de seguridad del sistema operativo
  • 9 de agosto de 2022
    • Actualizaciones de seguridad del sistema operativo
  • 27 de julio de 2022
    • Haga que la operación Merge Delta sea coherente cuando el origen no es determinista.
    • [SPARK-39689] Compatibilidad con 2 caracteres lineSep en el origen de datos CSV
    • [SPARK-39575] Se ha agregado ByteBuffer#rewind después de ByteBuffer#get en AvroDeserializer.
    • [SPARK-37392] Se ha corregido el error de rendimiento del optimizador de catalizadores.
    • Actualizaciones de seguridad del sistema operativo
  • 13 de julio de 2022
    • [SPARK-39419]ArraySort produce una excepción si el comparador devuelve un valor nulo.
    • Se ha deshabilitado el uso de las API integradas en la nube por parte del cargador automático para la lista de directorios en Azure.
    • Actualizaciones de seguridad del sistema operativo
  • 5 de julio de 2022
    • Actualizaciones de seguridad del sistema operativo
    • Correcciones varias.
  • 15 de junio de 2022
    • [SPARK-39283] Corrección del interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator.
  • 2 de junio de 2022
    • [SPARK-34554] Implemente el método copy() en ColumnarMap.
    • Actualizaciones de seguridad del sistema operativo
  • 18 de mayo de 2022
    • Se ha corregido una posible pérdida de memoria integrada en Auto Loader.
    • Actualice la versión del SDK de AWS de la versión 1.11.655 a la 1.11.678.
    • [SPARK-38918] La eliminación de columnas anidadas debe filtrar los atributos que no pertenecen a la relación actual
    • [SPARK-39084] Corrección de df.rdd.isEmpty() mediante TaskContext para detener el iterador al finalizar la tarea
    • Actualizaciones de seguridad del sistema operativo
  • 19 de abril de 2022
    • Actualizaciones de seguridad del sistema operativo
    • Correcciones varias.
  • 6 de abril de 2022
    • [SPARK-38631] Utiliza una implementación basada en Java para descomprimir en Utils.unpack.
    • Actualizaciones de seguridad del sistema operativo
  • 22 de marzo de 2022
    • Se cambió el directorio de trabajo actual de los cuadernos en los clústeres de alta simultaneidad con el control de acceso a la tabla o el paso de credenciales habilitado al directorio de inicio del usuario. Anteriormente, el directorio activo era /databricks/driver.
    • [SPARK-38437][SQL] Serialización Lenient de datetime desde el origen de datos
    • [SPARK-38180] Permitir expresiones seguras de conversión vertical en predicados de igualdad correlacionados
    • [SPARK-38155] No permitir agregados distintos en subconsultas laterales con predicados no admitidos
    • [SPARK-27442] Se ha quitado un campo de comprobación al leer o escribir datos en un elemento parquet.
  • 14 de marzo de 2022
    • [SPARK-38236] Rutas de acceso de archivo absolutas especificadas en la tabla create/alter tratadas como relativas
    • [SPARK-34069] Interrumpa el subproceso de tarea si la propiedad local SPARK_JOB_INTERRUPT_ON_CANCEL está establecida en true.
  • 23 de febrero de 2022
    • [SPARK-37859] Las tablas SQL creadas con JDBC mediante Spark 3.1 no son legibles en la versión 3.2
  • 8 de febrero de 2022
    • [SPARK-27442] Se ha quitado un campo de comprobación al leer o escribir datos en un elemento parquet.
    • Actualizaciones de seguridad del sistema operativo
  • 1 de febrero de 2022
    • Actualizaciones de seguridad del sistema operativo
  • 26 de enero de 2022
    • Se ha corregido un error por el que las transacciones simultáneas en tablas Delta podían confirmarse en un orden no serializable bajo determinadas condiciones poco frecuentes.
    • Se ha corregido un error por el que el comando OPTIMIZE podía producir un error si el dialecto ANSI SQL estaba habilitado.
  • 19 de enero de 2022
    • Correcciones secundarias y mejoras de seguridad.
    • Actualizaciones de seguridad del sistema operativo
  • 4 de noviembre de 2021
    • Se ha corregido un error que podía provocar un error en los flujos de Structured Streaming con un elemento ArrayIndexOutOfBoundsException.
    • Se ha corregido una condición de carrera que podía provocar un error de consulta con una excepción IOException como java.io.IOException: No FileSystem for scheme o que las modificaciones a sparkContext.hadoopConfiguration no se aplicaran a las consultas.
    • El conector de Apache Spark para uso compartido de Delta se ha actualizado a la versión 0.2.0.
  • 20 de octubre de 2021
    • Se ha actualizado el conector de BigQuery de la versión 0.18.1 a la 0.22.2. Esto agrega compatibilidad con el tipo BigNumeric.