Actualizaciones de mantenimiento de Databricks Runtime

2025-06-17

En este artículo se enumeran las actualizaciones de mantenimiento de las versiones de Databricks Runtime admitidas. Para agregar una actualización de mantenimiento a un clúster existente, debe reiniciarlo. Para conocer las actualizaciones de mantenimiento de las versiones no admitidas de Databricks Runtime, vea Actualizaciones de mantenimiento de Databricks Runtime (archivado).

Nota:

Las versiones se publican por fases. Es posible que su cuenta de Azure Databricks no se actualice durante unos días después de la fecha de lanzamiento inicial.

Versiones de Databricks Runtime

Actualizaciones de mantenimiento por versión:

Databricks Runtime 16.4
Databricks Runtime 16.3
Databricks Runtime 16.2
Databricks Runtime 16.1
Databricks Runtime 15.4
Databricks Runtime 14.3
Databricks Runtime 13.3 LTS
Databricks Runtime 12.2 LTS
Databricks Runtime 11.3 LTS
Databricks Runtime 10.4 LTS
Databricks Runtime 9.1 LTS

Databricks Runtime 16.4

Consulte Databricks Runtime 16.4 LTS.

17 de junio de 2025
- Se ha corregido la limitación de que la función con valores de tabla cloud_files_state (TVF) no se podía usar para leer el estado de archivo de las tablas de flujos en las canalizaciones.
- Se han corregido problemas de autorización de Unity Catalog para consultas en vistas temporales.
- [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference debe conservar el identificador del plan.
- Actualizaciones de seguridad del sistema operativo

3 de junio de 2025
- [SPARK-52195][PYTHON][SS] Corrección del problema de eliminación de columnas de estado inicial para Python TWS
- [SPARK-52159][SQL] Gestionar adecuadamente la verificación de la existencia de tablas para dialectos JDBC
- Correcciones de errores varios.

7 de mayo de 2025
- Bibliotecas de Java actualizadas:
  - io.delta.delta-sharing-client_2.13 de 1.2.3 a 1.2.7
  - org.apache.avro.avro de 1.11.3 a 1.11.4
  - org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
  - org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
- La sesión clonada de streaming se usará dentro de la función de usuario foreachBatch en Clústeres compartidos o sin servidor. Esto se alinea con el comportamiento de los clústeres clásicos (clústeres asignados).
- La sesión clonada de streaming se usará dentro de la función de usuario foreachBatch en Clústeres compartidos o sin servidor. Esto se alinea con el comportamiento de los clústeres clásicos (clústeres asignados).
- Antes de este cambio, los espacios en blanco iniciales y tabuladores en las rutas de acceso de la variant_get expresión se omitían con Photon deshabilitado. Por ejemplo, select variant_get(parse_json('{"key": "value"}'), '$['key']') no sería eficaz al extraer el valor de "key". Sin embargo, los usuarios podrán extraer estas claves ahora.
- [SPARK-51935][SQL] Corregir el lento comportamiento de los iteradores en la función df.collect() cuando es interpretada
- [SPARK-51921][SS][PYTHON] Usar el tipo largo para la duración de TTL en milisegundos en transformWithState
- [SPARK-51940][SS] Agregar interfaz para administrar los metadatos del checkpoint de streaming
- [SPARK-52049] Corrección del error que los atributos XML no se pueden analizar como Variant
- [SPARK-51904][SS] Quitar la purga de metadatos asincrónicos para StateSchemaV3 e ignorar los archivos no por lotes al enumerar archivos OperatorMetadata
- [SPARK-51869][SS] Crear clasificación para errores de usuario dentro de UDF para Scala TransformWithState
- [SPARK-51889][PYTHON][SS] Corrección de un error para MapState clear() en Python TWS
- [SPARK-51922] [SS] Solución a la UTFDataFormatException generada desde StateStoreChangelogReaderFactory para v1
- [SPARK-51848][SQL] Corrección del análisis de registros XML con esquema definido de matriz/estructuras/mapa de Variant
- Actualizaciones de seguridad del sistema operativo

Databricks Runtime 16.3

Consulte Databricks Runtime 16.3.

17 de junio de 2025
- Se ha corregido la limitación de que la función con valores de tabla cloud_files_state (TVF) no se podía usar para leer el estado de archivo de las tablas de flujos en las canalizaciones.
- [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference debe conservar el identificador del plan.
- Actualizaciones de seguridad del sistema operativo

3 de junio de 2025
- Bibliotecas de Python actualizadas:
  - criptografía de 41.0.7, 41.0.7, 42.0.5 a 42.0.5
  - empaquetado de 24.0, 24.1 a 24.1
  - platformdirs de 23.10.0, 4.2.2 a 3.10.0
  - pyparsing de 3.0.9, 3.1.1 a 3.0.9
  - Se ha añadido autocommand 2.2.2
  - Se ha añadido backports.tarfile 1.2.0
  - Se ha agregado importlib_resources 6.4.0
  - Se ha agregado la versión 7.3.1 de Inflect.
  - Se ha agregado jaraco.context 5.3.0
  - Se ha añadido jaraco.functools 4.0.1
  - Se ha añadido jaraco.text 3.12.1
  - Se ha agregado el paquete more-itertools 10.3.0
  - Se ha añadido pip 24.2
  - Se ha añadido setuptools 74.0.0
  - Se agregó tomli 2.0.1
  - Se ha agregado typeguard 4.3.0
  - Se agregó wcwidth 0.2.5
  - Se ha añadido wheel 0.43.0
  - Eliminada la distribución 1.9.0
  - Se eliminó distro-info 1.7+build1
  - Se eliminó python-apt 2.7.7+ubuntu4
- [SPARK-52195][PYTHON][SS] Corrección del problema de eliminación de columnas de estado inicial para Python TWS
- [SPARK-52159][SQL] Gestionar adecuadamente la verificación de la existencia de tablas para dialectos JDBC
- Actualizaciones de seguridad del sistema operativo

20 de mayo de 2025
- Bibliotecas de Java actualizadas:
  - io.delta.delta-sharing-client_2.12 de 1.2.6 a 1.2.7
  - org.apache.avro.avro de 1.11.3 a 1.11.4
  - org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
  - org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
- La sesión clonada de streaming se usará dentro de la función de usuario foreachBatch en Clústeres compartidos o sin servidor. Esto se alinea con el comportamiento de los clústeres clásicos (clústeres asignados).
- La sesión clonada de streaming se usará dentro de la función de usuario foreachBatch en Clústeres compartidos o sin servidor. Esto se alinea con el comportamiento de los clústeres clásicos (clústeres asignados).
- Antes de este cambio, los espacios en blanco iniciales y tabuladores en las rutas de acceso de la variant_get expresión se omitían con Photon deshabilitado. Por ejemplo, select variant_get(parse_json('{"key": "value"}'), '$['key']') no sería eficaz al extraer el valor de "key". Sin embargo, los usuarios podrán extraer estas claves ahora.
- [SPARK-51921][SS][PYTHON] Usar el tipo largo para la duración de TTL en milisegundos en transformWithState
- [SPARK-51935][SQL] Corregir el lento comportamiento de los iteradores en la función df.collect() cuando es interpretada
- Actualizaciones de seguridad del sistema operativo

22 de abril de 2025
- El seguimiento de esquemas delta mostrará los errores de evolución del esquema con DELTA_STREAMING_CANNOT_CONTINUE_PROCESSING_POST_SCHEMA_EVOLUTION en lugar de DELTA_STREAMING_CANNOT_CONTINUE_PROCESSING_TYPE_WIDENING para ser coherente con otras excepciones de cambio de esquema no aditivos.
- [SPARK-51589][SQL] Corrección de errores pequeños que no comprueban las funciones agregadas en |>SELECT
- [SPARK-51645][SQL] Corregir CREATE OR REPLACE TABLE ... DEFAULT COLLATION ... consulta
- Revertir "[SPARK-47895][SQL] Agrupar por alias debe ser idempotente" en 15.4, 16.0, 16.1, 16.2 y 16.3
- [SPARK-51717][SS][RocksDB] Corregir daños de coincidencia de SST que pueden producirse para la segunda instantánea creada para una nueva consulta

26 de marzo de 2025
- [SPARK-51624][SQL] Propagación de metadatos GetStructField en CreateNamedStruct.dataType
- [SPARK-51505][SQL] Registrar métricas de número de partición vacías en AQE fusionar
- [SPARK-47895][SQL] la agrupación por alias debe ser idempotente
- Actualizaciones de seguridad del sistema operativo

Databricks Runtime 16.2

Consulte Databricks Runtime 16.2.

17 de junio de 2025
- Se ha corregido la limitación de que la función con valores de tabla cloud_files_state (TVF) no se podía usar para leer el estado de archivo de las tablas de flujos en las canalizaciones.
- [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference debe conservar el identificador del plan.
- Actualizaciones de seguridad del sistema operativo

3 de junio de 2025
- Bibliotecas de Python actualizadas:
  - criptografía de 41.0.7, 41.0.7, 42.0.5 a 42.0.5
  - empaquetado de 24.0, 24.1 a 24.1
  - platformdirs de 23.10.0, 4.2.2 a 3.10.0
  - pyparsing de 3.0.9, 3.1.1 a 3.0.9
  - Se ha añadido autocommand 2.2.2
  - Se ha añadido backports.tarfile 1.2.0
  - Se ha agregado importlib_resources 6.4.0
  - Se ha agregado la versión 7.3.1 de Inflect.
  - Se ha agregado jaraco.context 5.3.0
  - Se ha añadido jaraco.functools 4.0.1
  - Se ha añadido jaraco.text 3.12.1
  - Se ha agregado el paquete more-itertools 10.3.0
  - Se ha añadido pip 24.2
  - Se ha añadido setuptools 74.0.0
  - Se agregó tomli 2.0.1
  - Se ha agregado typeguard 4.3.0
  - Se agregó wcwidth 0.2.5
  - Se ha añadido wheel 0.43.0
  - Eliminada la distribución 1.9.0
  - Se eliminó distro-info 1.7+build1
  - Se eliminó python-apt 2.7.7+ubuntu4
- [SPARK-52159][SQL] Gestionar adecuadamente la verificación de la existencia de tablas para dialectos JDBC
- [SPARK-52195][PYTHON][SS] Corrección del problema de eliminación de columnas de estado inicial para Python TWS
- Actualizaciones de seguridad del sistema operativo

20 de mayo de 2025
- Bibliotecas de Java actualizadas:
  - io.delta.delta-sharing-client_2.12 de 1.2.6 a 1.2.7
  - org.apache.avro.avro de 1.11.3 a 1.11.4
  - org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
  - org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
- La sesión clonada de streaming se usará dentro de la función de usuario foreachBatch en Clústeres compartidos o sin servidor. Esto se alinea con el comportamiento de los clústeres clásicos (clústeres asignados).
- La sesión clonada de streaming se usará dentro de la función de usuario foreachBatch en Clústeres compartidos o sin servidor. Esto se alinea con el comportamiento de los clústeres clásicos (clústeres asignados).
- Antes de este cambio, los espacios en blanco iniciales y tabuladores en las rutas de acceso de la variant_get expresión se omitían con Photon deshabilitado. Por ejemplo, select variant_get(parse_json('{"key": "value"}'), '$[' key']') no sería eficaz al extraer el valor de "key". Sin embargo, los usuarios podrán extraer estas claves ahora.
- [SPARK-51935][SQL] Corregir el lento comportamiento de los iteradores en la función df.collect() cuando es interpretada
- [SPARK-51921][SS][PYTHON] Usar el tipo largo para la duración de TTL en milisegundos en transformWithState
- Actualizaciones de seguridad del sistema operativo

22 de abril de 2025
- [SPARK-51717][SS][RocksDB] Corregir daños de coincidencia de SST que pueden producirse para la segunda instantánea creada para una nueva consulta
- Revertir "[SPARK-47895][SQL] Agrupar por alias debe ser idempotente" en 15.4, 16.0, 16.1, 16.2 y 16.3
- Actualizaciones de seguridad del sistema operativo

9 de abril de 2025
- Bibliotecas de Java actualizadas:
  - Se quitó io.starburst.openjson.openjson 1.8-e.12
  - Se quitó io.starburst.openx.data.json-serde 1.3.9-e.12
  - Se quitó io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
- [SPARK-47895][SQL] la agrupación por alias debe ser idempotente
- [SPARK-51505][SQL] Registrar métricas de número de partición vacías en AQE fusionar
- [SPARK-51624][SQL] Propagación de metadatos GetStructField en CreateNamedStruct.dataType
- [SPARK-51589][SQL] Corrección de errores pequeños que no comprueban las funciones agregadas en |>SELECT
- Actualizaciones de seguridad del sistema operativo

11 de marzo de 2025
- Databricks Runtime 14.3 y versiones posteriores incluyen una corrección para un problema que provocó incompatibilidades binarias con código que creó una instancia de una clase SparkListenerApplicationEnd y se compiló contra Apache Spark. Esta incompatibilidad resultó de combinar SPARK-46399 en Apache Spark. Esta combinación incluía un cambio que agregaba un argumento predeterminado al SparkListenerApplicationEnd constructor. Para restaurar la compatibilidad binaria, esta corrección agrega un único constructor de argumentos a la SparkListenerApplicationEnd clase .
- Revertir "[SPARK-48273][SQL] Corregir la reescritura tardía de PlanWithUnresolvedIdentifier"
- [SPARK-50985][SS] Clasificar el error de desajuste de los desplazamientos de la marca de tiempo de Kafka en lugar de afirmar y generar un error por servidor faltante en KafkaTokenProvider
- [SPARK-51065][SQL] No permitir esquemas que no aceptan valores NULL cuando se usa la codificación Avro para TransformWithState
- [SPARK-51237][SS] Agregar detalles de API para las nuevas API auxiliares transformWithState según sea necesario
- [SPARK-51222][SQL] Optimizar ReplaceCurrentLike
- [SPARK-51351][SS] No materialice la salida en el trabajo de Python para TWS
- [SPARK-51084][SQL] Asignar la clase de error adecuada para negativeScaleNotAllowedError
- [SPARK-51249][SS] Corregir codificación NoPrefixKeyStateEncoder y Avro para usar el número correcto de bytes de versión
- Actualizaciones de seguridad del sistema operativo

5 de febrero de 2025
- Esta versión incluye una corrección para un problema que afecta a la conversión de determinados tipos de datos al serializar columnas de datos XML recuperadas. Los tipos de datos afectados son fechas, marcas de tiempo que no son NTZ y decimales cuando prefersDecimal está habilitado. Para obtener más información sobre la columna de datos rescatados, consulte ¿Qué es la columna de datos rescatados?.
- [SPARK-50770][SS] Eliminación del ámbito de paquete para las API del operador transformWithState
- Actualizaciones de seguridad del sistema operativo

Databricks Runtime 16.1

Consulte Databricks Runtime 16.1 (EoS).

17 de junio de 2025
- Se ha corregido la limitación de que la función con valores de tabla cloud_files_state (TVF) no se podía usar para leer el estado de archivo de las tablas de flujos en las canalizaciones.
- [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference debe conservar el identificador del plan.
- Actualizaciones de seguridad del sistema operativo

3 de junio de 2025
- Bibliotecas de Python actualizadas:
  - criptografía de 41.0.7, 41.0.7, 42.0.5 a 42.0.5
  - empaquetado de 24.0, 24.1 a 24.1
  - platformdirs de 23.10.0, 4.2.2 a 3.10.0
  - pyparsing de 3.0.9, 3.1.1 a 3.0.9
  - Se ha añadido autocommand 2.2.2
  - Se ha añadido backports.tarfile 1.2.0
  - Se ha agregado importlib_resources 6.4.0
  - Se ha agregado la versión 7.3.1 de Inflect.
  - Se ha agregado jaraco.context 5.3.0
  - Se ha añadido jaraco.functools 4.0.1
  - Se ha añadido jaraco.text 3.12.1
  - Se ha agregado el paquete more-itertools 10.3.0
  - Se ha añadido pip 24.2
  - Se ha añadido setuptools 74.0.0
  - Se agregó tomli 2.0.1
  - Se ha agregado typeguard 4.3.0
  - Se agregó wcwidth 0.2.5
  - Se ha añadido wheel 0.43.0
  - Eliminada la distribución 1.9.0
  - Se eliminó distro-info 1.7+build1
  - Se eliminó python-apt 2.7.7+ubuntu4
- Bibliotecas de Java actualizadas:
  - com.github.fommil.netlib.native_ref-java desde 1.1, 1.1-natives a 1.1, 1.1
  - com.github.fommil.netlib.native_system-java desde 1.1, 1.1-natives a 1.1, 1.1
  - com.github.fommil.netlib.netlib-native_ref-linux-x86_64 desde 1.1-natives a 1.1
  - com.github.fommil.netlib.netlib-native_system-linux-x86_64 desde 1.1-natives a 1.1
  - io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16, 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 a 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
  - io.netty.netty-transport-native-epoll de 4.1.108.Final, 4.1.108.Final-linux-aarch_64, 4.1.108.Final-linux-riscv64, 4.1.108.Final-linux-x86_64 a 4.1.108.Final, 4.1.108.Final, 4.1.108.Final, 4.1.108.Final
  - io.netty.netty-transport-native-kqueue de 4.1.108.Final-osx-aarch_64, 4.1.108.Final-osx-x86_64 a 4.1.108.Final, 4.1.108.Final
  - org.apache.orc.orc-core de 1.9.2-shaded-protobuf a 1.9.2
  - org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf a 1.9.2
  - software.amazon.cryptools.AmazonCorrettoCryptoProvider de la versión 2.4.1-linux-x86_64 a la versión 2.4.1
- [SPARK-52159][SQL] Gestionar adecuadamente la verificación de la existencia de tablas para dialectos JDBC
- Actualizaciones de seguridad del sistema operativo

20 de mayo de 2025
- Bibliotecas de Java actualizadas:
  - io.delta.delta-sharing-client_2.12 de 1.2.5 a 1.2.7
  - org.apache.avro.avro de 1.11.3 a 1.11.4
  - org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
  - org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
- La sesión clonada de streaming se usará dentro de la función de usuario foreachBatch en Clústeres compartidos o sin servidor. Esto se alinea con el comportamiento de los clústeres clásicos (clústeres asignados).
- Antes de este cambio, los espacios en blanco iniciales y tabuladores en las rutas de acceso de la variant_get expresión se omitían con Photon deshabilitado. Por ejemplo, select variant_get(parse_json('{"key": "value"}'), '$['key']') no sería eficaz al extraer el valor de "key". Sin embargo, los usuarios podrán extraer estas claves ahora.
- [SPARK-51935][SQL] Corregir el lento comportamiento de los iteradores en la función df.collect() cuando es interpretada
- Actualizaciones de seguridad del sistema operativo

22 de abril de 2025
- Revertir "[SPARK-47895][SQL] Agrupar por alias debe ser idempotente" en 15.4, 16.0, 16.1, 16.2 y 16.3
- [SPARK-50682][SQL] El alias interno debe ser canónico
- [SPARK-51717][SS][RocksDB] Corregir daños de coincidencia de SST que pueden producirse para la segunda instantánea creada para una nueva consulta
- Actualizaciones de seguridad del sistema operativo

9 de abril de 2025
- Bibliotecas de Java actualizadas:
  - Se quitó io.starburst.openjson.openjson 1.8-e.12
  - Se quitó io.starburst.openx.data.json-serde 1.3.9-e.12
  - Se quitó io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
- [SPARK-51505][SQL] Registrar métricas de número de partición vacías en AQE fusionar
- [SPARK-51624][SQL] Propagación de metadatos GetStructField en CreateNamedStruct.dataType
- [SPARK-47895][SQL] la agrupación por alias debe ser idempotente
- Actualizaciones de seguridad del sistema operativo

11 de marzo de 2025
- Databricks Runtime 14.3 y versiones posteriores incluyen una corrección para un problema que provocó incompatibilidades binarias con código que creó una instancia de una clase SparkListenerApplicationEnd y se compiló contra Apache Spark. Esta incompatibilidad resultó de combinar SPARK-46399 en Apache Spark. Esta combinación incluía un cambio que agregaba un argumento predeterminado al SparkListenerApplicationEnd constructor. Para restaurar la compatibilidad binaria, esta corrección agrega un único constructor de argumentos a la SparkListenerApplicationEnd clase .
- [SPARK-51084][SQL] Asignar la clase de error adecuada para negativeScaleNotAllowedError
- Revertir [SPARK-48273][SQL] Corregir la reescritura tardía de PlanWithUnresolvedIdentifier
- [SPARK-51222][SQL] Optimizar ReplaceCurrentLike
- [SPARK-50985][SS] Clasificar el error de desajuste de los desplazamientos de la marca de tiempo de Kafka en lugar de afirmar y generar un error por servidor faltante en KafkaTokenProvider
- [SPARK-50791][SQL] Corregir NPE en el control de errores del Almacén de estado
- Actualizaciones de seguridad del sistema operativo

11 de febrero de 2025
- Esta versión incluye una corrección para un problema que afecta a la conversión de determinados tipos de datos al serializar columnas de datos XML recuperadas. Los tipos de datos afectados son fechas, marcas de tiempo que no son NTZ y decimales cuando prefersDecimal está habilitado. Para obtener más información sobre la columna de datos rescatados, consulte ¿Qué es la columna de datos rescatados?.
- [SPARK-50492][SS] Corregir java.util.NoSuchElementException cuando se elimina la columna de tiempo del evento después de aplicar dropDuplicatesWithinWatermark.
- Actualizaciones de seguridad del sistema operativo

27 de noviembre de 2024
- Esta versión incluye una corrección para un problema que podría hacer que la clave principal de una tabla Delta se eliminara en ciertos casos límite relacionados con la compactación automática en segundo plano.
- Esta versión incluye una corrección para un problema que afecta a la conversión de determinados tipos de datos al serializar columnas de datos XML recuperadas. Los tipos de datos afectados son fechas, marcas de tiempo que no son NTZ y decimales cuando prefersDecimal está habilitado. Para obtener más información sobre la columna de datos rescatados, consulte ¿Qué es la columna de datos rescatados?.
- Con esta versión, el tamaño de caché usado por un SSD en un nodo de proceso de Databricks se expande dinámicamente al tamaño inicial del SSD y se reduce cuando sea necesario, hasta el spark.databricks.io.cache.maxDiskUsage límite. Consulte Optimización del rendimiento con almacenamiento en caché en Azure Databricks.
- [SPARK-50338][CORE] Hacer que las excepciones de LazyTry sean menos verbosas
- Actualizaciones de seguridad del sistema operativo

Databricks Runtime 15.4

Consulte Databricks Runtime 15.4 LTS.

17 de junio de 2025
- Se ha corregido la limitación de que la función con valores de tabla cloud_files_state (TVF) no se podía usar para leer el estado de archivo de las tablas de flujos en las canalizaciones.
- [SPARK-49646][SQL]: se ha corregido la falta de correlación de consultas secundarias en las operaciones de unión/configuración cuando parentOuterReferences tenía referencias que no estaban presentes en collectedChildOuterReferences
- [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference debe conservar el identificador del plan.

3 de junio de 2025
- Bibliotecas de Python actualizadas:
  - criptografía de 3.4.8, 41.0.3 a 41.0.3
  - filelock desde 3.13.4, 3.15.4 a 3.13.4
  - importlib-metadata de las versiones 4.6.4 y 6.0.0 a la versión 6.0.0
  - platformdirs desde 3.10.0, 3.11.0 a 3.10.0
  - pyparsing desde 2.4.7, 3.0.9 a 3.0.9
  - zipp desde 1.0.0, 3.11.0 a 3.11.0
  - Se ha añadido pip 23.2.1
  - Se ha añadido setuptools 68.0.0
  - Se agregó wcwidth 0.2.5
  - Se agregó la rueda 0.38.4
  - Eliminada la distribución 1.7.0
  - Se eliminó distro-info 1.1+ubuntu0.2
  - Se eliminó python-apt 2.4.0+ubuntu4
- Bibliotecas de Java actualizadas:
  - com.github.fommil.netlib.native_ref-java desde 1.1, 1.1-natives a 1.1, 1.1
  - com.github.fommil.netlib.native_system-java desde 1.1, 1.1-natives a 1.1, 1.1
  - com.github.fommil.netlib.netlib-native_ref-linux-x86_64 desde 1.1-natives a 1.1
  - com.github.fommil.netlib.netlib-native_system-linux-x86_64 desde 1.1-natives a 1.1
  - io.netty.netty-tcnative-boringssl-static from 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 a 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
  - io.netty.netty-transport-native-epoll desde 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 hasta 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
  - io.netty.netty-transport-native-kqueue desde 4.1.108.Final-osx-aarch_64, 4.1.108.Final-osx-x86_64 a 4.1.108.Final, 4.1.108.Final
  - org.apache.orc.orc-core de 1.9.2-shaded-protobuf a 1.9.2
  - org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf a 1.9.2
  - software.amazon.cryptools.AmazonCorrettoCryptoProvider desde la versión 1.6.2-linux-x86_64 a la versión 1.6.2
- [SPARK-52159][SQL] Gestionar adecuadamente la verificación de la existencia de tablas para dialectos JDBC
- Actualizaciones de seguridad del sistema operativo

20 de mayo de 2025
- Bibliotecas de Java actualizadas:
  - io.delta.delta-sharing-client_2.12 de 1.1.5 a 1.1.6
- La sesión clonada de streaming se usará dentro de la función de usuario foreachBatch en Clústeres compartidos o sin servidor. Esto se alinea con el comportamiento de los clústeres clásicos (clústeres asignados).
- Antes de este cambio, los espacios en blanco iniciales y tabuladores en las rutas de acceso de la variant_get expresión se omitían con Photon deshabilitado. Por ejemplo, select variant_get(parse_json('{"key": "value"}'), '$['key']') no sería eficaz al extraer el valor de "key". Sin embargo, los usuarios podrán extraer estas claves ahora.
- [SPARK-51935][SQL] Corregir el lento comportamiento de los iteradores en la función df.collect() cuando es interpretada
- Actualizaciones de seguridad del sistema operativo

22 de abril de 2025
- Bibliotecas de Java actualizadas:
  - org.apache.avro.avro de 1.11.3 a 1.11.4
  - org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
  - org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
- Revertir "[SPARK-47895][SQL] Agrupar por alias debe ser idempotente" en 15.4, 16.0, 16.1, 16.2 y 16.3
- [SPARK-50682][SQL] El alias interno debe ser canónico
- Actualizaciones de seguridad del sistema operativo

9 de abril de 2025
- (Cambio de comportamiento) Para aplicar revisiones de seguridad críticas, la versión predeterminada de Python se actualiza a Python 3.11.11 desde Python 3.11.0rc1. Esta actualización puede afectar a algunas cargas de trabajo que se ejecutan en Databricks Runtime 15.4 LTS, como las cargas de trabajo que usan la serialización de Python para almacenar y restaurar el estado entre ejecuciones o cargas de trabajo que se anclan a la versión 3.11.0 de Python.
- Bibliotecas de Java actualizadas:
  - Se quitó io.starburst.openjson.openjson 1.8-e.12
  - Se quitó io.starburst.openx.data.json-serde 1.3.9-e.12
  - Se quitó io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
- [SPARK-47895][SQL] la agrupación por alias debe ser idempotente
- [SPARK-51624][SQL] Propagación de metadatos GetStructField en CreateNamedStruct.dataType
- Actualizaciones de seguridad del sistema operativo

31 de marzo de 2025
- Para el proceso no habilitado para Photon, databricks-feature-engineering se actualiza a 0.8.0. En el caso del proceso habilitado para Photon, databricks-feature-engineering permanece en 0.6.0.
11 de marzo de 2025
- Databricks Runtime 14.3 y versiones posteriores incluyen una corrección para un problema que provocó incompatibilidades binarias con código que creó una instancia de una clase SparkListenerApplicationEnd y se compiló contra Apache Spark. Esta incompatibilidad resultó de combinar SPARK-46399 en Apache Spark. Esta combinación incluía un cambio que agregaba un argumento predeterminado al SparkListenerApplicationEnd constructor. Para restaurar la compatibilidad binaria, esta corrección agrega un único constructor de argumentos a la SparkListenerApplicationEnd clase .
- [SPARK-50985][SS] Clasificar el error de desajuste de los desplazamientos de la marca de tiempo de Kafka en lugar de afirmar y generar un error por servidor faltante en KafkaTokenProvider
- [SPARK-50791][SQL] Corregir NPE en el control de errores del Almacén de estado
- [SPARK-50310][PYTHON] Mejorar el rendimiento de las columnas cuando DQC está deshabilitado
- [SPARK-51222][SQL] Optimizar ReplaceCurrentLike
- [SPARK-49525][SS][CONNECT] Mejoras de registros menores en el agente de escucha ListenerBus de consulta de streaming del lado servidor
- [SPARK-51084][SQL] Asignar la clase de error adecuada para negativeScaleNotAllowedError
- Actualizaciones de seguridad del sistema operativo

11 de febrero de 2025
- Esta versión incluye una corrección para un problema que afecta a la conversión de determinados tipos de datos al serializar columnas de datos XML recuperadas. Los tipos de datos afectados son fechas, marcas de tiempo que no son NTZ y decimales cuando prefersDecimal está habilitado. Para obtener más información sobre la columna de datos rescatados, consulte ¿Qué es la columna de datos rescatados?.
- [SPARK-50492][SS] Corregir java.util.NoSuchElementException cuando se elimina la columna de tiempo del evento después de aplicar dropDuplicatesWithinWatermark.
- Actualizaciones de seguridad del sistema operativo
- Para el proceso no habilitado para Photon, mlflow-skinny se actualiza a 2.19.0. En el cálculo habilitado por Photon, mlflow-skinny permanece en 2.13.1.

10 de diciembre de 2024
- La instrucción USE CATALOG ahora admite la cláusula IDENTIFIER. Con esta compatibilidad, puede parametrizar el catálogo actual en función de una variable de cadena o un marcador de parámetro.
- Esta versión incluye una corrección para un problema que podría hacer que la clave principal de una tabla Delta se eliminara en ciertos casos límite relacionados con la compactación automática en segundo plano.
- Con esta versión, el tamaño de caché usado por un SSD en un nodo de proceso de Databricks se expande dinámicamente al tamaño inicial del SSD y se reduce cuando sea necesario, hasta el spark.databricks.io.cache.maxDiskUsage límite. Consulte Optimización del rendimiento con almacenamiento en caché en Azure Databricks.
- El paquete pyodbc se actualiza de la versión 4.0.38 a la versión 4.0.39. Este cambio es necesario porque se encontró un error en la versión 4.0.38 y esa versión se ha quitado de PyPI.
- [SPARK-50329][SQL] Corrección de InSet$toString
- [SPARK-47435][SQL] Corrección del problema de desbordamiento de MySQL UNSIGNED TINYINT
- [SPARK-49757][SQL] Compatibilidad con la expresión IDENTIFIER en la instrucción SETCATALOG
- [SPARK-50426][PYTHON] Evitar la búsqueda estática de orígenes de datos de Python al usar orígenes de datos integrados o Java
- [SPARK-48863][SQL] Corregir ClassCastException al analizar JSON con "spark.sql.json.enablePartialResults" habilitado
- [SPARK-50310][PYTHON] Agregar una marca para deshabilitar DataFrameQueryContext para PySpark
- [15.3-15.4] [SPARK-50034][CORE] Corrección de la clasificación incorrecta de errores fatales como excepciones no detectadas en SparkUncaughtExceptionHandler
- Actualizaciones de seguridad del sistema operativo
26 de noviembre de 2024
- Con esta versión, ahora puede consultar la función vector_search mediante query_text para la entrada de texto o query_vector para insertar entradas.
- Ahora puede establecer un tiempo de espera para las consultas de Spark Connect mediante la propiedad de configuración de Spark spark.databricks.execution.timeout. En el caso de los cuadernos que se ejecutan en proceso sin servidor, el valor predeterminado es 9000 (segundos). Los trabajos que se ejecutan en computación sin servidor y computación con modo de acceso estándar no tienen un tiempo de espera a menos que se establezca esta propiedad de configuración. Una ejecución que dura más tiempo que el tiempo de espera especificado produce un error de QUERY_EXECUTION_TIMEOUT_EXCEEDED.
- [SPARK-50322][SQL] Corrección del identificador con parámetros en una subconsulta
- [SPARK-49615] [ML] Hacer que todos los transformadores de características de ML realicen la validación del esquema del conjunto de datos conforme con la configuración "spark.sql.caseSensitive".
- [SPARK-50124][SQL] LIMIT/OFFSET debe conservar la ordenación de datos
- Actualizaciones de seguridad del sistema operativo
5 de noviembre de 2024
- (cambio importante) En Databricks Runtime 15.4 y versiones posteriores, el control de expresiones regulares en Photon se actualiza para que coincida con el comportamiento del control de expresiones regulares de Apache Spark. Anteriormente, las funciones de expresión regular ejecutadas por Photon, como split() y regexp_extract(), aceptaron algunas expresiones regulares rechazadas por el analizador de Spark. Para mantener la coherencia con Apache Spark, ahora las consultas de Photon fallarán para las expresiones regulares que Spark considere inválidas. Debido a este cambio, es posible que vea errores si el código de Spark incluye expresiones regulares no válidas. Por ejemplo, la expresión split(str_col, '{'), que contiene una llave no coincidente y que Photon aceptaba anteriormente, ahora falla. Para corregir esta expresión, puede escapar el carácter de llave: split(str_col, '\\{'). El comportamiento de Photon y Spark también difiere para algunas expresiones regulares que coinciden con caracteres no ASCII. Esto también se actualiza para que Photon coincida con el comportamiento de Apache Spark.
- [SPARK-49782][SQL] La regla ResolveDataFrameDropColumns resuelve UnresolvedAttribute con salida secundaria
- [SPARK-49867][SQL] Mejora del mensaje de error cuando el índice está fuera de límites al llamar a GetColumnByOrdinal
- [SPARK-49863][SQL] Corrección de NormalizeFloatingNumbers para conservar la nulabilidad de las estructuras anidadas
- [SPARK-49829] Revise la optimización para agregar la entrada al almacén de estado en la combinación de flujo-secuencia (corrección de corrección)
- [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio de AQE
- [SPARK-46632][SQL] Corrección de la eliminación de subexpresión cuando las expresiones ternarias equivalentes tienen distintos elementos secundarios
- [SPARK-49443][SQL][PYTHON] Implementar la expresión to_variant_object y hacer que las expresiones de schema_of_variant impriman OBJECT para Variant Objects.
- [SPARK-49615] Corrección de errores: haga que la validación del esquema de columna de ML se ajuste a la configuración spark.sql.caseSensitivede Spark.
22 de octubre de 2024
- [SPARK-49782][SQL] La regla ResolveDataFrameDropColumns resuelve UnresolvedAttribute con salida secundaria
- [SPARK-49867][SQL] Mejora del mensaje de error cuando el índice está fuera de límites al llamar a GetColumnByOrdinal
- [SPARK-49863][SQL] Corrección de NormalizeFloatingNumbers para conservar la nulabilidad de las estructuras anidadas
- [SPARK-49829] Revise la optimización para agregar la entrada al almacén de estado en la combinación de flujo-secuencia (corrección de corrección)
- [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio de AQE
- [SPARK-46632][SQL] Corrección de la eliminación de subexpresión cuando las expresiones ternarias equivalentes tienen distintos elementos secundarios
- [SPARK-49443][SQL][PYTHON] Implementar la expresión to_variant_object y hacer que las expresiones de schema_of_variant impriman OBJECT para Variant Objects.
- [SPARK-49615] Corrección de errores: haga que la validación del esquema de columna de ML se ajuste a la configuración spark.sql.caseSensitivede Spark.
10 de octubre de 2024
- [SPARK-49743][SQL] OptimizeCsvJsonExpr no debe cambiar los campos de esquema al eliminar GetArrayStructFields
- [SPARK-49688][CONNECT] Corrección de una carrera de datos entre interrupción y ejecución del plan
- [BACKPORT] [SPARK-49474][SS] Clasificar la clase de error para la función de usuario FlatMapGroupsWithState
- [SPARK-49460][SQL] Seguimiento: corrección del riesgo potencial de NPE
25 de septiembre de 2024
- [SPARK-49628][SQL] ConstantFolding debe copiar una expresión con estado antes de evaluar
- [SPARK-49000][SQL] Se ha corregido "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
- [SPARK-49492][CONNECT] Reintento de reconexión en un ExecutionHolder inactivo
- [SPARK-49458][CONNECT][PYTHON] Proporcionar el identificador de sesión del lado servidor a través de ReattachExecute
- [SPARK-49017][SQL] Se produce un error en la instrucción Insert cuando se usan varios parámetros
- [SPARK-49451] Permitir claves duplicadas en parse_json.
- Correcciones de errores varios.
17 de septiembre de 2024
- [SPARK-48463][ML] Hacer que Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor admitan columnas de entrada anidadas
- [SPARK-49409][CONNECT] Ajuste el valor predeterminado de CONNECT_SESSION_PLAN_CACHE_SIZE
- [SPARK-49526][CONNECT][HOTFIX-15.4.2] Compatibilidad con rutas de acceso de estilo Windows en ArtifactManager
- Revertir “[SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates y dropDuplicatesWIthinWatermark deben aceptar argumentos de longitud variable”
- [SPARK-43242][CORE] Se ha corregido el error "Tipo inesperado de BlockId" en diagnóstico de datos aleatorios corruptos
- [SPARK-49366][CONNECT] Tratar el nodo Union como hoja en la resolución de columnas del dataframe
- [SPARK-49018][SQL] Corregir que el approx_count_distinct no funciona bien debido a la intercalación
- [SPARK-49460][SQL] Quitar cleanupResource() de EmptyRelationExec
- [SPARK-49056][SQL] ErrorClassesJsonReader no puede controlar null correctamente
- [SPARK-49336][CONNECT] Limitar el nivel de anidamiento al truncar un mensaje protobuf
29 de agosto de 2024
- La salida de una instrucción SHOW CREATE TABLE ahora incluye todos los filtros de fila o máscaras de columna definidos en una vista materializada o una tabla de streaming. Consulte SHOW CREATE TABLE. Para obtener más información sobre cómo usar filtros de fila y máscaras de columna, vea Filtrar datos confidenciales de la tabla mediante filtros de fila y máscaras de columna.
- En el cómputo configurado con el modo de acceso compartido, las lecturas y escrituras por lotes de Kafka ahora tienen las mismas limitaciones que las documentadas para Structured Streaming. Consulte Limitaciones y requisitos de streaming para el modo de acceso estándar del catálogo de Unity.
- [SPARK-48941][SPARK-48970] Correcciones en el lector y escritor de ML de Backport
- [SPARK-49074][SQL] Corrección de variantes con df.cache()
- [SPARK-49263][CONNECT] Cliente python de Spark Connect: control constante de las opciones del lector de tramas de datos booleanas
- [SPARK-48955][SQL] Incluir cambios de ArrayCompact en la versión 15.4
- [SPARK-48937][SQL] Adición de compatibilidad de intercalación para expresiones de cadena StringToMap
- [SPARK-48929] Corrección del error interno de visualización y limpieza del contexto de excepción del analizador
- [SPARK-49125][SQL] Permitir nombres de columna duplicados en escritura CSV
- [SPARK-48934][SS] Tipos datetime de Python convertidos incorrectamente para establecer el tiempo de espera en applyInPandasWithState
- [SPARK-48843] Evitar bucle infinito con BindParameters
- [SPARK-48981] Corrección del método simpleString de StringType en PySpark para intercalaciones
- [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
- [SPARK-48896][SPARK-48909][SPARK-48883] Correcciones del sistema de escritura de Spark ML de Backport
- [SPARK-48725][SQL] Integrar CollationAwareUTF8String.lowerCaseCodePoints en expresiones de cadena
- [SPARK-48978][SQL] Implementación de la ruta de acceso rápida ASCII en compatibilidad con la intercalación para UTF8_LCASE
- [SPARK-49047][PYTHON] [CONNECT] Truncar el mensaje para el registro
- [SPARK-49146][SS] Mover errores de aserción relacionados con la ausencia de marca de agua en las consultas de streaming en modo de anexión al sistema de errores
- [SPARK-48977][SQL] Optimizar la búsqueda de cadenas bajo la conjunción UTF8_LCASE
- [SPARK-48889][SS] testStream para descargar almacenes de estado antes de finalizar
- [SPARK-48463] Hacer que StringIndexer admita columnas de entrada anidadas
- [SPARK-48954] try_mod() reemplaza try_remainder()
- Actualizaciones de seguridad del sistema operativo

Databricks Tiempo de Ejecución 14.3

Consulte Databricks Runtime 14.3 LTS.

17 de junio de 2025
- Se ha corregido la limitación de que la función con valores de tabla cloud_files_state (TVF) no se podía usar para leer el estado de archivo de las tablas de flujos en las canalizaciones.
- [SPARK-49646][SQL]: se ha corregido la falta de correlación de consultas secundarias en las operaciones de unión/configuración cuando parentOuterReferences tenía referencias que no estaban presentes en collectedChildOuterReferences

3 de junio de 2025
- Bibliotecas de Python actualizadas:
  - criptografía desde 3.4.8, 39.0.1 hasta 39.0.1
  - platformdirs desde 2.5.2, 2.6.2 hasta 2.5.2
  - pyparsing desde 2.4.7, 3.0.9 a 3.0.9
  - Se ha añadido pip 22.3.1
  - Se ha añadido setuptools 65.6.3
  - Se agregó tomli 2.0.1
  - Se agregó wcwidth 0.2.5
  - Se agregó la rueda 0.38.4
  - Eliminada la distribución 1.7.0
  - Se eliminó distro-info 1.1+ubuntu0.2
  - Se eliminó python-apt 2.4.0+ubuntu4
- Bibliotecas de Java actualizadas:
  - com.github.fommil.netlib.native_ref-java desde 1.1, 1.1-natives a 1.1, 1.1
  - com.github.fommil.netlib.native_system-java desde 1.1, 1.1-natives a 1.1, 1.1
  - com.github.fommil.netlib.netlib-native_ref-linux-x86_64 desde 1.1-natives a 1.1
  - com.github.fommil.netlib.netlib-native_system-linux-x86_64 desde 1.1-natives a 1.1
  - io.netty.netty-tcnative-boringssl-static from 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 a 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
  - io.netty.netty-transport-native-epoll desde 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 hasta 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
  - io.netty.netty-transport-native-kqueue desde 4.1.108.Final-osx-aarch_64, 4.1.108.Final-osx-x86_64 a 4.1.108.Final, 4.1.108.Final
  - org.apache.orc.orc-core de 1.9.2-shaded-protobuf a 1.9.2
  - org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf a 1.9.2
  - software.amazon.cryptools.AmazonCorrettoCryptoProvider desde la versión 1.6.1-linux-x86_64 hasta la 1.6.1
- [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference debe conservar el identificador del plan.
- [SPARK-52159][SQL] Gestionar adecuadamente la verificación de la existencia de tablas para dialectos JDBC
- Actualizaciones de seguridad del sistema operativo

20 de mayo de 2025
- Bibliotecas de Java actualizadas:
  - io.delta.delta-sharing-client_2.12 de 1.1.5 a 1.1.6
- [SPARK-51935][SQL] Corregir el lento comportamiento de los iteradores en la función df.collect() cuando es interpretada
- Actualizaciones de seguridad del sistema operativo

22 de abril de 2025
- Actualizaciones de seguridad del sistema operativo

9 de abril de 2025
- [Cambio de comportamiento] Las operaciones de vacío ahora realizan comprobaciones de protocolo Writer similares a otras operaciones, lo que impide las limpiezas inesperadas en tablas con características más recientes cuando se ejecutan desde versiones anteriores de DBR incompatibles.
- [SPARK-51624][SQL] Propagación de metadatos GetStructField en CreateNamedStruct.dataType
- Actualizaciones de seguridad del sistema operativo

11 de marzo de 2025
- Databricks Runtime 14.3 y versiones posteriores incluyen una corrección para un problema que provocó incompatibilidades binarias con código que creó una instancia de una clase SparkListenerApplicationEnd y se compiló contra Apache Spark. Esta incompatibilidad resultó de combinar SPARK-46399 en Apache Spark. Esta combinación incluía un cambio que agregaba un argumento predeterminado al SparkListenerApplicationEnd constructor. Para restaurar la compatibilidad binaria, esta corrección agrega un único constructor de argumentos a la SparkListenerApplicationEnd clase .
- [SPARK-50791][SQL] Corregir NPE en el control de errores del Almacén de estado
- [SPARK-50705][SQL] Convertir QueryPlan en libre de bloqueo
- [SPARK-49525][SS][CONNECT] Mejoras de registros menores en el agente de escucha ListenerBus de consulta de streaming del lado servidor
- Actualizaciones de seguridad del sistema operativo

11 de febrero de 2025
- Esta versión incluye una corrección para un problema que afecta a la conversión de determinados tipos de datos al serializar columnas de datos XML recuperadas. Los tipos de datos afectados son fechas, marcas de tiempo que no son NTZ y decimales cuando prefersDecimal está habilitado. Para obtener más información sobre la columna de datos rescatados, consulte ¿Qué es la columna de datos rescatados?.
- [SPARK-50492][SS] Corregir java.util.NoSuchElementException cuando se elimina la columna de tiempo del evento después de aplicar dropDuplicatesWithinWatermark.
- [SPARK-51084][SQL] Asignar la clase de error adecuada para negativeScaleNotAllowedError
- Actualizaciones de seguridad del sistema operativo

10 de diciembre de 2024
- Esta versión incluye una corrección para un problema que podría hacer que la clave principal de una tabla Delta se eliminara en ciertos casos límite relacionados con la compactación automática en segundo plano.
- [SPARK-50329][SQL] Corrección de InSet$toString
- Actualizaciones de seguridad del sistema operativo
26 de noviembre de 2024
- [SPARK-49615] [ML] Hacer que todos los transformadores de características de ML realicen la validación del esquema del conjunto de datos conforme con la configuración "spark.sql.caseSensitive".
- Actualizaciones de seguridad del sistema operativo
5 de noviembre de 2024
- [SPARK-48843] Evitar bucle infinito con BindParameters
- [SPARK-49829] Revise la optimización para agregar la entrada al almacén de estado en la combinación de flujo-secuencia (corrección de corrección)
- [SPARK-49863][SQL] Corrección de NormalizeFloatingNumbers para conservar la nulabilidad de las estructuras anidadas
- [BACKPORT] [SPARK-49326][SS] Clasificación de la clase de error para el error de la función de usuario de destino Foreach
- [SPARK-49782][SQL] La regla ResolveDataFrameDropColumns resuelve UnresolvedAttribute con salida secundaria
- [SPARK-46632][SQL] Corrección de la eliminación de subexpresión cuando las expresiones ternarias equivalentes tienen distintos elementos secundarios
- [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio de AQE
- Actualizaciones de seguridad del sistema operativo
22 de octubre de 2024
- [SPARK-48843] Evitar bucle infinito con BindParameters
- [SPARK-49863][SQL] Corrección de NormalizeFloatingNumbers para conservar la nulabilidad de las estructuras anidadas
- [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio de AQE
- [SPARK-46632][SQL] Corrección de la eliminación de subexpresión cuando las expresiones ternarias equivalentes tienen distintos elementos secundarios
- [SPARK-49782][SQL] La regla ResolveDataFrameDropColumns resuelve UnresolvedAttribute con salida secundaria
- [BACKPORT] [SPARK-49326][SS] Clasificación de la clase de error para el error de la función de usuario de destino Foreach
- [SPARK-49829] Revise la optimización para agregar la entrada al almacén de estado en la combinación de flujo-secuencia (corrección de corrección)
- Actualizaciones de seguridad del sistema operativo
10 de octubre de 2024
- [BACKPORT] [SPARK-49474][SS] Clasificar la clase de error para la función de usuario FlatMapGroupsWithState
- [SPARK-49743][SQL] OptimizeCsvJsonExpr no debe cambiar los campos de esquema al eliminar GetArrayStructFields
- [SPARK-49688][CONNECT] Corrección de una carrera de datos entre interrupción y ejecución del plan
25 de septiembre de 2024
- [SPARK-48810][CONNECT] API Session stop () debe ser idempotent y no producir un error si el servidor ya ha cerrado la sesión
- [SPARK-48719][SQL] Corrija el error de cálculo de "RegrS...
- [SPARK-49000][SQL] Se ha corregido "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
- [SPARK-49628][SQL] ConstantFolding debe copiar una expresión con estado antes de evaluar
- [SPARK-49492][CONNECT] Reintento de reconexión en un ExecutionHolder inactivo
- Actualizaciones de seguridad del sistema operativo
17 de septiembre de 2024
- [SPARK-49336][CONNECT] Limitar el nivel de anidamiento al truncar un mensaje protobuf
- [SPARK-43242][CORE] Se ha corregido el error "Tipo inesperado de BlockId" en diagnóstico de datos aleatorios corruptos
- [SPARK-48463][ML] Hacer que Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor admitan columnas de entrada anidadas
- [SPARK-49526][CONNECT] Compatibilidad con rutas de acceso de estilo Windows en ArtifactManager
- [SPARK-49409][CONNECT] Ajuste el valor predeterminado de CONNECT_SESSION_PLAN_CACHE_SIZE
- [SPARK-49366][CONNECT] Tratar el nodo Union como hoja en la resolución de columnas del dataframe
29 de agosto de 2024
- [SPARK-49146][SS] Mover errores de aserción relacionados con la ausencia de marca de agua en las consultas de streaming en modo de anexión al sistema de errores
- [SPARK-48862][PYTHON][CONNECT] Se evita llamar a _proto_to_string cuando el nivel INFO no está habilitado
- [SPARK-49263][CONNECT] Cliente python de Spark Connect: control constante de las opciones del lector de tramas de datos booleanas
14 de agosto de 2024
- [SPARK-48941][SPARK-48970] Correcciones en el lector y escritor de ML de Backport
- [SPARK-48706][PYTHON] El UDF de Python en funciones de orden superior no debe producir un error interno
- [SPARK-49056][SQL] ErrorClassesJsonReader no puede controlar null correctamente
- [SPARK-48597][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
- [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
- [SPARK-48934][SS] Tipos datetime de Python convertidos incorrectamente para establecer el tiempo de espera en applyInPandasWithState
1 de agosto de 2024
- Esta versión incluye una corrección de errores para las clases ColumnVector y ColumnarArray en la interfaz de Java de Spark. Antes de esta corrección, ArrayIndexOutOfBoundsException podría generarse o devolver datos incorrectos cuando los valores null estaban contenidos en una instancia de una de estas clases.
- Con computación sin servidor para tareas y cuadernos, el modo SQL ANSI está habilitado por defecto. Consulte Parámetros de configuración de Spark admitidos.
- En el cómputo configurado con el modo de acceso compartido, las lecturas y escrituras por lotes de Kafka ahora tienen las mismas limitaciones que las documentadas para Structured Streaming. Consulte Limitaciones y requisitos de streaming para el modo de acceso estándar del catálogo de Unity.
- La salida de una instrucción SHOW CREATE TABLE ahora incluye todos los filtros de fila o máscaras de columna definidos en una vista materializada o una tabla de streaming. Consulte SHOW CREATE TABLE. Para obtener más información sobre cómo usar filtros de fila y máscaras de columna, vea Filtrar datos confidenciales de la tabla mediante filtros de fila y máscaras de columna.
- [SPARK-48896][SPARK-48909][SPARK-48883] Correcciones del sistema de escritura de Spark ML de Backport
- [SPARK-48889][SS] testStream para descargar almacenes de estado antes de finalizar
- [SPARK-48705][PYTHON] Use explícitamente worker_main cuando empiece por pyspark
- [SPARK-48047][SQL] Reducción de la presión de memoria de etiquetas TreeNode vacías
- [SPARK-48544][SQL] Reducción de la presión de memoria de conjuntos de sets TreeNode
- [SPARK-46957][CORE] Los archivos aleatorios migrados retirados deben poder limpiarse del ejecutor
- [SPARK-48463] Hacer que StringIndexer admita columnas de entrada anidadas
- [SPARK-47202][PYTHON] Corrección de datetimes de interrupción de error tipográfico con tzinfo
- [SPARK-47713][SQL][CONNECT] Corregir un error de autocombinación
- Actualizaciones de seguridad del sistema operativo
11 de julio de 2024
- (Cambio de comportamiento) Los DataFrames almacenados en caché en los orígenes de tabla Delta ahora se invalidan si se sobrescribe la tabla de origen. Este cambio significa que todos los cambios de estado en las tablas Delta ahora invalidan los resultados almacenados en caché. Se usa .checkpoint() para conservar un estado de tabla durante toda la vigencia de un dataframe.
- Snowflake JDBC Driver se actualiza a la versión 3.16.1.
- Esta versión incluye una corrección de un problema que impedía que la pestaña Entorno de la interfaz de usuario de Spark se mostrara correctamente al ejecutarse en Databricks Container Services.
- Con computación sin servidor para tareas y cuadernos, el modo SQL ANSI está habilitado por defecto. Consulte Parámetros de configuración de Spark admitidos.
- Para omitir particiones no válidas al leer datos, orígenes de datos basados en archivos, como Parquet, ORC, CSV o JSON, puede establecer la opción ignoreInvalidPartitionPaths del origen de datos en true. Por ejemplo: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). También puede usar la configuración de SQL spark.sql.files.ignoreInvalidPartitionPaths. Sin embargo, la opción del origen de datos tiene prioridad sobre la configuración de SQL. Esta configuración es falsa de forma predeterminada.
- [SPARK-48648][PYTHON][CONNECT] Hacer que SparkConnectClient.tags sea correctamente subprocesocal
- [SPARK-48445][SQL] No inserta UDF con elementos secundarios costosos
- [SPARK-48481][SQL][SS] No aplicar OptimizeOneRowPlan en el conjunto de datos de streaming
- [SPARK-48383][SS] Se produce un error mejor para las particiones no coincidentes en la opción startOffset en Kafka
- [SPARK-48503][SQL] Corregir subconsultas escalares no válidas con cláusula GROUP BY en columnas no equivalentes que fueron permitidas incorrectamente
- [SPARK-48100][SQL] Corregir problemas al omitir campos de estructura anidados no seleccionados en el esquema
- [SPARK-48273][SQL] Corregir la reescritura tardía de PlanWithUnresolvedIdentifier
- [SPARK-48252][SQL] Actualizar CommonExpressionRef cuando sea necesario
- [SPARK-48475][PYTHON] Optimizar _get_jvm_function en PySpark.
- [SPARK-48292][CORE] Revertir [SPARK-39195][SQL] Spark OutputCommitCoordinator debe anular la fase cuando el archivo confirmado no sea coherente con el estado de la tarea
- Actualizaciones de seguridad del sistema operativo
17 de junio de 2024
- applyInPandasWithState() está disponible en proceso con el modo de acceso estándar.
- Corrige un error en el que la optimización de la ventana de clasificación mediante Photon TopK controla incorrectamente las particiones con estructuras.
- [SPARK-48310][PYTHON][CONNECT] Las propiedades almacenadas en caché deben devolver copias
- [SPARK-48276][PYTHON][CONNECT] Agregue el método de __repr__ que falta para SQLExpression
- [SPARK-48294][SQL] Gestionar las minúsculas en nestedTypeMissingElementTypeError
- Actualizaciones de seguridad del sistema operativo
21 de mayo de 2024
- (Cambio de comportamiento) dbutils.widgets.getAll() ahora se admite para obtener todos los valores de widget en un cuaderno.
- Se ha corregido un error en la función try_divide() en la que las entradas que contienen decimales producían excepciones inesperadas.
- [SPARK-48056][CONNECT][PYTHON] Volver a ejecutar el plan si se produce un error de SESSION_NOT_FOUND y no se ha recibido ninguna respuesta parcial
- [SPARK-48146][SQL] Corregir la función de agregado en Con aserción secundaria de expresión
- [SPARK-47986][CONNECT][PYTHON] No se puede crear una nueva sesión cuando el servidor cierra la sesión predeterminada
- [SPARK-48180][SQL] Mejora del error cuando la llamada UDTF con el argumento TABLE olvida paréntesis alrededor de varias expresiones PARTITION/ORDER BY
- [SPARK-48016][SQL] Corrección de un error en try_divide función cuando con decimales
- [SPARK-48197][SQL] Evitar el error de aserción para una función lambda no válida
- [SPARK-47994][SQL] Se ha corregido el error con la inserción de filtros de columna CASE WHEN en SQLServer
- [SPARK-48173][SQL] CheckAnalysis debería ver todo el plan de consulta
- [SPARK-48105][SS] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
- Actualizaciones de seguridad del sistema operativo
9 de mayo de 2024
- (Cambio de comportamiento) Los tipos applyInPandas y mapInPandas de UDF ahora se admiten en el modo de acceso compartido que ejecuta Databricks Runtime 14.3 y versiones posteriores.
- [SPARK-47739][SQL] Registrar el tipo de avro lógico
- [SPARK-47941] [SS] [Connect] Propagación de errores de inicialización de trabajo de ForeachBatch a los usuarios para PySpark
- [SPARK-48010][SQL] Evitar llamadas repetidas a conf.resolver en resolveExpression
- [SPARK-48044][PYTHON][CONNECT] DataFrame.isStreamingde caché
- [SPARK-47956][SQL] Comprobación de integridad de la referencia de LCA sin resolver
- [SPARK-47543][CONNECT][PYTHON] Inferir dict como Mapype desde Dataframe de Pandas para permitir la creación de DataFrame
- [SPARK-47819][CONNECT][Cherry-pick-14.3] Usar la devolución de llamada asincrónica para la limpieza de la ejecución
- [SPARK-47764][CORE][SQL] Limpieza de dependencias aleatorias basadas en ShuffleCleanupMode
- [SPARK-48018][SS] Corrección de groupId null que provoca un error de param que falta al iniciar KafkaException.couldNotReadOffsetRange
- [SPARK-47839][SQL] Corrección del error agregado en RewriteWithExpression
- [SPARK-47371] [SQL] XML: ignorar etiquetas de fila encontradas en CDATA
- [SPARK-47895]grupo [SQL] por todos deben ser idempotentes
- [SPARK-47973]sitio de llamada de registro [CORE] en SparkContext.stop() y versiones posteriores en SparkContext.assertNotStopped()
- Actualizaciones de seguridad del sistema operativo
25 de abril de 2024
- [SPARK-47543][CONNECT][PYTHON] Inferir dict como MapType de DataFrame de Pandas para permitir la creación de DataFrame
- [SPARK-47694][CONNECT] Hacer que el tamaño máximo del mensaje sea configurable en el lado cliente
- [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Validar el nombre de columna con el esquema almacenado en caché
- [SPARK-47862][PYTHON][CONNECT] Corregir la generación de archivos proto
- Revertir “[SPARK-47543][CONNECT][PYTHON] Inferir dict como MapType de DataFrame de Pandas para permitir la creación de DataFrame”
- [SPARK-47704][SQL] El análisis de JSON produce un error “java.lang.ClassCastException” cuando spark.sql.json.enablePartialResults está habilitado
- [SPARK-47812][CONNECT] Admitir la serialización de SparkSession para el trabajo ForEachBatch
- [SPARK-47818][CONNECT][Cherry-pick-14.3] Introducir la caché del plan en SparkConnectPlanner para mejorar el rendimiento de las solicitudes de análisis
- [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite falla debido a un plan no válido
- Actualizaciones de seguridad del sistema operativo
11 de abril de 2024
- (Cambio de comportamiento) Para garantizar un comportamiento coherente entre los tipos de proceso, las UDF de PySpark en proceso con el modo de acceso estándar ahora coinciden con el comportamiento de las UDF en clústeres sin aislamiento y asignados. Esta actualización incluye los siguientes cambios que podrían interrumpir el código existente:
  - Las UDF con un tipo de valor devuelto de string ya no convierten implícitamente valores nostring en valores string. Anteriormente, las UDF con un tipo de valor devuelto de str encapsularían el valor devuelto con una función str() independientemente del tipo de datos real del valor devuelto.
  - Las UDFs con tipos de retorno timestamp ya no aplican implícitamente una conversión a timestamp con timezone.
  - Las configuraciones spark.databricks.sql.externalUDF.* del clúster de Spark ya no aplican a las UDF de PySpark en computación con el modo de acceso estándar.
  - La configuración del clúster de Spark spark.databricks.safespark.externalUDF.plan.limit ya no afecta a las UDF de PySpark, lo que elimina la limitación de la versión preliminar pública de 5 UDF por consulta para UDF de PySpark.
  - La configuración del clúster de Spark spark.databricks.safespark.sandbox.size.default.mib ya no se aplica a las UDF de PySpark en proceso con el modo de acceso estándar. En su lugar, se usa la memoria disponible en el sistema. Para limitar la memoria de las UDF de PySpark, use spark.databricks.pyspark.udf.isolation.memoryLimit con un valor mínimo de 100m.
- El TimestampNTZ tipo de datos ahora se admite como una columna de agrupación en clústeres con clústeres líquidos. Consulte Uso de clústeres líquidos para tablas.
- [SPARK-47511][SQL] Canonicalizar expresiones con reasignación de identificadores
- [SPARK-47509][SQL] Bloquear expresiones de subconsulta en funciones lambda y de orden superior
- [SPARK-46990][SQL] Corrección de problemas de carga de archivos Avro vacíos emitidos por centro de eventos
- [SPARK-47638][PS] [CONNECT] Omitir la validación de nombres de columna en PS
- Actualizaciones de seguridad del sistema operativo
14 de marzo de 2024
- [SPARK-47135][SS] Implementación de clases de error para excepciones de pérdida de datos de Kafka
- [SPARK-47176][SQL] Incorporar una función auxiliar para ResolveAllExpressionsUpWithPruning
- [SPARK-47145][SQL] Pasar el identificador de tabla al examen del origen de datos de fila exec para la estrategia V2.
- [SPARK-47044][SQL] Agregar una consulta ejecutada para orígenes de datos externos JDBC para explicar la salida
- [SPARK-47167][SQL] Agregar clase concreta para la relación anónima de JDBC
- [SPARK-47070] Corregir errores en la agregación tras la reescritura de subconsulta
- [SPARK-47121][CORE] Evitar RejectedExecutionExceptions durante el apagado standaloneSchedulerBackend
- Revertir “[SPARK-46861][CORE] Evitar interbloqueo en DAGScheduler”
- [SPARK-47125][SQL] Devuelve null si Univocity nunca desencadena el análisis
- [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier debe incluir otras expresiones en el árbol de expresiones
- [SPARK-47129][CONNECT][SQL] Hacer que ResolveRelations plan de conexión de caché sea correcto
- [SPARK-47241][SQL] Corrección de problemas de orden de reglas para ExtractGenerator
- [SPARK-47035][SS][CONNECT] Protocolo de escucha del cliente
- Actualizaciones de seguridad del sistema operativo
29 de febrero de 2024
- Se ha corregido un problema por el que el uso de una colección local como origen en un comando MERGE podía dar lugar a que la métrica de operación numSourceRows notificara el doble del número correcto de filas.
- La creación de un esquema con una ubicación definida ahora requiere que el usuario tenga privilegios SELECT y MODIFY en ANY FILE.
- [SPARK-47071][SQL] Insertado con expresión si contiene una expresión especial
- [SPARK-47059][SQL] Adjuntar contexto de error para el comando ALTER COLUMN v1
- [SPARK-46993][SQL] Corrección del plegado constante para las variables de sesión
- Actualizaciones de seguridad del sistema operativo
3 de enero de 2024
- [SPARK-46933] Agregar métrica de tiempo de ejecución de consultas a conectores que usan JDBCRDD.
- [SPARK-46763] corregir el error de aserción en ReplaceDeduplicateWithAggregate para los atributos duplicados.
- [SPARK-46954] XML: Encapsula InputStreamReader con BufferedReader.
- [SPARK-46655] Omitir captura de contexto de consulta en métodos de DataFrame.
- [SPARK-44815] Cache df.schema para evitar RPC adicional.
- [SPARK-46952] XML: limitar el tamaño del registro dañado.
- [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
- [SPARK-46736] conservar el campo de mensaje vacío en el conector protobuf.
- [SPARK-45182] Omitir la finalización de tareas de la fase anterior después de volver a intentar la fase primaria indeterminada según lo determinado por la suma de comprobación.
- [SPARK-46414] Usar prependBaseUri para representar importaciones de Javascript.
- [SPARK-46383] Reducir el uso del montón de controladores al reducir la duración de TaskInfo.accumulables().
- [SPARK-46861] Evitar interbloqueo en DAGScheduler.
- [SPARK-46954] XML: Optimización de la búsqueda en el índice del esquema.
- [SPARK-46676] dropDuplicatesWithinWatermark no debe producir un error en la canonización del plan.
- [SPARK-46644] Cambiar agregar y combinar en SQLMetric para utilizar isZero.
- [SPARK-46731] Administrar la instancia del proveedor del almacén de estado por origen de datos de estado: lector.
- [SPARK-46677] Corrección de la dataframe["*"] resolución.
- [SPARK-46610] Crear tabla debe producir una excepción cuando no hay ningún valor para una clave en las opciones.
- [SPARK-46941] No se puede insertar el nodo de límite de grupo de ventanas para el cálculo de top-k si contiene SizeBasedWindowFunction.
- [SPARK-45433] Corrección de la inferencia de esquema CSV/JSON cuando las marcas de tiempo no coinciden con el valor timestampFormat especificado.
- [SPARK-46930] Agregar soporte para un prefijo personalizado para los campos de tipo Union en Avro.
- [SPARK-46227] Realizar el backport a 14.3.
- [SPARK-46822] Respeta spark.sql.legacy.charVarcharAsString al convertir el tipo jdbc en el tipo de catalizador en jdbc.
- Actualizaciones de seguridad del sistema operativo

Databricks Runtime 13.3 LTS

Consulte Databricks Runtime 13.3 LTS.

17 de junio de 2025
- Se ha corregido la limitación de que la función con valores de tabla cloud_files_state (TVF) no se podía usar para leer el estado de archivo de las tablas de flujos en las canalizaciones.
- Actualizaciones de seguridad del sistema operativo

3 de junio de 2025
- Bibliotecas de Python actualizadas:
  - criptografía desde 3.4.8, 37.0.1 hasta 37.0.1
  - platformdirs desde 2.5.2, 2.6.2 hasta 2.5.2
  - pyparsing desde 2.4.7, 3.0.9 a 3.0.9
  - Se ha añadido pip 22.2.2
  - Se ha añadido setuptools 63.4.1
  - Se agregó tomli 2.0.1
  - Se agregó wcwidth 0.2.5
  - Se agregó la rueda 0.37.1
  - Eliminada la distribución 1.7.0
  - Se eliminó distro-info 1.1+ubuntu0.2
  - Se eliminó python-apt 2.4.0+ubuntu4
- Bibliotecas de Java actualizadas:
  - com.github.fommil.netlib.native_ref-java desde 1.1, 1.1-natives a 1.1, 1.1
  - com.github.fommil.netlib.native_system-java desde 1.1, 1.1-natives a 1.1, 1.1
  - com.github.fommil.netlib.netlib-native_ref-linux-x86_64 desde 1.1-natives a 1.1
  - com.github.fommil.netlib.netlib-native_system-linux-x86_64 desde 1.1-natives a 1.1
  - io.netty.netty-transport-native-epoll desde 4.1.87.Final, 4.1.87.Final-linux-aarch_64, 4.1.87.Final-linux-x86_64 hasta 4.1.87.Final, 4.1.87.Final, 4.1.87.Final
  - io.netty.netty-transport-native-kqueue desde 4.1.87.Final-osx-aarch_64, 4.1.87.Final-osx-x86_64 to 4.1.87.Final, 4.1.87.Final
  - org.apache.orc.orc-core desde 1.8.4-shaded-protobuf hasta 1.8.4
  - org.apache.orc.orc-mapreduce desde 1.8.4-shaded-protobuf hasta 1.8.4
  - software.amazon.cryptools.AmazonCorrettoCryptoProvider desde la versión 1.6.1-linux-x86_64 hasta la 1.6.1
- [SPARK-52159][SQL] Gestionar adecuadamente la verificación de la existencia de tablas para dialectos JDBC
- Actualizaciones de seguridad del sistema operativo

20 de mayo de 2025
- Bibliotecas de Java actualizadas:
  - io.delta.delta-sharing-spark_2.12 de 0.7.11 a 0.7.12
- Actualizaciones de seguridad del sistema operativo

22 de abril de 2025
- [Cambio de comportamiento] Las operaciones de vacío ahora realizan comprobaciones de protocolo Writer similares a otras operaciones, lo que impide las limpiezas inesperadas en tablas con características más recientes cuando se ejecutan desde versiones anteriores de DBR incompatibles.
- Actualizaciones de seguridad del sistema operativo

9 de abril de 2025
- [SPARK-51624][SQL] Propagación de metadatos GetStructField en CreateNamedStruct.dataType
- Actualizaciones de seguridad del sistema operativo

11 de marzo de 2025
- Actualizaciones de seguridad del sistema operativo

11 de febrero de 2025
- [SPARK-50492][SS] Corregir java.util.NoSuchElementException cuando se elimina la columna de tiempo del evento después de aplicar dropDuplicatesWithinWatermark.
- [SPARK-45915][SQL] Tratar decimal(x, 0) igual que IntegralType en PromoteStrings
- Actualizaciones de seguridad del sistema operativo

10 de diciembre de 2024
- Actualizaciones de seguridad del sistema operativo
26 de noviembre de 2024
- [SPARK-49615] [ML] Hacer que todos los transformadores de características de ML realicen la validación del esquema del conjunto de datos conforme con la configuración "spark.sql.caseSensitive".
- Actualizaciones de seguridad del sistema operativo
5 de noviembre de 2024
- [SPARK-48843] Evitar bucle infinito con BindParameters
- [BACKPORT] [SPARK-49326][SS] Clasificación de la clase de error para el error de la función de usuario de destino Foreach
- [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio de AQE
- Actualizaciones de seguridad del sistema operativo
22 de octubre de 2024
- [SPARK-48843] Evitar bucle infinito con BindParameters
- [BACKPORT] [SPARK-49326][SS] Clasificación de la clase de error para el error de la función de usuario de destino Foreach
- [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio de AQE
- Actualizaciones de seguridad del sistema operativo
10 de octubre de 2024
- [SPARK-49743][SQL] OptimizeCsvJsonExpr no debe cambiar los campos de esquema al eliminar GetArrayStructFields
25 de septiembre de 2024
- [SPARK-46601] [CORE] Corrección del error de registro en handleStatusMessage
- [SPARK-48719][SQL] Corrección del error de cálculo de RegrSlope & RegrIntercept cuando el primer parámetro es NULL
- [SPARK-43242][CORE] Se ha corregido el error "Tipo inesperado de BlockId" en diagnóstico de datos aleatorios corruptos
- [SPARK-49000][SQL] Se ha corregido "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
- Actualizaciones de seguridad del sistema operativo
17 de septiembre de 2024
- [SPARK-49526][CONNECT] Compatibilidad con rutas de acceso de estilo Windows en ArtifactManager
- [SPARK-48463][ML] Hacer que Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor admitan columnas de entrada anidadas
- Actualizaciones de seguridad del sistema operativo
29 de agosto de 2024
14 de agosto de 2024
- [SPARK-49056][SQL] ErrorClassesJsonReader no puede controlar null correctamente
- [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
- [SPARK-48597][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
1 de agosto de 2024
- Esta versión incluye una corrección de errores para las clases ColumnVector y ColumnarArray en la interfaz de Java de Spark. Antes de esta corrección, ArrayIndexOutOfBoundsException podría generarse o devolver datos incorrectos cuando los valores null estaban contenidos en una instancia de una de estas clases.
- [SPARK-47202][PYTHON] Corrección de datetimes de interrupción de error tipográfico con tzinfo
- [SPARK-48896][SPARK-48909][SPARK-48883] Correcciones del sistema de escritura de Spark ML de Backport
- [SPARK-48463] Hacer que StringIndexer admita columnas de entrada anidadas
- Actualizaciones de seguridad del sistema operativo
11 de julio de 2024
- (Cambio de comportamiento) Los DataFrames almacenados en caché en los orígenes de tabla Delta ahora se invalidan si se sobrescribe la tabla de origen. Este cambio significa que todos los cambios de estado en las tablas Delta ahora invalidan los resultados almacenados en caché. Se usa .checkpoint() para conservar un estado de tabla durante toda la vigencia de un dataframe.
- Esta versión incluye una corrección de un problema que impedía que la pestaña Entorno de la interfaz de usuario de Spark se mostrara correctamente al ejecutarse en Databricks Container Services.
- [SPARK-48383][SS] Se produce un error mejor para las particiones no coincidentes en la opción startOffset en Kafka
- [SPARK-48292][CORE] Revertir [SPARK-39195][SQL] Spark OutputCommitCoordinator debe anular la fase cuando el archivo confirmado no sea coherente con el estado de la tarea
- [SPARK-48503][SQL] Corregir subconsultas escalares no válidas con cláusula GROUP BY en columnas no equivalentes que fueron permitidas incorrectamente
- [SPARK-48481][SQL][SS] No aplicar OptimizeOneRowPlan en el conjunto de datos de streaming
- [SPARK-48475][PYTHON] Optimizar _get_jvm_function en PySpark.
- [SPARK-48273][SQL] Corregir la reescritura tardía de PlanWithUnresolvedIdentifier
- [SPARK-48445][SQL] No inserta UDF con elementos secundarios costosos
- Actualizaciones de seguridad del sistema operativo
17 de junio de 2024
- [SPARK-48277] Mejorar el mensaje de error para ErrorClassesJsonReader.getErrorMessage
- Actualizaciones de seguridad del sistema operativo
21 de mayo de 2024
- (Cambio de comportamiento) dbutils.widgets.getAll() ahora se admite para obtener todos los valores de widget en un cuaderno.
- [SPARK-48105][SS] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
- [SPARK-47994][SQL] Se ha corregido el error con la inserción de filtros de columna CASE WHEN en SQLServer
- Actualizaciones de seguridad del sistema operativo
9 de mayo de 2024
- [SPARK-47956][SQL] Comprobación de integridad de la referencia de LCA sin resolver
- [SPARK-46822][SQL] Respetar spark.sql.legacy.charVarcharAsString al convertir el tipo jdbc en el tipo de catalizador en jdbc
- [SPARK-47895]grupo [SQL] por todos deben ser idempotentes
- [SPARK-48018][SS] Corrección de groupId null que provoca un error de param que falta al iniciar KafkaException.couldNotReadOffsetRange
- [SPARK-47973]sitio de llamada de registro [CORE] en SparkContext.stop() y versiones posteriores en SparkContext.assertNotStopped()
- Actualizaciones de seguridad del sistema operativo
25 de abril de 2024
- [SPARK-44653][SQL] Las uniones DataFrame no triviales no deben interrumpir el almacenamiento en caché
- Correcciones de errores varios.
11 de abril de 2024
- [SPARK-47509][SQL] Bloquear expresiones de subconsulta en funciones lambda y de orden superior
- Actualizaciones de seguridad del sistema operativo
1 de abril de 2024
- [SPARK-47385] Corrija los codificadores de tupla con entradas de opción.
- [SPARK-38708][SQL] Actualizar el cliente de Metastore de Hive a la versión 3.1.3 para Hive 3.1
- [SPARK-47200][SS] Clase de error de la función de usuario receptor de lotes Foreach
- [SPARK-47368][SQL] Quitar de la comprobación de configuración inferTimestampNTZ en ParquetRowConverter
- [SPARK-44252][SS] Definir una nueva clase de error y aplicar para el caso en el que se produce un error en el estado de carga desde DFS
- [SPARK-47135][SS] Implementación de clases de error para excepciones de pérdida de datos de Kafka
- [SPARK-47300][SQL] quoteIfNeeded debe citar identificador comienza con dígitos
- [SPARK-47305][SQL] Corrija PruneFilters para etiquetar la marca isStreaming de LocalRelation correctamente cuando el plan tiene tanto procesamiento por lotes como streaming
- [SPARK-47070] Corregir errores en la agregación tras la reescritura de subconsulta
- Actualizaciones de seguridad del sistema operativo
14 de marzo de 2024
- [SPARK-47145][SQL] Pasar el identificador de tabla al examen del origen de datos de fila exec para la estrategia V2.
- [SPARK-47167][SQL] Agregar clase concreta para la relación anónima de JDBC
- [SPARK-47176][SQL] Incorporar una función auxiliar para ResolveAllExpressionsUpWithPruning
- [SPARK-47044][SQL] Agregar una consulta ejecutada para orígenes de datos externos JDBC para explicar la salida
- [SPARK-47125][SQL] Devuelve null si Univocity nunca desencadena el análisis
- Actualizaciones de seguridad del sistema operativo
29 de febrero de 2024
- Se ha corregido un problema por el que el uso de una colección local como origen en un comando MERGE podía dar lugar a que la métrica de operación numSourceRows notificara el doble del número correcto de filas.
- La creación de un esquema con una ubicación definida ahora requiere que el usuario tenga privilegios SELECT y MODIFY en ANY FILE.
- Actualizaciones de seguridad del sistema operativo
8 de febrero de 2024
- Las consultas de fuente de datos de cambios (CDF) no son compatibles con las vistas materializadas en Unity Catalog, y al intentar ejecutar una consulta CDF con una vista materializada de Unity Catalog, se produce un error. Las tablas de streaming de Unity Catalog admiten consultas CDF en tablas que no son de AUTO CDC en Databricks Runtime 14.1 y versiones posteriores. Las consultas de CDF no se admiten con tablas de streaming de Catálogo de Unity en Databricks Runtime 14.0 y versiones anteriores.
- [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
- [SPARK-46933] Agregar métrica de tiempo de ejecución de consultas a conectores que usan JDBCRDD.
- [SPARK-45582] Asegúrese de que la instancia de almacén no se usa después de llamar a la confirmación en la agregación de streaming del modo de salida.
- [SPARK-46396] La inferencia de marca de tiempo no debe producir una excepción.
- [SPARK-46861] Evitar interbloqueo en DAGScheduler.
- [SPARK-46941] No se puede insertar el nodo de límite de grupo de ventanas para el cálculo de top-k si contiene SizeBasedWindowFunction.
- Actualizaciones de seguridad del sistema operativo
31 de enero de 2024
- [SPARK-46610] Crear tabla debe producir una excepción cuando no hay ningún valor para una clave en las opciones.
- [SPARK-46383] reducir el uso del montón de controladores al reducir la duración de TaskInfo.accumulables().
- [SPARK-46600] Mover código compartido entre SqlConf y SqlApiConf a SqlApiConfHelper.
- [SPARK-46676] dropDuplicatesWithinWatermark no debe producir un error en la canonización del plan.
- [SPARK-46763] corregir el error de aserción en ReplaceDeduplicateWithAggregate para los atributos duplicados.
- Actualizaciones de seguridad del sistema operativo
17 de enero de 2024
- El nodo shuffle del plan de explicación devuelto por una consulta de Photon se actualiza para agregar la marca causedBroadcastJoinBuildOOM=true cuando se produce un error de memoria insuficiente durante un orden aleatorio que forma parte de una combinación de difusión.
- Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
- [SPARK-46058] Agregar una marca independiente para privateKeyPassword.
- [SPARK-46173] Omitir la llamada a trimAll durante el análisis de fechas.
- [SPARK-46370] Se ha corregido el error al consultar desde la tabla después de cambiar los valores predeterminados de columna.
- [SPARK-46370] Se ha corregido el error al consultar desde la tabla después de cambiar los valores predeterminados de columna.
- [SPARK-46370] Se ha corregido el error al consultar desde la tabla después de cambiar los valores predeterminados de columna.
- [SPARK-46609] Evitar la explosión exponencial en PartitioningPreservingUnaryExecNode.
- [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
- [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
- [SPARK-46249] Requerir bloqueo de instancia para adquirir métricas de RocksDB para evitar la carrera con operaciones en segundo plano.
- [SPARK-46417] No se produce un error al llamar a hive.getTable y throwException es false.
- [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
- [SPARK-46478] Revertir SPARK-43049 para usar oracle varchar(255) para la cadena.
- [SPARK-46250] Análisis pormenorizado de test_parity_listener.
- [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
- [SPARK-46056] Corregir NPE de lectura vectorizada de Parquet con el valor predeterminado byteArrayDecimalType.
- [SPARK-46145] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista.
- [SPARK-46466] El lector de parquet vectorizado nunca debe fusionarse mediante cambio de base para la marca de tiempo ntz.
14 de diciembre de 2023
- Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se administraban incorrectamente y se interpretaban erróneamente como caracteres comodín.
- [SPARK-45920] Agrupar por ordinal debe ser idempotente.
- [SPARK-44582] Omisión del iterador en SMJ si se ha limpiado.
- [SPARK-45433] Corrección de la inferencia de esquema CSV/JSON cuando las marcas de tiempo no coinciden con el valor timestampFormat especificado.
- [SPARK-45655] Permitir expresiones no deterministas dentro de AggregateFunctions en CollectMetrics.
- Actualizaciones de seguridad del sistema operativo
29 de noviembre de 2023
- Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
- Se ha actualizado el conector de Spark-snowflake a la versión 2.12.0.
- [SPARK-44846] Se han quitado expresiones de agrupación complejas después de RemoveRedundantAggregates.
- [SPARK-45544] compatibilidad integrada con SSL en TransportContext.
- [SPARK-45892] Validación del plan del optimizador de refactorización para desacoplar validateSchemaOutput y validateExprIdUniqueness.
- [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
- [SPARK-45859] Objetos UDF creados en ml.functions diferido.
- Actualizaciones de seguridad del sistema operativo
10 de noviembre de 2023
- Los filtros de partición en las consultas de streaming de Delta Lake se insertan antes de la limitación de frecuencia para lograr un mejor uso.
- Se han cambiado las consultas de fuente de distribución de datos en las vistas materializadas y las tablas de streaming de Unity Catalog para mostrar mensajes de error.
- [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
- [SPARK-45584] Se ha corregido un error de ejecución de subconsulta con TakeOrderedAndProjectExec.
- [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
- [SPARK-45541] Se ha agregado SSLFactory.
- [SPARK-45430]FramelessOffsetWindowFunction ya no genera un error cuando IGNORE NULLS y offset > rowCount.
- [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
- [SPARK-44219] Se han agregado validaciones adicionales por cada regla para las reescrituras de optimización.
- [SPARK-45543] Se ha corregido un problema donde InferWindowGroupLimit provocaba un fallo si las otras funciones de ventana no tenían el mismo marco de ventana que las funciones tipo clasificación.
- Actualizaciones de seguridad del sistema operativo
23 de octubre de 2023
- [SPARK-45256] Se ha corregido un problema que provocaba que DurationWriter generara un error al escribir más valores de los estipulados en la capacidad inicial.
- [SPARK-45419] Evite reutilizar archivos rocksdb sst en una instancia rocksdb diferente eliminando las entradas del mapa de versiones para las versiones más grandes.
- [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
- Correcciones varias.
13 de octubre de 2023
- La dependencia de Snowflake-jdbc se actualizó de la versión 3.13.29 a la 3.13.33.
- La función array_insert se basa en 1 para los índices positivos y negativos, mientras que antes se basaba en 0 para los índices negativos. Ahora inserta un nuevo elemento al final de las matrices de entrada para el índice -1. Para restaurar el comportamiento anterior, establezca spark.sql.legacy.negativeIndexInArrayInsert en true.
- Se ha corregido un error en torno a la no omisión de archivos dañados cuando ignoreCorruptFiles está habilitado durante la inferencia de esquemas CSV con Auto Loader.
- Revierta "[SPARK-42946]".
- [SPARK-42205] Se ha actualizado el protocolo JSON para quitar el registro de Accumulables en una tarea o en eventos de inicio de fase.
- [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
- [SPARK-45316] Agregue nuevos parámetros ignoreCorruptFiles y ignoreMissingFiles a HadoopRDD y NewHadoopRDD.
- [SPARK-44740] Se han corregido los valores de metadatos para Artifacts.
- [SPARK-45360] Se ha inicializado la configuración de compilación de sesiones de Spark desde SPARK_REMOTE.
- [SPARK-44551]: se han editado los comentarios para sincronizarlos con OSS.
- [SPARK-45346][SQL] Ahora, la inferencia de esquema Parquet respeta las marcas que distinguen mayúsculas de minúsculas al combinar el esquema.
- [SPARK-44658]ShuffleStatus.getMapStatus ahora devuelve None en lugar de Some(null).
- [SPARK-44840] Se ha hecho que array_insert() se base en 1 para índices negativos.
14 de septiembre de 2023
- [SPARK-44873] Se ha agregado compatibilidad para alter view con columnas anidadas en el cliente de Hive.
- [SPARK-44878] Se ha desactivado el límite estricto para el administrador de escritura de RocksDB para evitar la excepción de inserción en la memoria caché llena.
30 de agosto de 2023
- El comando dbutils cp (dbutils.fs.cp) se ha optimizado para una copia más rápida. Con esta mejora, las operaciones de copia pueden ser hasta 100 veces más rápidas, en función del tamaño del archivo. La característica está disponible en todas las nubes y sistemas de archivos accesibles en Databricks, incluidos los volúmenes de Unity Catalog y los montajes de DBFS.
- [SPARK-44455] Cite identificadores con acentos graves en el resultado de SHOW CREATE TABLE.
- [SPARK-44763] Se ha corregido un error que mostraba una cadena como un doble en la aritmética binaria con intervalo.
- [SPARK-44871] Se ha corregido el comportamiento de percentile_disc.
- [SPARK-44714] Facilitar la restricción de la resolución LCA con respecto a las consultas.
- [SPARK-44818] Se ha corregido la carrera para la interrupción de tareas pendiente emitida antes de inicializarse taskThread.
- [SPARK-44505] Se ha agregado invalidación para la compatibilidad con columnas en el examen de DSv2.
- [SPARK-44479] Se ha corregido la conversión protobuf a partir de un tipo de estructura vacío.
- [SPARK-44718] Haga coincidir la configuración predeterminada del modo memoria ColumnVector con el valor de configuración OffHeapMemoryMode.
- [SPARK-42941] Se ha agregado compatibilidad con StreamingQueryListener en Python.
- [SPARK-44558] Exportar el nivel de registro de Spark Connect en PySpark.
- [SPARK-44464] Se corrigió applyInPandasWithStatePythonRunner para que las filas de salida tengan Null como el primer valor de columna.
- [SPARK-44643] Se ha corregido Row.__repr__ cuando el campo es una fila vacía.
- Actualizaciones de seguridad del sistema operativo

Databricks Runtime 12.2 LTS

Consulte Databricks Runtime 12.2 LTS.

17 de junio de 2025
- Actualizaciones de seguridad del sistema operativo

3 de junio de 2025
- Bibliotecas de Python actualizadas:
  - certifi desde 2019.11.28, 2021.10.8 hasta 2021.10.8
  - chardet desde 3.0.4, 4.0.0 hasta 4.0.0
  - idna desde 2.8, 3.3 hasta 3.3
  - requests desde 2.22.0, 2.27.1 hasta 2.27.1
  - six desde 1.14.0, 1.16.0 hasta 1.16.0
  - urllib3 desde 1.25.8, 1.26.9 hasta 1.26.9
  - Se ha añadido pip 21.2.4
  - Se ha añadido setuptools 61.2.0
  - Se ha agregado tomli 1.2.2
  - Se agregó wcwidth 0.2.5
  - Se agregó la rueda 0.37.0
  - Se eliminó la distribución 1.4.0
  - Se ha eliminado distro-info 0.23+ubuntu1.1
  - Se eliminó python-apt 2.0.1+ubuntu0.20.4.1
- Bibliotecas de Java actualizadas:
  - software.amazon.cryptools.AmazonCorrettoCryptoProvider desde la versión 1.6.1-linux-x86_64 hasta la 1.6.1
- Actualizaciones de seguridad del sistema operativo

20 de mayo de 2025
- [SPARK-42655][SQL] Error de referencia de columna ambiguo incorrecto
- Actualizaciones de seguridad del sistema operativo

22 de abril de 2025
- [Cambio de comportamiento] Las operaciones de vacío ahora realizan comprobaciones de protocolo Writer similares a otras operaciones, lo que impide las limpiezas inesperadas en tablas con características más recientes cuando se ejecutan desde versiones anteriores de DBR incompatibles.
- Actualizaciones de seguridad del sistema operativo

9 de abril de 2025
- Actualizaciones de seguridad del sistema operativo

11 de marzo de 2025
- Actualizaciones de seguridad del sistema operativo
10 de diciembre de 2024
- Actualizaciones de seguridad del sistema operativo
26 de noviembre de 2024
- Correcciones de errores varios.
10 de octubre de 2024
- [SPARK-49743][SQL] OptimizeCsvJsonExpr no debe cambiar los campos de esquema al eliminar GetArrayStructFields
25 de septiembre de 2024
- [SPARK-49000][SQL] Se ha corregido "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
- [SPARK-46601] [CORE] Corrección del error de registro en handleStatusMessage
- Correcciones de errores varios.
17 de septiembre de 2024
- Actualizaciones de seguridad del sistema operativo
29 de agosto de 2024
- Correcciones de errores varios.
14 de agosto de 2024
- [SPARK-48941][SPARK-48970] Correcciones en el lector y escritor de ML de Backport
- [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
- [SPARK-49056][SQL] ErrorClassesJsonReader no puede controlar null correctamente
- [SPARK-48597][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
- [SPARK-48463][ML] Hacer que StringIndexer admita columnas de entrada anidadas
- Actualizaciones de seguridad del sistema operativo
1 de agosto de 2024
- [SPARK-48896][SPARK-48909][SPARK-48883] Correcciones del sistema de escritura de Spark ML de Backport
1 de agosto de 2024
- Para aplicar los parches de seguridad necesarios, la versión de Python de Databricks Runtime 12.2 LTS se actualiza de 3.9.5 a 3.9.19.
11 de julio de 2024
- (Cambio de comportamiento) Los DataFrames almacenados en caché en los orígenes de tabla Delta ahora se invalidan si se sobrescribe la tabla de origen. Este cambio significa que todos los cambios de estado en las tablas Delta ahora invalidan los resultados almacenados en caché. Se usa .checkpoint() para conservar un estado de tabla durante toda la vigencia de un dataframe.
- [SPARK-48481][SQL][SS] No aplicar OptimizeOneRowPlan en el conjunto de datos de streaming
- [SPARK-47070] Corregir errores en la agregación tras la reescritura de subconsulta
- [SPARK-42741][SQL] No desencapsular conversiones en comparación binaria cuando literal es null
- [SPARK-48445][SQL] No inserta UDF con elementos secundarios costosos
- [SPARK-48503][SQL] Corregir subconsultas escalares no válidas con cláusula GROUP BY en columnas no equivalentes que fueron permitidas incorrectamente
- [SPARK-48383][SS] Se produce un error mejor para las particiones no coincidentes en la opción startOffset en Kafka
- Actualizaciones de seguridad del sistema operativo
17 de junio de 2024
- [SPARK-48277] Mejorar el mensaje de error para ErrorClassesJsonReader.getErrorMessage
- Correcciones de errores varios.
21 de mayo de 2024
- [SPARK-48105][SS] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
- Actualizaciones de seguridad del sistema operativo
9 de mayo de 2024
- [SPARK-44251][SQL] Establece que admite un valor NULL correctamente en la clave de combinación combinado en combinación externa completa USING
- [SPARK-47973]sitio de llamada de registro [CORE] en SparkContext.stop() y versiones posteriores en SparkContext.assertNotStopped()
- [SPARK-47956][SQL] Comprobación de integridad de la referencia de LCA sin resolver
- [SPARK-48018][SS] Corrección de groupId null que provoca un error de param que falta al iniciar KafkaException.couldNotReadOffsetRange
- Actualizaciones de seguridad del sistema operativo
25 de abril de 2024
- Actualizaciones de seguridad del sistema operativo
11 de abril de 2024
- Actualizaciones de seguridad del sistema operativo
1 de abril de 2024
- [SPARK-47305][SQL] Corrija PruneFilters para etiquetar la marca isStreaming de LocalRelation correctamente cuando el plan tiene tanto procesamiento por lotes como streaming
- [SPARK-44252][SS] Definir una nueva clase de error y aplicar para el caso en el que se produce un error en el estado de carga desde DFS
- [SPARK-47135][SS] Implementación de clases de error para excepciones de pérdida de datos de Kafka
- [SPARK-47200][SS] Clase de error de la función de usuario receptor de lotes Foreach
- Actualizaciones de seguridad del sistema operativo
14 de marzo de 2024
- [SPARK-47176][SQL] Incorporar una función auxiliar para ResolveAllExpressionsUpWithPruning
- Revertir “[SPARK-46861][CORE] Evitar interbloqueo en DAGScheduler”
- [SPARK-47125][SQL] Devuelve null si Univocity nunca desencadena el análisis
- [SPARK-47167][SQL] Agregar clase concreta para la relación anónima de JDBC
- Actualizaciones de seguridad del sistema operativo
29 de febrero de 2024
- Se ha corregido un problema por el que el uso de una colección local como origen en un comando MERGE podía dar lugar a que la métrica de operación numSourceRows notificara el doble del número correcto de filas.
- La creación de un esquema con una ubicación definida ahora requiere que el usuario tenga privilegios SELECT y MODIFY en ANY FILE.
- [SPARK-45582][SS] Asegúrese de que la instancia de almacén no se usa después de llamar a la confirmación en la agregación de streaming en modo de salida.
- Actualizaciones de seguridad del sistema operativo
13 de febrero de 2024
- [SPARK-46861] Evitar interbloqueo en DAGScheduler.
- [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
- Actualizaciones de seguridad del sistema operativo
31 de enero de 2024
- [SPARK-46763] corregir el error de aserción en ReplaceDeduplicateWithAggregate para los atributos duplicados.
- Actualizaciones de seguridad del sistema operativo
25 de diciembre de 2023
- Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
- [SPARK-39440] Agregar una configuración para deshabilitar la escala de tiempo de eventos.
- [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
- [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
- [SPARK-46417] No se produce un error al llamar a hive.getTable y throwException es false.
- [SPARK-43067] Corregir la ubicación del archivo de recursos de clase de error en el conector de Kafka.
- [SPARK-46249] Requerir bloqueo de instancia para adquirir métricas de RocksDB para evitar la carrera con operaciones en segundo plano.
- [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
- [SPARK-46058] Agregar una marca independiente para privateKeyPassword.
- [SPARK-46145] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista.
- [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
- [SPARK-42852] Revertir los cambios relacionados con NamedLambdaVariable de EquivalentExpressions.
14 de diciembre de 2023
- Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se administraban incorrectamente y se interpretaban erróneamente como caracteres comodín.
- [SPARK-44582] Omisión del iterador en SMJ si se ha limpiado.
- [SPARK-45920] Agrupar por ordinal debe ser idempotente.
- [SPARK-45655] Permitir expresiones no deterministas dentro de AggregateFunctions en CollectMetrics.
- Actualizaciones de seguridad del sistema operativo
29 de noviembre de 2023
- Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
- Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se interpretaran erróneamente como caracteres comodín.
- [SPARK-42205] Se han quitado los registros acumulables de los eventos de inicio de Stage y Task.
- [SPARK-44846] Se han quitado expresiones de agrupación complejas después de RemoveRedundantAggregates.
- [SPARK-43718] Se ha corregido la nulabilidad para las claves en combinaciones USING.
- [SPARK-45544] compatibilidad integrada con SSL en TransportContext.
- [SPARK-43973] La interfaz de usuario de flujo estructurado ahora muestra correctamente las consultas con errores.
- [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
- [SPARK-45859] Objetos UDF creados en ml.functions diferido.
- Actualizaciones de seguridad del sistema operativo
14 de noviembre de 2023
- Los filtros de partición en las consultas de streaming de Delta Lake se insertan antes de la limitación de frecuencia para lograr un mejor uso.
- [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
- [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
- [SPARK-45584] Se ha corregido un error de ejecución de subconsulta con TakeOrderedAndProjectExec.
- [SPARK-45541] Se ha agregado SSLFactory.
- [SPARK-45430]FramelessOffsetWindowFunction ya no genera un error cuando IGNORE NULLS y offset > rowCount.
- [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
- Actualizaciones de seguridad del sistema operativo
24 de octubre de 2023
- [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
- Correcciones varias.
13 de octubre de 2023
- La dependencia de Snowflake-jdbc se actualizó de la versión 3.13.29 a la 3.13.33.
- [SPARK-42553] Asegure al menos una unidad de tiempo después del intervalo.
- [SPARK-45346] La inferencia de esquema Parquet respeta las marcas que distinguen mayúsculas de minúsculas al combinar el esquema.
- [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
- [SPARK-45084]StateOperatorProgress para utilizar un número de partición aleatoria efectivo y preciso.
12 de septiembre de 2023
- [SPARK-44873] Se ha agregado soporte para alter view con columnas anidadas en el cliente de Hive.
- [SPARK-44718] Haga coincidir la configuración predeterminada del modo memoria ColumnVector con el valor de configuración OffHeapMemoryMode.
- [SPARK-43799] Se ha agregado la opción binaria de descriptor a la API Protobuf de PySpark.
- Correcciones varias.
30 de agosto de 2023
- [SPARK-44485] Se ha optimizado TreeNode.generateTreeString.
- [SPARK-44818] Se ha corregido la carrera para la interrupción de tareas pendiente emitida antes de inicializarse taskThread.
- [SPARK-44871][11.3-13.0] Se ha corregido el comportamiento de percentile_disc.
- [SPARK-44714] Restricción sencilla de la resolución de LCA con respecto a las consultas.
- Actualizaciones de seguridad del sistema operativo
15 de agosto de 2023
- [SPARK-44504] La tarea de mantenimiento limpia los proveedores cargados en caso de error de detención.
- [SPARK-44464] Se ha corregido applyInPandasWithStatePythonRunner de las filas de salida que tienen Null como primer valor de columna.
- Actualizaciones de seguridad del sistema operativo
29 de julio de 2023
- Se ha corregido un error en el que dbutils.fs.ls() devolvía INVALID_PARAMETER_VALUE.LOCATION_OVERLAP cuando se llamaba a una ruta de acceso de localización de almacenamiento que entraba en conflicto con otra localización de almacenamiento externa o administrada.
- [SPARK-44199]CacheManager ya no actualiza fileIndex innecesariamente.
- Actualizaciones de seguridad del sistema operativo
24 de julio de 2023
- [SPARK-44337] Se ha corregido un problema que provocaba que cualquier campo establecido en Any.getDefaultInstance generara errores de análisis.
- [SPARK-44136] [SS] Se ha corregido un problema que provocaba que StateManager se materializara en un ejecutor en lugar del controlador en FlatMapGroupsWithStateExec.
- Actualizaciones de seguridad del sistema operativo
23 de junio de 2023
- Actualizaciones de seguridad del sistema operativo
15 de junio de 2023
- approx_count_distinct fotonizado.
- La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
- [SPARK-43779]ParseToDate ahora carga EvalMode en el hilo principal.
- [SPARK-43156][SPARK-43098] prueba de error de recuento de subconsulta escalar extendida con decorrelateInnerQuery desactivado.
- Actualizaciones de seguridad del sistema operativo
2 de junio de 2023
- El analizador JSON en el modo failOnUnknownFields quita un registro en el modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
- Mejore el rendimiento de las actualizaciones incrementales con SHALLOW CLONE Apache Iceberg y Apache Parquet.
- Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
- [SPARK-43404] Omita la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB a fin de evitar errores de coincidencia de id.
- [SPARK-43413][11.3-13.0] Se corrigió la nulabilidad de la subconsulta INListQuery.
- [SPARK-43522] Se ha corregido la creación de un nombre de columna de estructura con el índice de matriz.
- [SPARK-43541][SQL] Propague todas las etiquetas Project en la resolución de expresiones y columnas que faltan.
- [SPARK-43527] Se ha corregido catalog.listCatalogs en PySpark.
- [SPARK-43123] Los metadatos de campo internos ya no se filtran a los catálogos.
- [SPARK-43340] Se ha corregido el campo de seguimiento de pila que faltaba en los registros de eventos.
- [SPARK-42444]DataFrame.drop ahora controla las columnas duplicadas correctamente.
- [SPARK-42937]PlanSubqueries ahora establece InSubqueryExec#shouldBroadcast en true.
- [SPARK-43286] Se ha actualizado el modo CBC de aes_encrypt para generar IV aleatorios.
- [SPARK-43378] Cierre correctamente los objetos de flujo en deserializeFromChunkedBuffer.
17 de mayo de 2023
- Los exámenes de Parquet ahora son sólidos con respecto a los OEM al examinar archivos excepcionalmente estructurados ajustando dinámicamente el tamaño del lote. Los metadatos de archivo se analizan para reducir de forma preventiva el tamaño del lote y se reducen de nuevo en los nuevos intentos de tareas como un mecanismo de seguridad final.
- Si se lee un archivo Avro con solo la opción failOnUnknownFields o con Auto Loader en el modo de evolución del esquema failOnNewColumns, las columnas que tienen tipos de datos diferentes se leerán como null en lugar de provocar un error indicando que el archivo no se puede leer. Estas lecturas ahora producen un error y recomiendan a los usuarios que usen la opción rescuedDataColumn.
- El cargador automático ahora hace lo siguiente.
- - Lee y ya no recupera los tipos Integer, Short, Byte si se proporciona uno de estos tipos de datos, pero el archivo Avro sugiere uno de los otros dos tipos.
- - Impide que los tipos de intervalo de lectura sean tipos de fecha o marca de tiempo para evitar obtener fechas dañadas.
- - Evita la lectura de los tipos Decimal con menor precisión.
- [SPARK-43172] Expone el host y el token del cliente de conexión de Spark.
- [SPARK-43293]__qualified_access_only se omite en columnas normales.
- [SPARK-43098] Se ha corregido un error de corrección COUNT cuando la subconsulta escalar se agrupa por cláusula.
- [SPARK-43085] Compatibilidad con la asignación de columnas DEFAULT para nombres de tabla de varias partes.
- [SPARK-43190]ListQuery.childOutput ahora es coherente con la salida secundaria.
- [SPARK-43192] Se eliminó la validación del conjunto de caracteres del agente de usuario.
- Actualizaciones de seguridad del sistema operativo
25 de abril de 2023
- Si se leyó un archivo Parquet con solo la opción failOnUnknownFields o con Auto Loader en el modo de evolución del esquema failOnNewColumns, las columnas que tenían tipos de datos diferentes se leerían como null en lugar de producir un error que indica que el archivo no se puede leer. Estas lecturas ahora producen un error y recomiendan a los usuarios que usen la opción rescuedDataColumn.
- Auto Loader ahora lee correctamente y ya no recupera los tipos Integer, Short, Byte si se proporciona uno de estos tipos de datos. El archivo Parquet sugiere uno de los otros dos tipos. Cuando la columna de datos rescatada estaba anteriormente, la falta de coincidencia del tipo de datos provocaba que las columnas se guardaran aunque fueran legibles.
- [SPARK-43009] Se ha parametrizado sql() con constantes de Any
- [SPARK-42406] Finalice los campos recursivos de Protobuf quitando el campo
- [SPARK-43038] Compatibilidad con el modo CBC mediante aes_encrypt()/aes_decrypt()
- [SPARK-42971] Cambie para imprimir workdir si appDirs es NULL cuando el trabajador gestione el evento WorkDirCleanup
- [SPARK-43018] Corrección del error para comandos de INSERT con literales de marca de tiempo
- Actualizaciones de seguridad del sistema operativo
11 de abril de 2023
- Admite formatos de origen de datos heredados en el comando SYNC.
- Corrige un error en el comportamiento %autoreload de los cuadernos que están fuera de un repositorio.
- Se ha corregido un error por el que la evolución del esquema del cargador automático puede entrar en un bucle de error infinito, cuando se detecta una nueva columna en el esquema de un objeto JSON anidado.
- [SPARK-42928] Hace que resolvePersistentFunction se sincronice.
- [SPARK-42936] Corrige el error de LCA cuando su agregado secundario puede resolver directamente la cláusula.
- [SPARK-42967] Corrige SparkListenerTaskStart.stageAttemptId cuándo se inicia una tarea después de cancelar la fase.
- Actualizaciones de seguridad del sistema operativo
29 de marzo de 2023
- Databricks SQL ahora admite la especificación de valores predeterminados para columnas de tablas de Delta Lake, ya sea en tiempo de creación de tablas o después. Los comandos posteriores INSERT, UPDATE, DELETEy MERGE pueden hacer referencia al valor predeterminado de cualquier columna mediante la palabra clave explícita DEFAULT . Además, si alguna asignación INSERT contiene una lista explícita de menos columnas que la tabla de destino, los valores predeterminados de columna correspondientes se sustituyen por las columnas restantes (o NULL si no se especifica ningún valor predeterminado).
  
  Por ejemplo:
```
CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z
```
- Auto Loader ahora inicia al menos una limpieza sincrónica de registros de RocksDB para flujos Trigger.AvailableNow para asegurarse de que el punto de control se pueda limpiar periódicamente para flujos de cargador automático de ejecución rápida. Esto puede hacer que algunas secuencias tarden más tiempo antes de que se apaguen, pero le ahorrarán costos de almacenamiento y mejorará la experiencia del cargador automático en futuras ejecuciones.
- Ahora puede modificar una tabla Delta para agregar compatibilidad con las características de tabla mediante DeltaTable.addFeatureSupport(feature_name).
- [SPARK-42794] Aumente lockAcquireTimeoutMs a 2 minutos para adquirir el almacén de estado de RocksDB en Structure Streaming
- [SPARK-42521] Agregue NULL a cada INSERT con listas especificadas por el usuario de menos columnas que la tabla de destino
- [SPARK-42702][SPARK-42623] Admita consultas con parámetros en subconsulta y CTE.
- [SPARK-42668] Detectar excepciones al intentar cerrar la secuencia comprimida en la detención de HDFSStateStoreProvider
- [SPARK-42403][CORE] JsonProtocol debe controlar cadenas JSON nulas
8 de marzo de 2023
- Se ha mejorado el mensaje de error "Error al inicializar la configuración" para proporcionar más contexto para el cliente.
- Hay un cambio terminológico para agregar características a una tabla Delta mediante la propiedad table. La sintaxis preferida ahora es 'delta.feature.featureName'='supported' en lugar de 'delta.feature.featureName'='enabled'. Para la compatibilidad con versiones anteriores, usar 'delta.feature.featureName'='enabled' todavía funciona y seguirá funcionando.
- A partir de esta versión, es posible crear o reemplazar una tabla por una propiedad de tabla delta.ignoreProtocolDefaults adicional para omitir las configuraciones de Spark relacionadas con el protocolo, que incluye versiones predeterminadas de lector y escritor, así como características de tabla compatibles de forma predeterminada.
- [SPARK-42070] Cambiar el valor predeterminado del argumento de la función Mask de -1 a NULL
- [SPARK-41793] Resultado incorrecto para los marcos de ventana definidos por una cláusula de alcance en decimales significativos
- [SPARK-42484] Mejor mensaje de error de UnsafeRowUtils
- [SPARK-42516] Capturar siempre la configuración de zona horaria de sesión al crear vistas
- [SPARK-42635] Corrija la expresión TimestampAdd.
- [SPARK-42622] Se ha desactivado la sustitución en valores
- [SPARK-42534] Corrección de la cláusula de límite de DB2Dialect
- [SPARK-42121] Agregar funciones integradas con valores de tabla posexplode, posexplode_outer, json_tuple y pila
- [SPARK-42045] Modo SQL ANSI: Round/Bround debe devolver un error en desbordamiento de enteros pequeños o pequeños o significativos
- Actualizaciones de seguridad del sistema operativo

Databricks Runtime 11.3 LTS

Consulte Databricks Runtime 11.3 LTS.

17 de junio de 2025
- Actualizaciones de seguridad del sistema operativo

3 de junio de 2025
- Bibliotecas de Python actualizadas:
  - certifi desde 2019.11.28, 2021.10.8 hasta 2021.10.8
  - chardet desde 3.0.4, 4.0.0 hasta 4.0.0
  - Actualización de idna de la versión 2.8, 3.2 a la versión 3.2.
  - solicitudes desde 2.22.0, 2.26.0 hasta 2.26.0
  - six desde 1.14.0, 1.16.0 hasta 1.16.0
  - urllib3 desde 1.25.8, 1.26.7 hasta 1.26.7
  - Se ha añadido pip 21.2.4
  - Se ha añadido setuptools 58.0.4
  - Se agregó tomli 2.0.1
  - Se agregó wcwidth 0.2.5
  - Se agregó la rueda 0.37.0
  - Se eliminó la distribución 1.4.0
  - Se ha eliminado distro-info 0.23+ubuntu1.1
  - Se eliminó python-apt 2.0.1+ubuntu0.20.4.1
- Actualizaciones de seguridad del sistema operativo

20 de mayo de 2025
- [SPARK-42655][SQL] Error de referencia de columna ambiguo incorrecto
- Actualizaciones de seguridad del sistema operativo

22 de abril de 2025
- [Cambio de comportamiento] Las operaciones de vacío ahora realizan comprobaciones de protocolo Writer similares a otras operaciones, lo que impide las limpiezas inesperadas en tablas con características más recientes cuando se ejecutan desde versiones anteriores de DBR incompatibles.
- Actualizaciones de seguridad del sistema operativo

9 de abril de 2025
- Actualizaciones de seguridad del sistema operativo

5 de marzo de 2025
- Actualizaciones de seguridad del sistema operativo

11 de febrero de 2025
- Esta versión incluye una corrección para un caso perimetral en el que un CLONE incremental podría volver a copiar archivos ya copiados de una tabla de origen a una tabla de destino. Consulte Clonación de una tabla en Azure Databricks.

10 de diciembre de 2024
- Actualizaciones de seguridad del sistema operativo
26 de noviembre de 2024
- Correcciones de errores varios.
10 de octubre de 2024
- Correcciones de errores varios.
25 de septiembre de 2024
- [SPARK-46601] [CORE] Corrección del error de registro en handleStatusMessage
- [SPARK-49000][SQL] Se ha corregido "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
- Correcciones de errores varios.
17 de septiembre de 2024
- Actualizaciones de seguridad del sistema operativo
29 de agosto de 2024
14 de agosto de 2024
- [SPARK-48941][SPARK-48970] Correcciones en el lector y escritor de ML de Backport
- [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
- [SPARK-48597][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
- [SPARK-48463][ML] Hacer que StringIndexer admita columnas de entrada anidadas
- Actualizaciones de seguridad del sistema operativo
1 de agosto de 2024
- [SPARK-48896][SPARK-48909][SPARK-48883] Correcciones del sistema de escritura de Spark ML de Backport
1 de agosto de 2024
- Para aplicar los parches de seguridad necesarios, la versión de Python de Databricks Runtime 11.3 LTS se actualiza de 3.9.5 a 3.9.19.
11 de julio de 2024
- [SPARK-48383][SS] Se produce un error mejor para las particiones no coincidentes en la opción startOffset en Kafka
- [SPARK-47070] Corregir errores en la agregación tras la reescritura de subconsulta
- Actualizaciones de seguridad del sistema operativo
17 de junio de 2024
- Actualizaciones de seguridad del sistema operativo
21 de mayo de 2024
- [SPARK-48105][SS] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
- Actualizaciones de seguridad del sistema operativo
9 de mayo de 2024
- [SPARK-48018][SS] Corrección de groupId null que provoca un error de param que falta al iniciar KafkaException.couldNotReadOffsetRange
- [SPARK-47973]sitio de llamada de registro [CORE] en SparkContext.stop() y versiones posteriores en SparkContext.assertNotStopped()
- [SPARK-44251][SQL] Establece que admite un valor NULL correctamente en la clave de combinación combinado en combinación externa completa USING
- Actualizaciones de seguridad del sistema operativo
25 de abril de 2024
- Actualizaciones de seguridad del sistema operativo
11 de abril de 2024
- Actualizaciones de seguridad del sistema operativo
1 de abril de 2024
- [SPARK-44252][SS] Definir una nueva clase de error y aplicar para el caso en el que se produce un error en el estado de carga desde DFS
- [SPARK-47135][SS] Implementación de clases de error para excepciones de pérdida de datos de Kafka
- Revertir “[SPARK-46861][CORE] Evitar interbloqueo en DAGScheduler”
- [SPARK-47200][SS] Clase de error de la función de usuario receptor de lotes Foreach
- Actualizaciones de seguridad del sistema operativo
14 de marzo de 2024
- [SPARK-47167][SQL] Agregar clase concreta para la relación anónima de JDBC
- [SPARK-47125][SQL] Devuelve null si Univocity nunca desencadena el análisis
- Actualizaciones de seguridad del sistema operativo
29 de febrero de 2024
- Se ha corregido un problema por el que el uso de una colección local como origen en un comando MERGE podía dar lugar a que la métrica de operación numSourceRows notificara el doble del número correcto de filas.
- [SPARK-45582][SS] Asegúrese de que la instancia de almacén no se usa después de llamar a la confirmación en la agregación de streaming en modo de salida.
13 de febrero de 2024
- [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
- [SPARK-46861] Evitar interbloqueo en DAGScheduler.
- Actualizaciones de seguridad del sistema operativo
31 de enero de 2024
- Actualizaciones de seguridad del sistema operativo
25 de diciembre de 2023
- Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
- [SPARK-46058] Agregar una marca independiente para privateKeyPassword.
- [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
- [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
- [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
- [SPARK-39440] Agregar una configuración para deshabilitar la escala de tiempo de eventos.
- [SPARK-46249] Requerir bloqueo de instancia para adquirir métricas de RocksDB para evitar la carrera con operaciones en segundo plano.
- [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
14 de diciembre de 2023
- Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se administraban incorrectamente y se interpretaban erróneamente como caracteres comodín.
- Actualizaciones de seguridad del sistema operativo
29 de noviembre de 2023
- Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
- Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se interpretaran erróneamente como caracteres comodín.
- [SPARK-43973] La interfaz de usuario de flujo estructurado ahora muestra correctamente las consultas con errores.
- [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
- [SPARK-45544] compatibilidad integrada con SSL en TransportContext.
- [SPARK-45859] Objetos UDF creados en ml.functions diferido.
- [SPARK-43718] Se ha corregido la nulabilidad para las claves en combinaciones USING.
- [SPARK-44846] Se han quitado expresiones de agrupación complejas después de RemoveRedundantAggregates.
- Actualizaciones de seguridad del sistema operativo
14 de noviembre de 2023
- Los filtros de partición en las consultas de streaming de Delta Lake se insertan antes de la limitación de frecuencia para lograr un mejor uso.
- [SPARK-42205] Se han quitado los registros acumulables de los eventos de inicio de fase y tarea.
- [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
- Revierta [SPARK-33861].
- [SPARK-45541] Se ha agregado SSLFactory.
- [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
- [SPARK-45584] Se ha corregido un error de ejecución de subconsulta con TakeOrderedAndProjectExec.
- [SPARK-45430]FramelessOffsetWindowFunction ya no genera un error cuando IGNORE NULLS y offset > rowCount.
- [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
- Actualizaciones de seguridad del sistema operativo
24 de octubre de 2023
- [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
- Correcciones varias.
13 de octubre de 2023
- La dependencia de Snowflake-jdbc se actualizó de la versión 3.13.29 a la 3.13.33.
- [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
- [SPARK-45084]StateOperatorProgress para utilizar un número de partición aleatoria efectivo y preciso.
- [SPARK-45346] La inferencia del esquema Parquet respeta ahora las marcas que distinguen mayúsculas de minúsculas al combinar el esquema.
- Actualizaciones de seguridad del sistema operativo
10 de septiembre de 2023
- Correcciones varias.
30 de agosto de 2023
- [SPARK-44818] Se ha corregido la carrera para la interrupción de tareas pendiente emitida antes de inicializarse taskThread.
- [SPARK-44871][11.3-13.0] Se ha corregido el comportamiento de percentile_disc.
- Actualizaciones de seguridad del sistema operativo
15 de agosto de 2023
- [SPARK-44485] Se ha optimizado TreeNode.generateTreeString.
- [SPARK-44504] La tarea de mantenimiento limpia los proveedores cargados en caso de error de detención.
- [SPARK-44464] Se ha corregido applyInPandasWithStatePythonRunner de las filas de salida que tienen Null como primer valor de columna.
- Actualizaciones de seguridad del sistema operativo
27 de julio de 2023
- Se ha corregido un error en el que dbutils.fs.ls() devolvía INVALID_PARAMETER_VALUE.LOCATION_OVERLAP cuando se llamaba a una ruta de acceso de localización de almacenamiento que entraba en conflicto con otra localización de almacenamiento externa o administrada.
- [SPARK-44199]CacheManager ya no actualiza fileIndex innecesariamente.
- Actualizaciones de seguridad del sistema operativo
24 de julio de 2023
- [SPARK-44136] Se ha corregido un problema que provocaba que StateManager se materializara en el ejecutor en lugar del controlador en FlatMapGroupsWithStateExec.
- Actualizaciones de seguridad del sistema operativo
23 de junio de 2023
- Actualizaciones de seguridad del sistema operativo
15 de junio de 2023
- approx_count_distinct fotonizado.
- La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
- [SPARK-43779]ParseToDate ahora carga EvalMode en el hilo principal.
- [SPARK-40862] Admite subconsultas no agregadas en RewriteCorrelatedScalarSubquery
- [SPARK-43156][SPARK-43098] Prueba de errores de recuento de subconsulta escalar extendida con decorrelateInnerQuery desactivado.
- [SPARK-43098] Solucionar el error de corrección en la función COUNT cuando la subconsulta escalar incluye una cláusula GROUP BY
- Actualizaciones de seguridad del sistema operativo
2 de junio de 2023
- El analizador JSON en el modo failOnUnknownFields quita un registro en el modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
- Mejore el rendimiento de las actualizaciones incrementales con SHALLOW CLONE Apache Iceberg y Apache Parquet.
- Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
- [SPARK-43404] Omita la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB a fin de evitar errores de coincidencia de id.
- [SPARK-43527] Se ha corregido catalog.listCatalogs en PySpark.
- [SPARK-43413][11.3-13.0] Se corrigió la nulabilidad de la subconsulta INListQuery.
- [SPARK-43340] Se ha corregido el campo de seguimiento de pila que faltaba en los registros de eventos.

Databricks Runtime 10.4 LTS

Consulte Databricks Runtime 10.4 LTS.

17 de junio de 2025
- Actualizaciones de seguridad del sistema operativo

3 de junio de 2025
- Bibliotecas de Python actualizadas:
  - certifi desde 2019.11.28, 2020.12.5 hasta 2020.12.5
  - chardet desde 3.0.4, 4.0.0 hasta 4.0.0
  - idna desde 2.10, 2.8 hasta 2.10
  - solicitudes desde 2.22.0, 2.25.1 hasta 2.25.1
  - six desde 1.14.0, 1.15.0 hasta 1.15.0
  - urllib3 desde 1.25.11, 1.25.8 hasta 1.25.11
  - Se ha añadido pip 21.0.1
  - Se ha añadido setuptools 52.0.0
  - Se agregó wcwidth 0.2.5
  - Se agregó la rueda 0.36.2
  - Se eliminó la distribución 1.4.0
  - Se ha eliminado distro-info 0.23+ubuntu1.1
  - Se eliminó python-apt 2.0.1+ubuntu0.20.4.1
- Actualizaciones de seguridad del sistema operativo

20 de mayo de 2025
- Actualizaciones de seguridad del sistema operativo

22 de abril de 2025
- Actualizaciones de seguridad del sistema operativo

9 de abril de 2025
- Actualizaciones de seguridad del sistema operativo

11 de marzo de 2025
- Actualizaciones de seguridad del sistema operativo

11 de febrero de 2025
- Esta versión incluye una corrección para un caso perimetral en el que un CLONE incremental podría volver a copiar archivos ya copiados de una tabla de origen a una tabla de destino. Consulte Clonación de una tabla en Azure Databricks.
- Actualizaciones de seguridad del sistema operativo

10 de diciembre de 2024
- Actualizaciones de seguridad del sistema operativo
26 de noviembre de 2024
- Actualizaciones de seguridad del sistema operativo
5 de noviembre de 2024
- Actualizaciones de seguridad del sistema operativo
22 de octubre de 2024
- Actualizaciones de seguridad del sistema operativo
10 de octubre de 2024
- Actualizaciones de seguridad del sistema operativo
25 de septiembre de 2024
- [SPARK-46601] [CORE] Corrección del error de registro en handleStatusMessage
- [SPARK-49000][SQL] Se ha corregido "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
- Actualizaciones de seguridad del sistema operativo
17 de septiembre de 2024
- Actualizaciones de seguridad del sistema operativo
29 de agosto de 2024
- [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
14 de agosto de 2024
- [SPARK-48597][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
- [SPARK-48941][SPARK-48970] Correcciones en el lector y escritor de ML de Backport
- [SPARK-48463][ML] Hacer que StringIndexer admita columnas de entrada anidadas
1 de agosto de 2024
- [SPARK-48896][SPARK-48909][SPARK-48883] Correcciones del sistema de escritura de Spark ML de Backport
- Actualizaciones de seguridad del sistema operativo
11 de julio de 2024
- [SPARK-48383][SS] Se produce un error mejor para las particiones no coincidentes en la opción startOffset en Kafka
- Actualizaciones de seguridad del sistema operativo
17 de junio de 2024
- Actualizaciones de seguridad del sistema operativo
21 de mayo de 2024
- [SPARK-48105][SS] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
- Actualizaciones de seguridad del sistema operativo
9 de mayo de 2024
- [SPARK-48018][SS] Corrección de groupId null que provoca un error de param que falta al iniciar KafkaException.couldNotReadOffsetRange
- [SPARK-47973]sitio de llamada de registro [CORE] en SparkContext.stop() y versiones posteriores en SparkContext.assertNotStopped()
- [SPARK-44251][SQL] Establece que admite un valor NULL correctamente en la clave de combinación combinado en combinación externa completa USING
- Actualizaciones de seguridad del sistema operativo
25 de abril de 2024
- Actualizaciones de seguridad del sistema operativo
11 de abril de 2024
- Actualizaciones de seguridad del sistema operativo
1 de abril de 2024
- [SPARK-47135][SS] Implementación de clases de error para excepciones de pérdida de datos de Kafka
- [SPARK-44252][SS] Definir una nueva clase de error y aplicar para el caso en el que se produce un error en el estado de carga desde DFS
- [SPARK-47200][SS] Clase de error de la función de usuario receptor de lotes Foreach
- Revertir “[SPARK-46861][CORE] Evitar interbloqueo en DAGScheduler”
- Actualizaciones de seguridad del sistema operativo
14 de marzo de 2024
- [SPARK-47125][SQL] Devuelve null si Univocity nunca desencadena el análisis
- Actualizaciones de seguridad del sistema operativo
29 de febrero de 2024
- Se ha corregido un problema por el que el uso de una colección local como origen en un comando MERGE podía dar lugar a que la métrica de operación numSourceRows notificara el doble del número correcto de filas.
- [SPARK-45582][SS] Asegúrese de que la instancia de almacén no se usa después de llamar a la confirmación en la agregación de streaming en modo de salida.
- Actualizaciones de seguridad del sistema operativo
13 de febrero de 2024
- [SPARK-46861] Evitar interbloqueo en DAGScheduler.
- Actualizaciones de seguridad del sistema operativo
31 de enero de 2024
- Actualizaciones de seguridad del sistema operativo
25 de diciembre de 2023
- Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
- [SPARK-46058] Agregar una marca independiente para privateKeyPassword.
- [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
- [SPARK-39440] Agregar una configuración para deshabilitar la escala de tiempo de eventos.
- [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
14 de diciembre de 2023
- Actualizaciones de seguridad del sistema operativo
29 de noviembre de 2023
- Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
- [SPARK-45544] compatibilidad integrada con SSL en TransportContext.
- [SPARK-45859] Objetos UDF creados en ml.functions diferido.
- [SPARK-43718] Se ha corregido la nulabilidad para las claves en combinaciones USING.
- [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
- [SPARK-42205] Se han quitado los registros acumulables de los eventos de inicio de fase y tarea.
- [SPARK-44846] Se han quitado expresiones de agrupación complejas después de RemoveRedundantAggregates.
- Actualizaciones de seguridad del sistema operativo
14 de noviembre de 2023
- [SPARK-45541] Se ha agregado SSLFactory.
- [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
- [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
- [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
- [SPARK-45584] Se ha corregido un error de ejecución de subconsulta con TakeOrderedAndProjectExec.
- Revierta [SPARK-33861].
- Actualizaciones de seguridad del sistema operativo
24 de octubre de 2023
- [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
- Actualizaciones de seguridad del sistema operativo
13 de octubre de 2023
- [SPARK-45084]StateOperatorProgress para utilizar un número de partición aleatoria efectivo y preciso.
- [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
- Actualizaciones de seguridad del sistema operativo
10 de septiembre de 2023
- Correcciones varias.
30 de agosto de 2023
- [SPARK-44818] Se ha corregido la carrera para la interrupción de tareas pendiente emitida antes de inicializarse taskThread.
- Actualizaciones de seguridad del sistema operativo
15 de agosto de 2023
- [SPARK-44504] La tarea de mantenimiento limpia los proveedores cargados en caso de error de detención.
- [SPARK-43973] La interfaz de usuario de flujo estructurado ahora muestra correctamente las consultas con errores.
- Actualizaciones de seguridad del sistema operativo
23 de junio de 2023
- Actualizaciones de seguridad del sistema operativo
15 de junio de 2023
- La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
- [SPARK-43098] Solucionar el error de corrección en la función COUNT cuando la subconsulta escalar incluye una cláusula GROUP BY
- [SPARK-40862] Admite subconsultas no agregadas en RewriteCorrelatedScalarSubquery
- [SPARK-43156][SPARK-43098] Prueba de recuento de subconsulta escalar extendida con decorrelateInnerQuery desactivado.
- Actualizaciones de seguridad del sistema operativo
2 de junio de 2023
- El analizador JSON en el modo failOnUnknownFields quita un registro en el modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
- Se ha corregido un problema en el análisis de datos de rescate de JSON para evitar UnknownFieldException.
- Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
- [SPARK-43404] Omita la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB a fin de evitar errores de coincidencia de id.
- [SPARK-43413] Se ha corregido la nulabilidad de IN de la subconsulta ListQuery.
- Actualizaciones de seguridad del sistema operativo
17 de mayo de 2023
- Los exámenes de Parquet ahora son sólidos con respecto a los OEM al examinar archivos excepcionalmente estructurados ajustando dinámicamente el tamaño del lote. Los metadatos de archivo se analizan para reducir de forma preventiva el tamaño del lote y se reducen de nuevo en los nuevos intentos de tareas como un mecanismo de seguridad final.
- [SPARK-41520] Dividir el patrón del árbol para separar AND_OR y AND.
- [SPARK-43190]ListQuery.childOutput ahora es coherente con la salida secundaria.
- Actualizaciones de seguridad del sistema operativo
25 de abril de 2023
- [SPARK-42928] Haga que resolvePersistentFunction se sincronice.
- Actualizaciones de seguridad del sistema operativo
11 de abril de 2023
- Se ha corregido un error por el que la evolución del esquema del cargador automático puede entrar en un bucle de error infinito, cuando se detecta una nueva columna en el esquema de un objeto JSON anidado.
- [SPARK-42937]PlanSubqueries ahora establece InSubqueryExec#shouldBroadcast en true.
- [SPARK-42967] Se ha corregido SparkListenerTaskStart.stageAttemptId cuando se inicia una tarea después de cancelar la fase.
29 de marzo de 2023
- [SPARK-42668] Detectar excepciones al intentar cerrar la secuencia comprimida en la detención de HDFSStateStoreProvider
- [SPARK-42635] Corregir el…
- Actualizaciones de seguridad del sistema operativo
14 de marzo de 2023
- [SPARK-41162] Corrección de anti- y semicombinación para la unión automática con agregaciones
- [SPARK-33206] Corrección del cálculo de la ponderación de la memoria caché de índices aleatorios para archivos de índice pequeños
- [SPARK-42484] Se ha mejorado el mensaje de error UnsafeRowUtils
- Correcciones varias.
28 de febrero de 2023
- Se ha agregado compatibilidad con la columna generada para date_format aaaa-MM-dd. Este cambio es compatible con la eliminación de particiones para aaaa-MM-dd como elemento date_format en columnas generadas.
- Los usuarios ahora pueden leer y escribir determinadas tablas Delta que requieren la versión 3 del lector y la versión 7 del escritor mediante Databricks Runtime 9.1 LTS o posterior. Para que se realice correctamente, las características de tabla enumeradas en el protocolo de las tablas deben ser compatibles con la versión actual de Databricks Runtime.
- Se ha agregado compatibilidad con la columna generada para date_format aaaa-MM-dd. Este cambio es compatible con la eliminación de particiones para aaaa-MM-dd como elemento date_format en columnas generadas.
- Actualizaciones de seguridad del sistema operativo
16 de febrero de 2023
- [SPARK-30220] Permitir el uso de subconsultas Exists/In fuera del nodo de filtro
- Actualizaciones de seguridad del sistema operativo
31 de enero de 2023
- Los tipos de tabla de las tablas JDBC ahora son EXTERNAL de manera predeterminada.
18 de enero de 2023
- El conector de Azure Synapse devuelve un mensaje de error más descriptivo cuando un nombre de columna contiene caracteres no válidos, como espacios en blanco o punto y coma. En tales casos, se devolverá el siguiente mensaje: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
- [SPARK-38277] Borrado del lote de escritura después de la confirmación del almacén de estado de RocksDB
- [SPARK-41199] Corrección del problema de métricas cuando el origen de streaming DSv1 y el origen de streaming DSv2 se usan conjuntamente
- [SPARK-41198] Corregir las métricas en la consulta de streaming con el origen de streaming CTE y DSv1.
- [SPARK-41339] Cerrar y volver a crear el lote de escritura de RocksDB en lugar de simplemente borrar.
- [SPARK-41732] Aplicar la eliminación basada en patrones de árbol para la regla SessionWindowing.
- Actualizaciones de seguridad del sistema operativo
29 de noviembre de 2022
- Los usuarios pueden configurar el comportamiento inicial y final de los espacios en blanco al escribir datos mediante el conector redshift. Se han agregado las siguientes opciones para controlar el control de espacios en blanco:
  - csvignoreleadingwhitespace, cuando se establece en true, quita el espacio en blanco inicial de los valores durante las escrituras cuando tempformat se establece en CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
  - csvignoretrailingwhitespace, cuando se establece en true, quita el espacio en blanco final de los valores durante las escrituras cuando tempformat se establece en CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
- Se ha corregido un error con el análisis de JSON en el cargador automático cuando todas las columnas se dejaban como cadenas (cloudFiles.inferColumnTypes no se había establecido o se había establecido en false) y el JSON contenía objetos anidados.
- Actualizaciones de seguridad del sistema operativo
15 de noviembre de 2022
- Se ha actualizado Apache commons-text a 1.10.0.
- [SPARK-40646] Se ha corregido el análisis de JSON para estructuras, mapas y matrices, por lo que cuando una parte de un registro no coincide con el esquema, el resto del registro todavía se puede analizar correctamente en lugar de devolver valores NULL. Para participar en el comportamiento mejorado, establezca spark.sql.json.enablePartialResults en true. La bandera está deshabilitada de forma predeterminada para preservar el comportamiento original.
- [SPARK-40292] Corrección de nombres de columna en la función arrays_zip cuando se hace referencia a matrices desde estructuras anidadas
- Actualizaciones de seguridad del sistema operativo
1 de noviembre de 2022
- Se ha corregido un problema por el que si una tabla Delta tenía una columna definida por el usuario denominada _change_type, pero la opción Change data feed (Cambiar fuente de distribución de datos) estaba deshabilitada en esa tabla, los datos de esa columna se rellenaban incorrectamente con valores NULL al ejecutar MERGE.
- Se ha corregido un problema con el cargador automático en el que un archivo se puede duplicar en el mismo microproceso cuando allowOverwrites está habilitado.
- [SPARK-40697] Agrega relleno de caracteres de lectura para cubrir archivos de datos externos
- [SPARK-40596] Rellenar ExecutorDecommission con mensajes en ExecutorDecommissionInfo
- Actualizaciones de seguridad del sistema operativo
18 de octubre de 2022
- Actualizaciones de seguridad del sistema operativo
5 de octubre de 2022
- [SPARK-40468] Corrección de la eliminación de columnas en CSV cuando se selecciona _corrupt_record.
- Actualizaciones de seguridad del sistema operativo
22 de septiembre de 2022
- Los usuarios pueden establecer spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) para volver a habilitar la lista integrada de Auto Loader en ADLS. La lista integrada se desactivó anteriormente debido a problemas de rendimiento, pero puede haber provocado un aumento en los costos de almacenamiento para los clientes.
- [SPARK-40315] Adición de hashCode() para el literal de ArrayBasedMapData
- [SPARK-40213] Compatibilidad con la conversión de valores ASCII para caracteres Latino-1
- [SPARK-40380] Corrección del plegado constante de InvokeLike para evitar literales no serializables insertados en el plan
- [SPARK-38404] Mejora de la resolución de CTE cuando un CTE anidado hace referencia a un CTE externo
- [SPARK-40089] Corrección de la ordenación para algunos tipos decimales
- [SPARK-39887] RemoveRedundantAliases debe mantener alias que hacen que la salida de los nodos de proyección sea única
6 de septiembre de 2022
- [SPARK-40235] Usar un bloqueo interrumpible en lugar de uno sincronizado en Executor.updateDependencies().
- [SPARK-40218] GROUPING SETS debe conservar las columnas de agrupación.
- [SPARK-39976] ArrayIntersect debe controlar null en la primera expresión correctamente.
- [SPARK-40053] Adición de assume a casos de cancelación dinámica que requieren entorno de tiempo de ejecución de Python.
- [SPARK-35542] Corrección: Bucketizer creado para varias columnas con parámetros splitsArray, inputCols y outputCols no se puede cargar después de guardarlo.
- [SPARK-40079] Adición de la validación inputCols de Imputer para el caso de entrada vacío.
24 de agosto de 2022
- [SPARK-39983] No almacenar en caché las relaciones de difusión no serializadas en el controlador.
- [SPARK-39775] Deshabilitación de la validación de valores predeterminados al analizar esquemas de Avro.
- [SPARK-39962] Aplicar proyección cuando los atributos de grupo están vacíos
- [SPARK-37643] Si charVarcharAsString es true, para la consulta de predicados del tipo de datos char debe omitir la regla rpadding.
- Actualizaciones de seguridad del sistema operativo
9 de agosto de 2022
- [SPARK-39847] Corrección de la condición de carrera en RocksDBLoader.loadLibrary() si se interrumpe el subproceso del autor de la llamada
- [SPARK-39731] Corrección del problema en los orígenes de datos CSV y JSON cuando se analicen fechas en formato "yyyyMMdd" con la directiva de analizador de hora CORREGIDA
- Actualizaciones de seguridad del sistema operativo
27 de julio de 2022
- [SPARK-39625][SQL] Agregar Dataset.as (StructType).
- [SPARK-39689] Compatibilidad con 2 caracteres lineSep en el origen de datos CSV.
- [SPARK-39104] El elemento InMemoryRelation#isCachedColumnBuffersLoaded debe ser seguro para subprocesos.
- [SPARK-39570] La tabla en línea debe permitir expresiones con alias.
- [SPARK-39702] Reducción de la sobrecarga de memoria de TransportCipher$EncryptedMessage mediante un byteRawChannel compartido.
- [SPARK-39575] agregar ByteBuffer#rewind después de ByteBuffer#get en AvroDeserializer.
- [SPARK-39476] Deshabilitación de la optimización de conversión de desajustado al convertir de Long a Float/Double o de Integer a Float.
- [SPARK-38868] No propague excepciones del predicado de filtro al optimizar las combinaciones externas.
- Actualizaciones de seguridad del sistema operativo
20 de julio de 2022
- Haga que los resultados de la operación MERGE de Delta sean coherentes cuando el origen no sea determinista.
- [SPARK-39355] Una sola columna usa comillas para construir UnresolvedAttribute.
- [SPARK-39548] Comando CreateView con una consulta de cláusula de ventana da un problema de definición de ventana errónea no encontrada.
- [SPARK-39419] Se ha corregido el elemento ArraySort para que produzca una excepción si el comparador devuelve un valor nulo.
- Se desactivó el uso de Auto Loader de las APIs de nube integradas para listar directorios en Azure.
- Actualizaciones de seguridad del sistema operativo
5 de julio de 2022
- [SPARK-39376] Ocultación de columnas duplicadas en la expansión en estrella del alias de subconsulta de NATURAL/USING JOIN
- Actualizaciones de seguridad del sistema operativo
15 de junio de 2022
- [SPARK-39283] Se ha corregido el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator.
- [SPARK-39285] Spark no debe comprobar los nombres de campo al leer archivos.
- [SPARK-34096] Mejorar el rendimiento de nth_value omite los valores NULL en la ventana de desplazamiento.
- [SPARK-36718] Se ha corregido la comprobación isExtractOnly en CollapseProject.
2 de junio de 2022
- [SPARK-39093] Se evita un error de compilación de codegen al dividir intervalos de año y mes o intervalos de día y hora por un entero.
- [SPARK-38990] Se evita la excepción NullPointerException al evaluar el formato de date_trunc y trunc como una referencia enlazada.
- Actualizaciones de seguridad del sistema operativo
18 de mayo de 2022
- Corrige una posible fuga de memoria integrada en Auto Loader.
- [SPARK-38918] La eliminación de columnas anidadas debe filtrar los atributos que no pertenecen a la relación actual.
- [SPARK-37593] Reducción del tamaño de página predeterminado por LONG_ARRAY_OFFSET si se usan G1GC y ON_HEAP.
- [SPARK-39084] Corregir df.rdd.isEmpty() mediante TaskContext para detener el iterador en la finalización de la tarea.
- [SPARK-32268] Agregar ColumnPruning en injectBloomFilter.
- [SPARK-38974] Filtrar funciones registradas con un nombre de base de datos determinado en funciones de lista.
- [SPARK-38931] Crear directorio dfs raíz para RocksDBFileManager con un número desconocido de claves en el primer punto de control.
- Actualizaciones de seguridad del sistema operativo
19 de abril de 2022
- Se ha actualizado el SDK de AWS de Java de la versión 1.11.655 a la 1.12.1899.
- Se ha corregido un problema que provocaba que las bibliotecas con ámbito de cuaderno no funcionara en trabajos de streaming por lotes.
- [SPARK-38616] Se realiza un seguimiento del texto de la consulta SQL en el nodo de árbol de Catalyst
- Actualizaciones de seguridad del sistema operativo
6 de abril de 2022
- Las siguientes funciones Spark SQL pasan a estar disponibles en esta versión:
  - timestampadd() y dateadd(): agregue una duración de tiempo en una unidad especificada a una expresión de marca de tiempo.
  - timestampdiff() y datediff(): Calcule la diferencia temporal entre dos expresiones de marca de tiempo en una unidad especificada.
- El Parquet-MR se ha actualizado a la versión 1.12.2
- Compatibilidad mejorada con esquemas completos en archivos parquet
- [SPARK-38631] Utiliza una implementación basada en Java para descomprimir archivos tar en Utils.unpack.
- [SPARK-38509][SPARK-38481] Selección exclusiva de tres cambios de timestmapadd/diff.
- [SPARK-38523] Corrección que hace referencia a la columna de registro dañada de CSV.
- [SPARK-38237] Permitir a ClusteredDistribution exigir claves de agrupación completas.
- [SPARK-38437] Serialización flexible de fecha y hora desde el origen de datos.
- [SPARK-38180] Permitir expresiones seguras de conversión vertical en predicados de igualdad correlacionados.
- [SPARK-38155] No permitir agregados distintos en subconsultas laterales con predicados no admitidos.
- Actualizaciones de seguridad del sistema operativo

Databricks Runtime 9.1 LTS

Consulte Databricks Runtime 9.1 LTS.

9 de abril de 2025
- Actualizaciones de seguridad del sistema operativo

11 de marzo de 2025
- Actualizaciones de seguridad del sistema operativo

11 de febrero de 2025
- Actualizaciones de seguridad del sistema operativo

10 de diciembre de 2024
- Actualizaciones de seguridad del sistema operativo
26 de noviembre de 2024
- Actualizaciones de seguridad del sistema operativo
5 de noviembre de 2024
- Actualizaciones de seguridad del sistema operativo
22 de octubre de 2024
- Actualizaciones de seguridad del sistema operativo
10 de octubre de 2024
- Actualizaciones de seguridad del sistema operativo
25 de septiembre de 2024
- [SPARK-49000][SQL] Se ha corregido "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
- Actualizaciones de seguridad del sistema operativo
6 de septiembre de 2024
- Actualizaciones de seguridad del sistema operativo
29 de agosto de 2024
- [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
14 de agosto de 2024
1 de agosto de 2024
- Actualizaciones de seguridad del sistema operativo
11 de julio de 2024
- Actualizaciones de seguridad del sistema operativo
17 de junio de 2024
- Actualizaciones de seguridad del sistema operativo
21 de mayo de 2024
- [SPARK-48105][SS] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
- Actualizaciones de seguridad del sistema operativo
9 de mayo de 2024
- [SPARK-47973]sitio de llamada de registro [CORE] en SparkContext.stop() y versiones posteriores en SparkContext.assertNotStopped()
- [SPARK-44251][SQL] Establece que admite un valor NULL correctamente en la clave de combinación combinado en combinación externa completa USING
- Actualizaciones de seguridad del sistema operativo
25 de abril de 2024
- Correcciones de errores varios.
11 de abril de 2024
- Actualizaciones de seguridad del sistema operativo
1 de abril de 2024
- Revertir “[SPARK-46861][CORE] Evitar interbloqueo en DAGScheduler”
- Actualizaciones de seguridad del sistema operativo
14 de marzo de 2024
- Actualizaciones de seguridad del sistema operativo
29 de febrero de 2024
- Se ha corregido un problema por el que el uso de una colección local como origen en un comando MERGE podía dar lugar a que la métrica de operación numSourceRows notificara el doble del número correcto de filas.
- Actualizaciones de seguridad del sistema operativo
13 de febrero de 2024
- [SPARK-46861] Evitar interbloqueo en DAGScheduler.
- Actualizaciones de seguridad del sistema operativo
31 de enero de 2024
- Actualizaciones de seguridad del sistema operativo
25 de diciembre de 2023
- Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
- [SPARK-46058] Agregar una marca independiente para privateKeyPassword.
- [SPARK-39440] Agregar una configuración para deshabilitar la escala de tiempo de eventos.
- [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
14 de diciembre de 2023
- Actualizaciones de seguridad del sistema operativo
29 de noviembre de 2023
- Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
- [SPARK-45859] Objetos UDF creados en ml.functions diferido.
- [SPARK-45544] compatibilidad integrada con SSL en TransportContext.
- [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
- Actualizaciones de seguridad del sistema operativo
14 de noviembre de 2023
- [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
- [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
- [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
- [SPARK-45584] Se ha corregido un error de ejecución de subconsulta con TakeOrderedAndProjectExec.
- [SPARK-45541] Se ha agregado SSLFactory.
- [SPARK-42205] Se han quitado los registros acumulables de los eventos de inicio de fase y tarea.
- Actualizaciones de seguridad del sistema operativo
24 de octubre de 2023
- [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
- Actualizaciones de seguridad del sistema operativo
13 de octubre de 2023
- Actualizaciones de seguridad del sistema operativo
10 de septiembre de 2023
- Correcciones varias.
30 de agosto de 2023
- Actualizaciones de seguridad del sistema operativo
15 de agosto de 2023
- Actualizaciones de seguridad del sistema operativo
23 de junio de 2023
- La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
- Actualizaciones de seguridad del sistema operativo
15 de junio de 2023
- [SPARK-43098] Se ha corregido el error COUNT de corrección cuando la subconsulta escalar tiene un grupo por cláusula.
- [SPARK-43156][SPARK-43098] Ampliar la prueba de errores de recuento de subconsultas escalares con la opción decorrelateInnerQuery desactivada.
- [SPARK-40862] Admite subconsultas no agregadas en RewriteCorrelatedScalarSubquery.
- Actualizaciones de seguridad del sistema operativo
2 de junio de 2023
- El analizador JSON en el modo failOnUnknownFields quita un registro en el modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
- Se ha corregido un problema en el análisis de datos de rescate de JSON para evitar UnknownFieldException.
- Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
- [SPARK-37520] Agregar las funciones de cadena startswith() y endswith()
- [SPARK-43413] Se ha corregido la nulabilidad de IN de la subconsulta ListQuery.
- Actualizaciones de seguridad del sistema operativo
17 de mayo de 2023
- Actualizaciones de seguridad del sistema operativo
25 de abril de 2023
- Actualizaciones de seguridad del sistema operativo
11 de abril de 2023
- Se ha corregido un error por el que la evolución del esquema del cargador automático puede entrar en un bucle de error infinito, cuando se detecta una nueva columna en el esquema de un objeto JSON anidado.
- [SPARK-42967] Se ha corregido SparkListenerTaskStart.stageAttemptId cuando se inicia una tarea después de cancelar la fase.
29 de marzo de 2023
- Actualizaciones de seguridad del sistema operativo
14 de marzo de 2023
- [SPARK-42484] Se ha mejorado el mensaje de error de UnsafeRowUtils.
- Correcciones varias.
28 de febrero de 2023
- Los usuarios ahora pueden leer y escribir determinadas tablas Delta que requieren la versión 3 del lector y la versión 7 del escritor mediante Databricks Runtime 9.1 LTS o posterior. Para que se realice correctamente, las características de tabla enumeradas en el protocolo de las tablas deben ser compatibles con la versión actual de Databricks Runtime.
- Actualizaciones de seguridad del sistema operativo
16 de febrero de 2023
- Actualizaciones de seguridad del sistema operativo
31 de enero de 2023
- Los tipos de tabla de las tablas JDBC ahora son EXTERNAL de manera predeterminada.
18 de enero de 2023
- Actualizaciones de seguridad del sistema operativo
29 de noviembre de 2022
- Se ha corregido un error con el análisis de JSON en el cargador automático cuando todas las columnas se dejaban como cadenas (cloudFiles.inferColumnTypes no se había establecido o se había establecido en false) y el JSON contenía objetos anidados.
- Actualizaciones de seguridad del sistema operativo
15 de noviembre de 2022
- Se ha actualizado Apache commons-text a 1.10.0.
- Actualizaciones de seguridad del sistema operativo
- Correcciones varias.
1 de noviembre de 2022
- Se ha corregido un problema por el que si una tabla Delta tenía una columna definida por el usuario denominada _change_type, pero la opción Change data feed (Cambiar fuente de distribución de datos) estaba deshabilitada en esa tabla, los datos de esa columna se rellenaban incorrectamente con valores NULL al ejecutar MERGE.
- Se ha corregido un problema con el cargador automático en el que un archivo se puede duplicar en el mismo microproceso cuando allowOverwrites está habilitado.
- [SPARK-40596] Rellenar ExecutorDecommission con mensajes en ExecutorDecommissionInfo
- Actualizaciones de seguridad del sistema operativo
18 de octubre de 2022
- Actualizaciones de seguridad del sistema operativo
5 de octubre de 2022
- Correcciones varias.
- Actualizaciones de seguridad del sistema operativo
22 de septiembre de 2022
- Los usuarios pueden establecer spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para volver a habilitar la lista integrada para Auto Loader en ADLS. La lista integrada se desactivó anteriormente debido a problemas de rendimiento, pero puede haber provocado un aumento en los costos de almacenamiento para los clientes.
- [SPARK-40315] Adición de hashCode() para el literal de ArrayBasedMapData
- [SPARK-40089] Corrección de la ordenación para algunos tipos decimales
- [SPARK-39887] RemoveRedundantAliases debe mantener alias que hacen que la salida de los nodos de proyección sea única
6 de septiembre de 2022
- [SPARK-40235] Usar bloqueo interrumpible en lugar de sincronizado en Executor.updateDependencies()
- [SPARK-35542] Corrección: El Bucketizer creado para múltiples columnas con los parámetros splitsArray, inputCols y outputCols no se puede cargar después de haber sido guardado.
- [SPARK-40079] Adición de la validación inputCols de Imputer para el caso de entrada vacío
24 de agosto de 2022
- [SPARK-39666] Uso de UnsafeProjection.create para respetar spark.sql.codegen.factoryMode en ExpressionEncoder
- [SPARK-39962] Aplicar proyección cuando los atributos de grupo están vacíos
- Actualizaciones de seguridad del sistema operativo
9 de agosto de 2022
- Actualizaciones de seguridad del sistema operativo
27 de julio de 2022
- Haga que los resultados de la operación MERGE de Delta sean coherentes cuando el origen no sea determinista.
- [SPARK-39689] Compatibilidad con 2 caracteres lineSep en el origen de datos CSV
- [SPARK-39575] Se ha agregado ByteBuffer#rewind después de ByteBuffer#get en AvroDeserializer.
- [SPARK-37392] Se ha corregido el error de rendimiento del optimizador de catalizadores.
- Actualizaciones de seguridad del sistema operativo
13 de julio de 2022
- [SPARK-39419]ArraySort produce una excepción si el comparador devuelve un valor null.
- Se desactivó el uso de Auto Loader de las APIs de nube integradas para listar directorios en Azure.
- Actualizaciones de seguridad del sistema operativo
5 de julio de 2022
- Actualizaciones de seguridad del sistema operativo
- Correcciones varias.
15 de junio de 2022
- [SPARK-39283] Corrección del interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator.
2 de junio de 2022
- [SPARK-34554] Implemente el método copy() en ColumnarMap.
- Actualizaciones de seguridad del sistema operativo
18 de mayo de 2022
- Se ha corregido una posible pérdida de memoria integrada en Auto Loader.
- Actualice la versión del SDK de AWS de la versión 1.11.655 a la 1.11.678.
- [SPARK-38918] La eliminación de columnas anidadas debe filtrar los atributos que no pertenecen a la relación actual
- [SPARK-39084] Corrección de df.rdd.isEmpty() mediante TaskContext para detener el iterador al finalizar la tarea
- Actualizaciones de seguridad del sistema operativo
19 de abril de 2022
- Actualizaciones de seguridad del sistema operativo
- Correcciones varias.
6 de abril de 2022
- [SPARK-38631] Utiliza una implementación basada en Java para descomprimir archivos tar en Utils.unpack.
- Actualizaciones de seguridad del sistema operativo
22 de marzo de 2022
- Se ha modificado el directorio de trabajo actual de los cuadernos en los clústeres de alta simultaneidad con el control de acceso a la tabla, o con el traspaso de credenciales habilitado, al directorio de inicio del usuario. Anteriormente, el directorio activo era /databricks/driver.
- [SPARK-38437][SQL] Serialización Lenient de datetime desde el origen de datos
- [SPARK-38180] Permitir expresiones seguras de conversión vertical en predicados de igualdad correlacionados
- [SPARK-38155] No permitir agregados distintos en subconsultas laterales con predicados no admitidos
- [SPARK-27442] Se ha quitado un campo de comprobación al leer o escribir datos en un elemento parquet.
14 de marzo de 2022
- [SPARK-38236] Rutas de acceso de archivo absolutas especificadas en CREATE/ALTER TABLE son tratadas como relativas
- [SPARK-34069] Interrumpa el subproceso de tarea si la propiedad local SPARK_JOB_INTERRUPT_ON_CANCEL está establecida en true.
23 de febrero de 2022
- [SPARK-37859] Las tablas SQL creadas con JDBC mediante Spark 3.1 no son legibles en la versión 3.2
8 de febrero de 2022
- [SPARK-27442] Se ha quitado un campo de comprobación al leer o escribir datos en un elemento parquet.
- Actualizaciones de seguridad del sistema operativo
1 de febrero de 2022
- Actualizaciones de seguridad del sistema operativo
26 de enero de 2022
- Se ha corregido un error por el que las transacciones simultáneas en tablas Delta podían confirmarse en un orden no serializable bajo determinadas condiciones poco frecuentes.
- Se ha corregido un error por el que el comando OPTIMIZE podía producir un error si el dialecto ANSI SQL estaba habilitado.
19 de enero de 2022
- Correcciones secundarias y mejoras de seguridad.
- Actualizaciones de seguridad del sistema operativo
4 de noviembre de 2021
- Se ha corregido un problema que podía causar fallos en los flujos de Structured Streaming con un elemento ArrayIndexOutOfBoundsException.
- Se ha corregido una condición de carrera que podía provocar un error de consulta con una excepción IOException como java.io.IOException: No FileSystem for scheme o que las modificaciones a sparkContext.hadoopConfiguration no se aplicaran a las consultas.
- El conector de Apache Spark para uso compartido de Delta se ha actualizado a la versión 0.2.0.
20 de octubre de 2021
- Se ha actualizado el conector de BigQuery de la versión 0.18.1 a la 0.22.2. Esto agrega compatibilidad con el tipo BigNumeric.