Actualizaciones de mantenimiento para Databricks Runtime (archivado)

En esta página archivada se enumeran las actualizaciones de mantenimiento publicadas para las versiones de Databricks Runtime que ya no se admiten. Para agregar una actualización de mantenimiento a un clúster existente, debe reiniciarlo.

Important

Esta documentación se ha retirado y es posible que no se actualice. Los productos, los servicios o las tecnologías mencionados en este contenido han alcanzado el final de la compatibilidad. Consulte Notas de la versión de las versiones de Databricks Runtime y compatibilidad.

Note

Este artículo contiene referencias al término lista de permitidos, el cual Azure Databricks no usa. Cuando se elimine el término del software, se eliminará también de este artículo.

Versiones de Databricks Runtime

Actualizaciones de mantenimiento por versión:

• Databricks Runtime 17.2
• Databricks Runtime 17.1
• Databricks Runtime 17.0
• Databricks Runtime 16.3
• Databricks Runtime 16.2
• Databricks Runtime 16.1
• Databricks Runtime 16.0
• Databricks Runtime 15.3
• Databricks Runtime 15.2
• Databricks Runtime 15.1
• Databricks Runtime 15.0
• Databricks Runtime 14.2
• Databricks Runtime 14.1
• Databricks Runtime 14.0
• Databricks Runtime 13.1
• Databricks Runtime 12.2 LTS
• Databricks Runtime 11.3 LTS
• Databricks Runtime 10.4 LTS
• Databricks Runtime 13.0
• Databricks Runtime 12.1
• Databricks Runtime 12.0
• Databricks Runtime 11.2
• Databricks Runtime 11.1
• Databricks Runtime 11.0
• Databricks Runtime 10.5

Para obtener las actualizaciones de mantenimiento en versiones admitidas de Databricks Runtime, consulte Actualizaciones de mantenimiento de Databricks Runtime.

Databricks Runtime 17.2

Consulte Databricks Runtime 17.2 (EoS).

• 10 de marzo de 2026
  • [SPARK-55701]ES-1694761[SS] Corregir la condición de carrera en CompactibleFileStreamLog.allFiles
  • [SPARK-55493] [SS] No ejecutar el comando mkdirs en el directorio de estado del punto de control de streaming en StateDataSource
  • Actualizaciones de seguridad del sistema operativo

• 26 de febrero de 2026

  • Actualizaciones de seguridad del sistema operativo

• 19 de febrero de 2026

  • Al deducir el esquema de los archivos de Excel, las celdas de cadena ahora se deducen como Spark StringType. Esto respeta el tipo de celda establecido en Excel. Anteriormente, las cadenas con valores numéricos se convierteban automáticamente en tipos más estrechos como Long o Decimal.
  • [SPARK-55243][CONNECT] Permitir establecer encabezados binarios a través del sufijo -bin en el cliente de Scala Connect
  • [SCALA][SPARK-54887]](https://issues.apache.org/jira/browse/SPARK-54887)[CONNECT] Establecer siempre un estado sql en el cliente de spark connect
  • [SPARK-54887][CONNECT] Agregar el estado SQL opcional a sparkthrowables
  • [SPARK-55282][PYTHON][CONNECT] Evite usar worker_util en el lado del controlador
  • Actualizaciones de seguridad del sistema operativo

• 27 de enero de 2026
  • [SPARK-55015][SS][SQL] Corregir el cálculo de el decodeRemainingKey numFields en PrefixKeyScanStateEncoder
  • [SPARK-54768][SS]Python Stream Data Source debe clasificar el error si los datos devueltos no coinciden con el esquema configurado
  • Actualizaciones de seguridad del sistema operativo

• 9 de enero de 2026
  • [SPARK-54711][PYTHON] Agregar un tiempo de espera para la conexión de trabajo creada por el demonio
  • Actualizaciones de seguridad del sistema operativo

• 9 de diciembre de 2025
  • Las tablas Delta con particiones tendrán columnas de partición materializadas en archivos parquet de datos en el futuro. Esto permite una mejor sinergia con la forma en que se administran las tablas Iceberg y UniForm y aumenta la compatibilidad con lectores externos no-Delta.
  • [SPARK-54427][SQL] Permitir que ColumnarRow llame copy con tipos de variante
  • [SPARK-54180][SQL] Sobrescribir el toString de BinaryFileFormat
  • [SPARK-50906][SQL] Corrección de la comprobación de nulabilidad de Avro para los campos de estructura reordenados
  • Actualizaciones de seguridad del sistema operativo

• 18 de noviembre de 2025
  • [SPARK-54078][SS] Nueva prueba para StateStoreSuite SPARK-40492: maintenance before unload y eliminación de la infraestructura de la prueba anterior
  • [SPARK-54047][PYTHON] Usar un error de diferencia al terminar el tiempo de espera inactivo
  • [SPARK-54099][SQL] El analizador de variantes XML debe volver a la cadena de caracteres en errores de análisis decimal
  • [SPARK-54015][PYTHON] Relajar el requisito de Py4J a py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-52515]“Approx_top_k” usando Apache DataSketches
  • Actualizaciones de seguridad del sistema operativo

• 4 de noviembre de 2025
  • [SPARK-53973][Avro] Clasificación de errores para fallos de conversión a booleano en AvroOptions
  • [SPARK-53972][SS] Corrección de la regresión de la consulta de streaming recentProgress en pyspark clásico
  • [SPARK-53908][CONNECT] Corrección de observaciones en Spark Connect con la caché del plan
  • Actualizaciones de seguridad del sistema operativo

• 21 de octubre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 8 de octubre de 2025
  • [SPARK-53555] Corrección: SparkML-connect no puede cargar el modelo guardado de SparkML (modo heredado)
  • [SPARK-53598][SQL] Compruebe la existencia de numParts antes de leer la propiedad de tabla grande.
  • [SPARK-53625][SS] Propaga las columnas de metadatos a través de proyecciones para resolver la incompatibilidad de "ApplyCharTypePadding"
  • [SPARK-53568][CONNECT][PYTHON] Corrección de varios errores pequeños en la lógica de control de errores del cliente python de Spark Connect
  • [SPARK-53574] Corrección del borrado de AnalysisContext durante la resolución del plan anidado
  • [SPARK-53623][SQL] mejorar la lectura de propiedades de tabla grande...
  • [SPARK-53729][PYTHON][CONNECT] Corrección de la serialización de pyspark.sql.connect.window.WindowSpec
  • [SPARK-53549][SS] Cierre siempre el asignador de flecha cuando se complete el proceso de solicitud de estado de lista.
  • Actualizaciones de seguridad del sistema operativo

• 10 de septiembre de 2025
  • Se ha corregido un problema que podía provocar que el cargador automático se bloquease indefinidamente.
  • [SPARK-53362] [ML] [CONNECT] Corrección del error del cargador local IDFModel
  • [SPARK-53382][SQL] Corrección del error rCTE con recursividad mal formada
  • Corrección retroactiva de prueba inestable para [SPARK-53345]
  • [SPARK-49872][CORE] Eliminación de la limitación de longitud de cadena JSON de Jackson
  • [SPARK-53423] [SQL] Mover todas las etiquetas relacionadas con el solucionador de paso único a ResolverTag
  • [SPARK-53431][PYTHON] Corrección de UDTF de Python con argumentos de tabla con nombre en dataFrame API
  • [SPARK-53336] [ML] [CONNECT] Restablezca MLCache.totalMLCacheSizeBytes cuando se llama a MLCache.clear()
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible debe evitar interrupciones duplicadas
  • [SPARK-53470][SQL] Las expresiones ExtractValue siempre deben realizar la comprobación de tipos.
  • Selección de mejoras específicas de [SPARK-53389] para la API de Pandas en Spark bajo el estándar ANSI
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 17.1

Consulte Databricks Runtime 17.1 (EoS).

• 27 de enero de 2026
  • [SPARK-55015][SS][SQL] Corregir el cálculo de el decodeRemainingKey numFields en PrefixKeyScanStateEncoder
  • [SPARK-54768][SS]Python Stream Data Source debe clasificar el error si los datos devueltos no coinciden con el esquema configurado
  • Actualizaciones de seguridad del sistema operativo

• 9 de enero de 2026
  • [SPARK-54711][PYTHON] Agregar un tiempo de espera para la conexión de trabajo creada por el demonio
  • Actualizaciones de seguridad del sistema operativo

• 9 de diciembre de 2025
  • Las tablas Delta con particiones tendrán columnas de partición materializadas en archivos parquet de datos en el futuro. Esto permite una mejor sinergia con la forma en que se administran las tablas Iceberg y UniForm y aumenta la compatibilidad con lectores externos no-Delta.
  • [SPARK-54180][SQL] Sobrescribir el toString de BinaryFileFormat
  • [SPARK-50906][SQL] Corrección de la comprobación de nulabilidad de Avro para los campos de estructura reordenados
  • [SPARK-54427][SQL] Permitir que ColumnarRow llame copy con tipos de variante
  • Actualizaciones de seguridad del sistema operativo

• 18 de noviembre de 2025
  • [SPARK-54015][PYTHON] Relajar el requisito de Py4J a py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-52515]“Approx_top_k” usando Apache DataSketches
  • [SPARK-54047][PYTHON] Usar un error de diferencia al terminar el tiempo de espera inactivo
  • [SPARK-54078][SS] Nueva prueba para StateStoreSuite SPARK-40492: maintenance before unload y eliminación de la infraestructura de la prueba anterior
  • [SPARK-54099][SQL] El analizador de variantes XML debe volver a la cadena de caracteres en errores de análisis decimal
  • Actualizaciones de seguridad del sistema operativo

• 4 de noviembre de 2025
  • [SPARK-53972][SS] Corrección de la regresión de la consulta de streaming recentProgress en pyspark clásico
  • [SPARK-53908][CONNECT] Corrección de observaciones en Spark Connect con la caché del plan
  • [SPARK-53973][Avro] Clasificación de errores para fallos de conversión a booleano en AvroOptions
  • Actualizaciones de seguridad del sistema operativo

• 21 de octubre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 7 de octubre de 2025
  • [SPARK-53574] Corrección del borrado de AnalysisContext durante la resolución del plan anidado
  • [SPARK-53549][SS] Cierre siempre el asignador de flecha cuando se complete el proceso de solicitud de estado de lista.
  • [SPARK-53568][CONNECT][PYTHON] Corrección de varios errores pequeños en la lógica de control de errores del cliente python de Spark Connect
  • [SPARK-53625][SS] Propaga las columnas de metadatos a través de proyecciones para resolver la incompatibilidad de "ApplyCharTypePadding"
  • [SPARK-53598][SQL] Compruebe la existencia de numParts antes de leer la propiedad de tabla grande.
  • [SPARK-53623][SQL] mejorar la lectura de propiedades de tabla grande...
  • [SPARK-53555] Corrección: SparkML-connect no puede cargar el modelo guardado de SparkML (modo heredado)
  • [SPARK-53729][PYTHON][CONNECT] Corrección de la serialización de pyspark.sql.connect.window.WindowSpec
  • Actualizaciones de seguridad del sistema operativo

• 16 de septiembre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 9 de septiembre de 2025
  • Se ha corregido un problema que podía provocar que el cargador automático se bloquease indefinidamente.
  • [SPARK-53362] [ML] [CONNECT] Corrección del error del cargador local IDFModel
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible debe evitar interrupciones duplicadas
  • [SPARK-53382][SQL] Corrección del error rCTE con recursividad mal formada
  • [SPARK-53431][PYTHON] Corrección de UDTF de Python con argumentos de tabla con nombre en dataFrame API
  • [SPARK-53336] [ML] [CONNECT] Restablezca MLCache.totalMLCacheSizeBytes cuando se llama a MLCache.clear()
  • [SPARK-49872][CORE] Eliminación de la limitación de longitud de cadena JSON de Jackson
  • Actualizaciones de seguridad del sistema operativo

• 25 de agosto de 2025
  • Bibliotecas de Java actualizadas:
    • io.delta.delta-sharing-client_2.13 de 1.3.3 a 1.3.5
  • [SPARK-52482][SQL][CORE] Mejorar el control de excepciones para leer determinados archivos zstd dañados
  • [SPARK-53192][CONNECT] Almacenar siempre en caché un origen de datos en la caché del plan de Spark Connect
  • Actualizaciones de seguridad del sistema operativo

• 14 de agosto de 2025
  • [SPARK-52833][SQL] Corrección VariantBuilder.appendFloat
  • [SPARK-52961][PYTHON] Corrección del UDTF de Python optimizado para flechas con 0-arg eval en combinación lateral
  • [SPARK-51505][SQL] Mostrar siempre métricas del número de partición que están vacías en AQEShuffleReadExec
  • [SPARK-52753][SQL] Hacer que parseDataType sea compatible con versiones anteriores
  • [SPARK-52842][SQL] Nuevas funcionalidades y correcciones de errores para el analizador de un solo paso
  • [SPARK-52960][SQL] Mostrar cadena de subárbol en LogicalQueryStage toString
  • [SPARK-53054][CONNECT] Corrija la conexión. Comportamiento de formato predeterminado de DataFrameReader
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 17.0

Consulte Databricks Runtime 17.0 (EoS).

• 9 de diciembre de 2025
  • Las tablas Delta con particiones tendrán columnas de partición materializadas en archivos parquet de datos en el futuro. Esto permite una mejor sinergia con la forma en que se administran las tablas Iceberg y UniForm y aumenta la compatibilidad con lectores externos no-Delta.
  • Para el conector de Snowflake y Snowflake Lakehouse Federation, los literales TIMESTAMP_NTZ (marca de tiempo sin zona horaria) ya no se insertan en Snowflake. Este cambio evita errores de consulta causados por un control de marca de tiempo incompatible y mejora la confiabilidad de las consultas afectadas.
  • [SPARK-54427][SQL] Permitir que ColumnarRow llame copy con tipos de variante
  • [SPARK-54180][SQL] Sobrescribir el toString de BinaryFileFormat
  • Actualizaciones de seguridad del sistema operativo

• 18 de noviembre de 2025
  • [SPARK-54099][SQL] El analizador de variantes XML debe volver a la cadena de caracteres en errores de análisis decimal
  • [SPARK-54015][PYTHON] Relajar el requisito de Py4J a py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-54078][SS] Nueva prueba para StateStoreSuite SPARK-40492: maintenance before unload y eliminación de la infraestructura de la prueba anterior
  • [SPARK-54047][PYTHON] Usar un error de diferencia al terminar el tiempo de espera inactivo
  • Actualizaciones de seguridad del sistema operativo

• 4 de noviembre de 2025
  • [SPARK-53908][CONNECT] Corrección de observaciones en Spark Connect con la caché del plan
  • [SPARK-53972][SS] Corrección de la regresión de la consulta de streaming recentProgress en pyspark clásico
  • Actualizaciones de seguridad del sistema operativo

• 21 de octubre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 7 de octubre de 2025
  • [SPARK-53598][SQL] Compruebe la existencia de numParts antes de leer la propiedad de tabla grande.
  • [SPARK-53568][CONNECT][PYTHON] Corrección de varios errores pequeños en la lógica de control de errores del cliente python de Spark Connect
  • [SPARK-53574] Corrección del borrado de AnalysisContext durante la resolución del plan anidado
  • [SPARK-53549][SS] Cierre siempre el asignador de flecha cuando se complete el proceso de solicitud de estado de lista.
  • [SPARK-53623][SQL] mejorar la lectura de propiedades de tabla grande...
  • [SPARK-53729][PYTHON][CONNECT] Corrección de la serialización de pyspark.sql.connect.window.WindowSpec
  • Actualizaciones de seguridad del sistema operativo

• 16 de septiembre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 9 de septiembre de 2025
  • Se ha corregido un problema que podía provocar que el cargador automático se bloquease indefinidamente.
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible debe evitar interrupciones duplicadas
  • [SPARK-53336] [ML] [CONNECT] Restablezca MLCache.totalMLCacheSizeBytes cuando se llama a MLCache.clear()
  • [SPARK-49872][CORE] Eliminación de la limitación de longitud de cadena JSON de Jackson
  • [SPARK-53431][PYTHON] Corrección de UDTF de Python con argumentos de tabla con nombre en dataFrame API
  • [SPARK-53382][SQL] Corrección del error rCTE con recursividad mal formada
  • Actualizaciones de seguridad del sistema operativo

• 26 de agosto de 2025
  • Bibliotecas de Java actualizadas:
    • io.delta.delta-sharing-client_2.13 de 1.3.3 a 1.3.5
  • [SPARK-52482][SQL][CORE] Mejorar el control de excepciones para leer determinados archivos zstd dañados
  • [SPARK-53192][CONNECT] Almacenar siempre en caché un origen de datos en la caché del plan de Spark Connect
  • Actualizaciones de seguridad del sistema operativo

• 14 de agosto de 2025
  • [SPARK-51505][SQL] Mostrar siempre métricas del número de partición que están vacías en AQEShuffleReadExec
  • [SPARK-53054][CONNECT] Corrija la conexión. Comportamiento de formato predeterminado de DataFrameReader
  • [SPARK-52961][PYTHON] Corrección del UDTF de Python optimizado para flechas con 0-arg eval en combinación lateral
  • [SPARK-52833][SQL] Corrección VariantBuilder.appendFloat
  • Actualizaciones de seguridad del sistema operativo

• 29 de julio de 2025
  • [SPARK-51889][PYTHON][SS] Corrección de un error para MapState clear() en Python TWS
  • [SPARK-52753][SQL] Hacer que parseDataType sea compatible con versiones anteriores
  • [SPARK-49428][SQL] Mover el cliente Connect de Scala desde el conector a SQL
  • Actualizaciones de seguridad del sistema operativo

• 15 de julio de 2025
  • Se ha corregido un problema de pérdida de datos no determinista al usar Spark Structured Streaming para transmitir datos desde Pulsar.
  • [SPARK-52430][SQL] Resolver error en la nulabilidad de Union en rCTEs
  • [SPARK-52503][SQL][CONNECT] Corrección drop cuando la columna de entrada no existe
  • [SPARK-52579][PYTHON] Establecimiento del volcado de seguimiento periódico para trabajadores de Python
  • [SPARK-52450] Mejora del rendimiento de la copia profunda de esquema
  • [SPARK-52599][PYTHON] Admite el volcado de seguimiento periódico en los trabajadores del lado del controlador.
  • [SPARK-52553][SS] Corregir NumberFormatException al leer el registro de cambios v1
  • Actualizaciones de seguridad del sistema operativo

• 28 de mayo de 2025
  • Bibliotecas de Python actualizadas:
    • google-auth de la versión 2.40.0 a la versión 2.40.1
    • mlflow-skinny de 2.22.0 a 3.0.0
    • opentelemetry-api de 1.32.1 a 1.33.0
    • opentelemetry-sdk de 1.32.1 a 1.33.0
    • opentelemetry-semantic-conventions de 0.53b1 a 0.54b0
  • Bibliotecas de Java actualizadas:
    • io.delta.delta-sharing-client_2.13 de 1.3.0 a 1.3.3
  • Compatibilidad con la descompresión ZStandard para lectores de orígenes de datos de archivos (json, csv, xml y text).
  • Se ha corregido la limitación de que no se puede usar la función TVF cloud_files_state para leer el estado a nivel de archivo de las tablas de streaming a través de canalizaciones.
  • Corrige problemas de autorización de Unity Catalog para consultas en vistas temporales.
  • Se invirtió el estado de la bandera en 17.0.1, y se implementó la bandera SAFE en todas las áreas de trabajo en 17.0.0.
  • Compatibilidad con delta Sharing para usar la caché de E/S de Parquet de Spark para consultas que usan direcciones URL firmadas previamente (disponibles a partir de la versión 17.0.1).
  • Compatibilidad con la descompresión ZStandard para lectores de orígenes de datos de archivos (json, csv, xml y text).
  • El conector de Teradata pasará ahora un TMODE=ANSI al controlador de forma predeterminada. Esto significa que todas las comparaciones de cadenas realizadas a través de Lakehouse Federation distinguen mayúsculas de minúsculas.
  • [SPARK-51921][SS][PYTHON] Usar el tipo largo para la duración de TTL en milisegundos en transformWithState
  • [SPARK-52259][ML][CONNECT] Corregir la compatibilidad binaria de la clase Param
  • [SPARK-52195][PYTHON][SS] Corrección del problema de eliminación de columnas de estado inicial para Python TWS
  • [SPARK-52057] [ML] [CONNECT] Recopilar mensajes de advertencia de límite de tamaño de árbol y enviar al cliente
  • [SPARK-52051] [ML] [CONNECT] Habilitación del resumen del modelo cuando el control de memoria está habilitado
  • [SPARK-51606][CONNECT] Agregar SPARK_IDENT_STRING al detener el servidor de Spark Connect
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement no debe tener acceso a SQLConf dinámicamente
  • [SPARK-52232][SQL] Corregir consultas no deterministas para generar resultados diferentes en cada paso
  • [SPARK-52013] [CONNECT] [ML] Eliminar SparkConnectClient.ml_caches
  • [SPARK-52353][SQL] Corrección del error con restricciones incorrectas en LogicalRDD que hacen referencia a iteraciones anteriores en UnionLoop
  • [SPARK-52130] [ML] [CONNECT] Refinar el mensaje de error y ocultar la configuración interna de Spark
  • [SPARK-52470][ML][CONNECT] Descarga de resumen del modelo de soporte técnico
  • [SPARK-51935][SQL] Corregir el comportamiento diferido de los iteradores en la función df.collect() cuando es interpretada
  • [SPARK-52482][SQL][CORE] Compatibilidad con ZStandard para el lector de orígenes de datos de archivos
  • [SPARK-52159][SQL] Gestionar adecuadamente la verificación de la existencia de tablas para dialectos JDBC
  • [SPARK-52010] No generar documentos de API para clases internas
  • [SPARK-52049] Corrección del error que los atributos XML no se pueden analizar como Variant
  • [SPARK-52312][SQL] Omitir V2WriteCommand al almacenar en caché el DataFrame
  • [SPARK-52229][ML][CONNECT] Mejorar la estimación del tamaño del modelo
  • [SPARK-50815][PYTHON] Corregir la conversión de datos locales Variant a Arrow
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference debe conservar el identificador del plan.
  • [SPARK-51981][SS] Agregar JobTags a queryStartedEvent
  • [FIX REVERT][spark-52100]](https://issues.apache.org/jira/browse/SPARK-52100)[SQL] Habilitar la invalidación del límite de nivel de recursividad en la sintaxis
  • [SPARK-52101][SQL] Deshabilitar el forzamiento en línea para rCTEs
  • [SPARK-52099][SQL] Habilitar la invalidación del límite de filas de recursividad agregando un LIMIT operador
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 16.3

Consulte Databricks Runtime 16.3 (EoS).

• 16 de septiembre de 2025
  • El conector snowflake ahora usa la INFORMATION_SCHEMA tabla en lugar del SHOW SCHEMAS comando para enumerar esquemas. Este cambio quita el límite de 10 000 esquemas del enfoque anterior y mejora la compatibilidad con las bases de datos con un gran número de esquemas.
  • Actualizaciones de seguridad del sistema operativo

• 9 de septiembre de 2025
  • Se ha corregido un problema que podía provocar que el cargador automático se bloquease indefinidamente.
  • Se ha corregido un error transitorio en Auto Loader que puede hacer que los trabajos fallen.
  • [SPARK-51821][CORE] Llamada a interrupt() sin mantener uninterruptibleLock para evitar posibles interbloqueos
  • [SPARK-49872][CORE] Eliminación de la limitación de longitud de cadena JSON de Jackson
  • Actualizaciones de seguridad del sistema operativo

• 26 de agosto de 2025
  • [SPARK-52482][SQL][CORE] Mejorar el control de excepciones para leer determinados archivos zstd dañados
  • [SPARK-53192][CONNECT] Almacenar siempre en caché un origen de datos en la caché del plan de Spark Connect
  • Actualizaciones de seguridad del sistema operativo

• 14 de agosto de 2025
  • [SPARK-51011][CORE] Agregar registro para si se interrumpirá una tarea cuando se mate
  • Actualizaciones de seguridad del sistema operativo

• 29 de julio de 2025
  • Actualizaciones de seguridad del sistema operativo

• 15 de julio de 2025
  • Se ha corregido un problema de pérdida de datos no determinista al usar Spark Structured Streaming para transmitir datos desde Pulsar.
  • [SPARK-52553][SS] Corregir NumberFormatException al leer el registro de cambios v1
  • Actualizaciones de seguridad del sistema operativo

• 1 de julio de 2025
  • Compatibilidad con la descompresión ZStandard para lectores de orígenes de datos de archivos (json, csv, xml y text).
  • [SPARK-52482][SQL][CORE] Compatibilidad con ZStandard para el lector de orígenes de datos de archivos
  • [SPARK-52312][SQL] Omitir V2WriteCommand al almacenar en caché el DataFrame
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement no debe tener acceso a SQLConf dinámicamente
  • Actualizaciones de seguridad del sistema operativo

• 17 de junio de 2025
  • Se ha corregido la limitación de que la función con valores de tabla cloud_files_state (TVF) no se podía usar para leer el estado de archivo de las tablas de flujos en las canalizaciones.
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference debe conservar el identificador del plan.
  • Actualizaciones de seguridad del sistema operativo

• 3 de junio de 2025
  • Bibliotecas de Python actualizadas:
    • criptografía de 41.0.7, 41.0.7, 42.0.5 a 42.0.5
    • empaquetado de 24.0, 24.1 a 24.1
    • Se ha actualizado platformdirs de las versiones 3.10.0 y 4.2.2 a 3.10.0.
    • pyparsing desde 3.0.9, 3.1.1 hasta 3.0.9
    • Se ha agregado autocommand 2.2.2
    • Se ha agregado backports.tarfile 1.2.0
    • Se ha agregado importlib_resources 6.4.0
    • Se ha agregado la versión 7.3.1 de Inflect.
    • Se ha agregado jaraco.context 5.3.0
    • Se añadió jaraco.functools 4.0.1
    • Se ha agregado jaraco.text 3.12.1
    • Se ha agregado el paquete more-itertools 10.3.0
    • Se ha agregado pip 24.2
    • Se han agregado setuptools 74.0.0
    • Se agregó tomli 2.0.1
    • Se ha agregado typeguard 4.3.0
    • Se agregó wcwidth 0.2.5
    • Se agregó la rueda 0.43.0
    • Eliminada la distribución 1.9.0
    • Se eliminó distro-info 1.7+build1
    • Se eliminó python-apt 2.7.7+ubuntu4
  • [SPARK-52195][PYTHON][SS] Corrección del problema de eliminación de columnas de estado inicial para Python TWS
  • [SPARK-52159][SQL] Gestionar adecuadamente la verificación de la existencia de tablas para dialectos JDBC
  • Actualizaciones de seguridad del sistema operativo

• 20 de mayo de 2025
  • Bibliotecas de Java actualizadas:
    • io.delta.delta-sharing-client_2.12 de 1.2.6 a 1.2.7
    • org.apache.avro.avro de 1.11.3 a 1.11.4
    • org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
    • org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
  • La sesión clonada de streaming se usará dentro de la función de usuario foreachBatch en Clústeres compartidos o sin servidor. Esto se alinea con el comportamiento de los clústeres clásicos (clústeres asignados).
  • La sesión clonada de streaming se usará dentro de la función de usuario foreachBatch en Clústeres compartidos o sin servidor. Esto se alinea con el comportamiento de los clústeres clásicos (clústeres asignados).
  • Antes de este cambio, los espacios en blanco iniciales y las pestañas en las rutas de acceso de la variant_get expresión se omitían con Photon deshabilitado. Por ejemplo, select variant_get(parse_json('{"key": "value"}'), '$['key']') no sería eficaz al extraer el valor de "key". Sin embargo, los usuarios podrán extraer estas claves ahora.
  • [SPARK-51921][SS][PYTHON] Usar el tipo largo para la duración de TTL en milisegundos en transformWithState
  • [SPARK-51935][SQL] Corregir el comportamiento diferido de los iteradores en la función df.collect() cuando es interpretada
  • Actualizaciones de seguridad del sistema operativo

• 22 de abril de 2025
  • El seguimiento de esquemas delta mostrará los errores de evolución del esquema con DELTA_STREAMING_CANNOT_CONTINUE_PROCESSING_POST_SCHEMA_EVOLUTION en lugar de DELTA_STREAMING_CANNOT_CONTINUE_PROCESSING_TYPE_WIDENING para ser coherente con otras excepciones de cambio de esquema no aditivos.
  • [SPARK-51589][SQL] Corrección de errores pequeños que no comprueban las funciones agregadas en |>SELECT
  • [SPARK-51645][SQL] Corregir CREATE OR REPLACE TABLE ... DEFAULT COLLATION ... consulta
  • Revertir "[SPARK-47895][SQL] Agrupar por alias debe ser idempotente" en 15.4, 16.0, 16.1, 16.2 y 16.3
  • [SPARK-51717][SS][RocksDB] Corregir daños de coincidencia de SST que pueden producirse para la segunda instantánea creada para una nueva consulta

• 26 de marzo de 2025
  • [SPARK-51624][SQL] Propagación de metadatos GetStructField en CreateNamedStruct.dataType
  • [SPARK-51505][SQL] Registrar métricas de número de partición vacías en AQE fusionar
  • [SPARK-47895][SQL] la agrupación por alias debe ser idempotente
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 16.2

Consulte Databricks Runtime 16.2 (EoS).

• 14 de agosto de 2025
  • [SPARK-51011][CORE] Agregar registro para si se interrumpirá una tarea cuando se mate
  • Actualizaciones de seguridad del sistema operativo

• 29 de julio de 2025
  • Actualizaciones de seguridad del sistema operativo

• 15 de julio de 2025
  • Se ha corregido un problema de pérdida de datos no determinista al usar Spark Structured Streaming para transmitir datos desde Pulsar.
  • [SPARK-52553][SS] Corregir NumberFormatException al leer el registro de cambios v1
  • Actualizaciones de seguridad del sistema operativo

• 1 de julio de 2025
  • Compatibilidad con la descompresión ZStandard para lectores de orígenes de datos de archivos (json, csv, xml y text).
  • Compatibilidad con la descompresión ZStandard para lectores de orígenes de datos de archivos (json, csv, xml y text).
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement no debe tener acceso a SQLConf dinámicamente
  • [SPARK-52312][SQL] Omitir V2WriteCommand al almacenar en caché el DataFrame
  • [SPARK-52482][SQL][CORE] Compatibilidad con ZStandard para el lector de orígenes de datos de archivos
  • Actualizaciones de seguridad del sistema operativo

• 17 de junio de 2025
  • Se ha corregido la limitación de que la función con valores de tabla cloud_files_state (TVF) no se podía usar para leer el estado de archivo de las tablas de flujos en las canalizaciones.
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference debe conservar el identificador del plan.
  • Actualizaciones de seguridad del sistema operativo

• 3 de junio de 2025
  • Bibliotecas de Python actualizadas:
    • criptografía de 41.0.7, 41.0.7, 42.0.5 a 42.0.5
    • empaquetado de 24.0, 24.1 a 24.1
    • Se ha actualizado platformdirs de las versiones 3.10.0 y 4.2.2 a 3.10.0.
    • pyparsing desde 3.0.9, 3.1.1 hasta 3.0.9
    • Se ha agregado autocommand 2.2.2
    • Se ha agregado backports.tarfile 1.2.0
    • Se ha agregado importlib_resources 6.4.0
    • Se ha agregado la versión 7.3.1 de Inflect.
    • Se ha agregado jaraco.context 5.3.0
    • Se añadió jaraco.functools 4.0.1
    • Se ha agregado jaraco.text 3.12.1
    • Se ha agregado el paquete more-itertools 10.3.0
    • Se ha agregado pip 24.2
    • Se han agregado setuptools 74.0.0
    • Se agregó tomli 2.0.1
    • Se ha agregado typeguard 4.3.0
    • Se agregó wcwidth 0.2.5
    • Se agregó la rueda 0.43.0
    • Eliminada la distribución 1.9.0
    • Se eliminó distro-info 1.7+build1
    • Se eliminó python-apt 2.7.7+ubuntu4
  • [SPARK-52159][SQL] Gestionar adecuadamente la verificación de la existencia de tablas para dialectos JDBC
  • [SPARK-52195][PYTHON][SS] Corrección del problema de eliminación de columnas de estado inicial para Python TWS
  • Actualizaciones de seguridad del sistema operativo

• 20 de mayo de 2025
  • Bibliotecas de Java actualizadas:
    • io.delta.delta-sharing-client_2.12 de 1.2.6 a 1.2.7
    • org.apache.avro.avro de 1.11.3 a 1.11.4
    • org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
    • org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
  • La sesión clonada de streaming se usará dentro de la función de usuario foreachBatch en Clústeres compartidos o sin servidor. Esto se alinea con el comportamiento de los clústeres clásicos (clústeres asignados).
  • La sesión clonada de streaming se usará dentro de la función de usuario foreachBatch en Clústeres compartidos o sin servidor. Esto se alinea con el comportamiento de los clústeres clásicos (clústeres asignados).
  • Antes de este cambio, los espacios en blanco iniciales y las pestañas en las rutas de acceso de la variant_get expresión se omitían con Photon deshabilitado. Por ejemplo, select variant_get(parse_json('{"key": "value"}'), '$[' key']') no sería eficaz al extraer el valor de "key". Sin embargo, los usuarios podrán extraer estas claves ahora.
  • [SPARK-51935][SQL] Corregir el comportamiento diferido de los iteradores en la función df.collect() cuando es interpretada
  • [SPARK-51921][SS][PYTHON] Usar el tipo largo para la duración de TTL en milisegundos en transformWithState
  • Actualizaciones de seguridad del sistema operativo

• 22 de abril de 2025
  • [SPARK-51717][SS][RocksDB] Corregir daños de coincidencia de SST que pueden producirse para la segunda instantánea creada para una nueva consulta
  • Revertir "[SPARK-47895][SQL] Agrupar por alias debe ser idempotente" en 15.4, 16.0, 16.1, 16.2 y 16.3
  • Actualizaciones de seguridad del sistema operativo

• 9 de abril de 2025

  • Bibliotecas de Java actualizadas:
    • Se ha eliminado io.starburst.openjson.openjson 1.8-e.12
    • Se quitó io.starburst.openx.data.json-serde 1.3.9-e.12
    • Se quitó io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-47895][SQL] la agrupación por alias debe ser idempotente
  • [SPARK-51505][SQL] Registrar métricas de número de partición vacías en AQE fusionar
  • [SPARK-51624][SQL] Propagación de metadatos GetStructField en CreateNamedStruct.dataType
  • [SPARK-51589][SQL] Corrección de errores pequeños que no comprueban las funciones agregadas en |>SELECT
  • Actualizaciones de seguridad del sistema operativo

• 11 de marzo de 2025

  • Databricks Runtime 14.3 LTS y versiones posteriores incluyen una corrección para un problema que provocó incompatibilidades binarias con código que instanciaba una clase SparkListenerApplicationEnd y se compilaba contra Apache Spark. Esta incompatibilidad resultó de combinar SPARK-46399 en Apache Spark. Esta combinación incluía un cambio que agregaba un argumento predeterminado al SparkListenerApplicationEnd constructor. Para restaurar la compatibilidad binaria, esta corrección agrega un único constructor de argumentos a la SparkListenerApplicationEnd clase .
  • Revertir "[SPARK-48273][SQL] Corregir la reescritura tardía de PlanWithUnresolvedIdentifier"
  • [SPARK-50985][SS] Clasificar el error de desajuste de los desplazamientos de la marca de tiempo de Kafka en lugar de afirmar y generar un error por servidor faltante en KafkaTokenProvider
  • [SPARK-51065][SQL] No permitir esquemas que no aceptan valores NULL cuando se usa la codificación Avro para TransformWithState
  • [SPARK-51237][SS] Agregar detalles de API para las nuevas API auxiliares transformWithState según sea necesario
  • [SPARK-51222][SQL] Optimizar ReplaceCurrentLike
  • [SPARK-51351][SS] No materialice la salida en el trabajo de Python para TWS
  • [SPARK-51084][SQL] Asignar la clase de error adecuada para negativeScaleNotAllowedError
  • [SPARK-51249][SS] Corregir codificación NoPrefixKeyStateEncoder y Avro para usar el número correcto de bytes de versión
  • Actualizaciones de seguridad del sistema operativo

• 5 de febrero de 2025

  • Esta versión incluye una corrección para un problema que afecta a la conversión de determinados tipos de datos al serializar columnas de datos XML recuperadas. Los tipos de datos afectados son fechas, marcas de tiempo que no son NTZ y decimales cuando prefersDecimal está habilitado. Para obtener más información sobre la columna de datos rescatados, consulte ¿Qué es la columna de datos rescatados?.
  • [SPARK-50770][SS] Eliminación del ámbito de paquete para las API del operador transformWithState
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 16.1

Consulte Databricks Runtime 16.1 (EoS).

• 12 de agosto de 2025
  • Actualizaciones de seguridad del sistema operativo

• 29 de julio de 2025

  • Actualizaciones de seguridad del sistema operativo

• 15 de julio de 2025

  • Actualizaciones de seguridad del sistema operativo

• 1 de julio de 2025

  • Compatibilidad con la descompresión ZStandard para lectores de orígenes de datos de archivos (json, csv, xml y text).
  • [SPARK-52482][SQL][CORE] Compatibilidad con ZStandard para el lector de orígenes de datos de archivos
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement no debe tener acceso a SQLConf dinámicamente
  • [SPARK-52312][SQL] Omitir V2WriteCommand al almacenar en caché el DataFrame
  • Actualizaciones de seguridad del sistema operativo

• 17 de junio de 2025

  • Se ha corregido la limitación de que la función con valores de tabla cloud_files_state (TVF) no se podía usar para leer el estado de archivo de las tablas de flujos en las canalizaciones.
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference debe conservar el identificador del plan.
  • Actualizaciones de seguridad del sistema operativo

• 3 de junio de 2025
  • Bibliotecas de Python actualizadas:
    • criptografía de 41.0.7, 41.0.7, 42.0.5 a 42.0.5
    • empaquetado de 24.0, 24.1 a 24.1
    • Se ha actualizado platformdirs de las versiones 3.10.0 y 4.2.2 a 3.10.0.
    • pyparsing desde 3.0.9, 3.1.1 hasta 3.0.9
    • Se ha agregado autocommand 2.2.2
    • Se ha agregado backports.tarfile 1.2.0
    • Se ha agregado importlib_resources 6.4.0
    • Se ha agregado la versión 7.3.1 de Inflect.
    • Se ha agregado jaraco.context 5.3.0
    • Se añadió jaraco.functools 4.0.1
    • Se ha agregado jaraco.text 3.12.1
    • Se ha agregado el paquete more-itertools 10.3.0
    • Se ha agregado pip 24.2
    • Se han agregado setuptools 74.0.0
    • Se agregó tomli 2.0.1
    • Se ha agregado typeguard 4.3.0
    • Se agregó wcwidth 0.2.5
    • Se agregó la rueda 0.43.0
    • Eliminada la distribución 1.9.0
    • Se eliminó distro-info 1.7+build1
    • Se eliminó python-apt 2.7.7+ubuntu4
  • Bibliotecas de Java actualizadas:
    • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-natives a 1.1, 1.1
    • com.github.fommil.netlib.native_system-java de 1.1, 1.1-natives a 1.1, 1.1
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives a 1.1
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-natives a 1.1
    • io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16, 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 a 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
    • io.netty.netty-transport-native-epoll de 4.1.108.Final, 4.1.108.Final-linux-aarch_64, 4.1.108.Final-linux-riscv64, 4.1.108.Final-linux-x86_64 a 4.1.108.Final, 4.1.108.Final, 4.1.108.Final, 4.1.108.Final
    • io.netty.netty-transport-native-kqueue de 4.1.108.Final-osx-aarch_64, 4.1.108.Final-osx-x86_64 a 4.1.108.Final, 4.1.108.Final
    • org.apache.orc.orc-core de 1.9.2-shaded-protobuf a 1.9.2
    • org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf a 1.9.2
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider de la versión 2.4.1-linux-x86_64 a la versión 2.4.1
  • [SPARK-52159][SQL] Gestionar adecuadamente la verificación de la existencia de tablas para dialectos JDBC
  • Actualizaciones de seguridad del sistema operativo

• 20 de mayo de 2025
  • Bibliotecas de Java actualizadas:
    • io.delta.delta-sharing-client_2.12 de 1.2.5 a 1.2.7
    • org.apache.avro.avro de 1.11.3 a 1.11.4
    • org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
    • org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
  • La sesión clonada de streaming se usará dentro de la función de usuario foreachBatch en Clústeres compartidos o sin servidor. Esto se alinea con el comportamiento de los clústeres clásicos (clústeres asignados).
  • Antes de este cambio, los espacios en blanco iniciales y las pestañas en las rutas de acceso de la variant_get expresión se omitían con Photon deshabilitado. Por ejemplo, select variant_get(parse_json('{"key": "value"}'), '$['key']') no sería eficaz al extraer el valor de "key". Sin embargo, los usuarios podrán extraer estas claves ahora.
  • [SPARK-51935][SQL] Corregir el comportamiento diferido de los iteradores en la función df.collect() cuando es interpretada
  • Actualizaciones de seguridad del sistema operativo

• 22 de abril de 2025
  • Revertir "[SPARK-47895][SQL] Agrupar por alias debe ser idempotente" en 15.4, 16.0, 16.1, 16.2 y 16.3
  • [SPARK-50682][SQL] El alias interno debe ser canónico
  • [SPARK-51717][SS][RocksDB] Corregir daños de coincidencia de SST que pueden producirse para la segunda instantánea creada para una nueva consulta
  • Actualizaciones de seguridad del sistema operativo

• 9 de abril de 2025
  • Bibliotecas de Java actualizadas:
    • Se ha eliminado io.starburst.openjson.openjson 1.8-e.12
    • Se quitó io.starburst.openx.data.json-serde 1.3.9-e.12
    • Se quitó io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-51505][SQL] Registrar métricas de número de partición vacías en AQE fusionar
  • [SPARK-51624][SQL] Propagación de metadatos GetStructField en CreateNamedStruct.dataType
  • [SPARK-47895][SQL] la agrupación por alias debe ser idempotente
  • Actualizaciones de seguridad del sistema operativo

• 11 de marzo de 2025
  • Databricks Runtime 14.3 LTS y versiones posteriores incluyen una corrección para un problema que provocó incompatibilidades binarias con código que instanciaba una clase SparkListenerApplicationEnd y se compilaba contra Apache Spark. Esta incompatibilidad resultó de combinar SPARK-46399 en Apache Spark. Esta combinación incluía un cambio que agregaba un argumento predeterminado al SparkListenerApplicationEnd constructor. Para restaurar la compatibilidad binaria, esta corrección agrega un único constructor de argumentos a la SparkListenerApplicationEnd clase .
  • [SPARK-51084][SQL] Asignar la clase de error adecuada para negativeScaleNotAllowedError
  • Revertir [SPARK-48273][SQL] Corregir la reescritura tardía de PlanWithUnresolvedIdentifier
  • [SPARK-51222][SQL] Optimizar ReplaceCurrentLike
  • [SPARK-50985][SS] Clasificar el error de desajuste de los desplazamientos de la marca de tiempo de Kafka en lugar de afirmar y generar un error por servidor faltante en KafkaTokenProvider
  • [SPARK-50791][SQL] Corregir NPE en el control de errores del Almacén de estado
  • Actualizaciones de seguridad del sistema operativo

• 11 de febrero de 2025
  • Esta versión incluye una corrección para un problema que afecta a la conversión de determinados tipos de datos al serializar columnas de datos XML recuperadas. Los tipos de datos afectados son fechas, marcas de tiempo que no son NTZ y decimales cuando prefersDecimal está habilitado. Para obtener más información sobre la columna de datos rescatados, consulte ¿Qué es la columna de datos rescatados?.
  • [SPARK-50492][SS] Corregir java.util.NoSuchElementException cuando se elimina la columna de tiempo del evento después de aplicar dropDuplicatesWithinWatermark.
  • Actualizaciones de seguridad del sistema operativo

• 27 de noviembre de 2024
  • Esta versión incluye una corrección para un problema que podría hacer que la clave principal de una tabla Delta se eliminara en ciertos casos límite relacionados con la compactación automática en segundo plano.
  • Esta versión incluye una corrección para un problema que afecta a la conversión de determinados tipos de datos al serializar columnas de datos XML recuperadas. Los tipos de datos afectados son fechas, marcas de tiempo que no son NTZ y decimales cuando prefersDecimal está habilitado. Para obtener más información sobre la columna de datos rescatados, consulte ¿Qué es la columna de datos rescatados?.
  • Con esta versión, el tamaño de caché usado por un SSD en un nodo de proceso de Databricks se expande dinámicamente al tamaño inicial del SSD y se reduce cuando sea necesario, hasta el spark.databricks.io.cache.maxDiskUsage límite. Consulte Optimización del rendimiento con el almacenamiento en caché en Azure Databricks.
  • [SPARK-50338][CORE] Hacer que las excepciones de LazyTry sean menos verbosas
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 16.0

Consulte Databricks Runtime 16.0 (EoS).

• 22 de abril de 2025
  • Revertir "[SPARK-47895][SQL] Agrupar por alias debe ser idempotente" en 15.4, 16.0, 16.1, 16.2 y 16.3
  • Actualizaciones de seguridad del sistema operativo

• 9 de abril de 2025
  • Bibliotecas de Java actualizadas:
    • Se ha eliminado io.starburst.openjson.openjson 1.8-e.12
    • Se quitó io.starburst.openx.data.json-serde 1.3.9-e.12
    • Se quitó io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-47895][SQL] la agrupación por alias debe ser idempotente
  • [SPARK-51624][SQL] Propagación de metadatos GetStructField en CreateNamedStruct.dataType
  • Actualizaciones de seguridad del sistema operativo

• 11 de marzo de 2025
  • Databricks Runtime 14.3 y versiones posteriores incluyen una corrección para un problema que provocó incompatibilidades binarias con código que creó una instancia de una clase SparkListenerApplicationEnd y se compiló contra Apache Spark. Esta incompatibilidad resultó de combinar SPARK-46399 en Apache Spark. Esta combinación incluía un cambio que agregaba un argumento predeterminado al SparkListenerApplicationEnd constructor. Para restaurar la compatibilidad binaria, esta corrección agrega un único constructor de argumentos a la SparkListenerApplicationEnd clase .
  • [SPARK-51084][SQL] Asignar la clase de error adecuada para negativeScaleNotAllowedError
  • [SPARK-51222][SQL] Optimizar ReplaceCurrentLike
  • [SPARK-50985][SS] Clasificar el error de desajuste de los desplazamientos de la marca de tiempo de Kafka en lugar de afirmar y generar un error por servidor faltante en KafkaTokenProvider
  • [SPARK-50791][SQL] Corregir NPE en el control de errores del Almacén de estado
  • Actualizaciones de seguridad del sistema operativo

• 11 de febrero de 2025
  • Esta versión incluye una corrección para un problema que afecta a la conversión de determinados tipos de datos al serializar columnas de datos XML recuperadas. Los tipos de datos afectados son fechas, marcas de tiempo que no son NTZ y decimales cuando prefersDecimal está habilitado. Para obtener más información sobre la columna de datos rescatados, consulte ¿Qué es la columna de datos rescatados?.
  • [SPARK-50705][SQL] Convertir QueryPlan en libre de bloqueo
  • [SPARK-50492][SS] Corregir java.util.NoSuchElementException cuando se elimina la columna de tiempo del evento después de aplicar dropDuplicatesWithinWatermark.
  • Actualizaciones de seguridad del sistema operativo

• 4 de diciembre de 2024
  • La instrucción USE CATALOG ahora admite la cláusula IDENTIFIER. Con esta compatibilidad, puede parametrizar el catálogo actual en función de una variable de cadena o un marcador de parámetro.
  • Esta versión incluye una corrección para un problema que podría hacer que la clave principal de una tabla Delta se eliminara en ciertos casos límite relacionados con la compactación automática en segundo plano.
  • Con esta versión, el tamaño de caché usado por un SSD en un nodo de proceso de Databricks se expande dinámicamente al tamaño inicial del SSD y se reduce cuando sea necesario, hasta el spark.databricks.io.cache.maxDiskUsage límite. Consulte Optimización del rendimiento con el almacenamiento en caché en Azure Databricks.
  • [SPARK-50322][SQL] Corrección del identificador con parámetros en una subconsulta
  • [SPARK-50034][CORE] Corrección de la clasificación incorrecta de errores fatales como excepciones no detectadas en SparkUncaughtExceptionHandler
  • [SPARK-47435][SQL] Corrección del problema de desbordamiento de MySQL UNSIGNED TINYINT
  • [SPARK-49757][SQL] Compatibilidad con la expresión IDENTIFIER en la instrucción SETCATALOG
  • [SPARK-50426][PYTHON] Evitar la búsqueda estática de orígenes de datos de Python al usar orígenes de datos integrados o Java
  • [SPARK-50338][CORE] Hacer que las excepciones de LazyTry sean menos verbosas
  • Actualizaciones de seguridad del sistema operativo
• 10 de diciembre de 2024
  • (cambio importante) En Databricks Runtime 15.4 y versiones posteriores, el control de expresiones regulares en Photon se actualiza para que coincida con el comportamiento del control de expresiones regulares de Apache Spark. Anteriormente, las funciones de expresión regular ejecutadas por Photon, como split() y regexp_extract(), aceptaron algunas expresiones regulares rechazadas por el analizador de Spark. Para mantener la coherencia con Apache Spark, ahora las consultas de Photon fallarán para las expresiones regulares que Spark considere inválidas. Debido a este cambio, es posible que vea errores si el código de Spark incluye expresiones regulares no válidas. Por ejemplo, la expresión split(str_col, '{'), que contiene una llave no coincidente y que Photon aceptaba anteriormente, ahora falla. Para corregir esta expresión, puede escapar el carácter de llave: split(str_col, '\\{'). El comportamiento de Photon y Spark también difiere para algunas expresiones regulares que coinciden con caracteres no ASCII. Esto también se actualiza para que Photon coincida con el comportamiento de Apache Spark.
  • Con esta versión, ahora puede consultar la función vector_search mediante query_text para la entrada de texto o query_vector para insertar entradas.
  • Ahora puede establecer un tiempo de espera para las consultas de Spark Connect mediante la propiedad de configuración de Spark spark.databricks.execution.timeout. En el caso de los cuadernos que se ejecutan en proceso sin servidor, el valor predeterminado es 9000 (segundos). Los trabajos que se ejecutan en computación sin servidor y computación con modo de acceso estándar no tienen un tiempo de espera a menos que se establezca esta propiedad de configuración. Una ejecución que dura más tiempo que el tiempo de espera especificado produce un error de QUERY_EXECUTION_TIMEOUT_EXCEEDED.
  • [SPARK-49843][SQL] Corrección del comentario de cambio en las columnas char/varchar
  • [SPARK-49924][SQL] Mantener containsNull después del reemplazo de ArrayCompact
  • [SPARK-49782][SQL] La regla ResolveDataFrameDropColumns resuelve UnresolvedAttribute con salida secundaria
  • [SPARK-48780][SQL] Hacer que los errores en NamedParametersSupport sean genéricos para manejar funciones y procedimientos.
  • [SPARK-49876][CONNECT] Deshacerse de bloqueos globales del servicio Spark Connect
  • [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio desde AQE
  • [SPARK-49615] Corrección de error: Asegurar que la validación del esquema de columnas ML sea conforme con la configuración de spark spark.sql.caseSensitive
  • [SPARK-48782][SQL] Agregar compatibilidad para ejecutar procedimientos en catálogos
  • [SPARK-49863][SQL] Corrección de NormalizeFloatingNumbers para conservar la nulabilidad de las estructuras anidadas
  • [SPARK-49829] Revise la optimización para agregar la entrada al almacén de estado en la combinación flujo a flujo (corrección)
  • Se ha revertido "[SPARK-49002][SQL] Controlar constantemente ubicaciones no válidas en WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY"
  • [SPARK-50028][CONNECT] Reemplazo de bloqueos globales en el servidor de escucha de Spark Connect con bloqueos específicos
  • [SPARK-49615] [ML] Hacer que todos los transformadores de características de ML realicen la validación del esquema del conjunto de datos conforme con la configuración "spark.sql.caseSensitive".
  • [SPARK-50124][SQL] LIMIT/OFFSET debe conservar la ordenación de datos
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 15.3

Consulte Databricks Runtime 15.3 (EoS).

• 26 de noviembre de 2024
  • Con esta versión, ahora puede consultar la función vector_search mediante query_text para la entrada de texto o query_vector para insertar entradas.
  • Actualizaciones de seguridad del sistema operativo
• 5 de noviembre de 2024
  • [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio desde AQE
  • [SPARK-49867][SQL] Mejorar el mensaje de error cuando el índice excede los límites al llamar a GetColumnByOrdinal
  • [SPARK-48843][15.3,15.2] Impedir bucle infinito con BindParameters
  • [SPARK-49829] Revise la optimización para agregar la entrada al almacén de estado en la combinación flujo a flujo (corrección)
  • [SPARK-49863][SQL] Corrección de NormalizeFloatingNumbers para conservar la nulabilidad de las estructuras anidadas
  • [SPARK-49782][SQL] La regla ResolveDataFrameDropColumns resuelve UnresolvedAttribute con salida secundaria
  • [SPARK-46632][SQL] Corrección de la eliminación de subexpresión cuando las expresiones ternarias equivalentes tienen distintos elementos secundarios
  • Actualizaciones de seguridad del sistema operativo
• 22 de octubre de 2024
  • [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio desde AQE
  • [SPARK-49867][SQL] Mejorar el mensaje de error cuando el índice excede los límites al llamar a GetColumnByOrdinal
  • [SPARK-48843][15.3,15.2] Impedir bucle infinito con BindParameters
  • [SPARK-49829] Revise la optimización para agregar la entrada al almacén de estado en la combinación flujo a flujo (corrección)
  • [SPARK-49863][SQL] Corrección de NormalizeFloatingNumbers para conservar la nulabilidad de las estructuras anidadas
  • [SPARK-49782][SQL] La regla ResolveDataFrameDropColumns resuelve UnresolvedAttribute con salida secundaria
  • [SPARK-46632][SQL] Corrección de la eliminación de subexpresión cuando las expresiones ternarias equivalentes tienen distintos elementos secundarios
  • Actualizaciones de seguridad del sistema operativo
• 10 de octubre de 2024
  • [SPARK-49688][CONNECT] Corrección de una carrera de datos entre interrupción y ejecución del plan
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr no debe cambiar los campos del esquema al eliminar GetArrayStructFields
  • [BACKPORT] [SPARK-49474][SS] Clasificar la clase de error para la función de usuario FlatMapGroupsWithState
  • Actualizaciones de seguridad del sistema operativo
• 25 de septiembre de 2024
  • [SPARK-49492][CONNECT] Intento de nueva asociación en un ExecutionHolder inactivo
  • [SPARK-49628][SQL] ConstantFolding debe copiar una expresión con estado antes de realizar la evaluación
  • [SPARK-49000][SQL] Se ha corregido "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
  • [SPARK-49458][CONNECT][PYTHON] Proporcionar el identificador de sesión del lado del servidor a través de ReattachExecute
  • [SPARK-48719][SQL] Corrección del error de cálculo de RegrSlope y RegrIntercept cuando el primer parámetro es NULL
  • Actualizaciones de seguridad del sistema operativo
• 17 de septiembre de 2024
  • [SPARK-49336][CONNECT] Limitar el nivel de anidamiento al truncar un mensaje protobuf
  • [SPARK-49526][CONNECT][15.3.5] Compatibilidad con rutas de acceso de estilo Windows en ArtifactManager
  • [SPARK-49366][CONNECT] Tratar el nodo Union como hoja en la resolución de columnas del dataframe
  • [SPARK-43242][CORE] Se ha corregido el error "Tipo inesperado de BlockId" en diagnóstico de datos aleatorios corruptos
  • [SPARK-49409][CONNECT] Ajustar el valor predeterminado de CONNECT_SESSION_PLAN_CACHE_SIZE
  • Actualizaciones de seguridad del sistema operativo
• 29 de agosto de 2024
  • [SPARK-49263][CONNECT] Cliente python de Spark Connect: controlar de forma constante las opciones del lector de Dataframes booleanos
  • [SPARK-49056][SQL] ErrorClassesJsonReader no puede controlar null correctamente
  • [SPARK-48862][PYTHON][CONNECT] Se evita llamar a _proto_to_string cuando el nivel INFO no está habilitado
  • [SPARK-49146][SS] Mover los errores de aserción relacionados con la ausencia de marca de agua en las consultas de streaming en modo de anexión al marco de errores
• 14 de agosto de 2024
  • [SPARK-48941][SPARK-48970] Correcciones en el lector y escritor de ML de Backport
  • [SPARK-48706][PYTHON] El UDF de Python en funciones de orden superior no debe producir un error interno
  • [SPARK-48954] try_mod() reemplaza try_remainder()
  • [SPARK-48597][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
  • [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
  • [SPARK-49047][PYTHON] [CONNECT] Truncar el mensaje para el registro
  • [SPARK-48740][SQL] Error de especificación de ventana que falta al principio
• 1 de agosto de 2024
  • [Cambio importante] En Databricks Runtime 15.3 y versiones posteriores, llamar a cualquier función definida por el usuario (UDF) de Python, función de agregado definida por el usuario (UDAF) o función de tabla definida por el usuario (UDTF) que usa un tipo de VARIANT como argumento o valor devuelto, produce una excepción. Este cambio se realiza para evitar problemas que pueden producirse debido a un valor no válido devuelto por una de estas funciones. Para obtener más información sobre el tipo VARIANT, consulta Uso de VARIANT para almacenar datos semiestructurados.
  • En el proceso sin servidor para blocs de notas y trabajos, el modo SQL ANSI está habilitado de forma predeterminada. Consulte Parámetros de configuración de Spark admitidos.
  • La salida de una instrucción SHOW CREATE TABLE ahora incluye todos los filtros de fila o máscaras de columna definidos en una vista materializada o una tabla de streaming. Vea SHOW CREATE TABLE. Para obtener información sobre los filtros de fila y las máscaras de columna, consulte Filtros de fila y máscaras de columna.
  • En los procesos configurados con el modo de acceso compartido, las lecturas y escrituras por lotes de Kafka ahora tienen las mismas limitaciones que las que están documentadas para el flujo estructurado. Consulte Limitaciones de streaming.
  • [SPARK-46957][CORE] Los archivos aleatorios migrados retirados deben poder limpiarse del ejecutor
  • [SPARK-48648][PYTHON][CONNECT] Hacer que SparkConnectClient.tags sea correctamente threadlocal
  • [SPARK-48896][SPARK-48909][SPARK-48883] Correcciones del sistema de escritura de Spark ML de Backport
  • [SPARK-48713][SQL] Añadir comprobación de intervalo de índice para UnsafeRow.pointTo cuando baseObject es una matriz de bytes
  • [SPARK-48834][SQL] Deshabilitar la entrada/salida variante para las UDFs escalares de Python, UDTFs, y UDAFs durante la compilación de consultas
  • [SPARK-48934][SS] Tipos datetime de Python convertidos incorrectamente para establecer el tiempo de espera en applyInPandasWithState
  • [SPARK-48705][PYTHON] Use explícitamente worker_main cuando empiece por pyspark
  • [SPARK-48544][SQL] Reducir la presión de memoria de conjuntos de bits de TreeNode vacíos
  • [SPARK-48889][SS] testStream para descargar almacenes de estado antes de finalizar
  • [SPARK-49054][SQL] El valor predeterminado de columna debe admitir funciones current_*
  • [SPARK-48653][PYTHON] Corrección de referencias de clase de error de origen de datos de Python no válidas
  • [SPARK-48463] Hacer que StringIndexer admita columnas de entrada anidadas
  • [SPARK-48810][CONNECT] La API stop () de la sesión debe ser idempotent y no producir un error si el servidor ya ha cerrado la sesión
  • [SPARK-48873][SQL] Usar UnsafeRow en el analizador JSON.
  • Actualizaciones de seguridad del sistema operativo
• 11 de julio de 2024
  • (Cambio de comportamiento) Los DataFrames almacenados en caché en los orígenes de tabla Delta ahora se invalidan si se sobrescribe la tabla de origen. Este cambio significa que todos los cambios de estado en las tablas Delta ahora invalidan los resultados almacenados en caché. Utilice .checkpoint() para conservar un estado de tabla durante toda la vigencia de un DataFrame.
  • El controlador JDBC de Snowflake se ha actualizado a la versión 3.16.1.
  • Esta versión incluye una corrección de un problema que impedía que la pestaña Entorno de la IU de Spark se mostrara correctamente al ejecutarse en Servicios de contenedor de Databricks.
  • Para omitir particiones no válidas al leer datos, orígenes de datos basados en archivos, como Parquet, ORC, CSV o JSON, puede establecer la opción ignoreInvalidPartitionPaths del origen de datos en true. Por ejemplo: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...) `. También puede usar la configuración de SQL spark.sql.files.ignoreInvalidPartitionPaths. Sin embargo, la opción del origen de datos tiene prioridad con respecto a la configuración de SQL. Esta configuración es false de forma predeterminada.
  • [SPARK-48100][SQL] Corregir problemas al omitir campos de estructura anidados no seleccionados en el esquema
  • [SPARK-47463][SQL] Usar V2Predicate para encapsular la expresión con el tipo de valor devuelto booleano
  • [SPARK-48292][CORE] Revertir [SPARK-39195][SQL] Spark OutputCommitCoordinator debe anular la fase cuando el archivo confirmado no sea coherente con el estado de la tarea
  • [SPARK-48475][PYTHON] Optimizar _get_jvm_function en PySpark.
  • [SPARK-48286] Corregir el análisis de columna con la expresión predeterminada exists: añadir error visible para el usuario
  • [SPARK-48481][SQL][SS] No aplicar OptimizeOneRowPlan en el conjunto de datos de streaming
  • Revertir “[SPARK-47406][SQL] Control de TIMESTAMP y DATETIME en MYSQLDialect”
  • [SPARK-48383][SS] Se produce un error mejor para las particiones no coincidentes en la opción startOffset en Kafka
  • [SPARK-48503][14.3-15.3][SQL] Corregir las subconsultas escalares no válidas con agrupación por columnas no equivalentes permitidas incorrectamente
  • [SPARK-48445][SQL] No inserta UDF con elementos secundarios costosos
  • [SPARK-48252][SQL] Actualizar CommonExpressionRef cuando sea necesario
  • [SPARK-48273][master][SQL] Corrección de la reescritura tardía de PlanWithUnresolvedIdentifier
  • [SPARK-48566][PYTHON] Corregir un error por el que los índices de partición eran incorrectos cuando analyze() utiliza tanto select como partitionColumns.
  • [SPARK-48556][SQL] Corregir un mensaje de error incorrecto que apunta a UNSUPPORTED_GROUPING_EXPRESSION
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 15.2

Consulte Databricks Runtime 15.2 (EoS).

• 26 de noviembre de 2024
  • Actualizaciones de seguridad del sistema operativo
• 5 de noviembre de 2024
  • [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio desde AQE
  • [SPARK-48843][15.3,15.2] Impedir bucle infinito con BindParameters
  • [SPARK-49829] Revise la optimización para agregar la entrada al almacén de estado en la combinación flujo a flujo (corrección)
  • [SPARK-49863][SQL] Corrección de NormalizeFloatingNumbers para conservar la nulabilidad de las estructuras anidadas
  • [SPARK-49782][SQL] La regla ResolveDataFrameDropColumns resuelve UnresolvedAttribute con salida secundaria
  • [SPARK-46632][SQL] Corrección de la eliminación de subexpresión cuando las expresiones ternarias equivalentes tienen distintos elementos secundarios
  • Actualizaciones de seguridad del sistema operativo
• 22 de octubre de 2024
  • [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio desde AQE
  • [SPARK-48843][15.3,15.2] Impedir bucle infinito con BindParameters
  • [SPARK-49829] Revise la optimización para agregar la entrada al almacén de estado en la combinación flujo a flujo (corrección)
  • [SPARK-49863][SQL] Corrección de NormalizeFloatingNumbers para conservar la nulabilidad de las estructuras anidadas
  • [SPARK-49782][SQL] La regla ResolveDataFrameDropColumns resuelve UnresolvedAttribute con salida secundaria
  • [SPARK-46632][SQL] Corrección de la eliminación de subexpresión cuando las expresiones ternarias equivalentes tienen distintos elementos secundarios
  • Actualizaciones de seguridad del sistema operativo
• 10 de octubre de 2024
  • [BACKPORT] [SPARK-49474][SS] Clasificar la clase de error para la función de usuario FlatMapGroupsWithState
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr no debe cambiar los campos del esquema al eliminar GetArrayStructFields
  • [SPARK-49688][CONNECT] Corrección de una carrera de datos entre interrupción y ejecución del plan
  • Actualizaciones de seguridad del sistema operativo
• 25 de septiembre de 2024
  • [SPARK-49000][SQL] Se ha corregido "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
  • [SPARK-48719][SQL] Corregir el error de cálculo de RegrSlope y RegrIntercept cuando el primer parámetro es NULL
  • [SPARK-49458][CONNECT][PYTHON] Proporcionar el identificador de sesión del lado del servidor a través de ReattachExecute
  • [SPARK-49628][SQL] ConstantFolding debe copiar una expresión con estado antes de realizar la evaluación
  • [SPARK-49492][CONNECT] Intento de nueva asociación en un ExecutionHolder inactivo
  • Actualizaciones de seguridad del sistema operativo
• 17 de septiembre de 2024
  • [SPARK-49336][CONNECT] Limitar el nivel de anidamiento al truncar un mensaje protobuf
  • [SPARK-49526][CONNECT] Compatibilidad con rutas de acceso de estilo Windows en ArtifactManager
  • [SPARK-49366][CONNECT] Tratar el nodo Union como hoja en la resolución de columnas del dataframe
  • [SPARK-43242][CORE] Se ha corregido el error "Tipo inesperado de BlockId" en diagnóstico de datos aleatorios corruptos
  • [SPARK-49409][CONNECT] Ajustar el valor predeterminado de CONNECT_SESSION_PLAN_CACHE_SIZE
  • Actualizaciones de seguridad del sistema operativo
• 29 de agosto de 2024
  • [SPARK-49056][SQL] ErrorClassesJsonReader no puede controlar null correctamente
  • [SPARK-48597][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
  • [SPARK-48862][PYTHON][CONNECT] Se evita llamar a _proto_to_string cuando el nivel INFO no está habilitado
  • [SPARK-49263][CONNECT] Cliente python de Spark Connect: controlar de forma constante las opciones del lector de Dataframes booleanos
  • [SPARK-49146][SS] Mover los errores de aserción relacionados con la ausencia de marca de agua en las consultas de streaming en modo de anexión al marco de errores
• 14 de agosto de 2024
  • [SPARK-48941][SPARK-48970] Correcciones en el lector y escritor de ML de Backport
  • [SPARK-48050][SS] Registrar el plan lógico al inicio de la consulta
  • [SPARK-48706][PYTHON] El UDF de Python en funciones de orden superior no debe producir un error interno
  • [SPARK-48740][SQL] Error de especificación de ventana que falta al principio
  • [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
  • [SPARK-49047][PYTHON] [CONNECT] Truncar el mensaje para el registro
• 1 de agosto de 2024
  • En el proceso sin servidor para blocs de notas y trabajos, el modo SQL ANSI está habilitado de forma predeterminada. Consulte Parámetros de configuración de Spark admitidos.
  • En los procesos configurados con el modo de acceso compartido, las lecturas y escrituras por lotes de Kafka ahora tienen las mismas limitaciones que las que están documentadas para el flujo estructurado. Consulte Limitaciones de streaming.
  • La salida de una instrucción SHOW CREATE TABLE ahora incluye todos los filtros de fila o máscaras de columna definidos en una vista materializada o una tabla de streaming. Vea SHOW CREATE TABLE. Para obtener información sobre los filtros de fila y las máscaras de columna, consulte Filtros de fila y máscaras de columna.
  • En los procesos configurados con el modo de acceso compartido, las lecturas y escrituras por lotes de Kafka ahora tienen las mismas limitaciones que las que están documentadas para el flujo estructurado. Consulte Limitaciones de streaming.
  • La salida de una instrucción SHOW CREATE TABLE ahora incluye todos los filtros de fila o máscaras de columna definidos en una vista materializada o una tabla de streaming. Vea SHOW CREATE TABLE. Para obtener información sobre los filtros de fila y las máscaras de columna, consulte Filtros de fila y máscaras de columna.
  • [SPARK-48705][PYTHON] Use explícitamente worker_main cuando empiece por pyspark
  • [SPARK-48047][SQL] Reducir la presión de memoria de las etiquetas TreeNode vacías
  • [SPARK-48810][CONNECT] La API stop () de la sesión debe ser idempotent y no producir un error si el servidor ya ha cerrado la sesión
  • [SPARK-48873][SQL] Usar UnsafeRow en el analizador JSON.
  • [SPARK-46957][CORE] Los archivos aleatorios migrados retirados deben poder limpiarse del ejecutor
  • [SPARK-48889][SS] testStream para descargar almacenes de estado antes de finalizar
  • [SPARK-48713][SQL] Añadir comprobación de intervalo de índice para UnsafeRow.pointTo cuando baseObject es una matriz de bytes
  • [SPARK-48896][SPARK-48909][SPARK-48883] Correcciones del sistema de escritura de Spark ML de Backport
  • [SPARK-48544][SQL] Reducir la presión de memoria de conjuntos de bits de TreeNode vacíos
  • [SPARK-48934][SS] Tipos datetime de Python convertidos incorrectamente para establecer el tiempo de espera en applyInPandasWithState
  • [SPARK-48463] Hacer que StringIndexer admita columnas de entrada anidadas
  • Actualizaciones de seguridad del sistema operativo
• 11 de julio de 2024
  • (Cambio de comportamiento) Los DataFrames almacenados en caché en los orígenes de tabla Delta ahora se invalidan si se sobrescribe la tabla de origen. Este cambio significa que todos los cambios de estado en las tablas Delta ahora invalidan los resultados almacenados en caché. Utilice .checkpoint() para conservar un estado de tabla durante toda la vigencia de un DataFrame.
  • El controlador JDBC de Snowflake se ha actualizado a la versión 3.16.1.
  • Esta versión incluye una corrección de un problema que impedía que la pestaña Entorno de la IU de Spark se mostrara correctamente al ejecutarse en Servicios de contenedor de Databricks.
  • En los cuadernos y trabajos sin servidor, el modo SQL ANSI se habilitará de forma predeterminada y admitirá nombres cortos
  • Para omitir particiones no válidas al leer datos, orígenes de datos basados en archivos, como Parquet, ORC, CSV o JSON, puede establecer la opción ignoreInvalidPartitionPaths del origen de datos en true. Por ejemplo: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...) `. También puede usar la configuración de SQL spark.sql.files.ignoreInvalidPartitionPaths. Sin embargo, la opción del origen de datos tiene prioridad con respecto a la configuración de SQL. Esta configuración es false de forma predeterminada.
  • [SPARK-48273][SQL] Corregir la reescritura tardía de PlanWithUnresolvedIdentifier
  • [SPARK-48292][CORE] Revertir [SPARK-39195][SQL] Spark OutputCommitCoordinator debe anular la fase cuando el archivo confirmado no sea coherente con el estado de la tarea
  • [SPARK-48100][SQL] Corregir problemas al omitir campos de estructura anidados no seleccionados en el esquema
  • [SPARK-48286] Corregir el análisis de columna con la expresión predeterminada exists: añadir error visible para el usuario
  • [SPARK-48294][SQL] Controlar las minúsculas en nestedTypeMissingElementTypeError
  • [SPARK-48556][SQL] Corregir un mensaje de error incorrecto que apunta a UNSUPPORTED_GROUPING_EXPRESSION
  • [SPARK-48648][PYTHON][CONNECT] Hacer que SparkConnectClient.tags sea correctamente threadlocal
  • [SPARK-48503][SQL] Corregir las subconsultas escalares no válidas con agrupación por columnas no equivalentes permitidas incorrectamente
  • [SPARK-48252][SQL] Actualizar CommonExpressionRef cuando sea necesario
  • [SPARK-48475][PYTHON] Optimizar _get_jvm_function en PySpark.
  • [SPARK-48566][PYTHON] Corregir un error por el que los índices de partición eran incorrectos cuando analyze() utiliza tanto select como partitionColumns.
  • [SPARK-48481][SQL][SS] No aplicar OptimizeOneRowPlan en el conjunto de datos de streaming
  • [SPARK-47463][SQL] Usar V2Predicate para encapsular la expresión con el tipo de valor devuelto booleano
  • [SPARK-48383][SS] Se produce un error mejor para las particiones no coincidentes en la opción startOffset en Kafka
  • [SPARK-48445][SQL] No inserta UDF con elementos secundarios costosos
  • Actualizaciones de seguridad del sistema operativo
• 17 de junio de 2024
  • applyInPandasWithState() está disponible en clústeres compartidos.
  • Corrige un error por el que la optimización de la ventana de clasificación mediante Photon TopK controlaba incorrectamente las particiones con estructuras.
  • Se ha corregido un error en la función try_divide() en la que las entradas que contienen decimales producían excepciones inesperadas.
  • [SPARK-48197][SQL] Evitar el error de aserción para una función lambda no válida
  • [SPARK-48276][PYTHON][CONNECT] Añadir el método de __repr__ que falta para SQLExpression
  • [SPARK-48014][SQL] Cambiar el error makeFromJava en EvaluatePython a un error orientado al usuario
  • [SPARK-48016][SQL] Corregir un error en try_divide función cuando se utilizan decimales
  • [SPARK-47986][CONNECT][PYTHON] No se puede crear una nueva sesión cuando el servidor cierra la sesión predeterminada
  • [SPARK-48173][SQL] CheckAnalysis debería ver todo el plan de consulta
  • [SPARK-48056][CONNECT][PYTHON] Volver a ejecutar el plan si se produce un error SESSION_NOT_FOUND y no se ha recibido ninguna respuesta parcial
  • [SPARK-48172][SQL] Corregir problemas de escape en portabilidad con versiones anteriores de JDBCDialects a 15.2
  • [SPARK-48105][SS] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
  • [SPARK-48288] Incorporar el tipo de datos de origen para la expresión de conversión de conector
  • [SPARK-48310][PYTHON][CONNECT] Las propiedades almacenadas en caché deben devolver copias
  • [SPARK-48277] Mejorar el mensaje de error para ErrorClassesJsonReader.getErrorMessage
  • [SPARK-47986][CONNECT][PYTHON] No se puede crear una nueva sesión cuando el servidor cierra la sesión predeterminada
  • Revertir “[SPARK-47406][SQL] Control de TIMESTAMP y DATETIME en MYSQLDialect”
  • [SPARK-47994][SQL] Se ha corregido el error con la inserción de filtros de columna CASE WHEN en SQLServer
  • [SPARK-47764][CORE][SQL] Limpieza de dependencias aleatorias basadas en ShuffleCleanupMode
  • [SPARK-47921][CONNECT] Corregir la creación de ExecuteJobTag en ExecuteHolder
  • [SPARK-48010][SQL] Evitar llamadas repetidas a conf.resolver en resolveExpression
  • [SPARK-48146][SQL] Corregir la función de agregado en la aserción secundaria de la expresión With
  • [SPARK-48180][SQL] Mejora del error cuando la llamada UDTF con el argumento TABLE olvida paréntesis alrededor de varias expresiones PARTITION/ORDER BY
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 15.1

Consulte Databricks Runtime 15.1 (EoS).

• 22 de octubre de 2024
  • [SPARK-49863][SQL] Corrección de NormalizeFloatingNumbers para conservar la nulabilidad de las estructuras anidadas
  • [SPARK-46632][SQL] Corrección de la eliminación de subexpresión cuando las expresiones ternarias equivalentes tienen distintos elementos secundarios
  • [SPARK-49782][SQL] La regla ResolveDataFrameDropColumns resuelve UnresolvedAttribute con salida secundaria
  • [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio desde AQE
  • [SPARK-49829] Revise la optimización para agregar la entrada al almacén de estado en la combinación flujo a flujo (corrección)
  • Actualizaciones de seguridad del sistema operativo
• 10 de octubre de 2024
  • [SPARK-49688][CONNECT] Corrección de una carrera de datos entre interrupción y ejecución del plan
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr no debe cambiar los campos del esquema al eliminar GetArrayStructFields
  • [BACKPORT] [SPARK-49474][SS] Clasificar la clase de error para la función de usuario FlatMapGroupsWithState
  • Actualizaciones de seguridad del sistema operativo
• 25 de septiembre de 2024
  • [SPARK-49628][SQL] ConstantFolding debe copiar una expresión con estado antes de realizar la evaluación
  • [SPARK-48719][SQL] Corregir el error de cálculo de RegrSlope y RegrIntercept cuando el primer parámetro es NULL
  • [SPARK-49492][CONNECT] Intento de nueva asociación en un ExecutionHolder inactivo
  • [SPARK-49000][SQL] Se ha corregido "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
  • [SPARK-49458][CONNECT][PYTHON] Proporcionar el identificador de sesión del lado del servidor a través de ReattachExecute
  • Actualizaciones de seguridad del sistema operativo
• 17 de septiembre de 2024
  • [SPARK-49336][CONNECT] Limitar el nivel de anidamiento al truncar un mensaje protobuf
  • [SPARK-49526][CONNECT] Compatibilidad con rutas de acceso de estilo Windows en ArtifactManager
  • [SPARK-49409][CONNECT] Ajustar el valor predeterminado de CONNECT_SESSION_PLAN_CACHE_SIZE
  • [SPARK-43242][CORE] Se ha corregido el error "Tipo inesperado de BlockId" en diagnóstico de datos aleatorios corruptos
  • [SPARK-49366][CONNECT] Tratar el nodo Union como hoja en la resolución de columnas del dataframe
• 29 de agosto de 2024
  • [SPARK-49263][CONNECT] Cliente python de Spark Connect: controlar de forma constante las opciones del lector de Dataframes booleanos
  • [SPARK-49056][SQL] ErrorClassesJsonReader no puede controlar null correctamente
  • [SPARK-48862][PYTHON][CONNECT] Se evita llamar a _proto_to_string cuando el nivel INFO no está habilitado
  • [SPARK-49146][SS] Mover los errores de aserción relacionados con la ausencia de marca de agua en las consultas de streaming en modo de anexión al marco de errores
• 14 de agosto de 2024
  • [SPARK-48941][SPARK-48970] Correcciones en el lector y escritor de ML de Backport
  • [SPARK-48050][SS] Registrar el plan lógico al inicio de la consulta
  • [SPARK-48706][PYTHON] El UDF de Python en funciones de orden superior no debe producir un error interno
  • [SPARK-48597][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
  • [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
  • [SPARK-49047][PYTHON] [CONNECT] Truncar el mensaje para el registro
  • [SPARK-48740][SQL] Error de especificación de ventana que falta al principio
• 1 de agosto de 2024
  • En el proceso sin servidor para blocs de notas y trabajos, el modo SQL ANSI está habilitado de forma predeterminada. Consulte Parámetros de configuración de Spark admitidos.
  • En los procesos configurados con el modo de acceso compartido, las lecturas y escrituras por lotes de Kafka ahora tienen las mismas limitaciones que las que están documentadas para el flujo estructurado. Consulte Limitaciones de streaming.
  • La salida de una instrucción SHOW CREATE TABLE ahora incluye todos los filtros de fila o máscaras de columna definidos en una vista materializada o una tabla de streaming. Vea SHOW CREATE TABLE. Para obtener información sobre los filtros de fila y las máscaras de columna, consulte Filtros de fila y máscaras de columna.
  • En los procesos configurados con el modo de acceso compartido, las lecturas y escrituras por lotes de Kafka ahora tienen las mismas limitaciones que las que están documentadas para el flujo estructurado. Consulte Limitaciones de streaming.
  • La salida de una instrucción SHOW CREATE TABLE ahora incluye todos los filtros de fila o máscaras de columna definidos en una vista materializada o una tabla de streaming. Vea SHOW CREATE TABLE. Para obtener información sobre los filtros de fila y las máscaras de columna, consulte Filtros de fila y máscaras de columna.
  • [SPARK-48544][SQL] Reducir la presión de memoria de conjuntos de bits de TreeNode vacíos
  • [SPARK-46957][CORE] Los archivos aleatorios migrados retirados deben poder limpiarse del ejecutor
  • [SPARK-47202][PYTHON] Corregir valores datetime de interrupción de error tipográfico con tzinfo
  • [SPARK-48713][SQL] Añadir comprobación de intervalo de índice para UnsafeRow.pointTo cuando baseObject es una matriz de bytes
  • [SPARK-48896][SPARK-48909][SPARK-48883] Correcciones del sistema de escritura de Spark ML de Backport
  • [SPARK-48810][CONNECT] La API stop () de la sesión debe ser idempotent y no producir un error si el servidor ya ha cerrado la sesión
  • [SPARK-48873][SQL] Usar UnsafeRow en el analizador JSON.
  • [SPARK-48934][SS] Tipos datetime de Python convertidos incorrectamente para establecer el tiempo de espera en applyInPandasWithState
  • [SPARK-48705][PYTHON] Use explícitamente worker_main cuando empiece por pyspark
  • [SPARK-48889][SS] testStream para descargar almacenes de estado antes de finalizar
  • [SPARK-48047][SQL] Reducir la presión de memoria de las etiquetas TreeNode vacías
  • [SPARK-48463] Hacer que StringIndexer admita columnas de entrada anidadas
  • Actualizaciones de seguridad del sistema operativo
• 11 de julio de 2024
  • (Cambio de comportamiento) Los DataFrames almacenados en caché en los orígenes de tabla Delta ahora se invalidan si se sobrescribe la tabla de origen. Este cambio significa que todos los cambios de estado en las tablas Delta ahora invalidan los resultados almacenados en caché. Utilice .checkpoint() para conservar un estado de tabla durante toda la vigencia de un DataFrame.
  • El controlador JDBC de Snowflake se ha actualizado a la versión 3.16.1.
  • Esta versión incluye una corrección de un problema que impedía que la pestaña Entorno de la IU de Spark se mostrara correctamente al ejecutarse en Servicios de contenedor de Databricks.
  • En el proceso sin servidor para blocs de notas y trabajos, el modo SQL ANSI está habilitado de forma predeterminada. Consulte Parámetros de configuración de Spark admitidos.
  • Para omitir particiones no válidas al leer datos, orígenes de datos basados en archivos, como Parquet, ORC, CSV o JSON, puede establecer la opción ignoreInvalidPartitionPaths del origen de datos en true. Por ejemplo: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...) `. También puede usar la configuración de SQL spark.sql.files.ignoreInvalidPartitionPaths. Sin embargo, la opción del origen de datos tiene prioridad con respecto a la configuración de SQL. Esta configuración es false de forma predeterminada.
  • [SPARK-48383][SS] Se produce un error mejor para las particiones no coincidentes en la opción startOffset en Kafka
  • [SPARK-48481][SQL][SS] No aplicar OptimizeOneRowPlan en el conjunto de datos de streaming
  • [SPARK-48100][SQL] Corregir problemas al omitir campos de estructura anidados no seleccionados en el esquema
  • [SPARK-47463][SQL] Usar V2Predicate para encapsular la expresión con el tipo de valor devuelto booleano
  • [SPARK-48445][SQL] No inserta UDF con elementos secundarios costosos
  • [SPARK-48292][CORE] Revertir [SPARK-39195][SQL] Spark OutputCommitCoordinator debe anular la fase cuando el archivo confirmado no sea coherente con el estado de la tarea
  • [SPARK-48566][PYTHON] Corregir un error por el que los índices de partición eran incorrectos cuando analyze() utiliza tanto select como partitionColumns.
  • [SPARK-48648][PYTHON][CONNECT] Hacer que SparkConnectClient.tags sea correctamente threadlocal
  • [SPARK-48503][SQL] Corregir las subconsultas escalares no válidas con agrupación por columnas no equivalentes permitidas incorrectamente
  • [SPARK-48252][SQL] Actualizar CommonExpressionRef cuando sea necesario
  • [SPARK-48475][PYTHON] Optimizar _get_jvm_function en PySpark.
  • [SPARK-48294][SQL] Controlar las minúsculas en nestedTypeMissingElementTypeError
  • [SPARK-48286] Corregir el análisis de columna con la expresión predeterminada exists: añadir error visible para el usuario
  • [SPARK-47309][SQL] XML: Agregar pruebas de inferencia de esquema para etiquetas de valor
  • [SPARK-47309][SQL][XML] Agregar pruebas unitarias de inferencia de esquema
  • [SPARK-48273][SQL] Corregir la reescritura tardía de PlanWithUnresolvedIdentifier
  • Actualizaciones de seguridad del sistema operativo
• 17 de junio de 2024
  • applyInPandasWithState() está disponible en clústeres compartidos.
  • Corrige un error por el que la optimización de la ventana de clasificación mediante Photon TopK controlaba incorrectamente las particiones con estructuras.
  • [SPARK-48310][PYTHON][CONNECT] Las propiedades almacenadas en caché deben devolver copias
  • [SPARK-48276][PYTHON][CONNECT] Añadir el método de __repr__ que falta para SQLExpression
  • [SPARK-48277] Mejorar el mensaje de error para ErrorClassesJsonReader.getErrorMessage
  • [SPARK-47764][CORE][SQL] Limpieza de dependencias aleatorias basadas en ShuffleCleanupMode
  • Actualizaciones de seguridad del sistema operativo
• 21 de mayo de 2024
  • Se ha corregido un error en la función try_divide() en la que las entradas que contienen decimales producían excepciones inesperadas.
  • [SPARK-48173][SQL] CheckAnalysis debería ver todo el plan de consulta
  • [SPARK-48016][SQL] Corregir un error en try_divide función cuando se utilizan decimales
  • [SPARK-48105][SS] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
  • [SPARK-48197][SQL] Evitar el error de aserción para una función lambda no válida
  • [SPARK-48180][SQL] Mejora del error cuando la llamada UDTF con el argumento TABLE olvida paréntesis alrededor de varias expresiones PARTITION/ORDER BY
  • [SPARK-48014][SQL] Cambiar el error makeFromJava en EvaluatePython a un error orientado al usuario
  • [SPARK-48056][CONNECT][PYTHON] Volver a ejecutar el plan si se produce un error SESSION_NOT_FOUND y no se ha recibido ninguna respuesta parcial
  • [SPARK-48146][SQL] Corregir la función de agregado en la aserción secundaria de la expresión With
  • [SPARK-47994][SQL] Se ha corregido el error con la inserción de filtros de columna CASE WHEN en SQLServer
  • Actualizaciones de seguridad del sistema operativo
• 9 de mayo de 2024
  • [SPARK-47543][CONNECT][PYTHON] Inferir dict como MapType de Dataframe de Pandas para permitir la creación de Dataframes
  • [SPARK-47739][SQL] Registrar el tipo de avro lógico
  • [SPARK-48044][PYTHON][CONNECT] DataFrame.isStreamingde caché
  • [SPARK-47855][CONNECT] Agregar spark.sql.execution.arrow.pyspark.fallback.enabled en la lista de no admitidos
  • [SPARK-48010][SQL] Evitar llamadas repetidas a conf.resolver en resolveExpression
  • [SPARK-47941] [SS] [Connect] Propagar errores de inicialización de trabajo de ForeachBatch a los usuarios para PySpark
  • [SPARK-47819][CONNECT][Cherry-pick-15.0] Usar la devolución de llamada asincrónica para la limpieza de ejecución
  • [SPARK-47956][SQL] Comprobación de coherencia para referencias LCA sin resolver
  • [SPARK-47839][SQL] Corregir el error agregado en RewriteWithExpression
  • [SPARK-48018][SS] Corregir groupId null que provoca un error de parámetro que falta al iniciar KafkaException.couldNotReadOffsetRange
  • [SPARK-47371] [SQL] XML: Ignorar etiquetas de fila encontradas en CDATA
  • [SPARK-47907][SQL] Colocar bang en una configuración
  • [SPARK-47895][SQL] group by all debe ser idempotente
  • [SPARK-47973][CORE] Registrar la llamada al sitio en SparkContext.stop() y posteriormente en SparkContext.assertNotStopped()
  • [SPARK-47986][CONNECT][PYTHON] No se puede crear una nueva sesión cuando el servidor cierra la sesión predeterminada
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 15.0

Consulte Databricks Runtime 15.0 (EoS).

• 30 de mayo de 2024
  • (Cambio de comportamiento) dbutils.widgets.getAll() ahora se admite para obtener todos los valores de widget en un cuaderno.
• 25 de abril de 2024
  • [SPARK-47786]SELECT DISTINCT () no debería convertirse en SELECT DISTINCT struct() (revertir a comportamiento anterior)
  • [SPARK-47802][SQL] Revertir () del significado struct() de nuevo al significado *
  • [SPARK-47509][SQL] Bloquear expresiones de subconsulta en funciones lambda y de orden superior
  • [SPARK-47722] Esperar hasta que finalice el trabajo en segundo plano de RocksDB antes de cerrar
  • [SPARK-47081][CONNECT][FOLLOW] Mejorar la facilidad de uso del controlador de progreso
  • [SPARK-47694][CONNECT] Hacer que el tamaño máximo del mensaje sea configurable en el lado del cliente
  • [SPARK-47669][SQL][CONNECT][PYTHON] Agregar Column.try_cast
  • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-15.0] Validar el nombre de columna con el esquema almacenado en caché
  • [SPARK-47818][CONNECT][Cherry-pick-15.0] Introducir la caché del plan en SparkConnectPlanner para mejorar el rendimiento de las solicitudes de análisis
  • [SPARK-47704][SQL] El análisis de JSON produce un error “java.lang.ClassCastException” cuando spark.sql.json.enablePartialResults está habilitado
  • [SPARK-47755][CONNECT] Pivot debe producir un error cuando el número de valores distintos es demasiado grande
  • [SPARK-47713][SQL][CONNECT] Corregir un error de autocombinación
  • [SPARK-47812][CONNECT] Admitir la serialización de SparkSession para el trabajo ForEachBatch
  • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite produce un error con un plan no válido
  • [SPARK-47862][PYTHON][CONNECT] Corregir la generación de archivos proto
  • [SPARK-47800][SQL] Crear un nuevo método para la conversión de identificador a tableIdentifier
  • Actualizaciones de seguridad del sistema operativo
• 3 de abril de 2024
  • (Cambio de comportamiento) Para garantizar un comportamiento coherente entre los tipos de proceso, las UDF de PySpark en clústeres compartidos ahora coinciden con el comportamiento de las UDF en clústeres sin aislamiento y clústeres asignados. Esta actualización incluye los siguientes cambios que podrían interrumpir el código existente:
    • Las UDF con un tipo de valor devuelto de string ya no convierten implícitamente valores nostring en valores string. Anteriormente, las UDF con un tipo de valor devuelto de str encapsularían el valor devuelto con una función str() independientemente del tipo de datos real del valor devuelto.
    • Las UDF con timestamp tipos devueltos ya no aplican implícitamente una conversión a timestamp contimezone.
    • Las configuraciones del clúster de Spark spark.databricks.sql.externalUDF.* ya no se aplican a las UDF de PySpark en clústeres compartidos.
    • La configuración del clúster de Spark spark.databricks.safespark.externalUDF.plan.limit ya no afecta a las UDF de PySpark, lo que elimina la limitación de la versión preliminar pública de 5 UDF por consulta para UDF de PySpark.
    • La configuración del clúster de Spark spark.databricks.safespark.sandbox.size.default.mib ya no se aplica a las UDF de PySpark en clústeres compartidos. En su lugar, se usa la memoria disponible en el sistema. Para limitar la memoria de las UDF de PySpark, use spark.databricks.pyspark.udf.isolation.memoryLimit con un valor mínimo de 100m.
  • El TimestampNTZ tipo de datos ahora se admite como una columna de agrupación en clústeres con clústeres líquidos. Consulte Uso de clústeres líquidos para tablas.
  • [SPARK-47218][SQL] XML: omitir etiquetas de fila comentadas en el tokenizador XML
  • [SPARK-46990][SQL] Corrección de la carga de archivos Avro vacíos emitidos por los centros de eventos
  • [SPARK-47033][SQL] La corrección de EXECUTE IMMEDIATE USING no reconoce los nombres de variables de sesión
  • [SPARK-47368][SQL] Quitar de la comprobación de configuración inferTimestampNTZ en ParquetRowConverter
  • [SPARK-47561][SQL] Corregir problemas de orden de reglas del analizador sobre alias
  • [SPARK-47638][PS] [CONNECT] Omitir la validación de nombres de columna en PS
  • [SPARK-46906][BACKPORT][SS] Agregar una comprobación de cambio de operador con estado para streaming
  • [SPARK-47569][SQL] No permitir la comparación de variantes.
  • [SPARK-47241][SQL] Corrección de problemas de orden de reglas para ExtractGenerator
  • [SPARK-47218] [SQL] XML: Se ha cambiado SchemaOfXml para que se produzca un error en el modo DROPMALFORMED
  • [SPARK-47300][SQL] quoteIfNeeded debe citar identificadores que comienzan con dígitos
  • [SPARK-47009][SQL] [Intercalación] Habilitar el soporte de creación de tablas para la intercalación
  • [SPARK-47322][PYTHON][CONNECT] Hacer que el control de la duplicación de nombres de columna withColumnsRenamed sea coherente con withColumnRenamed
  • [SPARK-47544][PYTHON] El método de compilación SparkSession es incompatible con Intellisense de Visual Studio Code
  • [SPARK-47511][SQL] Canonizar expresiones With reasignando identificadores
  • [SPARK-47385] Corregir los codificadores de tupla con entradas de opción.
  • [SPARK-47200][SS] Clase de error de la función de usuario receptor de lotes Foreach
  • [SPARK-47135][SS] Implementar clases de error para excepciones de pérdida de datos de Kafka
  • [SPARK-38708][SQL] Actualizar el cliente de Metastore de Hive a la versión 3.1.3 para Hive 3.1
  • [SPARK-47305][SQL] Corregir PruneFilters para etiquetar la marca isStreaming de LocalRelation correctamente cuando el plan tiene tanto procesamiento por lotes como streaming
  • [SPARK-47380][CONNECT] Asegurarse en el lado del servidor de que SparkSession sea el mismo
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 14.2

Consulte Databricks Runtime 14.2 (EoS).

• 22 de octubre de 2024
  • [SPARK-49782][SQL] La regla ResolveDataFrameDropColumns resuelve UnresolvedAttribute con salida secundaria
  • [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio desde AQE
  • Actualizaciones de seguridad del sistema operativo
• 10 de octubre de 2024
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr no debe cambiar los campos del esquema al eliminar GetArrayStructFields
  • [BACKPORT] [SPARK-49474][SS] Clasificar la clase de error para la función de usuario FlatMapGroupsWithState
• 25 de septiembre de 2024
  • [SPARK-48719][SQL] Corregir el error de cálculo de "RegrS...
  • [SPARK-49628][SQL] ConstantFolding debe copiar una expresión con estado antes de realizar la evaluación
  • [SPARK-49000][SQL] Se ha corregido "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
  • [SPARK-43242][CORE] Se ha corregido el error "Tipo inesperado de BlockId" en diagnóstico de datos aleatorios corruptos
  • [SPARK-46601] [CORE] Corregir el error de registro en handleStatusMessage
  • Actualizaciones de seguridad del sistema operativo
• 17 de septiembre de 2024
  • [SPARK-49526][CONNECT] Compatibilidad con rutas de acceso de estilo Windows en ArtifactManager
• 29 de agosto de 2024
  • [SPARK-49263][CONNECT] Cliente python de Spark Connect: controlar de forma constante las opciones del lector de Dataframes booleanos
  • [SPARK-49146][SS] Mover los errores de aserción relacionados con la ausencia de marca de agua en las consultas de streaming en modo de anexión al marco de errores
  • [SPARK-49056][SQL] ErrorClassesJsonReader no puede controlar null correctamente
• 14 de agosto de 2024
  • [SPARK-48050][SS] Registrar el plan lógico al inicio de la consulta
  • [SPARK-48597][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
  • [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
  • [SPARK-48706][PYTHON] El UDF de Python en funciones de orden superior no debe producir un error interno
• 1 de agosto de 2024
  • Esta versión incluye una corrección de errores para las clases ColumnVector y ColumnarArray en la interfaz de Java de Spark. Antes de esta corrección, ArrayIndexOutOfBoundsException podría generarse o devolver datos incorrectos cuando los valores null estaban contenidos en una instancia de una de estas clases.
  • La salida de una instrucción SHOW CREATE TABLE ahora incluye todos los filtros de fila o máscaras de columna definidos en una vista materializada o una tabla de streaming. Vea SHOW CREATE TABLE. Para obtener información sobre los filtros de fila y las máscaras de columna, consulte Filtros de fila y máscaras de columna.
  • [SPARK-47202][PYTHON] Corregir valores datetime de interrupción de error tipográfico con tzinfo
  • [SPARK-48705][PYTHON] Use explícitamente worker_main cuando empiece por pyspark
  • Actualizaciones de seguridad del sistema operativo
• 11 de julio de 2024
  • (Cambio de comportamiento) Los DataFrames almacenados en caché en los orígenes de tabla Delta ahora se invalidan si se sobrescribe la tabla de origen. Este cambio significa que todos los cambios de estado en las tablas Delta ahora invalidan los resultados almacenados en caché. Utilice .checkpoint() para conservar un estado de tabla durante toda la vigencia de un DataFrame.
  • El controlador JDBC de Snowflake se ha actualizado a la versión 3.16.1
  • Esta versión incluye una corrección de un problema que impedía que la pestaña Entorno de la IU de Spark se mostrara correctamente al ejecutarse en Servicios de contenedor de Databricks.
  • [SPARK-48292][CORE] Revertir [SPARK-39195][SQL] Spark OutputCommitCoordinator debe anular la fase cuando el archivo confirmado no sea coherente con el estado de la tarea
  • [SPARK-48273][SQL] Corregir la reescritura tardía de PlanWithUnresolvedIdentifier
  • [SPARK-48503][SQL] Corregir las subconsultas escalares no válidas con agrupación por columnas no equivalentes permitidas incorrectamente
  • [SPARK-48481][SQL][SS] No aplicar OptimizeOneRowPlan en el conjunto de datos de streaming
  • [SPARK-48475][PYTHON] Optimizar _get_jvm_function en PySpark.
  • [SPARK-48100][SQL] Corregir problemas al omitir campos de estructura anidados no seleccionados en el esquema
  • [SPARK-48445][SQL] No inserta UDF con elementos secundarios costosos
  • [SPARK-48383][SS] Se produce un error mejor para las particiones no coincidentes en la opción startOffset en Kafka
  • Actualizaciones de seguridad del sistema operativo
• 17 de junio de 2024
  • Corrige un error por el que la optimización de la ventana de clasificación mediante Photon TopK controlaba incorrectamente las particiones con estructuras.
  • [SPARK-48276][PYTHON][CONNECT] Añadir el método de __repr__ que falta para SQLExpression
  • [SPARK-48277] Mejorar el mensaje de error para ErrorClassesJsonReader.getErrorMessage
  • Actualizaciones de seguridad del sistema operativo
• 21 de mayo de 2024
  • (Cambio de comportamiento) dbutils.widgets.getAll() ahora se admite para obtener todos los valores de widget en un cuaderno.
  • [SPARK-48173][SQL] CheckAnalysis debería ver todo el plan de consulta
  • [SPARK-48197][SQL] Evitar el error de aserción para una función lambda no válida
  • [SPARK-47994][SQL] Se ha corregido el error con la inserción de filtros de columna CASE WHEN en SQLServer
  • [SPARK-48105][SS] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
  • Actualizaciones de seguridad del sistema operativo
• 9 de mayo de 2024
  • [SPARK-48044][PYTHON][CONNECT] DataFrame.isStreamingde caché
  • [SPARK-47956][SQL] Comprobación de coherencia para referencias LCA sin resolver
  • [SPARK-47371] [SQL] XML: Ignorar etiquetas de fila encontradas en CDATA
  • [SPARK-47812][CONNECT] Admitir la serialización de SparkSession para el trabajo ForEachBatch
  • [SPARK-47895][SQL] group by all debe ser idempotente
  • [SPARK-47973][CORE] Registrar la llamada al sitio en SparkContext.stop() y posteriormente en SparkContext.assertNotStopped()
  • Actualizaciones de seguridad del sistema operativo
• 25 de abril de 2024
  • [SPARK-47704][SQL] El análisis de JSON produce un error “java.lang.ClassCastException” cuando spark.sql.json.enablePartialResults está habilitado
  • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite produce un error con un plan no válido
  • Actualizaciones de seguridad del sistema operativo
• 11 de abril de 2024
  • [SPARK-47309][SQL][XML] Agregar pruebas unitarias de inferencia de esquema
  • [SPARK-46990][SQL] Corrección de la carga de archivos Avro vacíos emitidos por los centros de eventos
  • [SPARK-47638][PS] [CONNECT] Omitir la validación de nombres de columna en PS
  • [SPARK-47509][SQL] Bloquear expresiones de subconsulta en funciones lambda y de orden superior
  • [SPARK-38708][SQL] Actualizar el cliente de Metastore de Hive a la versión 3.1.3 para Hive 3.1
  • Actualizaciones de seguridad del sistema operativo
• 1 de abril de 2024
  • [SPARK-47322][PYTHON][CONNECT] Hacer que el control de la duplicación de nombres de columna withColumnsRenamed sea coherente con withColumnRenamed
  • [SPARK-47385] Corregir los codificadores de tupla con entradas de opción.
  • [SPARK-47070] Corregir la agregación no válida después de la reescritura de subconsultas
  • [SPARK-47218] [SQL] XML: Se ha cambiado SchemaOfXml para que se produzca un error en el modo DROPMALFORMED
  • [SPARK-47305][SQL] Corregir PruneFilters para etiquetar la marca isStreaming de LocalRelation correctamente cuando el plan tiene tanto procesamiento por lotes como streaming
  • [SPARK-47218][SQL] XML: omitir etiquetas de fila comentadas en el tokenizador XML
  • Revertir “[SPARK-46861][CORE] Evitar interbloqueo en DAGScheduler”
  • [SPARK-47300][SQL] quoteIfNeeded debe citar identificadores que comienzan con dígitos
  • [SPARK-47368][SQL] Quitar de la comprobación de configuración inferTimestampNTZ en ParquetRowConverter
  • Actualizaciones de seguridad del sistema operativo
• 14 de marzo de 2024
  • [SPARK-47035][SS][CONNECT] Protocolo para el Escuchador Client-Side
  • [SPARK-47121][CORE] Evitar RejectedExecutionExceptions durante el apagado de StandaloneSchedulerBackend
  • [SPARK-47145][SQL] Pasar el identificador de tabla al examen del origen de datos de fila exec para la estrategia V2.
  • [SPARK-47176][SQL] Tener una función auxiliar ResolveAllExpressionsUpWithPruning
  • [SPARK-47167][SQL] Agregar una clase concreta para la relación anónima de JDBC
  • [SPARK-47129][CONNECT][SQL] Hacer que el plan de conexión de caché ResolveRelations sea correcto
  • [SPARK-47044][SQL] Añadir una consulta ejecutada para orígenes de datos externos JDBC para explicar la salida
  • Actualizaciones de seguridad del sistema operativo
• 29 de febrero de 2024
  • Se ha corregido un problema por el que el uso de una colección local como origen en un comando MERGE podía dar lugar a que la métrica de operación numSourceRows notificara el doble del número correcto de filas.
  • La creación de un esquema con una ubicación definida ahora requiere que el usuario tenga privilegios SELECT y MODIFY en ANY FILE.
  • Ahora puede ingerir archivos XML mediante Auto Loader, read_files, COPY INTO, Lakeflow Spark Declarative Pipelines y Databricks SQL. La compatibilidad con archivos XML permite inferir y desarrollar esquemas automáticamente, recuperar datos con incompatibilidades de tipos, validar XML mediante XSD y admitir expresiones SQL como from_xml, schema_of_xml y to_xml. Consulte Compatibilidad con archivos XML para obtener más información. Si anteriormente había usado el paquete spark-xml externo, consulte este enlace para obtener instrucciones de migración.
  • [SPARK-46954][SQL] XML: Encapsular InputStreamReader con BufferedReader
  • [SPARK-46630][SQL] XML: Validar el nombre del elemento XML al escribir
  • [SPARK-46248][SQL] XML: Compatibilidad con las opciones ignoreCorruptFiles e ignoreMissingFiles
  • [SPARK-46954][SQL] XML: Optimizar la búsqueda de índices de esquema
  • [SPARK-47059][SQL] Adjuntar contexto de error para el comando ALTER COLUMN v1
  • [SPARK-46993][SQL] Corregir el plegado de constantes para las variables de sesión
• 8 de febrero de 2024
  • No se admiten las consultas de fuente de distribución de datos modificados (CDF) en vistas materializadas del catálogo de Unity, y al intentar ejecutar una consulta CDF con una vista materializada de Unity Catalog se devuelve un error. Las tablas de streaming de Unity Catalog admiten consultas CDF en tablas CDC no automáticas en Databricks Runtime 14.1 y versiones posteriores. Las consultas de CDF no se admiten con tablas de streaming de Catálogo de Unity en Databricks Runtime 14.0 y versiones anteriores.
  • [SPARK-46930] Agregar soporte para un prefijo personalizado para los campos de tipo Union en Avro.
  • [SPARK-46822] Respetar spark.sql.legacy.charVarcharAsString al convertir el tipo jdbc en el tipo de catalizador en jdbc.
  • [SPARK-46952] XML: limitar el tamaño del registro dañado.
  • [SPARK-46644] Agregar y combinar en SQLMetric para usar isZero.
  • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
  • [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
  • [SPARK-46941] No se puede insertar el nodo de límite de grupo de ventanas para el cálculo de top-k si contiene SizeBasedWindowFunction.
  • [SPARK-46933] Agregar métrica de tiempo de ejecución de consultas a conectores que usan JDBCRDD.
  • Actualizaciones de seguridad del sistema operativo
• 31 de enero de 2024
  • [SPARK-46382] XML: documento de actualización de ignoreSurroundingSpaces.
  • [SPARK-46382] XML: capturar los valores intercalados entre elementos.
  • [SPARK-46763] Corregir el error de aserción en ReplaceDeduplicateWithAggregate para los atributos duplicados.
  • Revierta [SPARK-46769] Refinar la inferencia de esquema relacionada con la marca de tiempo.
  • [SPARK-46677] Corregir la resolución dataframe["*"].
  • [SPARK-46382] XML: ignoreSurroundingSpaces predeterminado en true.
  • [SPARK-46633] Corregir lector Avro para controlar bloques de longitud cero.
  • [SPARK-45964] Quitar el descriptor de acceso sql privado en el paquete XML y JSON en el paquete catalyst.
  • [SPARK-46581] Comentario de actualización en isZero en AccumulatorV2.
  • [SPARK-45912] Mejora de la API XSDToSchema: cambio a la API de HDFS para la accesibilidad del almacenamiento en la nube.
  • [SPARK-45182] Omitir la finalización de tareas de la fase anterior después de volver a intentar la fase primaria indeterminada según lo determinado por la suma de comprobación.
  • [SPARK-46660] ReattachExecute solicita actualizaciones de la actividad de SessionHolder.
  • [SPARK-46610] Create table debe producir una excepción cuando no hay ningún valor para una clave en las opciones.
  • [SPARK-46383] Reducir el uso del montón de controladores al reducir la duración de TaskInfo.accumulables().
  • [SPARK-46769] Refinar la inferencia de esquema relacionada con la marca de tiempo.
  • [SPARK-46684] Corregir CoGroup.applyInPandas/Arrow para pasar argumentos correctamente.
  • [SPARK-46676] dropDuplicatesWithinWatermark no debe producir un error en la canonización del plan.
  • [SPARK-45962] Quitar treatEmptyValuesAsNulls y usar la opción nullValue en su lugar en XML.
  • [SPARK-46541] Corregir la referencia de columna ambigua en la unión automática.
  • [SPARK-46599] XML: Usar TypeCoercion.findTightestCommonType para la comprobación de compatibilidad.
  • Actualizaciones de seguridad del sistema operativo
• 17 de enero de 2024
  • El nodo shuffle del plan de explicación devuelto por una consulta de Photon se actualiza para agregar la marca causedBroadcastJoinBuildOOM=true cuando se produce un error de memoria insuficiente durante un orden aleatorio que forma parte de una combinación de difusión.
  • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
  • [SPARK-46261]DataFrame.withColumnsRenamed debe mantener el orden dict/map.
  • [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
  • [SPARK-46145] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista.
  • [SPARK-46484] Hacer que las funciones auxiliares resolveOperators conserven el identificador del plan.
  • [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
  • [SPARK-46609] Evitar la explosión exponencial en PartitioningPreservingUnaryExecNode.
  • [SPARK-46446] Deshabilitar las subconsultas con OFFSET correlacionado para corregir el error de corrección.
  • [SPARK-46152] XML: añadir compatibilidad con DecimalType en la inferencia de esquemas XML.
  • [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
  • [SPARK-45814] Hacer que ArrowConverters.createEmptyArrowBatch llame a close() para evitar pérdidas de memoria.
  • [SPARK-46058] Añadir una marca independiente para privateKeyPassword.
  • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
  • [SPARK-46600] Mover código compartido entre SqlConf y SqlApiConf a SqlApiConfHelper.
  • [SPARK-46478] Revertir SPARK-43049 para usar oracle varchar(255) para la cadena.
  • [SPARK-46417] No se produce un error al llamar a hive.getTable y throwException es false.
  • [SPARK-46153] XML: Agregar compatibilidad con TimestampNTZType.
  • [SPARK-46056][BACKPORT] Corregir el NPE de lectura vectorial de Parquet con el valor predeterminado byteArrayDecimalType.
  • [SPARK-46466] El lector de parquet vectorizado nunca debe fusionarse mediante cambio de base para la marca de tiempo ntz.
  • [SPARK-46260]DataFrame.withColumnsRenamed debe respetar el orden de dict.
  • [SPARK-46036] Quitar la clase de error de la función raise_error.
  • [SPARK-46294] Limpiar la semántica de init frente al valor cero.
  • [SPARK-46173] Omitir la llamada a trimAll durante el análisis de fechas.
  • [SPARK-46250] Análisis pormenorizado de test_parity_listener.
  • [SPARK-46587] XML: corregir la conversión de enteros grandes XSD.
  • [SPARK-46396] La inferencia de marca de tiempo no debe producir una excepción.
  • [SPARK-46241] Corrija la rutina de control de errores para que no se convierta en recursividad infinita.
  • [SPARK-46355] XML: cerrar InputStreamReader al finalizar la lectura.
  • [SPARK-46370] Corregir el error al consultar desde la tabla después de cambiar los valores predeterminados de columna.
  • [SPARK-46265] Las aserciones de AddArtifact RPC hacen que el cliente de conexión sea incompatible con clústeres anteriores.
  • [SPARK-46308] Prohibir el control de errores recursivos.
  • [SPARK-46337] Hacer que CTESubstitution conserve PLAN_ID_TAG.
• 14 de diciembre de 2023
  • [SPARK-46141] Cambiar el valor predeterminado de spark.sql.legacy.ctePrecedencePolicy a CORRECTED.
  • [SPARK-45730] Hacer que ReloadingX509TrustManagerSuite sea más fiable.
  • [SPARK-45852] Tratar correctamente el error de recursividad durante el registro.
  • [SPARK-45808] Mejorar el control de errores para excepciones de SQL.
  • [SPARK-45920] El ordinal de group by debe ser idempotente.
  • Revertir "[SPARK-45649] Unificar el marco de preparación para OffsetWindowFunctionFrame".
  • [SPARK-45733] Admitir varias directivas de reintento.
  • [SPARK-45509] Corregir el comportamiento de referencia de columnas df para Spark Connect.
  • [SPARK-45655] Permitir expresiones no deterministas dentro de AggregateFunctions en CollectMetrics.
  • [SPARK-45905] El tipo menos común entre los tipos decimales debe conservar primero los dígitos integrales.
  • [SPARK-45136] Mejorar la compatibilidad con ClosureCleaner con Ammonite.
  • [SPARK-46255] Compatibilidad con la conversión de cadenas de tipo >.
  • [SPARK-45859] Hacer que los objetos UDF en ml.functions sean diferidos.
  • [SPARK-46028] Hacer que Column.__getitem__ acepte la columna de entrada.
  • [SPARK-45798] Declarar el identificador de sesión del lado del servidor.
  • [SPARK-45892] Validación del plan del optimizador de refactorización para desacoplar validateSchemaOutput y validateExprIdUniqueness.
  • [SPARK-45844] Implementar la no distinción entre mayúsculas y minúsculas para XML.
  • [SPARK-45770] Presentar un plan DataFrameDropColumns para Dataframe.drop.
  • [SPARK-44790] XML: implementación de to_xml y enlaces para Python, Connect y SQL.
  • [SPARK-45851] Admitir varias directivas en el cliente de Scala.
  • Actualizaciones de seguridad del sistema operativo
• 29 de noviembre de 2023
  • Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
  • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se interpretaran erróneamente como caracteres comodín.
  • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
  • [SPARK-45852] El cliente de Python para Spark Connect detecta ahora errores de recursividad durante la conversión de texto.
  • [SPARK-45808] Control de errores mejorado para las excepciones de SQL.
  • [SPARK-45920] El ordinal GROUP BY no reemplaza al ordinal.
  • Revertir [SPARK-45649].
  • [SPARK-45733] Se ha agregado compatibilidad con varias directivas de reintento.
  • [SPARK-45509] Se ha corregido el comportamiento de referencia de columnas df para Spark Connect.
  • [SPARK-45655] Permitir expresiones no deterministas dentro de AggregateFunctions en CollectMetrics.
  • [SPARK-45905] El tipo menos común entre los tipos decimales ahora conserva primero los dígitos integrales.
  • [SPARK-45136] Mejorar ClosureCleaner con compatibilidad con Ammonite.
  • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
  • [SPARK-46028]Column.__getitem__ acepta columnas de entrada.
  • [SPARK-45798] Declarar el identificador de sesión del lado del servidor.
  • [SPARK-45892] Validación del plan del optimizador de refactorización para desacoplar validateSchemaOutput y validateExprIdUniqueness.
  • [SPARK-45844] Implementar la no distinción entre mayúsculas y minúsculas para XML.
  • [SPARK-45770] Se ha corregido la resolución de columna con DataFrameDropColumns para Dataframe.drop.
  • [SPARK-44790] Se ha agregado la implementación de to_xml y los enlaces para Python, Spark Connect y SQL.
  • [SPARK-45851] Se ha agregado compatibilidad con varias directivas en el cliente de Scala.
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 14.1

Consulte Databricks Runtime 14.1 (EoS).

• 10 de diciembre de 2024
  • Actualizaciones de seguridad del sistema operativo
• 26 de noviembre de 2024
  • Actualizaciones de seguridad del sistema operativo
• 5 de noviembre de 2024
  • [SPARK-49782][SQL] La regla ResolveDataFrameDropColumns resuelve UnresolvedAttribute con salida secundaria
  • [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio desde AQE
• 22 de octubre de 2024
  • [SPARK-49782][SQL] La regla ResolveDataFrameDropColumns resuelve UnresolvedAttribute con salida secundaria
  • [SPARK-49905] Use ShuffleOrigin dedicado para el operador con estado para evitar que se modifique el orden aleatorio desde AQE
• 10 de octubre de 2024
  • [BACKPORT] [SPARK-49474][SS] Clasificar la clase de error para la función de usuario FlatMapGroupsWithState
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr no debe cambiar los campos del esquema al eliminar GetArrayStructFields
  • Actualizaciones de seguridad del sistema operativo
• 25 de septiembre de 2024
  • [SPARK-49628][SQL] ConstantFolding debe copiar una expresión con estado antes de realizar la evaluación
  • [SPARK-43242][CORE] Se ha corregido el error "Tipo inesperado de BlockId" en diagnóstico de datos aleatorios corruptos
  • [SPARK-48719][SQL] Corregir el error de cálculo de "RegrS...
  • [SPARK-49000][SQL] Se ha corregido "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
  • [SPARK-46601] [CORE] Corregir el error de registro en handleStatusMessage
  • Actualizaciones de seguridad del sistema operativo
• 17 de septiembre de 2024
  • [SPARK-49526][CONNECT] Compatibilidad con rutas de acceso de estilo Windows en ArtifactManager
  • Actualizaciones de seguridad del sistema operativo
• 29 de agosto de 2024
  • [SPARK-49263][CONNECT] Cliente python de Spark Connect: controlar de forma constante las opciones del lector de Dataframes booleanos
  • [SPARK-49056][SQL] ErrorClassesJsonReader no puede controlar null correctamente
• 14 de agosto de 2024
  • [SPARK-48706][PYTHON] El UDF de Python en funciones de orden superior no debe producir un error interno
  • [SPARK-48597][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
  • [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
  • [SPARK-48050][SS] Registrar el plan lógico al inicio de la consulta
• 1 de agosto de 2024
  • Esta versión incluye una corrección de errores para las clases ColumnVector y ColumnarArray en la interfaz de Java de Spark. Antes de esta corrección, ArrayIndexOutOfBoundsException podría generarse o devolver datos incorrectos cuando los valores null estaban contenidos en una instancia de una de estas clases.
  • La salida de una instrucción SHOW CREATE TABLE ahora incluye todos los filtros de fila o máscaras de columna definidos en una vista materializada o una tabla de streaming. Vea SHOW CREATE TABLE. Para obtener información sobre los filtros de fila y las máscaras de columna, consulte Filtros de fila y máscaras de columna.
  • [SPARK-48705][PYTHON] Use explícitamente worker_main cuando empiece por pyspark
  • [SPARK-47202][PYTHON] Corregir valores datetime de interrupción de error tipográfico con tzinfo
  • Actualizaciones de seguridad del sistema operativo
• 11 de julio de 2024
  • (Cambio de comportamiento) Los DataFrames almacenados en caché en los orígenes de tabla Delta ahora se invalidan si se sobrescribe la tabla de origen. Este cambio significa que todos los cambios de estado en las tablas Delta ahora invalidan los resultados almacenados en caché. Utilice .checkpoint() para conservar un estado de tabla durante toda la vigencia de un DataFrame.
  • Esta versión incluye una corrección de un problema que impedía que la pestaña Entorno de la IU de Spark se mostrara correctamente al ejecutarse en Servicios de contenedor de Databricks.
  • [SPARK-48475][PYTHON] Optimizar _get_jvm_function en PySpark.
  • [SPARK-48445][SQL] No inserta UDF con elementos secundarios costosos
  • [SPARK-48481][SQL][SS] No aplicar OptimizeOneRowPlan en el conjunto de datos de streaming
  • [SPARK-48292][CORE] Revertir [SPARK-39195][SQL] Spark OutputCommitCoordinator debe anular la fase cuando el archivo confirmado no sea coherente con el estado de la tarea
  • [SPARK-48503][SQL] Corregir las subconsultas escalares no válidas con agrupación por columnas no equivalentes permitidas incorrectamente
  • [SPARK-48273][SQL] Corregir la reescritura tardía de PlanWithUnresolvedIdentifier
  • [SPARK-48100][SQL] Corregir problemas al omitir campos de estructura anidados no seleccionados en el esquema
  • [SPARK-48383][SS] Se produce un error mejor para las particiones no coincidentes en la opción startOffset en Kafka
  • Actualizaciones de seguridad del sistema operativo
• 17 de junio de 2024
  • Corrige un error por el que la optimización de la ventana de clasificación mediante Photon TopK controlaba incorrectamente las particiones con estructuras.
  • [SPARK-48276][PYTHON][CONNECT] Añadir el método de __repr__ que falta para SQLExpression
  • [SPARK-48277] Mejorar el mensaje de error para ErrorClassesJsonReader.getErrorMessage
  • Actualizaciones de seguridad del sistema operativo
• 21 de mayo de 2024
  • (Cambio de comportamiento) dbutils.widgets.getAll() ahora se admite para obtener todos los valores de widget en un cuaderno.
  • [SPARK-47994][SQL] Se ha corregido el error con la inserción de filtros de columna CASE WHEN en SQLServer
  • [SPARK-48105][SS] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
  • [SPARK-48173][SQL] CheckAnalysis debería ver todo el plan de consulta
  • Actualizaciones de seguridad del sistema operativo
• 9 de mayo de 2024
  • [SPARK-47371] [SQL] XML: Ignorar etiquetas de fila encontradas en CDATA
  • [SPARK-47895][SQL] group by all debe ser idempotente
  • [SPARK-47956][SQL] Comprobación de coherencia para referencias LCA sin resolver
  • [SPARK-48044][PYTHON][CONNECT] DataFrame.isStreamingde caché
  • [SPARK-47973][CORE] Registrar la llamada al sitio en SparkContext.stop() y posteriormente en SparkContext.assertNotStopped()
  • Actualizaciones de seguridad del sistema operativo
• 25 de abril de 2024
  • [SPARK-47704][SQL] El análisis de JSON produce un error “java.lang.ClassCastException” cuando spark.sql.json.enablePartialResults está habilitado
  • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite produce un error con un plan no válido
  • Actualizaciones de seguridad del sistema operativo
• 11 de abril de 2024
  • [SPARK-47638][PS] [CONNECT] Omitir la validación de nombres de columna en PS
  • [SPARK-38708][SQL] Actualizar el cliente de Metastore de Hive a la versión 3.1.3 para Hive 3.1
  • [SPARK-47309][SQL][XML] Agregar pruebas unitarias de inferencia de esquema
  • [SPARK-47509][SQL] Bloquear expresiones de subconsulta en funciones lambda y de orden superior
  • [SPARK-46990][SQL] Corrección de la carga de archivos Avro vacíos emitidos por los centros de eventos
  • Actualizaciones de seguridad del sistema operativo
• 1 de abril de 2024
  • [SPARK-47305][SQL] Corregir PruneFilters para etiquetar la marca isStreaming de LocalRelation correctamente cuando el plan tiene tanto procesamiento por lotes como streaming
  • [SPARK-47218][SQL] XML: omitir etiquetas de fila comentadas en el tokenizador XML
  • [SPARK-47300][SQL] quoteIfNeeded debe citar identificadores que comienzan con dígitos
  • [SPARK-47368][SQL] Quitar de la comprobación de configuración inferTimestampNTZ en ParquetRowConverter
  • [SPARK-47070] Corregir la agregación no válida después de la reescritura de subconsultas
  • [SPARK-47322][PYTHON][CONNECT] Hacer que el control de la duplicación de nombres de columna withColumnsRenamed sea coherente con withColumnRenamed
  • [SPARK-47300] Corrección para DecomposerSuite
  • [SPARK-47218] [SQL] XML: Se ha cambiado SchemaOfXml para que se produzca un error en el modo DROPMALFORMED
  • [SPARK-47385] Corregir los codificadores de tupla con entradas de opción.
  • Actualizaciones de seguridad del sistema operativo
• 14 de marzo de 2024
  • [SPARK-47176][SQL] Tener una función auxiliar ResolveAllExpressionsUpWithPruning
  • [SPARK-47145][SQL] Pasar el identificador de tabla al examen del origen de datos de fila exec para la estrategia V2.
  • [SPARK-47167][SQL] Agregar una clase concreta para la relación anónima de JDBC
  • [SPARK-47129][CONNECT][SQL] Hacer que el plan de conexión de caché ResolveRelations sea correcto
  • Revertir “[SPARK-46861][CORE] Evitar interbloqueo en DAGScheduler”
  • [SPARK-47044][SQL] Añadir una consulta ejecutada para orígenes de datos externos JDBC para explicar la salida
  • Actualizaciones de seguridad del sistema operativo
• 29 de febrero de 2024
  • Se ha corregido un problema por el que el uso de una colección local como origen en un comando MERGE podía dar lugar a que la métrica de operación numSourceRows notificara el doble del número correcto de filas.
  • La creación de un esquema con una ubicación definida ahora requiere que el usuario tenga privilegios SELECT y MODIFY en ANY FILE.
  • Ahora puede ingerir archivos XML mediante Auto Loader, read_files, COPY INTO, Lakeflow Spark Declarative Pipelines y Databricks SQL. La compatibilidad con archivos XML permite inferir y desarrollar esquemas automáticamente, recuperar datos con incompatibilidades de tipos, validar XML mediante XSD y admitir expresiones SQL como from_xml, schema_of_xml y to_xml. Consulte Compatibilidad con archivos XML para obtener más información. Si anteriormente había usado el paquete spark-xml externo, consulte este enlace para obtener instrucciones de migración.
  • [SPARK-46248][SQL] XML: Compatibilidad con las opciones ignoreCorruptFiles e ignoreMissingFiles
  • [SPARK-47059][SQL] Adjuntar contexto de error para el comando ALTER COLUMN v1
  • [SPARK-46954][SQL] XML: Encapsular InputStreamReader con BufferedReader
  • [SPARK-46954][SQL] XML: Optimizar la búsqueda de índices de esquema
  • [SPARK-46630][SQL] XML: Validar el nombre del elemento XML al escribir
  • Actualizaciones de seguridad del sistema operativo
• 8 de febrero de 2024
  • No se admiten las consultas de fuente de distribución de datos modificados (CDF) en vistas materializadas del catálogo de Unity, y al intentar ejecutar una consulta CDF con una vista materializada de Unity Catalog se devuelve un error. Las tablas de streaming de Unity Catalog admiten consultas CDF en tablas que no son de AUTO CDC en Databricks Runtime 14.1 y versiones posteriores. Las consultas de CDF no se admiten con tablas de streaming de Catálogo de Unity en Databricks Runtime 14.0 y versiones anteriores.
  • [SPARK-46952] XML: limitar el tamaño del registro dañado.
  • [SPARK-45182] Omitir la finalización de tareas de la fase anterior después de volver a intentar la fase primaria indeterminada según lo determinado por la suma de comprobación.
  • [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
  • [SPARK-46933] Agregar métrica de tiempo de ejecución de consultas a conectores que usan JDBCRDD.
  • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
  • [SPARK-45582] Asegurarse de que la instancia de almacén no se usa después de llamar a la confirmación en la agregación de streaming del modo de salida.
  • [SPARK-46930] Agregar soporte para un prefijo personalizado para los campos de tipo Union en Avro.
  • [SPARK-46941] No se puede insertar el nodo de límite de grupo de ventanas para el cálculo de top-k si contiene SizeBasedWindowFunction.
  • [SPARK-46396] La inferencia de marca de tiempo no debe producir una excepción.
  • [SPARK-46822] Respetar spark.sql.legacy.charVarcharAsString al convertir el tipo jdbc en el tipo de catalizador en jdbc.
  • [SPARK-45957] Evitar generar el plan de ejecución para comandos que no son ejecutables.
  • Actualizaciones de seguridad del sistema operativo
• 31 de enero de 2024
  • [SPARK-46684] Corregir CoGroup.applyInPandas/Arrow para pasar argumentos correctamente.
  • [SPARK-46763] Corregir el error de aserción en ReplaceDeduplicateWithAggregate para los atributos duplicados.
  • [SPARK-45498] Seguimiento: omitir la finalización de tareas de los intentos de fase antiguos.
  • [SPARK-46382] XML: documento de actualización de ignoreSurroundingSpaces.
  • [SPARK-46383] Reducir el uso del montón de controladores al reducir la duración de TaskInfo.accumulables().
  • [SPARK-46382] XML: ignoreSurroundingSpaces predeterminado en true.
  • [SPARK-46677] Corregir la resolución dataframe["*"].
  • [SPARK-46676] dropDuplicatesWithinWatermark no debe producir un error en la canonización del plan.
  • [SPARK-46633] Corregir lector Avro para controlar bloques de longitud cero.
  • [SPARK-45912] Mejora de la API XSDToSchema: cambio a la API de HDFS para la accesibilidad del almacenamiento en la nube.
  • [SPARK-46599] XML: Usar TypeCoercion.findTightestCommonType para la comprobación de compatibilidad.
  • [SPARK-46382] XML: capturar los valores intercalados entre elementos.
  • [SPARK-46769] Refinar la inferencia de esquema relacionada con la marca de tiempo.
  • [SPARK-46610] Create table debe producir una excepción cuando no hay ningún valor para una clave en las opciones.
  • [SPARK-45964] Quitar el descriptor de acceso sql privado en el paquete XML y JSON en el paquete catalyst.
  • Revierta [SPARK-46769] Refinar la inferencia de esquema relacionada con la marca de tiempo.
  • [SPARK-45962] Quitar treatEmptyValuesAsNulls y usar la opción nullValue en su lugar en XML.
  • [SPARK-46541] Corregir la referencia de columna ambigua en la unión automática.
  • Actualizaciones de seguridad del sistema operativo
• 17 de enero de 2024
  • El nodo shuffle del plan de explicación devuelto por una consulta de Photon se actualiza para agregar la marca causedBroadcastJoinBuildOOM=true cuando se produce un error de memoria insuficiente durante un orden aleatorio que forma parte de una combinación de difusión.
  • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
  • [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
  • [SPARK-46417] No se produce un error al llamar a hive.getTable y throwException es false.
  • [SPARK-46484] Hacer que las funciones auxiliares resolveOperators conserven el identificador del plan.
  • [SPARK-46153] XML: Agregar compatibilidad con TimestampNTZType.
  • [SPARK-46152] XML: añadir compatibilidad con DecimalType en la inferencia de esquemas XML.
  • [SPARK-46145] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista.
  • [SPARK-46478] Revertir SPARK-43049 para usar oracle varchar(255) para la cadena.
  • [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
  • [SPARK-46337] Hacer que CTESubstitution conserve PLAN_ID_TAG.
  • [SPARK-46466] El lector de parquet vectorizado nunca debe fusionarse mediante cambio de base para la marca de tiempo ntz.
  • [SPARK-46587] XML: corregir la conversión de enteros grandes XSD.
  • [SPARK-45814] Hacer que ArrowConverters.createEmptyArrowBatch llame a close() para evitar pérdidas de memoria.
  • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
  • [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
  • [SPARK-46173] Omitir la llamada a trimAll durante el análisis de fechas.
  • [SPARK-46355] XML: cerrar InputStreamReader al finalizar la lectura.
  • [SPARK-46600] Mover código compartido entre SqlConf y SqlApiConf a SqlApiConfHelper.
  • [SPARK-46261]DataFrame.withColumnsRenamed debe mantener el orden dict/map.
  • [SPARK-46056] Corregir NPE de lectura vectorizada de Parquet con el valor predeterminado byteArrayDecimalType.
  • [SPARK-46260]DataFrame.withColumnsRenamed debe respetar el orden de dict.
  • [SPARK-46250] Análisis pormenorizado de test_parity_listener.
  • [SPARK-46370] Corregir el error al consultar desde la tabla después de cambiar los valores predeterminados de columna.
  • [SPARK-46609] Evitar la explosión exponencial en PartitioningPreservingUnaryExecNode.
  • [SPARK-46058] Añadir una marca independiente para privateKeyPassword.
• 14 de diciembre de 2023
  • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se administraban incorrectamente y se interpretaban erróneamente como caracteres comodín.
  • [SPARK-45509] Corregir el comportamiento de referencia de columnas df para Spark Connect.
  • [SPARK-45844] Implementar la no distinción entre mayúsculas y minúsculas para XML.
  • [SPARK-46141] Cambiar el valor predeterminado de spark.sql.legacy.ctePrecedencePolicy a CORRECTED.
  • [SPARK-46028] Hacer que Column.__getitem__ acepte la columna de entrada.
  • [SPARK-46255] Compatibilidad con la conversión de cadenas de tipo >.
  • [SPARK-45655] Permitir expresiones no deterministas dentro de AggregateFunctions en CollectMetrics.
  • [SPARK-45433] Corregir la inferencia de esquema CSV/JSON cuando las marcas de tiempo no coinciden con el valor timestampFormat especificado.
  • [SPARK-45316] Agregar nuevos parámetros ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD y NewHadoopRDD.
  • [SPARK-45852] Tratar correctamente el error de recursividad durante el registro.
  • [SPARK-45920] El ordinal de group by debe ser idempotente.
  • Actualizaciones de seguridad del sistema operativo
• 29 de noviembre de 2023
  • Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
  • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se interpretaran erróneamente como caracteres comodín.
  • Al ingerir datos CSV mediante Auto Loader o tablas de streaming, los archivos CSV de gran tamaño ahora se pueden dividir y se pueden procesar en paralelo durante la inferencia de esquemas y el procesamiento de datos.
  • [SPARK-45892] Validación del plan del optimizador de refactorización para desacoplar validateSchemaOutput y validateExprIdUniqueness.
  • [SPARK-45620] Las API relacionadas con UDF de Python ahora usan camelCase.
  • [SPARK-44790] Se ha agregado la implementación de to_xml y los enlaces para Python, Spark Connect y SQL.
  • [SPARK-45770] Se ha corregido la resolución de columna con DataFrameDropColumns para Dataframe.drop.
  • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
  • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
  • [SPARK-44784] Hacer herméticas las pruebas SBT.
  • Actualizaciones de seguridad del sistema operativo
• 10 de noviembre de 2023
  • [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
  • [SPARK-45250] Se ha agregado compatibilidad con el perfil de recursos de tarea en el nivel de fase para clústeres YARN cuando la asignación dinámica está deshabilitada.
  • [SPARK-44753] Se han agregado el lector y el escritor de DataFrame XML para PySpark SQL.
  • [SPARK-45396] Se ha agregado una entrada de documento para el módulo PySpark.ml.connect.
  • [SPARK-45584] Se ha corregido un error de ejecución de subconsultas con TakeOrderedAndProjectExec.
  • [SPARK-45541] Se ha agregado SSLFactory.
  • [SPARK-45577] Se ha corregido UserDefinedPythonTableFunctionAnalyzeRunner para pasar valores plegados desde argumentos con nombre.
  • [SPARK-45562] Hizo que 'rowTag' fuera una opción necesaria.
  • [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
  • [SPARK-43380] Se ha corregido la ralentización en la lectura de Avro.
  • [SPARK-45430]FramelessOffsetWindowFunction ya no genera un error cuando IGNORE NULLS y offset > rowCount.
  • [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
  • [SPARK-45386] Se ha corregido un problema que provocaba que StorageLevel.NONE devolviera 0 de forma incorrecta.
  • [SPARK-44219] Se han agregado comprobaciones de validación por regla para reescrituras de optimización.
  • [SPARK-45543] Se ha corregido un problema donde InferWindowGroupLimit provocaba un fallo si las otras funciones de ventana no tenían el mismo marco de ventana que las funciones tipo clasificación.
  • Actualizaciones de seguridad del sistema operativo
• 27 de septiembre de 2023
  • [SPARK-44823] Se ha actualizado black a 23.9.1 y se ha corregido una comprobación errónea.
  • [SPARK-45339] PySpark ahora registra los errores que reintenta.
  • Se ha revertido [SPARK-42946]. Se han eliminado los datos confidenciales que estaban anidados en la sustitución de variables.
  • [SPARK-44551] Se han editado los comentarios para sincronizarlos con OSS.
  • [SPARK-45360] El generador de sesiones de Spark admite la inicialización desde SPARK_REMOTE.
  • [SPARK-45279] Se ha adjuntado plan_id a todos los planes lógicos.
  • [SPARK-45425] Se ha asignado TINYINT a ShortType para MsSqlServerDialect.
  • [SPARK-45419] Se ha quitado la entrada de asignación de versión de archivo de las versiones más grandes para evitar reutilizar los identificadores de archivo sst rocksdb.
  • [SPARK-45488] Se ha agregado compatibilidad con el valor del elemento rowTag.
  • [SPARK-42205] Se ha eliminado el registro de Accumulables en los eventos de inicio de Task/Stage en los registros de eventos de JsonProtocol.
  • [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
  • [SPARK-45256]DurationWriter produce un error al escribir más valores de los estipulados en la capacidad inicial.
  • [SPARK-43380] Se han corregido problemas de conversión de tipos de datos de Avro sin causar una regresión del rendimiento.
  • [SPARK-45182] Se ha agregado compatibilidad para revertir la fase de asignación aleatoria, por lo que todas las tareas de fase se pueden reintentar cuando la salida de la fase sea indeterminada.
  • [SPARK-45399] Se han agregado opciones XML mediante newOption.
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 14.0

Consulte Databricks Runtime 14.0 (EoS).

• 8 de febrero de 2024
  • [SPARK-46396] La inferencia de marca de tiempo no debe producir una excepción.
  • [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
  • [SPARK-45182] Omitir la finalización de tareas de la fase anterior después de volver a intentar la fase primaria indeterminada según lo determinado por la suma de comprobación.
  • [SPARK-46933] Agregar métrica de tiempo de ejecución de consultas a conectores que usan JDBCRDD.
  • [SPARK-45957] Evitar generar el plan de ejecución para comandos que no son ejecutables.
  • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
  • [SPARK-46930] Agregar soporte para un prefijo personalizado para los campos de tipo Union en Avro.
  • [SPARK-46941] No se puede insertar el nodo de límite de grupo de ventanas para el cálculo de top-k si contiene SizeBasedWindowFunction.
  • [SPARK-45582] Asegurarse de que la instancia de almacén no se usa después de llamar a la confirmación en la agregación de streaming del modo de salida.
  • Actualizaciones de seguridad del sistema operativo
• 31 de enero de 2024
  • [SPARK-46541] Corregir la referencia de columna ambigua en la unión automática.
  • [SPARK-46676] dropDuplicatesWithinWatermark no debe producir un error en la canonización del plan.
  • [SPARK-46769] Refinar la inferencia de esquema relacionada con la marca de tiempo.
  • [SPARK-45498] Seguimiento: omitir la finalización de tareas de los intentos de fase antiguos.
  • Revierta [SPARK-46769] Refinar la inferencia de esquema relacionada con la marca de tiempo.
  • [SPARK-46383] Reducir el uso del montón de controladores al reducir la duración de TaskInfo.accumulables().
  • [SPARK-46633] Corregir lector Avro para controlar bloques de longitud cero.
  • [SPARK-46677] Corregir la resolución dataframe["*"].
  • [SPARK-46684] Corregir CoGroup.applyInPandas/Arrow para pasar argumentos correctamente.
  • [SPARK-46763] Corregir el error de aserción en ReplaceDeduplicateWithAggregate para los atributos duplicados.
  • [SPARK-46610] Create table debe producir una excepción cuando no hay ningún valor para una clave en las opciones.
  • Actualizaciones de seguridad del sistema operativo
• 17 de enero de 2024
  • El nodo shuffle del plan de explicación devuelto por una consulta de Photon se actualiza para agregar la marca causedBroadcastJoinBuildOOM=true cuando se produce un error de memoria insuficiente durante un orden aleatorio que forma parte de una combinación de difusión.
  • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
  • [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
  • [SPARK-46250] Análisis pormenorizado de test_parity_listener.
  • [SPARK-45814] Hacer que ArrowConverters.createEmptyArrowBatch llame a close() para evitar pérdidas de memoria.
  • [SPARK-46173] Omitir la llamada a trimAll durante el análisis de fechas.
  • [SPARK-46484] Hacer que las funciones auxiliares resolveOperators conserven el identificador del plan.
  • [SPARK-46466] El lector de parquet vectorizado nunca debe fusionarse mediante cambio de base para la marca de tiempo ntz.
  • [SPARK-46056] Corregir NPE de lectura vectorizada de Parquet con el valor predeterminado byteArrayDecimalType.
  • [SPARK-46058] Añadir una marca independiente para privateKeyPassword.
  • [SPARK-46478] Revertir SPARK-43049 para usar oracle varchar(255) para la cadena.
  • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
  • [SPARK-46417] No se produce un error al llamar a hive.getTable y throwException es false.
  • [SPARK-46261]DataFrame.withColumnsRenamed debe mantener el orden dict/map.
  • [SPARK-46370] Corregir el error al consultar desde la tabla después de cambiar los valores predeterminados de columna.
  • [SPARK-46609] Evitar la explosión exponencial en PartitioningPreservingUnaryExecNode.
  • [SPARK-46600] Mover código compartido entre SqlConf y SqlApiConf a SqlApiConfHelper.
  • [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
  • [SPARK-46337] Hacer que CTESubstitution conserve PLAN_ID_TAG.
  • [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
  • [SPARK-46260]DataFrame.withColumnsRenamed debe respetar el orden de dict.
  • [SPARK-46145] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista.
• 14 de diciembre de 2023
  • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se administraban incorrectamente y se interpretaban erróneamente como caracteres comodín.
  • [SPARK-46255] Compatibilidad con la conversión de cadenas de tipo >.
  • [SPARK-46028] Hacer que Column.__getitem__ acepte la columna de entrada.
  • [SPARK-45920] El ordinal de group by debe ser idempotente.
  • [SPARK-45433] Corregir la inferencia de esquema CSV/JSON cuando las marcas de tiempo no coinciden con el valor timestampFormat especificado.
  • [SPARK-45509] Corregir el comportamiento de referencia de columnas df para Spark Connect.
  • Actualizaciones de seguridad del sistema operativo
• 29 de noviembre de 2023
  • Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
  • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se interpretaran erróneamente como caracteres comodín.
  • Al ingerir datos CSV mediante Auto Loader o tablas de streaming, los archivos CSV de gran tamaño ahora se pueden dividir y se pueden procesar en paralelo durante la inferencia de esquemas y el procesamiento de datos.
  • Se ha actualizado el conector de Spark-snowflake a la versión 2.12.0.
  • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
  • Revierta [SPARK-45592].
  • [SPARK-45892] Validación del plan del optimizador de refactorización para desacoplar validateSchemaOutput y validateExprIdUniqueness.
  • [SPARK-45592] Se ha corregido el problema de corrección en AQE con InMemoryTableScanExec.
  • [SPARK-45620] Las API relacionadas con UDF de Python ahora usan camelCase.
  • [SPARK-44784] Hacer herméticas las pruebas SBT.
  • [SPARK-45770] Se ha corregido la resolución de columna con DataFrameDropColumns para Dataframe.drop.
  • [SPARK-45544] Compatibilidad integrada con SSL en TransportContext.
  • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
  • Actualizaciones de seguridad del sistema operativo
• 10 de noviembre de 2023
  • Se han cambiado las consultas de fuente de distribución de datos en las vistas materializadas y las tablas de streaming de Unity Catalog para mostrar mensajes de error.
  • [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
  • [SPARK-45584] Se ha corregido un error de ejecución de subconsultas con TakeOrderedAndProjectExec.
  • [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
  • [SPARK-45541] Se ha agregado SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction ya no genera un error cuando IGNORE NULLS y offset > rowCount.
  • [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
  • [SPARK-44219] Se han agregado validaciones adicionales por regla para las reescrituras de optimización.
  • [SPARK-45543] Se ha corregido un problema en el que se generaba un error si las otras funciones de ventana no tienen el mismo marco de ventana que las funciones de tipo rango.
  • Actualizaciones de seguridad del sistema operativo
• 23 de octubre de 2023
  • [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
  • [SPARK-45396] Se ha agregado la entrada de documento para el módulo PySpark.ml.connect y se ha agregado Evaluator a __all__ en ml.connect.
  • [SPARK-45256] Se ha corregido un problema que provocaba que DurationWriter generara un error al escribir más valores de los estipulados en la capacidad inicial.
  • [SPARK-45279] Se ha adjuntado plan_id a todos los planes lógicos.
  • [SPARK-45250] Se ha agregado compatibilidad con el perfil de recursos de tarea en el nivel de fase para clústeres YARN cuando la asignación dinámica está deshabilitada.
  • [SPARK-45182] Se ha agregado compatibilidad para revertir la fase de asignación aleatoria, por lo que todas las tareas de fase se pueden reintentar cuando la salida de la fase sea indeterminada.
  • [SPARK-45419]Evitar reutilizar archivos rocksdb sst en una instancia de rocksdb diferente quitando la entrada del mapa de versiones de archivo de las versiones más grandes.
  • [SPARK-45386] Se ha corregido un problema que provocaba que StorageLevel.NONE devolviera 0 de forma incorrecta.
  • Actualizaciones de seguridad del sistema operativo
• 13 de octubre de 2023
  • Dependencia de Snowflake-jdbc actualizada de la versión 3.13.29 a 3.13.33.
  • La función array_insert se basa en 1 para los índices positivos y negativos, mientras que antes se basaba en 0 para los índices negativos. Ahora inserta un nuevo elemento al final de las matrices de entrada para el índice -1. Para restaurar el comportamiento anterior, establezca spark.sql.legacy.negativeIndexInArrayInsert en true.
  • Azure Databricks ya no omite los archivos dañados cuando una inferencia de esquema CSV con Auto Loader ha habilitado ignoreCorruptFiles.
  • [SPARK-45227] Se ha corregido un problema sutil de seguridad de subprocesos con CoarseGrainedExecutorBackend.
  • [SPARK-44658]ShuffleStatus.getMapStatus debe devolver None en lugar de Some(null).
  • [SPARK-44910]Encoders.bean no admite superclases con argumentos de tipo genérico.
  • [SPARK-45346] La inferencia de esquema Parquet respeta las marcas que distinguen mayúsculas de minúsculas al combinar el esquema.
  • Revierta [SPARK-42946].
  • [SPARK-42205] Se ha actualizado el protocolo JSON para quitar el registro de Accumulables en una tarea o en eventos de inicio de fase.
  • [SPARK-45360] El generador de sesiones de Spark admite la inicialización desde SPARK_REMOTE.
  • [SPARK-45316] Agregar nuevos parámetros ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD y NewHadoopRDD.
  • [SPARK-44909] Omita la ejecución del servidor de streaming de registro del distribuidor torch cuando no esté disponible.
  • [SPARK-45084]StateOperatorProgress ahora usa un número de partición aleatorio preciso.
  • [SPARK-45371] Se han corregido problemas de sombreado en el cliente Scala de Spark Connect.
  • [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
  • [SPARK-44840] Hacer que array_insert() se base en 1 para índices negativos.
  • [SPARK-44551] Se han editado los comentarios para sincronizarlos con OSS.
  • [SPARK-45078] La función ArrayInsert hace ahora una conversión explícita cuando el tipo de elemento no es igual al tipo de componente derivado.
  • [SPARK-45339] Pyspark ahora registra los errores de reintento.
  • [SPARK-45057] Evitar adquirir el bloqueo de lectura cuando keepReadLock sea falso.
  • [SPARK-44908] Se ha corregido la funcionalidad cruzada de parámetros foldCol de validador.
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 13.1

Consulte Databricks Runtime 13.1 (EoS).

• 29 de noviembre de 2023
  • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se interpretaran erróneamente como caracteres comodín.
  • [SPARK-44846] Se han quitado expresiones de agrupación complejas después de RemoveRedundantAggregates.
  • [SPARK-43802] Se ha corregido un problema que provocaba un error en codegen para expresiones unhex y unbase64.
  • [SPARK-43718] Se ha corregido la nulabilidad para las claves en combinaciones USING.
  • Actualizaciones de seguridad del sistema operativo
• 14 de noviembre de 2023
  • Los filtros de partición en las consultas de streaming de Delta Lake se insertan antes de la limitación de frecuencia para lograr un mejor uso.
  • Se han cambiado las consultas de fuente de distribución de datos en las vistas materializadas y las tablas de streaming de Unity Catalog para mostrar mensajes de error.
  • [SPARK-45584] Se ha corregido un error de ejecución de subconsultas con TakeOrderedAndProjectExec.
  • [SPARK-45430]FramelessOffsetWindowFunction ya no genera un error cuando IGNORE NULLS y offset > rowCount.
  • [SPARK-45543] Se ha corregido un problema donde InferWindowGroupLimit provocaba un fallo si las otras funciones de ventana no tenían el mismo marco de ventana que las funciones tipo clasificación.
  • Actualizaciones de seguridad del sistema operativo
• 24 de octubre de 2023
  • [SPARK-43799] Se ha agregado la opción binaria de descriptor a la API Protobuf de PySpark.
  • Revierta [SPARK-42946].
  • [SPARK-45346] La inferencia del esquema Parquet respeta ahora las marcas que distinguen mayúsculas de minúsculas al combinar el esquema.
  • Actualizaciones de seguridad del sistema operativo
• 13 de octubre de 2023
  • Dependencia de Snowflake-jdbc actualizada de la versión 3.13.29 a 3.13.33.
  • Ya no se omiten los archivos dañados cuando ignoreCorruptFiles está habilitado durante la inferencia de esquemas CSV con el cargador automático.
  • [SPARK-44658]ShuffleStatus.getMapStatus devuelve None en lugar de Some(null).
  • [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
  • [SPARK-42205] Se ha actualizado el protocolo JSON para quitar el registro de Accumulables en una tarea o en eventos de inicio de fase.
  • Actualizaciones de seguridad del sistema operativo
• 12 de septiembre de 2023
  • [SPARK-44718] Hacer coincidir la configuración predeterminada del modo memoria ColumnVector con el valor de configuración OffHeapMemoryMode.
  • SPARK-44878 Se ha desactivado el límite estricto para el administrador de escritura de RocksDB para evitar la excepción de inserción en la memoria caché llena.
  • Correcciones varias.
• 30 de agosto de 2023
  • [SPARK-44871] Se ha corregido el comportamiento de `percentile_disc.
  • [SPARK-44714] Facilitar la restricción de la resolución de LCA con respecto a las consultas.
  • [SPARK-44245]PySpark.sql.dataframe sample() Las pruebas de documentación ahora son solo ilustrativas.
  • [SPARK-44818] Se ha corregido la carrera para la interrupción de tareas pendiente emitida antes de inicializarse taskThread.
  • Actualizaciones de seguridad del sistema operativo
• 15 de agosto de 2023
  • [SPARK-44485] Se ha optimizado TreeNode.generateTreeString.
  • [SPARK-44643] Se ha corregido Row.__repr__ cuando la fila está vacía.
  • [SPARK-44504] La tarea de mantenimiento ahora limpia los proveedores cargados en caso de error de detención.
  • [SPARK-44479] Se ha corregido la conversión protobuf a partir de un tipo de estructura vacío.
  • [SPARK-44464] Se ha corregido applyInPandasWithStatePythonRunner en las filas de salida que tienen Null como primer valor de columna.
  • Correcciones varias.
• 27 de julio de 2023
  • Se ha corregido un error en el que dbutils.fs.ls() devolvía INVALID_PARAMETER_VALUE.LOCATION_OVERLAP cuando se le llamaba para una ruta de acceso de ubicación de almacenamiento que entraba en conflicto con otra ubicación de almacenamiento externa o administrada.
  • [SPARK-44199]CacheManager ya no actualiza fileIndex innecesariamente.
  • [SPARK-44448] Se ha corregido un error de resultados incorrectos de DenseRankLimitIterator y InferWindowGroupLimit.
  • Actualizaciones de seguridad del sistema operativo
• 24 de julio de 2023
  • Revertir [SPARK-42323].
  • [SPARK-41848] Se ha corregido un problema de sobrecarga de programación de tareas con TaskResourceProfile.
  • [SPARK-44136] Se ha corregido un problema que provocaba que StateManager se materializara en un ejecutor en lugar del controlador en FlatMapGroupsWithStateExec.
  • [SPARK-44337] Se ha corregido un problema que provocaba que cualquier campo establecido en Any.getDefaultInstance generara errores de análisis.
  • Actualizaciones de seguridad del sistema operativo
• 27 de junio de 2023
  • Actualizaciones de seguridad del sistema operativo
• 15 de junio de 2023
  • approx_count_distinct fotonizado.
  • El analizador JSON en el modo failOnUnknownFields quita un registro en modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
  • La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
  • El campo de atributos de PubSubRecord se almacena como JSON en lugar de cadena de una asignación de Scala para facilitar la serialización y deserialización.
  • El comando EXPLAIN EXTENDED ahora devuelve la idoneidad de la memoria caché de resultados de la consulta.
  • Mejore el rendimiento de las actualizaciones incrementales con SHALLOW CLONE Apache Iceberg y Parquet.
  • [SPARK-43032] Corrección de errores de SQM de Python.
  • [SPARK-43404]Omitir la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB a fin de evitar errores de coincidencia de ID.
  • [SPARK-43340] Controlar el campo de seguimiento de pila que faltaba en los registros de eventos.
  • [SPARK-43527] Se ha corregido catalog.listCatalogs en PySpark.
  • [SPARK-43541] Propagar todas las etiquetas Project en la resolución de expresiones y columnas que faltan.
  • [SPARK-43300]NonFateSharingCache Contenedor para la caché de Guava.
  • [SPARK-43378] Cerrar correctamente los objetos de transmisión en deserializeFromChunkedBuffer.
  • [SPARK-42852] Revertir los cambios relacionados con NamedLambdaVariable de EquivalentExpressions.
  • [SPARK-43779]ParseToDate ahora carga EvalMode en el subproceso principal.
  • [SPARK-43413] Corregir la nulabilidad IN de la subconsulta ListQuery.
  • [SPARK-43889] Agregar la comprobación del nombre de columna para que __dir__() filtre los nombres de columna propensos a errores.
  • [SPARK-43043] Se ha mejorado el rendimiento de MapOutputTracker.updateMapOutput
  • [SPARK-43522] Se ha corregido la creación de un nombre de columna de estructura con el índice de matriz.
  • [SPARK-43457] Agente de usuario de Augument con versiones del sistema operativo, Python y Spark.
  • [SPARK-43286] Se ha actualizado el modo CBC de aes_encrypt para generar IV aleatorios.
  • [SPARK-42851] Proteger EquivalentExpressions.addExpr() con supportedExpression().
  • Revertir [SPARK-43183].
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 12.2 LTS

Consulte Databricks Runtime 12.2 LTS (EoS).

• 26 de febrero de 2026

  • Actualizaciones de seguridad del sistema operativo

• 19 de febrero de 2026

  • Actualizaciones de seguridad del sistema operativo

• 27 de enero de 2026
  • Actualizaciones de seguridad del sistema operativo

• 9 de enero de 2026
  • Actualizaciones de seguridad del sistema operativo

• 9 de diciembre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 18 de noviembre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 4 de noviembre de 2025
  • Bibliotecas de R actualizadas:
    • flecha de 10.0.0 a 21.0.0
  • Actualizaciones de seguridad del sistema operativo

• 21 de octubre de 2025
  • Se ha actualizado Python de 2.7.18 a 2.7.18.1
  • Actualizaciones de seguridad del sistema operativo

• 7 de octubre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 24 de septiembre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 9 de septiembre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 26 de agosto de 2025
  • Actualizaciones de seguridad del sistema operativo

• 14 de agosto de 2025
  • Actualizaciones de seguridad del sistema operativo

• 29 de julio de 2025
  • Actualizaciones de seguridad del sistema operativo

• 15 de julio de 2025
  • Actualizaciones de seguridad del sistema operativo

• 1 de julio de 2025
  • Actualizaciones de seguridad del sistema operativo

• 17 de junio de 2025
  • Actualizaciones de seguridad del sistema operativo

• 3 de junio de 2025
  • Bibliotecas de Python actualizadas:
    • certifi desde 2019.11.28, 2021.10.8 hasta 2021.10.8
    • chardet de las versiones 3.0.4 y 4.0.0 a la versión 4.0.0
    • idna desde 2.8, 3.3 hasta 3.3
    • requests desde 2.22.0, 2.27.1 hasta 2.27.1
    • six desde 1.14.0, 1.16.0 hasta 1.16.0
    • urllib3 desde 1.25.8, 1.26.9 hasta 1.26.9
    • Se ha añadido pip 21.2.4
    • Se ha añadido setuptools 61.2.0
    • Se ha agregado tomli 1.2.2
    • Se agregó wcwidth 0.2.5
    • Se agregó la rueda 0.37.0
    • Se eliminó la distribución 1.4.0
    • Se eliminó distro-info 0.23+ubuntu1.1
    • Se eliminó python-apt 2.0.1+ubuntu0.20.4.1
  • Bibliotecas de Java actualizadas:
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider desde la versión 1.6.1-linux-x86_64 hasta la 1.6.1
  • Actualizaciones de seguridad del sistema operativo

• 20 de mayo de 2025
  • [SPARK-42655][SQL] Error de referencia de columna ambiguo incorrecto
  • Actualizaciones de seguridad del sistema operativo

• 22 de abril de 2025
  • [Cambio de comportamiento] Las operaciones de Vacuum ahora realizan comprobaciones de protocolo Writer similares a otras operaciones, lo que impide las limpiezas inesperadas en tablas con actualizaciones más recientes cuando se ejecutan desde versiones anteriores incompatibles de Databricks Runtime.
  • Actualizaciones de seguridad del sistema operativo

• 9 de abril de 2025
  • Actualizaciones de seguridad del sistema operativo

• 11 de marzo de 2025

  • Actualizaciones de seguridad del sistema operativo

• 10 de diciembre de 2024

  • Actualizaciones de seguridad del sistema operativo

• 26 de noviembre de 2024

  • Correcciones de errores varios.

• 10 de octubre de 2024

  • [SPARK-49743][SQL] OptimizeCsvJsonExpr no debe cambiar los campos del esquema al eliminar GetArrayStructFields

• 25 de septiembre de 2024

  • [SPARK-49000][SQL] Solucionar "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
  • [SPARK-46601] [CORE] Corregir el error de registro en handleStatusMessage
  • Correcciones de errores varios.

• 17 de septiembre de 2024

  • Actualizaciones de seguridad del sistema operativo

• 29 de agosto de 2024

  • Correcciones de errores varios.

• 14 de agosto de 2024

  • [SPARK-48941][SPARK-48970] Correcciones en el lector y escritor de ML de Backport
  • [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
  • [SPARK-49056][SQL] ErrorClassesJsonReader no puede controlar null correctamente
  • [SPARK-48597][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
  • [SPARK-48463][ML] Hacer que StringIndexer admita columnas de entrada anidadas
  • Actualizaciones de seguridad del sistema operativo

• 1 de agosto de 2024

  • [SPARK-48896][SPARK-48909][SPARK-48883] Correcciones del sistema de escritura de Spark ML de Backport

• 1 de agosto de 2024

  • Para aplicar los parches de seguridad necesarios, la versión de Python de Databricks Runtime 12.2 LTS se actualiza de 3.9.5 a 3.9.19.

• 11 de julio de 2024

  • (Cambio de comportamiento) Los DataFrames almacenados en caché en los orígenes de tabla Delta ahora se invalidan si se sobrescribe la tabla de origen. Este cambio significa que todos los cambios de estado en las tablas Delta ahora invalidan los resultados almacenados en caché. Utilice .checkpoint() para conservar un estado de tabla durante toda la vigencia de un DataFrame.
  • [SPARK-48481][SQL][SS] No aplicar OptimizeOneRowPlan en el conjunto de datos de streaming
  • [SPARK-47070] Corregir la agregación no válida después de la reescritura de subconsultas
  • [SPARK-42741][SQL] No desencapsular conversiones en comparación binaria cuando literal es null
  • [SPARK-48445][SQL] No inserta UDF con elementos secundarios costosos
  • [SPARK-48503][SQL] Corregir las subconsultas escalares no válidas con agrupación por columnas no equivalentes permitidas incorrectamente
  • [SPARK-48383][SS] Se produce un error mejor para las particiones no coincidentes en la opción startOffset en Kafka
  • Actualizaciones de seguridad del sistema operativo

• 17 de junio de 2024

  • [SPARK-48277] Mejorar el mensaje de error para ErrorClassesJsonReader.getErrorMessage
  • Correcciones de errores varios.

• 21 de mayo de 2024

  • [SPARK-48105][SS] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
  • Actualizaciones de seguridad del sistema operativo

• 9 de mayo de 2024

  • [SPARK-44251][SQL] Establece que admite un valor NULL correctamente en la clave de combinación combinado en combinación externa completa USING
  • [SPARK-47973][CORE] Registrar la llamada al sitio en SparkContext.stop() y posteriormente en SparkContext.assertNotStopped()
  • [SPARK-47956][SQL] Comprobación de coherencia para referencias LCA sin resolver
  • [SPARK-48018][SS] Corregir groupId null que provoca un error de parámetro que falta al iniciar KafkaException.couldNotReadOffsetRange
  • Actualizaciones de seguridad del sistema operativo

• 25 de abril de 2024

  • Actualizaciones de seguridad del sistema operativo

• 11 de abril de 2024

  • Actualizaciones de seguridad del sistema operativo

• 1 de abril de 2024

  • [SPARK-47305][SQL] Corregir PruneFilters para etiquetar la marca isStreaming de LocalRelation correctamente cuando el plan tiene tanto procesamiento por lotes como streaming
  • [SPARK-44252][SS] Definir una nueva clase de error y aplicar para el caso en el que se produce un error en el estado de carga desde DFS
  • [SPARK-47135][SS] Implementar clases de error para excepciones de pérdida de datos de Kafka
  • [SPARK-47200][SS] Clase de error de la función de usuario receptor de lotes Foreach
  • Actualizaciones de seguridad del sistema operativo

• 14 de marzo de 2024

  • [SPARK-47176][SQL] Tener una función auxiliar ResolveAllExpressionsUpWithPruning
  • Revertir "[SPARK-46861][CORE] Evitar interbloqueo en DAGScheduler"
  • [SPARK-47125][SQL] Devuelve null si Univocity nunca desencadena el análisis
  • [SPARK-47167][SQL] Agregar una clase concreta para la relación anónima de JDBC
  • Actualizaciones de seguridad del sistema operativo

• 29 de febrero de 2024

  • Se ha corregido un problema por el que el uso de una colección local como origen en un comando MERGE podía dar lugar a que la métrica de operación numSourceRows notificara el doble del número correcto de filas.
  • La creación de un esquema con una ubicación definida ahora requiere que el usuario tenga privilegios SELECT y MODIFY en ANY FILE.
  • [SPARK-45582][SS] Asegúrese de que la instancia de almacén no se usa después de llamar a la confirmación en la agregación de streaming en modo de salida.
  • Actualizaciones de seguridad del sistema operativo

• 13 de febrero de 2024

  • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
  • [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
  • Actualizaciones de seguridad del sistema operativo

• 31 de enero de 2024

  • [SPARK-46763] Corregir el error de aserción en ReplaceDeduplicateWithAggregate para los atributos duplicados.
  • Actualizaciones de seguridad del sistema operativo

• 25 de diciembre de 2023

  • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
  • [SPARK-39440] Agregar una configuración para deshabilitar la escala de tiempo de eventos.
  • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
  • [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
  • [SPARK-46417] No se produce un error al llamar a hive.getTable y throwException es false.
  • [SPARK-43067] Corregir la ubicación del archivo de recursos de clase de error en el conector de Kafka.
  • [SPARK-46249] Requerir bloqueo de instancia para adquirir métricas de RocksDB para evitar la carrera con operaciones en segundo plano.
  • [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
  • [SPARK-46058] Añadir una marca independiente para privateKeyPassword.
  • [SPARK-46145] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista.
  • [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
  • [SPARK-42852] Revertir los cambios relacionados con NamedLambdaVariable de EquivalentExpressions.

• 14 de diciembre de 2023

  • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se administraban incorrectamente y se interpretaban erróneamente como caracteres comodín.
  • [SPARK-44582] Omisión del iterador en SMJ si se ha limpiado.
  • [SPARK-45920] El ordinal de group by debe ser idempotente.
  • [SPARK-45655] Permitir expresiones no deterministas dentro de AggregateFunctions en CollectMetrics.
  • Actualizaciones de seguridad del sistema operativo

• 29 de noviembre de 2023

  • Se ha instalado un nuevo paquete, pyarrow-hotfix, para corregir una vulnerabilidad de RCE de PyArrow.
  • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se interpretaran erróneamente como caracteres comodín.
  • [SPARK-42205] Se han quitado los registros acumulables de los eventos de inicio de Stage y Task.
  • [SPARK-44846] Se han quitado expresiones de agrupación complejas después de RemoveRedundantAggregates.
  • [SPARK-43718] Se ha corregido la nulabilidad para las claves en combinaciones USING.
  • [SPARK-45544] Compatibilidad integrada con SSL en TransportContext.
  • [SPARK-43973] La interfaz de usuario de flujo estructurado ahora muestra correctamente las consultas con errores.
  • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
  • Actualizaciones de seguridad del sistema operativo

• 14 de noviembre de 2023

  • Los filtros de partición en las consultas de streaming de Delta Lake se insertan antes de la limitación de frecuencia para lograr un mejor uso.
  • [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
  • [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
  • [SPARK-45584] Se ha corregido un error de ejecución de subconsultas con TakeOrderedAndProjectExec.
  • [SPARK-45541] Se ha agregado SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction ya no genera un error cuando IGNORE NULLS y offset > rowCount.
  • [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
  • Actualizaciones de seguridad del sistema operativo

• 24 de octubre de 2023

  • [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
  • Correcciones varias.

• 13 de octubre de 2023

  • Dependencia de Snowflake-jdbc actualizada de la versión 3.13.29 a 3.13.33.
  • [SPARK-42553] Asegurar al menos una unidad de tiempo después del intervalo.
  • [SPARK-45346] La inferencia de esquema Parquet respeta las marcas que distinguen mayúsculas de minúsculas al combinar el esquema.
  • [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
  • [SPARK-45084]StateOperatorProgress para utilizar un número de partición aleatoria efectivo y preciso.

• 12 de septiembre de 2023

  • [SPARK-44873] Se ha agregado soporte para alter view con columnas anidadas en el cliente de Hive.
  • [SPARK-44718] Hacer coincidir la configuración predeterminada del modo memoria ColumnVector con el valor de configuración OffHeapMemoryMode.
  • [SPARK-43799] Se ha agregado la opción binaria de descriptor a la API Protobuf de PySpark.
  • Correcciones varias.

• 30 de agosto de 2023

  • [SPARK-44485] Se ha optimizado TreeNode.generateTreeString.
  • [SPARK-44818] Se ha corregido la carrera para la interrupción de tareas pendiente emitida antes de inicializarse taskThread.
  • [SPARK-44871][11.3-13.0] Se ha corregido el comportamiento de percentile_disc.
  • [SPARK-44714] Restricción sencilla de la resolución de LCA con respecto a las consultas.
  • Actualizaciones de seguridad del sistema operativo

• 15 de agosto de 2023

  • [SPARK-44504] La tarea de mantenimiento limpia los proveedores cargados en caso de error de detención.
  • [SPARK-44464] Se ha corregido applyInPandasWithStatePythonRunner en las filas de salida que tienen Null como primer valor de columna.
  • Actualizaciones de seguridad del sistema operativo

• 29 de julio de 2023

  • Se ha corregido un error en el que dbutils.fs.ls() devolvía INVALID_PARAMETER_VALUE.LOCATION_OVERLAP cuando se le llamaba para una ruta de acceso de ubicación de almacenamiento que entraba en conflicto con otra ubicación de almacenamiento externa o administrada.
  • [SPARK-44199]CacheManager ya no actualiza fileIndex innecesariamente.
  • Actualizaciones de seguridad del sistema operativo

• 24 de julio de 2023

  • [SPARK-44337] Se ha corregido un problema que provocaba que cualquier campo establecido en Any.getDefaultInstance generara errores de análisis.
  • [SPARK-44136] Se ha corregido un problema que provocaba que StateManager se materializara en un ejecutor en lugar del controlador en FlatMapGroupsWithStateExec.
  • Actualizaciones de seguridad del sistema operativo

• 23 de junio de 2023

  • Actualizaciones de seguridad del sistema operativo

• 15 de junio de 2023

  • approx_count_distinct fotonizado.
  • La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
  • [SPARK-43779]ParseToDate ahora carga EvalMode en el subproceso principal.
  • [SPARK-43156][SPARK-43098] prueba de error de recuento de subconsulta escalar extendida con decorrelateInnerQuery desactivado.
  • Actualizaciones de seguridad del sistema operativo

• 2 de junio de 2023

  • El analizador JSON en el modo failOnUnknownFields quita un registro en modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
  • Mejora el rendimiento de las actualizaciones incrementales con SHALLOW CLONE Iceberg y Parquet.
  • Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
  • [SPARK-43404] Omitir la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB a fin de evitar errores de coincidencia de ID.
  • [SPARK-43413][11.3-13.0] Se ha corregido la nulabilidad de la subconsulta INListQuery.
  • [SPARK-43522] Se ha corregido la creación de un nombre de columna de estructura con el índice de matriz.
  • [SPARK-43541] Propagar todas las etiquetas Project en la resolución de expresiones y columnas que faltan.
  • [SPARK-43527] Se ha corregido catalog.listCatalogs en PySpark.
  • [SPARK-43123] Los metadatos de campo internos ya no se filtran a los catálogos.
  • [SPARK-43340] Se ha corregido el campo de seguimiento de pila que faltaba en los registros de eventos.
  • [SPARK-42444]DataFrame.drop ahora controla correctamente las columnas duplicadas.
  • [SPARK-42937]PlanSubqueries ahora establece InSubqueryExec#shouldBroadcast en verdadero.
  • [SPARK-43286] Se ha actualizado el modo CBC de aes_encrypt para generar IV aleatorios.
  • [SPARK-43378] Cerrar correctamente los objetos de transmisión en deserializeFromChunkedBuffer.

• 17 de mayo de 2023

  • Los exámenes de Parquet ahora son sólidos con respecto a los OEM al examinar archivos excepcionalmente estructurados ajustando dinámicamente el tamaño del lote. Los metadatos de archivo se analizan para reducir de forma preventiva el tamaño del lote y se reducen de nuevo en los reintentos de tareas como una red de seguridad final.
  • Si se leyó un archivo Avro con solo la opción failOnUnknownFields o con autocargador en el modo de evolución del esquema failOnNewColumns, las columnas que tienen tipos de datos diferentes se leerían como null en lugar de producir un error que indica que el archivo no se puede leer. Estas lecturas ahora producen un error y recomiendan a los usuarios que usen la opción rescuedDataColumn.
  • El cargador automático ahora hace lo siguiente.
  • • Lee y ya no recupera los tipos Integer, Short, Byte si se proporciona uno de estos tipos de datos, pero el archivo Avro sugiere uno de los otros dos tipos.
  • • Impide que los tipos de intervalo de lectura sean tipos de fecha o marca de tiempo para evitar obtener fechas dañadas.
  • • Evita la lectura de los tipos Decimal con menor precisión.
  • [SPARK-43172] Expone el host y el token del cliente de conexión de Spark.
  • [SPARK-43293]__qualified_access_only se omite en columnas normales.
  • [SPARK-43098] Se ha corregido un error de corrección COUNT cuando la subconsulta escalar se agrupa por cláusula.
  • [SPARK-43085] Compatibilidad con la asignación de columnas DEFAULT para nombres de tabla de varias partes.
  • [SPARK-43190]ListQuery.childOutput ahora es coherente con la salida secundaria.
  • [SPARK-43192] Se ha quitado la validación del conjunto de caracteres del agente de usuario.
  • Actualizaciones de seguridad del sistema operativo

• 25 de abril de 2023

  • Si se leyó un archivo Parquet con solo la opción failOnUnknownFields o con autocargador en el modo de evolución del esquema failOnNewColumns, las columnas que tenían tipos de datos diferentes se leerían como null en lugar de producir un error que indica que el archivo no se puede leer. Estas lecturas ahora producen un error y recomiendan a los usuarios que usen la opción rescuedDataColumn.
  • Auto Loader ahora lee correctamente y ya no recupera los tipos Integer, Short, Byte si se proporciona uno de estos tipos de datos. El archivo Parquet sugiere uno de los otros dos tipos. Cuando la columna de datos rescatada estaba anteriormente, la falta de coincidencia del tipo de datos provocaba que las columnas se guardaran aunque fueran legibles.
  • [SPARK-43009] Se ha parametrizado sql() con constantes Any.
  • [SPARK-42406] Finalizar los campos recursivos de Protobuf quitando el campo
  • [SPARK-43038] Compatibilidad con el modo CBC mediante aes_encrypt()/aes_decrypt().
  • [SPARK-42971]Cambiar para imprimir workdir si appDirs es NULL cuando el evento de controlador de trabajo WorkDirCleanup
  • [SPARK-43018] Corregir el error para comandos de INSERT con literales de marca de tiempo
  • Actualizaciones de seguridad del sistema operativo

• 11 de abril de 2023

  • Admite formatos de origen de datos heredados en el comando SYNC.
  • Corrige un error en el comportamiento %autoreload de los cuadernos que están fuera de un repositorio.
  • Se ha corregido un error por el que la evolución del esquema del cargador automático puede entrar en un bucle de error infinito, cuando se detecta una nueva columna en el esquema de un objeto JSON anidado.
  • [SPARK-42928] Hacer que resolvePersistentFunction se sincronice.
  • [SPARK-42936] Corregir el error de LCA cuando su agregado secundario puede resolver directamente la cláusula.
  • [SPARK-42967] Corrige SparkListenerTaskStart.stageAttemptId cuando se inicia una tarea después de cancelar la fase.
  • Actualizaciones de seguridad del sistema operativo

• 29 de marzo de 2023

  • Databricks SQL ahora admite la especificación de valores predeterminados para columnas de tablas de Delta Lake, ya sea en tiempo de creación de tablas o después. Los comandos posteriores INSERT, UPDATE, DELETEy MERGE pueden hacer referencia al valor predeterminado de cualquier columna mediante la palabra clave explícita DEFAULT . Además, si alguna asignación INSERT contiene una lista explícita de menos columnas que la tabla de destino, los valores predeterminados de columna correspondientes se sustituyen por las columnas restantes (o NULL si no se especifica ningún valor predeterminado).

    Por ejemplo:

    CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
    INSERT INTO t VALUES (0, DEFAULT);
    INSERT INTO t VALUES (1, DEFAULT);
    SELECT first, second FROM t;
    \> 0, 2023-03-28
    1, 2023-03-28z
    

  • Auto Loader ahora inicia al menos una limpieza sincrónica de registros de RocksDB para flujos Trigger.AvailableNow para asegurarse de que el punto de control se pueda limpiar periódicamente para flujos de cargador automático de ejecución rápida. Esto puede hacer que algunas secuencias tarden más tiempo antes de que se apaguen, pero le ahorrarán costos de almacenamiento y mejorará la experiencia del cargador automático en futuras ejecuciones.

  • Ahora puede modificar una tabla Delta para agregar compatibilidad con las características de tabla mediante DeltaTable.addFeatureSupport(feature_name).

  • [SPARK-42794] Aumentar lockAcquireTimeoutMs a 2 minutos para adquirir el almacén de estado de RocksDB en Structure Streaming

  • [SPARK-42521] Agregar NULL a INSERT con listas especificadas por el usuario de menos columnas que la tabla de destino

  • [SPARK-42702][SPARK-42623] Admite consultas parametrizadas en la subconsulta y CTE

  • [SPARK-42668] Detectar excepciones al intentar cerrar la secuencia comprimida en la detención de HDFSStateStoreProvider

  • [SPARK-42403] JsonProtocol debe controlar cadenas JSON nulas

• 8 de marzo de 2023

  • Se ha mejorado el mensaje de error "Error al inicializar la configuración" para proporcionar más contexto para el cliente.
  • Hay un cambio terminológico para agregar características a una tabla Delta mediante la propiedad table. La sintaxis preferida ahora es 'delta.feature.featureName'='supported' en lugar de 'delta.feature.featureName'='enabled'. Para la compatibilidad con versiones anteriores, usar 'delta.feature.featureName'='enabled' todavía funciona y seguirá funcionando.
  • A partir de esta versión, es posible crear o reemplazar una tabla por una propiedad de tabla delta.ignoreProtocolDefaults adicional para omitir las configuraciones de Spark relacionadas con el protocolo, que incluye versiones predeterminadas de lector y escritor, así como características de tabla compatibles de forma predeterminada.
  • [SPARK-42070] Cambiar el valor predeterminado del argumento de la función Mask de -1 a NULL
  • [SPARK-41793] Resultado incorrecto para los marcos de ventana definidos por una cláusula de intervalo en decimales significativos
  • [SPARK-42484] Mejor mensaje de error de UnsafeRowUtils
  • [SPARK-42516] Capturar siempre la configuración de zona horaria de sesión al crear vistas
  • [SPARK-42635] Corregir la expresión TimestampAdd.
  • [SPARK-42622] Se ha desactivado la sustitución en valores
  • [SPARK-42534] Corregir la cláusula de límite de DB2Dialect
  • [SPARK-42121] Agregar funciones integradas con valores de tabla posexplode, posexplode_outer, json_tuple y pila
  • [SPARK-42045] Modo SQL ANSI: Round/Bround debe devolver un error en desbordamiento de enteros pequeños o pequeños o significativos
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 11.3 LTS

Consulte Databricks Runtime 11.3 LTS (EoS).

• 4 de noviembre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 21 de octubre de 2025
  • Se ha actualizado Python de 2.7.18 a 2.7.18.1
  • Actualizaciones de seguridad del sistema operativo

• 7 de octubre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 24 de septiembre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 9 de septiembre de 2025
  • Actualizaciones de seguridad del sistema operativo

• 26 de agosto de 2025
  • Actualizaciones de seguridad del sistema operativo

• 14 de agosto de 2025
  • Actualizaciones de seguridad del sistema operativo

• 29 de julio de 2025
  • Actualizaciones de seguridad del sistema operativo

• 15 de julio de 2025
  • Actualizaciones de seguridad del sistema operativo

• 1 de julio de 2025
  • Actualizaciones de seguridad del sistema operativo

• 17 de junio de 2025
  • Actualizaciones de seguridad del sistema operativo

• 3 de junio de 2025
  • Bibliotecas de Python actualizadas:
    • certifi desde 2019.11.28, 2021.10.8 hasta 2021.10.8
    • chardet de las versiones 3.0.4 y 4.0.0 a la versión 4.0.0
    • Actualización de idna de la versión 2.8, 3.2 a la versión 3.2.
    • solicitudes desde 2.22.0, 2.26.0 hasta 2.26.0
    • six desde 1.14.0, 1.16.0 hasta 1.16.0
    • urllib3 desde 1.25.8, 1.26.7 hasta 1.26.7
    • Se ha añadido pip 21.2.4
    • Se ha añadido setuptools 58.0.4
    • Se agregó tomli 2.0.1
    • Se agregó wcwidth 0.2.5
    • Se agregó la rueda 0.37.0
    • Se eliminó la distribución 1.4.0
    • Se eliminó distro-info 0.23+ubuntu1.1
    • Se eliminó python-apt 2.0.1+ubuntu0.20.4.1
  • Actualizaciones de seguridad del sistema operativo

• 20 de mayo de 2025
  • [SPARK-42655][SQL] Error de referencia de columna ambiguo incorrecto
  • Actualizaciones de seguridad del sistema operativo

• 22 de abril de 2025
  • [Cambio de comportamiento] Las operaciones de Vacuum ahora realizan comprobaciones de protocolo Writer similares a otras operaciones, lo que impide las limpiezas inesperadas en tablas con actualizaciones más recientes cuando se ejecutan desde versiones anteriores incompatibles de Databricks Runtime.
  • Actualizaciones de seguridad del sistema operativo

• 9 de abril de 2025
  • Actualizaciones de seguridad del sistema operativo

• 5 de marzo de 2025
  • Actualizaciones de seguridad del sistema operativo

• 11 de febrero de 2025
  • Esta versión incluye una corrección para un caso perimetral en el que un CLONE incremental podría volver a copiar archivos ya copiados de una tabla de origen a una tabla de destino. Consulte Clonación de una tabla en Azure Databricks.

• 10 de diciembre de 2024
  • Actualizaciones de seguridad del sistema operativo
• 26 de noviembre de 2024
  • Correcciones de errores varios.
• 10 de octubre de 2024
  • Correcciones de errores varios.
• 25 de septiembre de 2024
  • [SPARK-46601] [CORE] Corregir el error de registro en handleStatusMessage
  • [SPARK-49000][SQL] Solucionar "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
  • Correcciones de errores varios.
• 17 de septiembre de 2024
  • Actualizaciones de seguridad del sistema operativo
• 14 de agosto de 2024
  • [SPARK-48941][SPARK-48970] Correcciones en el lector y escritor de ML de Backport
  • [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM
  • [SPARK-48597][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
  • [SPARK-48463][ML] Hacer que StringIndexer admita columnas de entrada anidadas
  • Actualizaciones de seguridad del sistema operativo
• 1 de agosto de 2024
  • [SPARK-48896][SPARK-48909][SPARK-48883] Correcciones del sistema de escritura de Spark ML de Backport
• 1 de agosto de 2024
  • Para aplicar los parches de seguridad necesarios, la versión de Python de Databricks Runtime 11.3 LTS se actualiza de 3.9.5 a 3.9.19.
• 11 de julio de 2024
  • [SPARK-48383][SS] Se produce un error mejor para las particiones no coincidentes en la opción startOffset en Kafka
  • [SPARK-47070] Corregir la agregación no válida después de la reescritura de subconsultas
  • Actualizaciones de seguridad del sistema operativo
• 17 de junio de 2024
  • Actualizaciones de seguridad del sistema operativo
• 21 de mayo de 2024
  • [SPARK-48105][SS] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
  • Actualizaciones de seguridad del sistema operativo
• 9 de mayo de 2024
  • [SPARK-48018][SS] Corregir groupId null que provoca un error de parámetro que falta al iniciar KafkaException.couldNotReadOffsetRange
  • [SPARK-47973][CORE] Registrar la llamada al sitio en SparkContext.stop() y posteriormente en SparkContext.assertNotStopped()
  • [SPARK-44251][SQL] Establece que admite un valor NULL correctamente en la clave de combinación combinado en combinación externa completa USING
  • Actualizaciones de seguridad del sistema operativo
• 25 de abril de 2024
  • Actualizaciones de seguridad del sistema operativo
• 11 de abril de 2024
  • Actualizaciones de seguridad del sistema operativo
• 1 de abril de 2024
  • [SPARK-44252][SS] Definir una nueva clase de error y aplicar para el caso en el que se produce un error en el estado de carga desde DFS
  • [SPARK-47135][SS] Implementar clases de error para excepciones de pérdida de datos de Kafka
  • Revertir "[SPARK-46861][CORE] Evitar interbloqueo en DAGScheduler"
  • [SPARK-47200][SS] Clase de error de la función de usuario receptor de lotes Foreach
  • Actualizaciones de seguridad del sistema operativo
• 14 de marzo de 2024
  • [SPARK-47167][SQL] Agregar una clase concreta para la relación anónima de JDBC
  • [SPARK-47125][SQL] Devuelve null si Univocity nunca desencadena el análisis
  • Actualizaciones de seguridad del sistema operativo
• 29 de febrero de 2024
  • Se ha corregido un problema por el que el uso de una colección local como origen en un comando MERGE podía dar lugar a que la métrica de operación numSourceRows notificara el doble del número correcto de filas.
  • [SPARK-45582][SS] Asegúrese de que la instancia de almacén no se usa después de llamar a la confirmación en la agregación de streaming en modo de salida.
• 13 de febrero de 2024
  • [SPARK-46794] Quitar subconsultas de restricciones LogicalRDD.
  • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
  • Actualizaciones de seguridad del sistema operativo
• 31 de enero de 2024
  • Actualizaciones de seguridad del sistema operativo
• 25 de diciembre de 2023
  • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
  • [SPARK-46058] Añadir una marca independiente para privateKeyPassword.
  • [SPARK-46602] Propagar allowExisting en la creación de la vista cuando la vista o tabla no exista.
  • [SPARK-46394] Corregir problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema se establece en true.
  • [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
  • [SPARK-39440] Agregar una configuración para deshabilitar la escala de tiempo de eventos.
  • [SPARK-46249] Requerir bloqueo de instancia para adquirir métricas de RocksDB para evitar la carrera con operaciones en segundo plano.
  • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.
• 14 de diciembre de 2023
  • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se administraban incorrectamente y se interpretaban erróneamente como caracteres comodín.
  • Actualizaciones de seguridad del sistema operativo
• 29 de noviembre de 2023
  • Se ha corregido un problema que provocaba que los caracteres de subrayado con escape en operaciones getColumns procedentes de clientes JDBC o ODBC se interpretaran erróneamente como caracteres comodín.
  • [SPARK-43973] La interfaz de usuario de flujo estructurado ahora muestra correctamente las consultas con errores.
  • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
  • [SPARK-45544] Compatibilidad integrada con SSL en TransportContext.
  • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
  • [SPARK-43718] Se ha corregido la nulabilidad para las claves en combinaciones USING.
  • [SPARK-44846] Se han quitado expresiones de agrupación complejas después de RemoveRedundantAggregates.
  • Actualizaciones de seguridad del sistema operativo

• 14 de noviembre de 2023
  • Los filtros de partición en las consultas de streaming de Delta Lake se insertan antes de la limitación de frecuencia para lograr un mejor uso.
  • [SPARK-42205] Se han quitado los registros acumulables de los eventos de inicio de fase y tarea.
  • [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
  • Revierta [SPARK-33861].
  • [SPARK-45541] Se ha agregado SSLFactory.
  • [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
  • [SPARK-45584] Se ha corregido un error de ejecución de subconsultas con TakeOrderedAndProjectExec.
  • [SPARK-45430]FramelessOffsetWindowFunction ya no genera un error cuando IGNORE NULLS y offset > rowCount.
  • [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
  • Actualizaciones de seguridad del sistema operativo
• 24 de octubre de 2023
  • [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
  • Correcciones varias.
• 13 de octubre de 2023
  • Dependencia de Snowflake-jdbc actualizada de la versión 3.13.29 a 3.13.33.
  • [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
  • [SPARK-45084]StateOperatorProgress para utilizar un número de partición aleatoria efectivo y preciso.
  • [SPARK-45346] La inferencia del esquema Parquet respeta ahora las marcas que distinguen mayúsculas de minúsculas al combinar el esquema.
  • Actualizaciones de seguridad del sistema operativo
• 10 de septiembre de 2023
  • Correcciones varias.
• 30 de agosto de 2023
  • [SPARK-44818] Se ha corregido la carrera para la interrupción de tareas pendiente emitida antes de inicializarse taskThread.
  • [SPARK-44871][11.3-13.0] Se ha corregido el comportamiento de percentile_disc.
  • Actualizaciones de seguridad del sistema operativo
• 15 de agosto de 2023
  • [SPARK-44485] Se ha optimizado TreeNode.generateTreeString.
  • [SPARK-44504] La tarea de mantenimiento limpia los proveedores cargados en caso de error de detención.
  • [SPARK-44464] Se ha corregido applyInPandasWithStatePythonRunner en las filas de salida que tienen Null como primer valor de columna.
  • Actualizaciones de seguridad del sistema operativo
• 27 de julio de 2023
  • Se ha corregido un error en el que dbutils.fs.ls() devolvía INVALID_PARAMETER_VALUE.LOCATION_OVERLAP cuando se le llamaba para una ruta de acceso de ubicación de almacenamiento que entraba en conflicto con otra ubicación de almacenamiento externa o administrada.
  • [SPARK-44199]CacheManager ya no actualiza fileIndex innecesariamente.
  • Actualizaciones de seguridad del sistema operativo
• 24 de julio de 2023
  • [SPARK-44136] Se ha corregido un problema que provocaba que StateManager se materializara en el ejecutor en lugar del controlador en FlatMapGroupsWithStateExec.
  • Actualizaciones de seguridad del sistema operativo
• 23 de junio de 2023
  • Actualizaciones de seguridad del sistema operativo
• 15 de junio de 2023
  • approx_count_distinct fotonizado.
  • La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
  • [SPARK-43779]ParseToDate ahora carga EvalMode en el subproceso principal.
  • [SPARK-40862] Compatibilidad con subconsultas no agregadas en RewriteCorrelatedScalarSubquery
  • [SPARK-43156][SPARK-43098] Prueba de errores de recuento de subconsulta escalar extendida con decorrelateInnerQuery desactivado.
  • [SPARK-43098] Se ha corregido el error COUNT de corrección cuando la subconsulta escalar tiene una cláusula group by.
  • Actualizaciones de seguridad del sistema operativo
• 2 de junio de 2023
  • El analizador JSON en el modo failOnUnknownFields quita un registro en modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
  • Mejora el rendimiento de las actualizaciones incrementales con SHALLOW CLONE Iceberg y Parquet.
  • Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
  • [SPARK-43404]Omitir la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB a fin de evitar errores de coincidencia de ID.
  • [SPARK-43527] Se ha corregido catalog.listCatalogs en PySpark.
  • [SPARK-43413][11.3-13.0] Se ha corregido la nulabilidad de la subconsulta INListQuery.
  • [SPARK-43340] Se ha corregido el campo de seguimiento de pila que faltaba en los registros de eventos.

Databricks Runtime 10.4 LTS

Consulte Databricks Runtime 10.4 LTS (EoS).

• 12 de agosto de 2025
  • Actualizaciones de seguridad del sistema operativo

• 15 de julio de 2025
  • Actualizaciones de seguridad del sistema operativo

• 1 de julio de 2025

  • Actualizaciones de seguridad del sistema operativo

• 17 de junio de 2025

  • Actualizaciones de seguridad del sistema operativo

• 3 de junio de 2025
  • Bibliotecas de Python actualizadas:
    • certifi de 2019.11.28, 2020.12.5 a 2020.12.5
    • chardet de las versiones 3.0.4 y 4.0.0 a la versión 4.0.0
    • idna de 2.10, 2.8 a 2.10
    • solicitudes de 2.22.0, 2.25.1 a 2.25.1
    • Seis cambios de la versión 1.14.0 y 1.15.0 a la versión 1.15.0.
    • urllib3 de 1.25.11, 1.25.8 a 1.25.11
    • Se ha agregado pip 21.0.1
    • Se ha agregado setuptools 52.0.0
    • Se agregó wcwidth 0.2.5
    • Se agregó la rueda 0.36.2
    • Se eliminó la distribución 1.4.0
    • Se eliminó distro-info 0.23+ubuntu1.1
    • Se eliminó python-apt 2.0.1+ubuntu0.20.4.1
  • Actualizaciones de seguridad del sistema operativo

• 20 de mayo de 2025
  • Actualizaciones de seguridad del sistema operativo

• 22 de abril de 2025
  • Actualizaciones de seguridad del sistema operativo

• 9 de abril de 2025
  • Actualizaciones de seguridad del sistema operativo

• 11 de marzo de 2025
  • Actualizaciones de seguridad del sistema operativo

• 11 de febrero de 2025
  • Esta versión incluye una corrección para un caso perimetral en el que un CLONE incremental podría volver a copiar archivos ya copiados de una tabla de origen a una tabla de destino. Consulte Clonación de una tabla en Azure Databricks.
  • Actualizaciones de seguridad del sistema operativo

• 10 de diciembre de 2024

  • Actualizaciones de seguridad del sistema operativo

• 26 de noviembre de 2024

  • Actualizaciones de seguridad del sistema operativo

• 5 de noviembre de 2024

  • Actualizaciones de seguridad del sistema operativo

• 22 de octubre de 2024

  • Actualizaciones de seguridad del sistema operativo

• 10 de octubre de 2024

  • Actualizaciones de seguridad del sistema operativo

• 25 de septiembre de 2024

  • [SPARK-46601] [CORE] Corregir el error de registro en handleStatusMessage
  • [SPARK-49000][SQL] Se ha corregido "select count(distinct 1) from t" donde t está vacía mediante la expansión de RewriteDistinctAggregates
  • Actualizaciones de seguridad del sistema operativo

• 17 de septiembre de 2024

  • Actualizaciones de seguridad del sistema operativo

• 29 de agosto de 2024

  • [SPARK-49065][SQL] El reajuste en formateadores o analizadores heredados debe admitir zonas horarias predeterminadas que no sean las de JVM

• 14 de agosto de 2024

  • [SPARK-48597][SQL] Introducir un marcador para la propiedad isStreaming en la representación de texto del plan lógico
  • [SPARK-48941][SPARK-48970] Correcciones en el lector y escritor de ML de Backport
  • [SPARK-48463][ML] Hacer que StringIndexer admita columnas de entrada anidadas

• 1 de agosto de 2024

  • [SPARK-48896][SPARK-48909][SPARK-48883] Correcciones del sistema de escritura de Spark ML de Backport
  • Actualizaciones de seguridad del sistema operativo

• 11 de julio de 2024

  • [SPARK-48383][SS] Se produce un error mejor para las particiones no coincidentes en la opción startOffset en Kafka
  • Actualizaciones de seguridad del sistema operativo

• 17 de junio de 2024

  • Actualizaciones de seguridad del sistema operativo

• 21 de mayo de 2024

  • [SPARK-48105][SS] Corregir la condición de carrera entre la descarga del almacén de estado y la creación de instantáneas
  • Actualizaciones de seguridad del sistema operativo

• 9 de mayo de 2024

  • [SPARK-48018][SS] Corregir groupId null que provoca un error de parámetro que falta al iniciar KafkaException.couldNotReadOffsetRange
  • [SPARK-47973][CORE] Registrar la llamada al sitio en SparkContext.stop() y posteriormente en SparkContext.assertNotStopped()
  • [SPARK-44251][SQL] Establece que admite un valor NULL correctamente en la clave de combinación combinado en combinación externa completa USING
  • Actualizaciones de seguridad del sistema operativo

• 25 de abril de 2024

  • Actualizaciones de seguridad del sistema operativo

• 11 de abril de 2024

  • Actualizaciones de seguridad del sistema operativo

• 1 de abril de 2024

  • [SPARK-47135][SS] Implementar clases de error para excepciones de pérdida de datos de Kafka
  • [SPARK-44252][SS] Definir una nueva clase de error y aplicar para el caso en el que se produce un error en el estado de carga desde DFS
  • [SPARK-47200][SS] Clase de error de la función de usuario receptor de lotes Foreach
  • Revertir “[SPARK-46861][CORE] Evitar interbloqueo en DAGScheduler”
  • Actualizaciones de seguridad del sistema operativo

• 14 de marzo de 2024

  • [SPARK-47125][SQL] Devuelve null si Univocity nunca desencadena el análisis
  • Actualizaciones de seguridad del sistema operativo

• 29 de febrero de 2024

  • Se ha corregido un problema por el que el uso de una colección local como origen en un comando MERGE podía dar lugar a que la métrica de operación numSourceRows notificara el doble del número correcto de filas.
  • [SPARK-45582][SS] Asegúrese de que la instancia de almacén no se usa después de llamar a la confirmación en la agregación de streaming en modo de salida.
  • Actualizaciones de seguridad del sistema operativo

• 13 de febrero de 2024

  • [SPARK-46861] Evitar interbloqueo en DAGScheduler.
  • Actualizaciones de seguridad del sistema operativo

• 31 de enero de 2024

  • Actualizaciones de seguridad del sistema operativo

• 25 de diciembre de 2023

  • Para evitar una mayor latencia al comunicarse a través de TLSv1.3, esta versión de mantenimiento incluye una revisión a la instalación de JDK 8 para corregir el error de JDK (JDK-8293562).
  • [SPARK-46058] Añadir una marca independiente para privateKeyPassword.
  • [SPARK-46538] Corregir el problema de referencia de columna ambigua en ALSModel.transform.
  • [SPARK-39440] Agregar una configuración para deshabilitar la escala de tiempo de eventos.
  • [SPARK-46132] Se admite la contraseña de clave para las claves JKS para RPC SSL.

• 14 de diciembre de 2023

  • Actualizaciones de seguridad del sistema operativo

• 29 de noviembre de 2023

  • [SPARK-45544] Compatibilidad integrada con SSL en TransportContext.
  • [SPARK-45859] Objetos UDF creados en ml.functions diferido.
  • [SPARK-43718] Se ha corregido la nulabilidad para las claves en combinaciones USING.
  • [SPARK-45730] Restricciones de tiempo mejoradas para ReloadingX509TrustManagerSuite.
  • [SPARK-42205] Se han quitado los registros acumulables de los eventos de inicio de fase y tarea.
  • [SPARK-44846] Se han quitado expresiones de agrupación complejas después de RemoveRedundantAggregates.
  • Actualizaciones de seguridad del sistema operativo

• 14 de noviembre de 2023

  • [SPARK-45541] Se ha agregado SSLFactory.
  • [SPARK-45545]SparkTransportConf hereda SSLOptions tras la creación.
  • [SPARK-45427] Se ha agregado la configuración SSL de RPC a SSLOptions y SparkTransportConf.
  • [SPARK-45429] Se han agregado clases auxiliares para la comunicación RPC de SSL.
  • [SPARK-45584] Se ha corregido un error de ejecución de subconsultas con TakeOrderedAndProjectExec.
  • Revierta [SPARK-33861].
  • Actualizaciones de seguridad del sistema operativo

• 24 de octubre de 2023

  • [SPARK-45426] Se ha agregado compatibilidad con ReloadingX509TrustManager.
  • Actualizaciones de seguridad del sistema operativo

• 13 de octubre de 2023

  • [SPARK-45084]StateOperatorProgress para utilizar un número de partición aleatoria efectivo y preciso.
  • [SPARK-45178] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
  • Actualizaciones de seguridad del sistema operativo

• 10 de septiembre de 2023

  • Correcciones varias.

• 30 de agosto de 2023

  • [SPARK-44818] Se ha corregido la carrera para la interrupción de tareas pendiente emitida antes de inicializarse taskThread.
  • Actualizaciones de seguridad del sistema operativo

• 15 de agosto de 2023

  • [SPARK-44504] La tarea de mantenimiento limpia los proveedores cargados en caso de error de detención.
  • [SPARK-43973] La interfaz de usuario de flujo estructurado ahora muestra correctamente las consultas con errores.
  • Actualizaciones de seguridad del sistema operativo

• 23 de junio de 2023

  • Actualizaciones de seguridad del sistema operativo

• 15 de junio de 2023

  • La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
  • [SPARK-43098] Se ha corregido el error COUNT de corrección cuando la subconsulta escalar tiene una cláusula group by.
  • [SPARK-40862] Compatibilidad con subconsultas no agregadas en RewriteCorrelatedScalarSubquery
  • [SPARK-43156][SPARK-43098] Prueba de recuento de subconsulta escalar extendida con decorrelateInnerQuery desactivado.
  • Actualizaciones de seguridad del sistema operativo

• 2 de junio de 2023

  • El analizador JSON en el modo failOnUnknownFields quita un registro en modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
  • Se ha corregido un problema en el análisis de datos de rescate de JSON para evitar UnknownFieldException.
  • Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
  • [SPARK-43404] Omitir la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB a fin de evitar errores de coincidencia de ID.
  • [SPARK-43413] Se ha corregido IN la nulabilidad de la subconsulta ListQuery .
  • Actualizaciones de seguridad del sistema operativo

• 17 de mayo de 2023

  • Los exámenes de Parquet ahora son sólidos con respecto a los OEM al examinar archivos excepcionalmente estructurados ajustando dinámicamente el tamaño del lote. Los metadatos de archivo se analizan para reducir de forma preventiva el tamaño del lote y se reducen de nuevo en los reintentos de tareas como una red de seguridad final.
  • [SPARK-41520] Patrón de árbol dividido AND_OR para separar AND y OR.
  • [SPARK-43190]ListQuery.childOutput ahora es coherente con la salida secundaria.
  • Actualizaciones de seguridad del sistema operativo

• 25 de abril de 2023

  • [SPARK-42928] Hacer que resolvePersistentFunction se sincronice.
  • Actualizaciones de seguridad del sistema operativo

• 11 de abril de 2023

  • Se ha corregido un error por el que la evolución del esquema del cargador automático puede entrar en un bucle de error infinito, cuando se detecta una nueva columna en el esquema de un objeto JSON anidado.
  • [SPARK-42937]PlanSubqueries ahora establece InSubqueryExec#shouldBroadcast en verdadero.
  • [SPARK-42967] Corregir SparkListenerTaskStart.stageAttemptId cuando se inicia una tarea después de cancelar la fase.

• 29 de marzo de 2023

  • [SPARK-42668] Detectar excepciones al intentar cerrar la secuencia comprimida en la detención de HDFSStateStoreProvider
  • [SPARK-42635] Corregir las...
  • Actualizaciones de seguridad del sistema operativo

• 14 de marzo de 2023

  • [SPARK-41162] Corregir la anti- y semiunión para la unión automática con agregaciones
  • [SPARK-33206] Corregir el cálculo de la ponderación de la memoria caché de índices aleatorios para archivos de índice pequeños
  • [SPARK-42484] Se ha mejorado el mensaje de error UnsafeRowUtils
  • Correcciones varias.

• 28 de febrero de 2023

  • Se ha agregado compatibilidad con la columna generada para date_format aaaa-MM-dd. Este cambio es compatible con la eliminación de particiones para aaaa-MM-dd como elemento date_format en columnas generadas.
  • Los usuarios ahora pueden leer y escribir determinadas tablas Delta que requieren la versión 3 del lector y la versión 7 del escritor mediante Databricks Runtime 9.1 LTS o posterior. Para que se realice correctamente, las características de tabla enumeradas en el protocolo de las tablas deben ser compatibles con la versión actual de Databricks Runtime.
  • Se ha agregado compatibilidad con la columna generada para date_format aaaa-MM-dd. Este cambio es compatible con la eliminación de particiones para aaaa-MM-dd como elemento date_format en columnas generadas.
  • Actualizaciones de seguridad del sistema operativo

• 16 de febrero de 2023

  • [SPARK-30220] Habilitar mediante subconsultas Exists/In fuera del nodo Filtro
  • Actualizaciones de seguridad del sistema operativo

• 31 de enero de 2023

  • Los tipos de tabla de las tablas JDBC ahora son EXTERNAL de manera predeterminada.

• 18 de enero de 2023

  • El conector de Azure Synapse devuelve un mensaje de error más descriptivo cuando un nombre de columna contiene caracteres no válidos, como espacios en blanco o punto y coma. En tales casos, se devolverá el siguiente mensaje: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
  • [SPARK-38277] Borrado del lote de escritura después de la confirmación del almacén de estado de RocksDB
  • [SPARK-41199] Corregir el problema de métricas cuando el origen de streaming DSv1 y el origen de streaming DSv2 se usan conjuntamente
  • [SPARK-41198] Corregir las métricas en la consulta de streaming con el origen de streaming CTE y DSv1
  • [SPARK-41339] Cerrar y volver a crear el lote de escritura de RocksDB en lugar de simplemente borrar
  • [SPARK-41732] Aplicar la eliminación basada en patrones de árbol para la regla SessionWindowing
  • Actualizaciones de seguridad del sistema operativo

• 29 de noviembre de 2022

  • Los usuarios pueden configurar el comportamiento inicial y final de los espacios en blanco al escribir datos mediante el conector redshift. Se han agregado las siguientes opciones para controlar el control de espacios en blanco:
    • csvignoreleadingwhitespace, cuando se establece en true, quita el espacio en blanco inicial de los valores durante las escrituras cuando tempformat se establece CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
    • csvignoretrailingwhitespace, cuando se establece en true, quita el espacio en blanco final de los valores durante las escrituras cuando tempformat se establece en CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
  • Se ha corregido un error con el análisis de JSON en el cargador automático cuando todas las columnas se dejaban como cadenas (cloudFiles.inferColumnTypes no se había establecido o se había establecido en false) y el JSON contenía objetos anidados.
  • Actualizaciones de seguridad del sistema operativo

• 15 de noviembre de 2022

  • Se ha actualizado Apache commons-text a 1.10.0.
  • [SPARK-40646] Se ha corregido el análisis de JSON para estructuras, mapas y matrices, por lo que cuando una parte de un registro no coincide con el esquema, el resto del registro todavía se puede analizar correctamente en lugar de devolver valores NULL. Para participar en el comportamiento mejorado, establezca spark.sql.json.enablePartialResults en true. La marca está deshabilitada de forma predeterminada para conservar el comportamiento original.
  • [SPARK-40292] Corregir nombres de columna en la función arrays_zip cuando se hace referencia a matrices desde estructuras anidadas
  • Actualizaciones de seguridad del sistema operativo

• 1 de noviembre de 2022

  • Se ha corregido un problema por el que si una tabla Delta tenía una columna definida por el usuario denominada _change_type, pero la opción Change data feed (Cambiar fuente de distribución de datos) estaba deshabilitada en esa tabla, los datos de esa columna se rellenaban incorrectamente con valores NULL al ejecutar MERGE.
  • Se ha corregido un problema con el cargador automático en el que un archivo se puede duplicar en el mismo microproceso cuando allowOverwrites está habilitado.
  • [SPARK-40697] Agregar relleno de caracteres de lectura para cubrir archivos de datos externos
  • [SPARK-40596] Rellenar ExecutorDecommission con mensajes en ExecutorDecommissionInfo
  • Actualizaciones de seguridad del sistema operativo

• 18 de octubre de 2022

  • Actualizaciones de seguridad del sistema operativo

• 5 de octubre de 2022

  • [SPARK-40468] Corrección de la eliminación de columnas en CSV cuando se selecciona _corrupt_record.
  • Actualizaciones de seguridad del sistema operativo

• 22 de septiembre de 2022

  • Los usuarios pueden establecer spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) para volver a habilitar la lista integrada de Auto Loader en ADLS. La lista integrada se desactivó anteriormente debido a problemas de rendimiento, pero puede haber provocado un aumento en los costos de almacenamiento para los clientes.
  • [SPARK-40315] Agregar hashCode() para el literal de ArrayBasedMapData
  • [SPARK-40213] Compatibilidad con la conversión de valores ASCII para caracteres Latino-1
  • [SPARK-40380] Corregir el plegado de constantes de InvokeLike para evitar literales no serializables insertados en el plan
  • [SPARK-38404] Mejorar la resolución de CTE cuando un CTE anidado hace referencia a un CTE externo
  • [SPARK-40089] Corregir la ordenación para algunos tipos decimales
  • [SPARK-39887] RemoveRedundantAliases debe mantener alias que hacen que la salida de los nodos de proyección sea única

• 6 de septiembre de 2022

  • [SPARK-40235] Usar el bloqueo interrumpible en lugar de sincronizado en Executor.updateDependencies()
  • [SPARK-40218] GROUPING SETS debe conservar las columnas de agrupación
  • [SPARK-39976] [SQL] ArrayIntersect debe controlar null en la primera expresión correctamente
  • [SPARK-40053] Adición de assume a casos de cancelación dinámica que requieren el entorno de tiempo de ejecución de Python.
  • [SPARK-35542] Corrección: el creador de depósitos diseñado para varias columnas con parámetros splitsArray, inputCols y outputCols no se puede cargar después de guardarlo
  • [SPARK-40079] Añadir la validación inputCols de Imputer para el caso de entrada vacío

• 24 de agosto de 2022

  • [SPARK-39983] No almacenar en caché las relaciones de difusión no serializadas en el controlador
  • [SPARK-39775] Deshabilitar la validación de valores predeterminados al analizar esquemas de Avro
  • [SPARK-39962] Aplicar proyección cuando los atributos de grupo están vacíos
  • [SPARK-37643] Si charVarcharAsString es true, para la consulta de predicados del tipo de datos char debe omitir la regla rpadding.
  • Actualizaciones de seguridad del sistema operativo

• 9 de agosto de 2022

  • [SPARK-39847] Corregir la condición de carrera en RocksDBLoader.loadLibrary() si se interrumpe el subproceso del autor de la llamada
  • [SPARK-39731] Corregir el problema en los orígenes de datos CSV y JSON cuando se analicen fechas en formato "yyyyMMdd" con la directiva de analizador de hora CORREGIDA
  • Actualizaciones de seguridad del sistema operativo

• 27 de julio de 2022

  • [SPARK-39625] Agregar Dataset.as(StructType)
  • [SPARK-39689]Compatibilidad con 2 caracteres lineSep en el origen de datos CSV
  • [SPARK-39104] El elemento InMemoryRelation#isCachedColumnBuffersLoaded debe ser seguro para subprocesos
  • [SPARK-39570] Ahora, la tabla insertada permitirá el uso de expresiones con alias
  • [SPARK-39702] Reducir la sobrecarga de memoria de TransportCipher$EncryptedMessage mediante un byteRawChannel compartido
  • [SPARK-39575] Agregar ByteBuffer#rewind después de ByteBuffer#get en AvroDeserializer
  • [SPARK-39476] Deshabilitar la optimización de conversión de desencapsulado al convertir de Long a Float/Double o de Integer a Float
  • [SPARK-38868] No propagar excepciones del predicado de filtro al optimizar combinaciones externas
  • Actualizaciones de seguridad del sistema operativo

• 20 de julio de 2022

  • Haga que la operación Merge Delta sea coherente cuando el origen no es determinista.
  • [SPARK-39355] Una sola columna usa comillas para construir UnresolvedAttribute
  • [SPARK-39548] Comando CreateView con una consulta de cláusula de ventana da un problema de definición de ventana errónea no encontrada
  • [SPARK-39419] Se ha corregido el elemento ArraySort para que produzca una excepción si el comparador devuelve un valor nulo
  • Se desactivó el uso de Auto Loader de las APIs de nube integradas para listar directorios en Azure.
  • Actualizaciones de seguridad del sistema operativo

• 5 de julio de 2022

  • [SPARK-39376] Se han ocultado las columnas duplicadas en la expansión de estrella del alias de subconsulta de NATURAL/USING JOIN
  • Actualizaciones de seguridad del sistema operativo

• 15 de junio de 2022

  • [SPARK-39283] Se ha corregido el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator
  • [SPARK-39285] Spark no debe comprobar los nombres de campo al leer archivos
  • [SPARK-34096] Mejorar el rendimiento de nth_value omite los valores NULL en la ventana de desplazamiento
  • [SPARK-36718] Corregir la comprobación isExtractOnly en CollapseProject.

• 2 de junio de 2022

  • [SPARK-39093] Evitar un error de compilación de codegen al dividir intervalos de año y mes o intervalos de día y hora por un entero
  • [SPARK-38990] Evitar la excepción NullPointerException al evaluar el formato de date_trunc y trunc como una referencia enlazada
  • Actualizaciones de seguridad del sistema operativo

• 18 de mayo de 2022

  • Corrige una posible pérdida de memoria integrada en el cargador automático.
  • [SPARK-38918] La eliminación de columnas anidadas debe filtrar los atributos que no pertenecen a la relación actual
  • [SPARK-37593] Reducir del tamaño de página predeterminado por LONG_ARRAY_OFFSET si se usan G1GC y ON_HEAP.
  • [SPARK-39084] Corregir df.rdd.isEmpty() mediante TaskContext para detener el iterador en la finalización de la tarea.
  • [SPARK-32268] Agregar columnPruning en injectBloomFilter
  • [SPARK-38974] Filtrar funciones registradas con un nombre de base de datos determinado en funciones de lista
  • [SPARK-38931] Crear el directorio dfs raíz para RocksDBFileManager con un número desconocido de claves en el primer punto de control
  • Actualizaciones de seguridad del sistema operativo

• 19 de abril de 2022

  • Se ha actualizado el SDK de AWS de Java de la versión 1.11.655 a la 1.12.1899.
  • Se ha corregido un problema que provocaba que las bibliotecas con ámbito de cuaderno no funcionara en trabajos de streaming por lotes.
  • [SPARK-38616] Realizar un seguimiento del texto de la consulta SQL en el nodo de árbol de Catalyst
  • Actualizaciones de seguridad del sistema operativo

• 6 de abril de 2022

  • Las siguientes funciones Spark SQL pasan a estar disponibles en esta versión:
    • timestampadd() y dateadd(): Agregar una duración en una unidad especificada a una expresión de marca de tiempo.
    • timestampdiff() y datediff(): calcular la diferencia de tiempo entre dos expresiones de marca de tiempo en una unidad especificada.
  • El Parquet-MR se ha actualizado a la versión 1.12.2
  • Compatibilidad mejorada con esquemas completos en archivos parquet
  • [SPARK-38631] Utiliza una implementación basada en Java para descomprimir en Utils.unpack
  • [SPARK-38509][SPARK-38481] Selección exclusiva de tres cambios de timestmapadd/diff.
  • [SPARK-38523] Corregir haciendo referencia a la columna de registro dañada de CSV
  • [SPARK-38237] Permitir a ClusteredDistribution requerir claves de agrupación en clústeres completas.
  • [SPARK-38437] Serialización Lenient de datetime desde el origen de datos
  • [SPARK-38180] Permitir expresiones seguras de conversión vertical en predicados de igualdad correlacionados
  • [SPARK-38155] No permitir agregados distintos en subconsultas laterales con predicados no admitidos
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 13.0

Consulte Databricks Runtime 13.0 (EoS).

• 13 de octubre de 2023
  • Dependencia de Snowflake-jdbc actualizada de la versión 3.13.29 a 3.13.33.
  • [SPARK-42553][SQL] Asegurar al menos una unidad de tiempo después del intervalo.
  • [SPARK-45178] Retroceder para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor.
  • [SPARK-44658][CORE] ShuffleStatus.getMapStatus devuelve None en lugar de Some(null).
  • [SPARK-42205][CORE] Quitar el registro de Accumulables en eventos de inicio de tareas y fases en JsonProtocol.
  • Actualizaciones de seguridad del sistema operativo
• 12 de septiembre de 2023
  • [SPARK-44485][SQL] Optimizar TreeNode.generateTreeString.
  • [SPARK-44718][SQL] Hacer coincidir la configuración predeterminada del modo memoria ColumnVector con el valor de configuración OffHeapMemoryMode.
  • Correcciones de errores varios.
• 30 de agosto de 2023
  • [SPARK-44818][Backport] Se ha corregido la carrera para la interrupción de tareas pendientes emitida antes de inicializar taskThread.
  • [SPARK-44714] Facilitar la restricción de la resolución de LCA con respecto a las consultas.
  • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() doctests ahora es solo ilustrativo.
  • [SPARK-44871][11.3-13.0][SQL] Se ha corregido el comportamiento de percentile_disc.
  • Actualizaciones de seguridad del sistema operativo
• 15 de agosto de 2023
  • [SPARK-44643][SQL][PYTHON] Corregir Row.__repr__ cuando la fila está vacía.
  • [SPARK-44504][Backport] La tarea de mantenimiento limpia los proveedores cargados en caso de error de detención.
  • [SPARK-44479][CONNECT][PYTHON] Se ha corregido la conversión protobuf a partir de un tipo de estructura vacío.
  • [SPARK-44464][SS] Se ha corregido applyInPandasWithStatePythonRunner de las filas de salida que tienen Null como primer valor de columna.
  • Correcciones de errores varios.
• 29 de julio de 2023
  • Se ha corregido un error por el que dbutils.fs.ls() devolvía INVALID_PARAMETER_VALUE.LOCATION_OVERLAP cuando se llamaba para una ruta de acceso de ubicación de almacenamiento que entraba en conflicto con otra ubicación de almacenamiento externa o administrada.
  • [SPARK-44199]CacheManager ya no actualiza fileIndex innecesariamente.
  • Actualizaciones de seguridad del sistema operativo
• 24 de julio de 2023
  • [SPARK-44337][PROTOBUF] Se ha corregido un problema que provocaba que cualquier campo establecido en Any.getDefaultInstance provocara errores de análisis.
  • [SPARK-44136] [SS] Se ha corregido un problema que provocaba que StateManager se materializara en un ejecutor en lugar de en el controlador en FlatMapGroupsWithStateExec.
  • Reversión de "[SPARK-42323][SQL] Se ha asignado nombre a _LEGACY_ERROR_TEMP_2332.
  • Actualizaciones de seguridad del sistema operativo
• 23 de junio de 2023
  • Actualizaciones de seguridad del sistema operativo
• 15 de junio de 2023
  • approx_count_distinct fotonizado.
  • La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
  • [SPARK-43156][SPARK-43098][SQL] Ampliar la prueba de errores de recuento de subconsultas escalares con decorrelateInnerQuery deshabilitado
  • [SPARK-43779][SQL] ParseToDate ahora carga EvalMode en el subproceso principal.
  • [SPARK-42937][SQL] PlanSubqueries debe establecer InSubqueryExec#shouldBroadcast en true
  • Actualizaciones de seguridad del sistema operativo
• 2 de junio de 2023
  • El analizador JSON en el modo failOnUnknownFields quita un registro en modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
  • Mejora drásticamente el rendimiento de la actualización incremental con SHALLOW CLONE de Iceberg y Parquet.
  • Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
  • [SPARK-43404][Backport] Omitir la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB para evitar errores de coincidencia de identificador.
  • [SPARK-43340][CORE] Se ha corregido el campo de seguimiento de pila que faltaba en los registros de eventos.
  • [SPARK-43300][CORE] Contenedor NonFateSharingCache para la caché de Guava.
  • [SPARK-43378][CORE] Cerrar correctamente los objetos de secuencia en deserializeFromChunkedBuffer.
  • [SPARK-16484][SQL] Usar registros de 8 bits para representar DataSketches.
  • [SPARK-43522][SQL] Se ha corregido la creación de un nombre de columna de estructura con el índice de matriz.
  • [SPARK-43413][11.3-13.0][SQL] Se ha corregido la subconsulta IN de la nulabilidad ListQuery.
  • [SPARK-43043][CORE] Se ha mejorado el rendimiento de MapOutputTracker.updateMapOutput.
  • [SPARK-16484][SQL] Se ha agregado compatibilidad con DataSketches HllSketch.
  • [SPARK-43123][SQL] Los metadatos de campo internos ya no se filtran a los catálogos.
  • [SPARK-42851][SQL] Proteger EquivalentExpressions.addExpr() con supportedExpression().
  • [SPARK-43336][SQL] La conversión entre Timestamp y TimestampNTZ requiere zona horaria.
  • [SPARK-43286][SQL] Se actualizó el modo aes_encrypt CBC para generar IV aleatorios.
  • [SPARK-42852][SQL] Se han revertido NamedLambdaVariable cambios relacionados de EquivalentExpressions.
  • [SPARK-43541][SQL] Propagar todas las etiquetas Project en la resolución de expresiones y columnas que faltan.
  • [SPARK-43527][PYTHON] Se corrigió catalog.listCatalogs en PySpark.
  • Actualizaciones de seguridad del sistema operativo
• 31 de mayo de 2023
  • La compatibilidad de escritura optimizada predeterminada para tablas Delta registradas en el catálogo de Unity se ha ampliado para incluir CTAS instrucciones y operaciones INSERT para tablas con particiones. Este comportamiento se alinea con los valores predeterminados en los almacenes de SQL. Consulte Escrituras optimizadas.
• 17 de mayo de 2023
  • Se ha corregido una regresión en la que _metadata.file_path y _metadata.file_name devolverían cadenas con formato incorrecto. Por ejemplo, ahora una ruta de acceso con espacios se representa como s3://test-bucket/some%20directory/some%20data.csv en lugar de s3://test-bucket/some directory/some data.csv.
  • Los exámenes de Parquet ahora son sólidos con respecto a los OEM al examinar archivos excepcionalmente estructurados ajustando dinámicamente el tamaño del lote. Los metadatos de archivo se analizan para reducir de forma preventiva el tamaño del lote y se reducen de nuevo en los reintentos de tareas como una red de seguridad final.
  • • Si se leyó un archivo Avro con solo la opción failOnUnknownFields o con autocargador en el modo de evolución del esquema failOnNewColumns, las columnas que tienen tipos de datos diferentes se leerían como null en lugar de producir un error que indica que el archivo no se puede leer. Estas lecturas ahora producen un error y recomiendan a los usuarios que usen la opción rescuedDataColumn.
  • El cargador automático ahora hace lo siguiente.
  • • Lee y ya no recupera los tipos Integer, Short, Byte si se proporciona uno de estos tipos de datos, pero el archivo Avro sugiere uno de los otros dos tipos.
  • • Impide que los tipos de intervalo de lectura sean tipos de fecha o marca de tiempo para evitar obtener fechas dañadas.
  • • Evita la lectura de los tipos Decimal con menor precisión.
  • [SPARK-43172] [CONNECT] Expone el host y el token del cliente de conexión de Spark.
  • [SPARK-43293][SQL] __qualified_access_only se omite en columnas normales.
  • [SPARK-43098][SQL] Se ha corregido un error de corrección COUNT cuando la subconsulta escalar se agrupa por cláusula.
  • [SPARK-43085][SQL] Compatibilidad con la asignación de columnas DEFAULT para nombres de tabla de varias partes.
  • [SPARK-43190][SQL] ListQuery.childOutput ahora es coherente con la salida secundaria.
  • [SPARK-43192] [CONNECT] Se quitó la validación del conjunto de caracteres del agente de usuario.
• 25 de abril de 2023
  • Puede modificar una tabla Delta para agregar compatibilidad con una característica de tabla Delta mediante DeltaTable.addFeatureSupport(feature_name).
  • El comando SYNC ahora admite formatos de origen de datos heredados.
  • Se ha corregido un error por el que el uso del formateador de Python antes de ejecutar cualquier otro comando en un cuaderno de Python podía hacer que faltase la ruta de acceso del cuaderno sys.path.
  • Azure Databricks ahora admite la especificación de valores predeterminados para las columnas de las tablas Delta. INSERTLos comandos , UPDATE, DELETEy MERGE pueden hacer referencia al valor predeterminado de una columna mediante la palabra clave explícita DEFAULT . Para los comandos INSERT con una lista explícita de menos columnas que la tabla de destino, los valores predeterminados de columna correspondientes se sustituyen por las columnas restantes (o NULL si no se especifica ningún valor predeterminado).

• Corrige un error en el que el terminal web no se podía usar para acceder a los archivos de /Workspace para algunos usuarios.
  • Si se leyó un archivo Parquet con solo la opción failOnUnknownFields o con autocargador en el modo de evolución del esquema failOnNewColumns, las columnas que tenían tipos de datos diferentes se leerían como null en lugar de producir un error que indica que el archivo no se puede leer. Estas lecturas ahora producen un error y recomiendan a los usuarios que usen la opción rescuedDataColumn.
  • El cargador automático ahora lee correctamente y ya no recupera los tipos Integer, Short, Byte si se proporciona uno de estos tipos de datos. El archivo Parquet sugiere uno de los otros dos tipos. Cuando la columna de datos rescatada se habilitó anteriormente, la falta de coincidencia del tipo de datos provocaría que las columnas se rescataran aunque fueran legibles.
  • Se ha corregido un error por el que la evolución del esquema del cargador automático puede entrar en un bucle de error infinito, cuando se detecta una nueva columna en el esquema de un objeto JSON anidado.
  • [SPARK-42794][SS] Aumentar lockAcquireTimeoutMs a 2 minutos para adquirir el almacén de estado de RocksDB en Structure Streaming.
  • [SPARK-39221][SQL] Hacer que la información confidencial se redacte correctamente para la pestaña trabajo o fase del servidor thrift.
  • [SPARK-42971][CORE] Cambiar para imprimir workdir si appDirs es NULL cuando el evento de controlador WorkDirCleanup de trabajo.
  • [SPARK-42936][SQL] Corregir el error de LCA cuando su agregado secundario pueda resolver directamente la cláusula having.
  • [SPARK-43018][SQL] Corregir el error para comandos INSERT con literales de marca de tiempo.
  • Reversión de [SPARK-42754][SQL][UI] Se ha corregido el problema de compatibilidad con versiones anteriores en la ejecución de SQL anidada.
  • Reversión [SPARK-41498] Propagación de metadatos a través de Union.
  • [SPARK-43038][SQL] Compatibilidad con el modo CBC mediante aes_encrypt()/aes_decrypt().
  • [SPARK-42928][SQL] Sincronizar resolvePersistentFunction.
  • [SPARK-42521][SQL] Agregar valores de NULL para INSERT con listas especificadas por el usuario de menos columnas que la tabla de destino.
  • [SPARK-41391][SQL] El nombre de columna de salida de groupBy.agg(count_distinct) era incorrecto.
  • [SPARK-42548][SQL] Agregar ReferenceAllColumns para omitir la reescritura de atributos.
  • [SPARK-42423][SQL] Agregar el inicio y la longitud del bloque de archivos de columna de metadatos.
  • [SPARK-42796][SQL] Admitir el acceso a TimestampNTZ columnas en CachedBatch.
  • [SPARK-42266][PYTHON] Quitar el directorio primario en la ejecución de shell.py cuando se use IPython.
  • [SPARK-43011][SQL] array_insert debe producir un error con el índice 0.
  • [SPARK-41874][CONNECT][PYTHON] Compatibilidad de SameSemantics en Spark Connect.
  • [SPARK-42702][SPARK-42623][SQL] Admitir consultas parametrizadas en subconsultas y CTE.
  • [SPARK-42967][CORE] Corregir SparkListenerTaskStart.stageAttemptId cuando se inicia una tarea después de cancelar la fase.
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 12.1

Consulte Databricks Runtime 12.1 (EoS).

• 23 de junio de 2023

  • Actualizaciones de seguridad del sistema operativo

• 15 de junio de 2023

  • approx_count_distinct fotonizado.
  • La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
  • [SPARK-43779][SQL] ParseToDate ahora carga EvalMode en el subproceso principal.
  • [SPARK-43156][SPARK-43098][SQL] Ampliar la prueba de errores de recuento de subconsultas escalares con decorrelateInnerQuery deshabilitado
  • Actualizaciones de seguridad del sistema operativo

• 2 de junio de 2023

  • El analizador JSON en el modo failOnUnknownFields quita un registro en modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
  • Mejora drásticamente el rendimiento de la actualización incremental con SHALLOW CLONE de Iceberg y Parquet.
  • Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
  • [SPARK-43404][Backport] Omitir la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB para evitar errores de coincidencia de identificador.
  • [SPARK-43413][11.3-13.0][SQL] Se ha corregido la subconsulta IN de la nulabilidad ListQuery.
  • [SPARK-43522][SQL] Se ha corregido la creación de un nombre de columna de estructura con el índice de matriz.
  • [SPARK-42444][PYTHON] DataFrame.drop ahora controla correctamente las columnas duplicadas.
  • [SPARK-43541][SQL] Propagar todas las etiquetas Project en la resolución de expresiones y columnas que faltan.
  • [SPARK-43340][CORE] Se ha corregido el campo de seguimiento de pila que faltaba en los registros de eventos.
  • [SPARK-42937][SQL] PlanSubqueries ahora establece InSubqueryExec#shouldBroadcast en verdadero.
  • [SPARK-43527][PYTHON] Se corrigió catalog.listCatalogs en PySpark.
  • [SPARK-43378][CORE] Cerrar correctamente los objetos de secuencia en deserializeFromChunkedBuffer.

• 17 de mayo de 2023

  • Los exámenes de Parquet ahora son sólidos con respecto a los OEM al examinar archivos excepcionalmente estructurados ajustando dinámicamente el tamaño del lote. Los metadatos de archivo se analizan para reducir de forma preventiva el tamaño del lote y se reducen de nuevo en los reintentos de tareas como una red de seguridad final.
  • Si se leyó un archivo Avro con solo la opción failOnUnknownFields o con autocargador en el modo de evolución del esquema failOnNewColumns, las columnas que tienen tipos de datos diferentes se leerían como null en lugar de producir un error que indica que el archivo no se puede leer. Estas lecturas ahora producen un error y recomiendan a los usuarios que usen la opción rescuedDataColumn.
  • El cargador automático ahora hace lo siguiente.
  • • Lee y ya no recupera los tipos Integer, Short, Byte si se proporciona uno de estos tipos de datos, pero el archivo Avro sugiere uno de los otros dos tipos.
  • • Impide que los tipos de intervalo de lectura sean tipos de fecha o marca de tiempo para evitar obtener fechas dañadas.
  • • Evita la lectura de los tipos Decimal con menor precisión.
  • [SPARK-43098][SQL] Se ha corregido un error de corrección COUNT cuando la subconsulta escalar se agrupa por cláusula.
  • [SPARK-43190][SQL] ListQuery.childOutput ahora es coherente con la salida secundaria.
  • Actualizaciones de seguridad del sistema operativo

• 25 de abril de 2023

  • Si se leyó un archivo Parquet con solo la opción failOnUnknownFields o con autocargador en el modo de evolución del esquema failOnNewColumns, las columnas que tenían tipos de datos diferentes se leerían como null en lugar de producir un error que indica que el archivo no se puede leer. Estas lecturas ahora producen un error y recomiendan a los usuarios que usen la opción rescuedDataColumn.
  • El cargador automático ahora lee correctamente y ya no recupera los tipos Integer, Short, Byte si se proporciona uno de estos tipos de datos. El archivo Parquet sugiere uno de los otros dos tipos. Cuando la columna de datos rescatada se habilitó anteriormente, la falta de coincidencia del tipo de datos provocaría que las columnas se rescataran aunque fueran legibles.
  • [SPARK-43009][SQL] Se ha parametrizado sql() con constantes Any.
  • [SPARK-42971][CORE] Cambiar para imprimir workdir si appDirs es NULL cuando el evento de controlador WorkDirCleanup de trabajo.
  • Actualizaciones de seguridad del sistema operativo

• 11 de abril de 2023

  • Admite formatos de origen de datos heredados en el comando SYNC.
  • Corrige un error en el comportamiento %autoreload de los cuadernos que están fuera de un repositorio.
  • Se ha corregido un error por el que la evolución del esquema del cargador automático puede entrar en un bucle de error infinito, cuando se detecta una nueva columna en el esquema de un objeto JSON anidado.
  • [SPARK-42928][SQL] Sincroniza resolvePersistentFunction.
  • [SPARK-42967][CORE] Corrige SparkListenerTaskStart.stageAttemptId cuándo se inicia una tarea después de cancelar la fase.
  • Actualizaciones de seguridad del sistema operativo

• 29 de marzo de 2023

  • Auto Loader ahora desencadena al menos una limpieza sincrónica de registros de RocksDB para flujos Trigger.AvailableNow para asegurarse de que el punto de control se pueda limpiar periódicamente para flujos de cargador automático de ejecución rápida. Esto puede hacer que algunas secuencias tarden más tiempo antes de que se apaguen, pero le ahorrarán costos de almacenamiento y mejorará la experiencia del cargador automático en futuras ejecuciones.
  • Ahora puede modificar una tabla Delta para agregar compatibilidad con las características de tabla mediante DeltaTable.addFeatureSupport(feature_name).
  • [SPARK-42702][SPARK-42623][SQL] Admitir consultas parametrizadas en subconsultas y CTE.
  • [SPARK-41162][SQL] Corregir la anti y semiunión para la unión automática con agregaciones
  • [SPARK-42403][CORE] JsonProtocol debe controlar cadenas JSON nulas
  • [SPARK-42668][SS] Detectar excepción al intentar cerrar la secuencia comprimida en HDFSStateStoreProvider abort
  • [SPARK-42794][SS] Aumentar lockAcquireTimeoutMs a 2 minutos para adquirir el almacén de estado de RocksDB en Structure Streaming

• 14 de marzo de 2023

  • Hay un cambio terminológico para agregar características a una tabla Delta mediante la propiedad table. La sintaxis preferida ahora es 'delta.feature.featureName'='supported' en lugar de 'delta.feature.featureName'='enabled'. Para la compatibilidad con versiones anteriores, usar 'delta.feature.featureName'='enabled' todavía funciona y seguirá funcionando.
  • [SPARK-42622][CORE] Deshabilitar la sustitución en valores
  • [SPARK-42534][SQL] Corregir la cláusula DB2Dialect Limit
  • [SPARK-42635][SQL] Corregir la expresión TimestampAdd.
  • [SPARK-42516][SQL] Capturar siempre la configuración de zona horaria de sesión al crear vistas
  • [SPARK-42484] [SQL] Mejora del mensaje de error UnsafeRowUtils
  • [SPARK-41793][SQL] Resultado incorrecto para los marcos de ventana definidos por una cláusula de rango en decimales grandes
  • Actualizaciones de seguridad del sistema operativo

• 24 de febrero de 2023

  • Ahora puede usar un conjunto unificado de opciones (host, port, database, user, password) para conectarse a los orígenes de datos admitidos en la federación de consultas (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Tenga en cuenta que port es opcional y usa el número de puerto predeterminado para cada origen de datos si no se proporciona.

  Ejemplo de configuración de conexión de PostgreSQL

  CREATE TABLE postgresql_table
  USING postgresql
  OPTIONS (
    dbtable '<table-name>',
    host '<host-name>',
    database '<database-name>',
    user '<user>',
    password secret('scope', 'key')
  );
  

  Ejemplo de configuración de conexión de Snowflake

  CREATE TABLE snowflake_table
  USING snowflake
  OPTIONS (
    dbtable '<table-name>',
    host '<host-name>',
    port '<port-number>',
    database '<database-name>',
    user secret('snowflake_creds', 'my_username'),
    password secret('snowflake_creds', 'my_password'),
    schema '<schema-name>',
    sfWarehouse '<warehouse-name>'
  );
  

  • [SPARK-41989][PYTHON] Evitar interrumpir la configuración del registro de pyspark.pandas
  • [SPARK-42346][SQL] Reescribir agregados distintos después de la combinación de subconsultas
  • [SPARK-41990][SQL] Usar FieldReference.column en lugar de apply en la conversión de filtros V1 a V2
  • Revertir [SPARK-41848][CORE] Corregir la tarea con TaskResourceProfile
  • [SPARK-42162] Introducción de la expresión MultiCommutativeOp como optimización de memoria para grandes árboles canónicos de expresiones conmutativas
  • Actualizaciones de seguridad del sistema operativo

• 16 de febrero de 2023

  • El comando SYNC admite la sincronización de las tablas recreadas del Metastore de Hive. Si una tabla HMS se ha sincronizado (SYNCed) anteriormente en el Unity Catalog, pero luego se quitó y se volvió a crear, una nueva sincronización posterior funcionará en lugar de iniciar TABLE_ALREADY_EXISTS código de estado.
  • [SPARK-41219][SQL] IntegralDivide utiliza decimal(1, 0) para representar 0
  • [SPARK-36173][CORE] Compatibilidad con la obtención del número de CPU en TaskContext
  • [SPARK-41848][CORE] Corregir tareas con exceso de programación con TaskResourceProfile
  • [SPARK-42286][SQL] Reserva a la ruta de acceso de código codegen anterior para expr complejos con CAST

• 31 de enero de 2023

  • La creación de un esquema con una ubicación definida ahora requiere que el usuario tenga privilegios SELECT y MODIFY en ANY FILE.
  • [SPARK-41581][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_1230
  • [SPARK-41996][SQL][SS] Corregir la prueba de kafka para comprobar las particiones perdidas para tener en cuenta las operaciones lentas de Kafka
  • [SPARK-41580][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2137
  • [SPARK-41666][PYTHON] Compatibilidad con SQL parametrizado en sql()
  • [SPARK-41579][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_1249
  • [SPARK-41573][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2136
  • [SPARK-41574][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2009
  • [SPARK-41049][Seguimiento] Corregir una regresión de sincronización de código para ConvertToLocalRelation
  • [SPARK-41576][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2051
  • [SPARK-41572][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2149
  • [SPARK-41575][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2054
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 12.0

Consulte Databricks Runtime 12.0 (EoS).

• 15 de junio de 2023

  • approx_count_distinct fotonizado.
  • La biblioteca Snowflake-jdbc se actualiza a la versión 3.13.29 para solucionar un problema de seguridad.
  • [SPARK-43156][SPARK-43098][SQL] Ampliar la prueba de errores de recuento de subconsultas escalares con decorrelateInnerQuery deshabilitado
  • [SPARK-43779][SQL] ParseToDate ahora carga EvalMode en el subproceso principal.
  • Actualizaciones de seguridad del sistema operativo

• 2 de junio de 2023

  • El analizador JSON en el modo failOnUnknownFields quita un registro en modo DROPMALFORMED y produce un error directamente en el modo FAILFAST.
  • Mejora drásticamente el rendimiento de la actualización incremental con SHALLOW CLONE de Iceberg y Parquet.
  • Se solucionó un problema en Auto Loader donde los diferentes formatos de archivos de origen eran inconsistentes cuando el esquema proporcionado no incluía particiones inferidas. Este problema podría provocar errores inesperados al leer archivos con columnas que faltan en el esquema de partición inferido.
  • [SPARK-42444][PYTHON] DataFrame.drop ahora controla correctamente las columnas duplicadas.
  • [SPARK-43404][Backport] Omitir la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB para evitar errores de coincidencia de identificador.
  • [SPARK-43413][11.3-13.0][SQL] Se ha corregido la subconsulta IN de la nulabilidad ListQuery.
  • [SPARK-43527][PYTHON] Se corrigió catalog.listCatalogs en PySpark.
  • [SPARK-43522][SQL] Se ha corregido la creación de un nombre de columna de estructura con el índice de matriz.
  • [SPARK-43541][SQL] Propagar todas las etiquetas Project en la resolución de expresiones y columnas que faltan.
  • [SPARK-43340][CORE] Se ha corregido el campo de seguimiento de pila que faltaba en los registros de eventos.
  • [SPARK-42937][SQL] PlanSubqueries estableció InSubqueryExec#shouldBroadcast en verdadero.

• 17 de mayo de 2023

  • Los exámenes de Parquet ahora son sólidos con respecto a los OEM al examinar archivos excepcionalmente estructurados ajustando dinámicamente el tamaño del lote. Los metadatos de archivo se analizan para reducir de forma preventiva el tamaño del lote y se reducen de nuevo en los reintentos de tareas como una red de seguridad final.
  • Si se leyó un archivo Avro con solo la opción failOnUnknownFields o con autocargador en el modo de evolución del esquema failOnNewColumns, las columnas que tienen tipos de datos diferentes se leerían como null en lugar de producir un error que indica que el archivo no se puede leer. Estas lecturas ahora producen un error y recomiendan a los usuarios que usen la opción rescuedDataColumn.
  • El cargador automático ahora hace lo siguiente.
  • • Lee y ya no recupera los tipos Integer, Short, Byte si se proporciona uno de estos tipos de datos, pero el archivo Avro sugiere uno de los otros dos tipos.
  • • Impide que los tipos de intervalo de lectura sean tipos de fecha o marca de tiempo para evitar obtener fechas dañadas.
  • • Evita la lectura de los tipos Decimal con menor precisión.
  • [SPARK-43172] [CONNECT] Expone el host y el token del cliente de conexión de Spark.
  • [SPARK-41520][SQL] Patrón de árbol dividido AND_OR para separar AND y OR.
  • [SPARK-43098][SQL] Se ha corregido un error de corrección COUNT cuando la subconsulta escalar se agrupa por cláusula.
  • [SPARK-43190][SQL] ListQuery.childOutput ahora es coherente con la salida secundaria.
  • Actualizaciones de seguridad del sistema operativo

• 25 de abril de 2023

  • Si se leyó un archivo Parquet con solo la opción failOnUnknownFields o con autocargador en el modo de evolución del esquema failOnNewColumns, las columnas que tenían tipos de datos diferentes se leerían como null en lugar de producir un error que indica que el archivo no se puede leer. Estas lecturas ahora producen un error y recomiendan a los usuarios que usen la opción rescuedDataColumn.
  • El cargador automático ahora lee correctamente y ya no recupera los tipos Integer, Short, Byte si se proporciona uno de estos tipos de datos. El archivo Parquet sugiere uno de los otros dos tipos. Cuando la columna de datos rescatada se habilitó anteriormente, la falta de coincidencia del tipo de datos provocaría que las columnas se rescataran aunque fueran legibles.
  • [SPARK-42971][CORE] Cambiar para imprimir workdir si appDirs es null cuando el evento de controlador WorkDirCleanup de trabajo.
  • Actualizaciones de seguridad del sistema operativo

• 11 de abril de 2023

  • Admite formatos de origen de datos heredados en el comando SYNC.
  • Corrige un error en el comportamiento %autoreload de los cuadernos que están fuera de un repositorio.
  • Se ha corregido un error por el que la evolución del esquema del cargador automático puede entrar en un bucle de error infinito, cuando se detecta una nueva columna en el esquema de un objeto JSON anidado.
  • [SPARK-42928][SQL] Sincroniza resolvePersistentFunction.
  • [SPARK-42967][CORE] Corrige SparkListenerTaskStart.stageAttemptId cuándo se inicia una tarea después de cancelar la fase.
  • Actualizaciones de seguridad del sistema operativo

• 29 de marzo de 2023

  • [SPARK-42794][SS] Aumentar lockAcquireTimeoutMs a 2 minutos para adquirir el almacén de estado de RocksDB en Structure Streaming
  • [SPARK-41162][SQL] Corregir la anti y semiunión para la unión automática con agregaciones
  • [SPARK-42403][CORE] JsonProtocol debe controlar cadenas JSON nulas
  • [SPARK-42668][SS] Detectar excepción al intentar cerrar la secuencia comprimida en HDFSStateStoreProvider abort
  • Correcciones de errores varios.

• 14 de marzo de 2023

  • [SPARK-42534][SQL] Corregir la cláusula DB2Dialect Limit
  • [SPARK-42622][CORE] Deshabilitar la sustitución en valores
  • [SPARK-41793][SQL] Resultado incorrecto para los marcos de ventana definidos por una cláusula de rango en decimales grandes
  • [SPARK-42484] [SQL] Mejora del mensaje de error UnsafeRowUtils
  • [SPARK-42635][SQL] Corregir la expresión TimestampAdd.
  • [SPARK-42516][SQL] Capturar siempre la configuración de zona horaria de sesión al crear vistas
  • Actualizaciones de seguridad del sistema operativo

• 24 de febrero de 2023

  • Opciones de conexión estandarizadas para la federación de consultas

    Ahora puede usar un conjunto unificado de opciones (host, port, database, user, password) para conectarse a los orígenes de datos admitidos en la federación de consultas (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Tenga en cuenta que port es opcional y usará el número de puerto predeterminado para cada origen de datos si no se proporciona.

    Ejemplo de configuración de conexión de PostgreSQL

    CREATE TABLE postgresql_table
    USING postgresql
    OPTIONS (
      dbtable '<table-name>',
      host '<host-name>',
      database '<database-name>',
      user '<user>',
      password secret('scope', 'key')
    );
    

    Ejemplo de configuración de conexión de Snowflake

    CREATE TABLE snowflake_table
    USING snowflake
    OPTIONS (
      dbtable '<table-name>',
      host '<host-name>',
      port '<port-number>',
      database '<database-name>',
      user secret('snowflake_creds', 'my_username'),
      password secret('snowflake_creds', 'my_password'),
      schema '<schema-name>',
      sfWarehouse '<warehouse-name>'
    );
    

  • Revertir [SPARK-41848][CORE] Corregir la tarea con TaskResourceProfile

  • [SPARK-42162] Introducción de la expresión MultiCommutativeOp como optimización de memoria para grandes árboles canónicos de expresiones conmutativas

  • [SPARK-41990][SQL] Usar FieldReference.column en lugar de apply en la conversión de filtros V1 a V2

  • [SPARK-42346][SQL] Reescribir agregados distintos después de la combinación de subconsultas

  • Actualizaciones de seguridad del sistema operativo

• 16 de febrero de 2023

  • Los usuarios ahora pueden leer y escribir determinadas tablas Delta que requieren la versión 3 del lector y la versión 7 del escritor mediante Databricks Runtime 9.1 o posterior. Para que se realice correctamente, las características de tabla enumeradas en el protocolo de las tablas deben ser compatibles con la versión actual de Databricks Runtime.
  • El comando SYNC admite la sincronización de las tablas recreadas del Metastore de Hive. Si una tabla HMS se ha sincronizado (SYNCed) anteriormente en el Unity Catalog, pero luego se quitó y se volvió a crear, una nueva sincronización posterior funcionará en lugar de iniciar TABLE_ALREADY_EXISTS código de estado.
  • [SPARK-36173][CORE] Compatibilidad con la obtención del número de CPU en TaskContext
  • [SPARK-42286][SQL] Reserva a la ruta de acceso de código codegen anterior para expr complejos con CAST
  • [SPARK-41848][CORE] Corregir tareas con exceso de programación con TaskResourceProfile
  • [SPARK-41219][SQL] IntegralDivide utiliza decimal(1, 0) para representar 0

• 25 de enero de 2023

  • [SPARK-41660][SQL] Solo propaga columnas de metadatos si se usan
  • [SPARK-41379][SS][PYTHON] Proporcionar una sesión de Spark clonada en DataFrame en la función de usuario para el receptor foreachBatch en PySpark
  • [SPARK-41669][SQL] Eliminación temprana en canCollapseExpressions
  • Actualizaciones de seguridad del sistema operativo

• 18 de enero de 2023

  • REFRESH FUNCTION El comando SQL ahora admite funciones SQL y funciones de tablas SQL. Por ejemplo, el comando se podría usar para actualizar una función SQL persistente que se actualizó en otra sesión de SQL.
  • El origen de datos Java Database Connectivity (JDBC) v1 ahora admite la aplicación de la cláusula LIMIT para mejorar el rendimiento en las consultas. Esta característica está habilitada de manera predeterminada y se puede deshabilitar al establecer spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled en false.
  • En los clústeres de las ACL de tablas heredadas, la creación de funciones que hacen referencia a clases JVM ahora requiere el privilegio MODIFY_CLASSPATH.
  • El origen de datos Java Database Connectivity (JDBC) v1 ahora admite la aplicación de la cláusula LIMIT para mejorar el rendimiento en las consultas. Esta característica está habilitada de manera predeterminada y se puede deshabilitar al establecer spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled en false.
  • El conector de Azure Synapse ahora devuelve un mensaje de error más descriptivo cuando un nombre de columna contiene caracteres no válidos, como espacios en blanco o punto y coma. En tales casos, se devolverá el siguiente mensaje: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
  • El streaming estructurado de Spark ahora funciona con format("deltasharing") en una tabla de uso compartido diferencial como origen.
  • [SPARK-38277][SS] Borrado del lote de escritura después de la confirmación del almacén de estado de RocksDB
  • [SPARK-41733][SQL][SS] Aplicación de la eliminación basada en patrones de árbol para la regla ResolveWindowTime
  • [SPARK-39591][SS] Seguimiento de progreso asincrónico
  • [SPARK-41339][SQL] Cierre y nueva creación del lote de escritura de RocksDB en lugar de simplemente borrar
  • [SPARK-41198][SS] Corregir métricas en la consulta de streaming con origen de streaming CTE y DSv1
  • [SPARK-41539][SQL] Reasignar estadísticas y restricciones frente a la salida en el plan lógico para LogicalRDD
  • [SPARK-41732][SQL][SS] Aplicar la eliminación basada en patrones de árbol para la regla SessionWindowing
  • [SPARK-41862][SQL] Solución del error de corrección relacionado con los valores DEFAULT en el lector Orc
  • [SPARK-41199][SS] Corregir el problema de métricas cuando el origen de streaming DSv1 y el origen de streaming DSv2 se usan conjuntamente
  • [SPARK-41261][PYTHON][SS] Corregir el problema para applyInPandasWithState cuando las columnas de claves de agrupación no se colocan en orden desde el primer momento
  • Actualizaciones de seguridad del sistema operativo

• 17 de mayo de 2023

  • Los exámenes de Parquet ahora son sólidos con respecto a los OEM al examinar archivos excepcionalmente estructurados ajustando dinámicamente el tamaño del lote. Los metadatos de archivo se analizan para reducir de forma preventiva el tamaño del lote y se reducen de nuevo en los reintentos de tareas como una red de seguridad final.
  • Se ha corregido una regresión que provocaba que los trabajos de Azure Databricks persistan después de no conectarse al metastore durante la inicialización del clúster.
  • [SPARK-41520][SQL] Patrón de árbol dividido AND_OR para separar AND y OR.
  • [SPARK-43190][SQL] ListQuery.childOutput ahora es coherente con la salida secundaria.
  • Actualizaciones de seguridad del sistema operativo

• 25 de abril de 2023

  • Si se leyó un archivo Parquet con solo la opción failOnUnknownFields o con autocargador en el modo de evolución del esquema failOnNewColumns, las columnas que tenían tipos de datos diferentes se leerían como null en lugar de producir un error que indica que el archivo no se puede leer. Estas lecturas ahora producen un error y recomiendan a los usuarios que usen la opción rescuedDataColumn.
  • El cargador automático ahora lee correctamente y ya no recupera los tipos Integer, Short, Byte si se proporciona uno de estos tipos de datos. El archivo Parquet sugiere uno de los otros dos tipos. Cuando la columna de datos rescatada se habilitó anteriormente, la falta de coincidencia del tipo de datos provocaría que las columnas se rescataran aunque fueran legibles.
  • [SPARK-42937][SQL] PlanSubqueries ahora establece InSubqueryExec#shouldBroadcast en verdadero.
  • Actualizaciones de seguridad del sistema operativo

• 11 de abril de 2023

  • Admite formatos de origen de datos heredados en el comando SYNC.
  • Corrige un error en el comportamiento %autoreload de los cuadernos que están fuera de un repositorio.
  • Se ha corregido un error por el que la evolución del esquema del cargador automático puede entrar en un bucle de error infinito, cuando se detecta una nueva columna en el esquema de un objeto JSON anidado.
  • [SPARK-42928][SQL] Hacer que resolvePersistentFunction se sincronice.
  • [SPARK-42967][CORE] Corregir SparkListenerTaskStart.stageAttemptId cuando se inicia una tarea después de cancelar la fase.

• 29 de marzo de 2023

  • [SPARK-42794][SS] Aumentar lockAcquireTimeoutMs a 2 minutos para adquirir el almacén de estado de RocksDB en Structure Streaming
  • [SPARK-42403][CORE] JsonProtocol debe controlar cadenas JSON nulas
  • [SPARK-42668][SS] Detectar excepción al intentar cerrar la secuencia comprimida en HDFSStateStoreProvider abort
  • Actualizaciones de seguridad del sistema operativo

• 14 de marzo de 2023

  • [SPARK-42635][SQL] Corregir la expresión TimestampAdd.
  • [SPARK-41793][SQL] Resultado incorrecto para los marcos de ventana definidos por una cláusula de rango en decimales grandes
  • [SPARK-42484] [SQL] Mejora del mensaje de error UnsafeRowUtils
  • [SPARK-42534][SQL] Corregir la cláusula DB2Dialect Limit
  • [SPARK-41162][SQL] Corregir la anti y semiunión para la unión automática con agregaciones
  • [SPARK-42516][SQL] Capturar siempre la configuración de zona horaria de sesión al crear vistas
  • Correcciones de errores varios.

• 28 de febrero de 2023

  • Opciones de conexión estandarizadas para la federación de consultas

    Ahora puede usar un conjunto unificado de opciones (host, port, database, user, password) para conectarse a los orígenes de datos admitidos en la federación de consultas (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Tenga en cuenta que port es opcional y usa el número de puerto predeterminado para cada origen de datos si no se proporciona.

    Ejemplo de configuración de conexión de PostgreSQL

    CREATE TABLE postgresql_table
    USING postgresql
    OPTIONS (
      dbtable '<table-name>',
      host '<host-name>',
      database '<database-name>',
      user '<user>',
      password secret('scope', 'key')
    );
    

    Ejemplo de configuración de conexión de Snowflake

    CREATE TABLE snowflake_table
    USING snowflake
    OPTIONS (
      dbtable '<table-name>',
      host '<host-name>',
      port '<port-number>',
      database '<database-name>',
      user secret('snowflake_creds', 'my_username'),
      password secret('snowflake_creds', 'my_password'),
      schema '<schema-name>',
      sfWarehouse '<warehouse-name>'
    );
    

  • [SPARK-42286][SQL] Reserva a la ruta de acceso de código codegen anterior para expr complejos con CAST

  • [SPARK-41989][PYTHON] Evitar interrumpir la configuración del registro de pyspark.pandas

  • [SPARK-42346][SQL] Reescribir agregados distintos después de la combinación de subconsultas

  • [SPARK-41360] [CORE] Evitar el nuevo registro de BlockManager si se ha perdido el ejecutor

  • [SPARK-42162] Introducción de la expresión MultiCommutativeOp como optimización de memoria para grandes árboles canónicos de expresiones conmutativas

  • [SPARK-41990][SQL] Usar FieldReference.column en lugar de apply en la conversión de filtros V1 a V2

  • Actualizaciones de seguridad del sistema operativo

• 16 de febrero de 2023

  • Los usuarios ahora pueden leer y escribir determinadas tablas Delta que requieren la versión 3 del lector y la versión 7 del escritor mediante Databricks Runtime 9.1 o posterior. Para que se realice correctamente, las características de tabla enumeradas en el protocolo de las tablas deben ser compatibles con la versión actual de Databricks Runtime.
  • El comando SYNC admite la sincronización de las tablas recreadas del Metastore de Hive. Si una tabla HMS se ha sincronizado (SYNCed) anteriormente en el Unity Catalog, pero luego se quitó y se volvió a crear, una nueva sincronización posterior funcionará en lugar de iniciar TABLE_ALREADY_EXISTS código de estado.
  • [SPARK-41219][SQL] IntegralDivide utiliza decimal(1, 0) para representar 0
  • [SPARK-40382][SQL] Se agrupan expresiones de agregado distintas mediante elementos secundarios semánticamente equivalentes en RewriteDistinctAggregates
  • Actualizaciones de seguridad del sistema operativo

• 25 de enero de 2023

  • [SPARK-41379][SS][PYTHON] Proporcionar una sesión de Spark clonada en DataFrame en la función de usuario para el receptor foreachBatch en PySpark
  • [SPARK-41660][SQL] Solo propaga columnas de metadatos si se usan
  • [SPARK-41669][SQL] Eliminación temprana en canCollapseExpressions
  • Correcciones de errores varios.

• 18 de enero de 2023

  • REFRESH FUNCTION El comando SQL ahora admite funciones SQL y funciones de tablas SQL. Por ejemplo, el comando se podría usar para actualizar una función SQL persistente que se actualizó en otra sesión de SQL.
  • El origen de datos Java Database Connectivity (JDBC) v1 ahora admite la aplicación de la cláusula LIMIT para mejorar el rendimiento en las consultas. Esta característica está habilitada de manera predeterminada y se puede deshabilitar al establecer spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled en false.
  • El origen de datos Java Database Connectivity (JDBC) v1 ahora admite la aplicación de la cláusula LIMIT para mejorar el rendimiento en las consultas. Esta característica está habilitada de manera predeterminada y se puede deshabilitar al establecer spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled en false.
  • El conector de Azure Synapse ahora devuelve un mensaje de error más descriptivo cuando un nombre de columna contiene caracteres no válidos, como espacios en blanco o punto y coma. En tales casos, se devolverá el siguiente mensaje: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
  • [SPARK-41198][SS] Corregir métricas en la consulta de streaming con origen de streaming CTE y DSv1
  • [SPARK-41862][SQL] Solución del error de corrección relacionado con los valores DEFAULT en el lector Orc
  • [SPARK-41539][SQL] Reasignar estadísticas y restricciones frente a la salida en el plan lógico para LogicalRDD
  • [SPARK-39591][SS] Seguimiento de progreso asincrónico
  • [SPARK-41199][SS] Corregir el problema de métricas cuando el origen de streaming DSv1 y el origen de streaming DSv2 se usan conjuntamente
  • [SPARK-41261][PYTHON][SS] Corregir el problema para applyInPandasWithState cuando las columnas de claves de agrupación no se colocan en orden desde el primer momento
  • [SPARK-41339][SQL] Cierre y nueva creación del lote de escritura de RocksDB en lugar de simplemente borrar
  • [SPARK-41732][SQL][SS] Aplicar la eliminación basada en patrones de árbol para la regla SessionWindowing
  • [SPARK-38277][SS] Borrado del lote de escritura después de la confirmación del almacén de estado de RocksDB
  • Actualizaciones de seguridad del sistema operativo

• 29 de noviembre de 2022

  • Los usuarios pueden configurar el comportamiento inicial y final de los espacios en blanco al escribir datos mediante el conector redshift. Se han agregado las siguientes opciones para controlar el control de espacios en blanco:
    • csvignoreleadingwhitespace, cuando se establece en true, quita el espacio en blanco inicial de los valores durante las escrituras cuando tempformat se establece CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
    • csvignoretrailingwhitespace, cuando se establece en true, quita el espacio en blanco final de los valores durante las escrituras cuando tempformat se establece en CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
  • Se ha corregido un error con el análisis de JSON en el cargador automático cuando todas las columnas se dejaban como cadenas (cloudFiles.inferColumnTypes no se estableció o se estableció en false) y el JSON contenía objetos anidados.
  • Actualice la dependencia snowflake-jdbc a la versión 3.13.22.
  • Los tipos de tabla de las tablas JDBC ahora son EXTERNAL de manera predeterminada.
  • [SPARK-40906][SQL] Mode debe copiar las claves antes de insertarlas en la asignación
  • Actualizaciones de seguridad del sistema operativo

• 15 de noviembre de 2022

  • Las ACL de tabla y los clústeres compartidos de UC ahora permiten el método Dataset.toJSON de Python.
  • [SPARK-40646] Se ha corregido el análisis de JSON para estructuras, mapas y matrices, por lo que cuando una parte de un registro no coincide con el esquema, el resto del registro todavía se puede analizar correctamente en lugar de devolver valores NULL. Participar en el conjunto de comportamientos mejorado spark.sql.json.enablePartialResults en true. La marca está deshabilitada de forma predeterminada para conservar el comportamiento original.
  • [SPARK-40903][SQL] Evitar reordenar la adición decimal para la canonización si se cambia el tipo de datos
  • [SPARK-40618][SQL] Corregir el error en la regla MergeScalarSubqueries con subconsultas anidadas mediante el seguimiento de referencias
  • [SPARK-40697][SQL] Agregar relleno de caracteres de lectura para cubrir archivos de datos externos
  • Actualizaciones de seguridad del sistema operativo

• 1 de noviembre de 2022

  • Structured Streaming en el catálogo de Unity ahora admite la actualización de tokens de acceso temporales. Las cargas de trabajo de streaming que se ejecutan con el catálogo de Unity de todos los fines o los clústeres de trabajos ya no generan errores tras la expiración del token inicial.
  • Se ha corregido un problema por el que si una tabla Delta tenía una columna definida por el usuario denominada _change_type, pero la opción Change data feed (Cambiar fuente de distribución de datos) estaba deshabilitada en esa tabla, los datos de esa columna se rellenaban incorrectamente con valores NULL al ejecutar MERGE.
  • Se ha corregido un problema por el que la ejecución MERGE y el uso de exactamente 99 columnas del origen en la condición podía dar lugar a java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
  • Se ha corregido un problema con el cargador automático en el que un archivo se puede duplicar en el mismo microproceso cuando allowOverwrites está habilitado.
  • Se ha actualizado Apache commons-text a 1.10.0.
  • [SPARK-38881][DSTREAMS][KINESIS][PYSPARK] Se ha agregado compatibilidad con la configuración de CloudWatch MetricsLevel
  • [SPARK-40596][CORE] Rellenar ExecutorDecommission con mensajes en ExecutorDecommissionInfo
  • [SPARK-40670][SS][PYTHON] Corregir NPE en applyInPandasWithState cuando el esquema de entrada tiene columnas "que no aceptan valores NULL"
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 11.2

Consulte Databricks Runtime 11.2 (EoS).

• 28 de febrero de 2023
  • [SPARK-42286][SQL] Reserva a la ruta de acceso de código codegen anterior para expr complejos con CAST
  • [SPARK-42346][SQL] Reescribir agregados distintos después de la combinación de subconsultas
  • Actualizaciones de seguridad del sistema operativo
• 16 de febrero de 2023
  • Los usuarios ahora pueden leer y escribir determinadas tablas Delta que requieren la versión 3 del lector y la versión 7 del escritor mediante Databricks Runtime 9.1 o posterior. Para que se realice correctamente, las características de tabla enumeradas en el protocolo de las tablas deben ser compatibles con la versión actual de Databricks Runtime.
  • El comando SYNC admite la sincronización de las tablas recreadas del Metastore de Hive. Si una tabla HMS se ha sincronizado (SYNCed) anteriormente en el Unity Catalog, pero luego se quitó y se volvió a crear, una nueva sincronización posterior funcionará en lugar de iniciar TABLE_ALREADY_EXISTS código de estado.
  • [SPARK-41219][SQL] IntegralDivide utiliza decimal(1, 0) para representar 0
  • Actualizaciones de seguridad del sistema operativo
• 31 de enero de 2023
  • Los tipos de tabla de las tablas JDBC ahora son EXTERNAL de manera predeterminada.
  • [SPARK-41379][SS][PYTHON] Proporcionar una sesión de Spark clonada en DataFrame en la función de usuario para el receptor foreachBatch en PySpark
• 18 de enero de 2023
  • El conector de Azure Synapse ahora devuelve un mensaje de error más descriptivo cuando un nombre de columna contiene caracteres no válidos, como espacios en blanco o punto y coma. En tales casos, se devolverá el siguiente mensaje: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
  • [SPARK-41198][SS] Corregir métricas en la consulta de streaming con origen de streaming CTE y DSv1
  • [SPARK-41862][SQL] Solución del error de corrección relacionado con los valores DEFAULT en el lector Orc
  • [SPARK-41539][SQL] Reasignar estadísticas y restricciones frente a la salida en el plan lógico para LogicalRDD
  • [SPARK-41199][SS] Corregir el problema de métricas cuando el origen de streaming DSv1 y el origen de streaming DSv2 se usan conjuntamente
  • [SPARK-41339][SQL] Cierre y nueva creación del lote de escritura de RocksDB en lugar de simplemente borrar
  • [SPARK-41732][SQL][SS] Aplicar la eliminación basada en patrones de árbol para la regla SessionWindowing
  • [SPARK-38277][SS] Borrado del lote de escritura después de la confirmación del almacén de estado de RocksDB
  • Actualizaciones de seguridad del sistema operativo
• 29 de noviembre de 2022
  • Los usuarios pueden configurar el comportamiento inicial y final de los espacios en blanco al escribir datos mediante el conector redshift. Se han agregado las siguientes opciones para controlar el control de espacios en blanco:
    • csvignoreleadingwhitespace, cuando se establece en true, quita el espacio en blanco inicial de los valores durante las escrituras cuando tempformat se establece CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
    • csvignoretrailingwhitespace, cuando se establece en true, quita el espacio en blanco final de los valores durante las escrituras cuando tempformat se establece en CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
  • Se ha corregido un error con el análisis de JSON en el cargador automático cuando todas las columnas se dejaban como cadenas (cloudFiles.inferColumnTypes no se estableció o se estableció en false) y el JSON contenía objetos anidados.
  • [SPARK-40906][SQL] Mode debe copiar las claves antes de insertarlas en la asignación
  • Actualizaciones de seguridad del sistema operativo
• 15 de noviembre de 2022
  • [SPARK-40646] Se ha corregido el análisis de JSON para estructuras, mapas y matrices, por lo que cuando una parte de un registro no coincide con el esquema, el resto del registro todavía se puede analizar correctamente en lugar de devolver valores NULL. Para participar en el comportamiento mejorado, establezca spark.sql.json.enablePartialResults en true. La marca está deshabilitada de forma predeterminada para conservar el comportamiento original.
  • [SPARK-40618][SQL] Corregir el error en la regla MergeScalarSubqueries con subconsultas anidadas mediante el seguimiento de referencias
  • [SPARK-40697][SQL] Agregar relleno de caracteres de lectura para cubrir archivos de datos externos
  • Actualizaciones de seguridad del sistema operativo
• 1 de noviembre de 2022
  • Se ha actualizado Apache commons-text a 1.10.0.
  • Se ha corregido un problema por el que si una tabla Delta tenía una columna definida por el usuario denominada _change_type, pero la opción Change data feed (Cambiar fuente de distribución de datos) estaba deshabilitada en esa tabla, los datos de esa columna se rellenaban incorrectamente con valores NULL al ejecutar MERGE.
  • Se ha corregido un problema por el que la ejecución MERGE y el uso de exactamente 99 columnas del origen en la condición podía dar lugar a java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
  • Se ha corregido un problema con el cargador automático en el que un archivo se puede duplicar en el mismo microproceso cuando allowOverwrites está habilitado.
  • [SPARK-40596][CORE] Rellenar ExecutorDecommission con mensajes en ExecutorDecommissionInfo
  • Actualizaciones de seguridad del sistema operativo
• 19 de octubre de 2022
  • Se ha corregido un problema con el uso de COPY INTO con credenciales temporales en clústeres o almacenes habilitados para Unity Catalog.
  • [SPARK-40213][SQL] Compatibilidad con la conversión de valores ASCII para caracteres Latino-1
  • Actualizaciones de seguridad del sistema operativo
• 5 de octubre de 2022
  • Los usuarios pueden establecer spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para volver a habilitar la lista nativa para Auto Loader en ADLS. La lista nativa se desactivó anteriormente debido a problemas de rendimiento, pero puede haber provocado un aumento en los costos de almacenamiento para los clientes. Este cambio se implementó en Databricks Runtime 10.4 y 9.1 en la actualización de mantenimiento anterior.
  • [SPARK-40315][SQL]Compatibilidad con la codificación o descodificación URL como función integrada y funciones relacionadas con direcciones URL ordenadas
  • [SPARK-40156][SQL]url_decode() debe devolver una clase de error
  • [SPARK-40169] No inserte filtros de Parquet sin referencia al esquema de datos
  • [SPARK-40460][SS] Corrección de métricas de streaming al seleccionar _metadata
  • [SPARK-40468][SQL] Corrección de la eliminación de columnas en CSV cuando se selecciona _corrupt_record
  • [SPARK-40055][SQL] listCatalogs también debe devolver spark_catalog incluso cuando la implementación de spark_catalog es defaultSessionCatalog
  • Actualizaciones de seguridad del sistema operativo
• 22 de septiembre de 2022
  • [SPARK-40315][SQL] Adición de hashCode() para el literal de ArrayBasedMapData
  • [SPARK-40389][SQL] Los decimales no pueden transmitirse como tipos enteros si la conversión puede desbordarse
  • [SPARK-40380][SQL] Corregir el plegado constante de InvokeLike para evitar literales no serializables insertados en el plan
  • [SPARK-40066][SQL][SEGUIMIENTO] Comprobar si ElementAt se resuelve antes de obtener su dataType
  • [SPARK-40109][SQL] Nueva función SQL: get()
  • [SPARK-40066][SQL] Modo ANSI: siempre devuelve null en el acceso no válido para asignar la columna
  • [SPARK-40089][SQL] Corrección de la ordenación para algunos tipos decimales
  • [SPARK-39887][SQL] RemoveRedundantAliases debe mantener alias que hacen que la salida de los nodos de proyección sea única
  • [SPARK-40152][SQL] Corregir el problema de compilación de codegen split_part
  • [SPARK-40235][CORE] Usar el bloqueo interrumpible en lugar de sincronizarse en Executor.updateDependencies()
  • [SPARK-40212][SQL] SparkSQL castPartValue no controla correctamente byte, short ni float
  • [SPARK-40218][SQL] GROUPING SETS debe conservar las columnas de agrupación
  • [SPARK-35542][ML] Corrección: se ha creado un creador de depósitos para varias columnas con parámetros
  • [SPARK-40079] Añadir la validación inputCols de Imputer para el caso de entrada vacío
  • [SPARK-39912]SPARK-39828[SQL] Ajustar CatalogImpl

Databricks Runtime 11.1

Consulte Databricks Runtime 11.1 (EoS).

• 31 de enero de 2023

  • [SPARK-41379][SS][PYTHON] Proporcionar una sesión de Spark clonada en DataFrame en la función de usuario para el receptor foreachBatch en PySpark
  • Correcciones de errores varios.

• 18 de enero de 2023

  • El conector de Azure Synapse ahora devuelve un mensaje de error más descriptivo cuando un nombre de columna contiene caracteres no válidos, como espacios en blanco o punto y coma. En tales casos, se devolverá el siguiente mensaje: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
  • [SPARK-41198][SS] Corregir métricas en la consulta de streaming con origen de streaming CTE y DSv1
  • [SPARK-41862][SQL] Solución del error de corrección relacionado con los valores DEFAULT en el lector Orc
  • [SPARK-41199][SS] Corregir el problema de métricas cuando el origen de streaming DSv1 y el origen de streaming DSv2 se usan conjuntamente
  • [SPARK-41339][SQL] Cierre y nueva creación del lote de escritura de RocksDB en lugar de simplemente borrar
  • [SPARK-41732][SQL][SS] Aplicar la eliminación basada en patrones de árbol para la regla SessionWindowing
  • [SPARK-38277][SS] Borrado del lote de escritura después de la confirmación del almacén de estado de RocksDB
  • Actualizaciones de seguridad del sistema operativo

• 29 de noviembre de 2022

  • Los usuarios pueden configurar el comportamiento inicial y final de los espacios en blanco al escribir datos mediante el conector redshift. Se han agregado las siguientes opciones para controlar el control de espacios en blanco:
    • csvignoreleadingwhitespace, cuando se establece en true, quita el espacio en blanco inicial de los valores durante las escrituras cuando tempformat se establece CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
    • csvignoretrailingwhitespace, cuando se establece en true, quita el espacio en blanco final de los valores durante las escrituras cuando tempformat se establece en CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
  • Se ha corregido un error con el análisis de JSON en el cargador automático cuando todas las columnas se dejaban como cadenas (cloudFiles.inferColumnTypes no se estableció o se estableció en false) y el JSON contenía objetos anidados.
  • [SPARK-39650][SS] Corregir el esquema de valores incorrecto en la desduplicación de streaming con compatibilidad con versiones anteriores
  • Actualizaciones de seguridad del sistema operativo

• 15 de noviembre de 2022

  • [SPARK-40646] Se ha corregido el análisis de JSON para estructuras, mapas y matrices, por lo que cuando una parte de un registro no coincide con el esquema, el resto del registro todavía se puede analizar correctamente en lugar de devolver valores NULL. Para habilitar el comportamiento mejorado, establezca spark.sql.json.enablePartialResults en true. La marca está deshabilitada de forma predeterminada para conservar el comportamiento original.
  • Actualizaciones de seguridad del sistema operativo

• 1 de noviembre de 2022

  • Se ha actualizado Apache commons-text a 1.10.0.
  • Se ha corregido un problema por el que si una tabla Delta tenía una columna definida por el usuario denominada _change_type, pero la opción Change data feed (Cambiar fuente de distribución de datos) estaba deshabilitada en esa tabla, los datos de esa columna se rellenaban incorrectamente con valores NULL al ejecutar MERGE.
  • Se ha corregido un problema por el que la ejecución MERGE y el uso de exactamente 99 columnas del origen en la condición podía dar lugar a java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
  • Se ha corregido un problema con el cargador automático en el que un archivo se puede duplicar en el mismo microproceso cuando allowOverwrites está habilitado.
  • [SPARK-40697][SQL] Agregar relleno de caracteres de lectura para cubrir archivos de datos externos
  • [SPARK-40596][CORE] Rellenar ExecutorDecommission con mensajes en ExecutorDecommissionInfo
  • Actualizaciones de seguridad del sistema operativo

• 18 de octubre de 2022

  • Se ha corregido un problema con el uso de COPY INTO con credenciales temporales en clústeres o almacenes habilitados para Unity Catalog.
  • [SPARK-40213][SQL] Compatibilidad con la conversión de valores ASCII para caracteres Latino-1
  • Actualizaciones de seguridad del sistema operativo

• 5 de octubre de 2022

  • Los usuarios pueden establecer spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para volver a habilitar la lista nativa para Auto Loader en ADLS. La lista nativa se desactivó anteriormente debido a problemas de rendimiento, pero puede haber provocado un aumento en los costos de almacenamiento para los clientes. Este cambio se implementó en Databricks Runtime 10.4 y 9.1 en la actualización de mantenimiento anterior.
  • [SPARK-40169] No inserte filtros de Parquet sin referencia al esquema de datos
  • [SPARK-40460][SS] Corrección de métricas de streaming al seleccionar _metadata
  • [SPARK-40468][SQL] Corrección de la eliminación de columnas en CSV cuando se selecciona _corrupt_record
  • [SPARK-40055][SQL] listCatalogs también debe devolver spark_catalog incluso cuando la implementación de spark_catalog es defaultSessionCatalog
  • Actualizaciones de seguridad del sistema operativo

• 22 de septiembre de 2022

  • [SPARK-40315][SQL] Adición de hashCode() para el literal de ArrayBasedMapData
  • [SPARK-40380][SQL] Corregir el plegado constante de InvokeLike para evitar literales no serializables insertados en el plan
  • [SPARK-40089][SQL] Corrección de la ordenación para algunos tipos decimales
  • [SPARK-39887][SQL] RemoveRedundantAliases debe mantener alias que hacen que la salida de los nodos de proyección sea única
  • [SPARK-40152][SQL] Corregir el problema de compilación de codegen split_part

• 6 de septiembre de 2022

  • Hemos actualizado el modelo de permisos en Controles de acceso a tablas (ACL de tabla) para que solo se necesiten permisos MODIFY para cambiar las propiedades de esquema o tabla de una tabla con ALTER TABLE. Anteriormente, estas operaciones requerían que un usuario fuera propietario de la tabla. La propiedad sigue siendo necesaria para conceder permisos en una tabla, cambiar su propietario, cambiar su ubicación o cambiar su nombre. Este cambio hace que el modelo de permisos para las ACL de tabla sea más coherente con Unity Catalog.
  • [SPARK-40235][CORE] Usar el bloqueo interrumpible en lugar de sincronizarse en Executor.updateDependencies()
  • [SPARK-40212][SQL] SparkSQL castPartValue no controla correctamente byte, short ni float
  • [SPARK-40218][SQL] GROUPING SETS debe conservar las columnas de agrupación
  • [SPARK-39976][SQL] ArrayIntersect debe controlar null en la expresión de la izquierda correctamente
  • [SPARK-40053][CORE][SQL][TESTS] Agregar assume a casos de cancelación dinámica que requieren entorno de tiempo de ejecución de Python
  • [SPARK-35542][CORE][ML] Corrección: Se ha creado un creador de depósitos para varias columnas con parámetros splitsArray, inputCols y outputCols. No se puede cargar después de guardarlo
  • [SPARK-40079][CORE] Agregar la validación inputCols de Imputer para el caso de entrada vacío

• 24 de agosto de 2022

  • Los recursos compartidos, los proveedores y los destinatarios ahora admiten comandos SQL para cambiar propietarios, comentar o cambiar el nombre
  • [SPARK-39983][CORE][SQL] No almacenar en caché las relaciones de difusión no serializadas en el controlador
  • [SPARK-39912][SPARK-39828][SQL] Ajustar CatalogImpl
  • [SPARK-39775][CORE][AVRO] Deshabilitar la validación de valores predeterminados al analizar esquemas de Avro
  • [SPARK-39806] Se ha corregido el problema en las consultas que acceden al bloqueo de la estructura METADATA en tablas con particiones
  • [SPARK-39867][SQL] El límite global no debe heredar OrderPreservingUnaryNode
  • [SPARK-39962][PYTHON][SQL] Aplicar la proyección cuando los atributos de grupo están vacíos
  • [SPARK-39839][SQL] Controlar el caso especial de decimales de longitud variable null con offsetAndSize distinto de cero en la comprobación de integridad estructural UnsafeRow
  • [SPARK-39713][SQL] Modo ANSI: agregar sugerencia de uso de try_element_at para el error INVALID_ARRAY_INDEX
  • [SPARK-39847][SS] Corregir la condición de carrera en RocksDBLoader.loadLibrary() si se interrumpe el subproceso del autor de la llamada
  • [SPARK-39731][SQL] Corregir el problema en los orígenes de datos CSV y JSON cuando se analicen fechas en formato "yyyyMMdd" con la directiva de analizador de hora CORREGIDA
  • Actualizaciones de seguridad del sistema operativo

• 10 de agosto de 2022

  • En el caso de las tablas de Delta con control de acceso a tablas, la evolución automática del esquema a través de instrucciones DML, como INSERT y MERGE, ahora está disponible para todos los usuarios que tienen permisos MODIFY en dichas tablas. Además, los permisos necesarios para realizar la evolución del esquema con COPY INTO ahora se han reducido de OWNER a MODIFY para la coherencia con otros comandos. Estos cambios hacen que el modelo de seguridad de la ACL de tabla sea más coherente con el modelo de seguridad de Unity Catalog, así como con otras operaciones, como el reemplazo de una tabla.
  • [SPARK-39889] Mejorar el mensaje de error de división por 0
  • [SPARK-39795] [SQL] Nueva función de SQL: try_to_timestamp
  • [SPARK-39749] Usar siempre la representación de cadena sin formato en la conversión decimal como cadena en modo ANSI
  • [SPARK-39625] Cambiar el nombre de df.as a df.to
  • [SPARK-39787] [SQL] Usar la clase de error en el error de análisis de la función to_timestamp
  • [SPARK-39625] [SQL] Agregar Dataset.as(StructType)
  • [SPARK-39689] Compatibilidad con 2 caracteres lineSep en el origen de datos CSV
  • [SPARK-39579] [SQL][python][R] Hacer que ListFunctions/getFunction/functionExists sea compatible con espacios de nombres de 3 capas
  • [SPARK-39702] [CORE] Reducir la sobrecarga de memoria de TransportCipher$EncryptedMessage mediante un byteRawChannel compartido
  • [SPARK-39575] [AVRO] Agregar ByteBuffer#rewind después de ByteBuffer#get en AvroDeserializer
  • [SPARK-39265] [SQL] Corregir el error de prueba cuando SPARK_ANSI_SQL_MODE está habilitado
  • [SPARK-39441] [SQL] Acelerar DeduplicateRelations
  • [SPARK-39497] [SQL] Mejorar la excepción de análisis de la columna de clave de asignación que falta
  • [SPARK-39476] [SQL] Deshabilitar la optimización de conversión de desajustado al convertir de Long a Float/Double o de Integer a Float
  • [SPARK-39434] [SQL] Proporcionar contexto de consulta de error en tiempo de ejecución cuando el índice de matriz está fuera del límite

Databricks Runtime 11.0

Consulte Databricks Runtime 11.0 (EoS).

• 29 de noviembre de 2022
  • Los usuarios pueden configurar el comportamiento inicial y final de los espacios en blanco al escribir datos mediante el conector redshift. Se han agregado las siguientes opciones para controlar el control de espacios en blanco:
    • csvignoreleadingwhitespace, cuando se establece en true, quita el espacio en blanco inicial de los valores durante las escrituras cuando tempformat se establece CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
    • csvignoretrailingwhitespace, cuando se establece en true, quita el espacio en blanco final de los valores durante las escrituras cuando tempformat se establece en CSV o CSV GZIP. Los espacios en blanco se conservan cuando la configuración se establece en false. De forma predeterminada, el valor es true.
  • Se ha corregido un error con el análisis de JSON en el cargador automático cuando todas las columnas se dejaban como cadenas (cloudFiles.inferColumnTypes no se estableció o se estableció en false) y el JSON contenía objetos anidados.
  • [SPARK-39650][SS] Corregir el esquema de valores incorrecto en la desduplicación de streaming con compatibilidad con versiones anteriores
  • Actualizaciones de seguridad del sistema operativo
• 15 de noviembre de 2022
  • [SPARK-40646] Se ha corregido el análisis de JSON para estructuras, mapas y matrices, por lo que cuando una parte de un registro no coincide con el esquema, el resto del registro todavía se puede analizar correctamente en lugar de devolver valores NULL. Para participar en el comportamiento mejorado, establezca spark.sql.json.enablePartialResults en true. La marca está deshabilitada de forma predeterminada para conservar el comportamiento original.
• 1 de noviembre de 2022
  • Se ha actualizado Apache commons-text a 1.10.0.
  • Se ha corregido un problema por el que si una tabla Delta tenía una columna definida por el usuario denominada _change_type, pero la opción Change data feed (Cambiar fuente de distribución de datos) estaba deshabilitada en esa tabla, los datos de esa columna se rellenaban incorrectamente con valores NULL al ejecutar MERGE.
  • Se ha corregido un problema con el cargador automático en el que un archivo se puede duplicar en el mismo microproceso cuando allowOverwrites está habilitado.
  • [SPARK-40697][SQL] Agregar relleno de caracteres de lectura para cubrir archivos de datos externos
  • [SPARK-40596][CORE] Rellenar ExecutorDecommission con mensajes en ExecutorDecommissionInfo
  • Actualizaciones de seguridad del sistema operativo
• 18 de octubre de 2022
  • [SPARK-40213][SQL] Compatibilidad con la conversión de valores ASCII para caracteres Latino-1
  • Actualizaciones de seguridad del sistema operativo
• 5 de octubre de 2022
  • Los usuarios pueden establecer spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para volver a habilitar la lista nativa para Auto Loader en ADLS. La lista nativa se desactivó anteriormente debido a problemas de rendimiento, pero puede haber provocado un aumento en los costos de almacenamiento para los clientes. Este cambio se implementó en Databricks Runtime 10.4 y 9.1 en la actualización de mantenimiento anterior.
  • [SPARK-40169] No inserte filtros de Parquet sin referencia al esquema de datos
  • [SPARK-40460][SS] Corrección de métricas de streaming al seleccionar _metadata
  • [SPARK-40468][SQL] Corrección de la eliminación de columnas en CSV cuando se selecciona _corrupt_record
  • Actualizaciones de seguridad del sistema operativo
• 22 de septiembre de 2022
  • [SPARK-40315][SQL] Adición de hashCode() para el literal de ArrayBasedMapData
  • [SPARK-40380][SQL] Corregir el plegado constante de InvokeLike para evitar literales no serializables insertados en el plan
  • [SPARK-40089][SQL] Corrección de la ordenación para algunos tipos decimales
  • [SPARK-39887][SQL] RemoveRedundantAliases debe mantener alias que hacen que la salida de los nodos de proyección sea única
  • [SPARK-40152][SQL] Corregir el problema de compilación de codegen split_part
• 6 de septiembre de 2022
  • [SPARK-40235][CORE] Usar el bloqueo interrumpible en lugar de sincronizarse en Executor.updateDependencies()
  • [SPARK-40212][SQL] SparkSQL castPartValue no controla correctamente byte, short ni float
  • [SPARK-40218][SQL] GROUPING SETS debe conservar las columnas de agrupación
  • [SPARK-39976][SQL] ArrayIntersect debe controlar null en la expresión de la izquierda correctamente
  • [SPARK-40053][CORE][SQL][TESTS] Agregar assume a casos de cancelación dinámica que requieren entorno de tiempo de ejecución de Python
  • [SPARK-35542][CORE][ML] Corrección: Se ha creado un creador de depósitos para varias columnas con parámetros splitsArray, inputCols y outputCols. No se puede cargar después de guardarlo
  • [SPARK-40079][CORE] Agregar la validación inputCols de Imputer para el caso de entrada vacío
• 24 de agosto de 2022
  • [SPARK-39983][CORE][SQL] No almacenar en caché las relaciones de difusión no serializadas en el controlador
  • [SPARK-39775][CORE][AVRO] Deshabilitar la validación de valores predeterminados al analizar esquemas de Avro
  • [SPARK-39806] Se ha corregido el problema en las consultas que acceden al bloqueo de la estructura METADATA en tablas con particiones
  • [SPARK-39867][SQL] El límite global no debe heredar OrderPreservingUnaryNode
  • [SPARK-39962][PYTHON][SQL] Aplicar la proyección cuando los atributos de grupo están vacíos
  • Actualizaciones de seguridad del sistema operativo
• 9 de agosto de 2022
  • [SPARK-39713][SQL] Modo ANSI: agregar sugerencia de uso de try_element_at para el error INVALID_ARRAY_INDEX
  • [SPARK-39847] Corregir la condición de carrera en RocksDBLoader.loadLibrary() si se interrumpe el subproceso del autor de la llamada
  • [SPARK-39731][SQL] Corregir el problema en los orígenes de datos CSV y JSON cuando se analicen fechas en formato "yyyyMMdd" con la directiva de analizador de hora CORREGIDA
  • [SPARK-39889] Mejorar el mensaje de error de división por 0
  • [SPARK-39795][SQL] Nueva función de SQL: try_to_timestamp
  • [SPARK-39749] Usar siempre la representación de cadena sin formato en la conversión decimal como cadena en modo ANSI
  • [SPARK-39625][SQL] Agregar Dataset.to(StructType)
  • [SPARK-39787][SQL] Usar la clase de error en el error de análisis de la función to_timestamp
  • Actualizaciones de seguridad del sistema operativo
• 27 de julio de 2022
  • [SPARK-39689]Compatibilidad con 2 caracteres lineSep en el origen de datos CSV
  • [SPARK-39104][SQL] El elemento InMemoryRelation#isCachedColumnBuffersLoaded debe ser seguro para subprocesos
  • [SPARK-39702][CORE] Reducir la sobrecarga de memoria de TransportCipher$EncryptedMessage mediante un byteRawChannel compartido
  • [SPARK-39575][AVRO] Agregar ByteBuffer#rewind después de ByteBuffer#get en AvroDeserializer
  • [SPARK-39497][SQL] Mejorar la excepción de análisis de la columna de clave de asignación que falta
  • [SPARK-39441][SQL] Acelerar DeduplicateRelations
  • [SPARK-39476][SQL] Deshabilitar la optimización de conversión de desajustado al convertir de Long a Float/Double o de Integer a Float
  • [SPARK-39434][SQL] Proporcionar contexto de consulta de error en tiempo de ejecución cuando el índice de matriz está fuera del límite
  • [SPARK-39570][SQL] Ahora, la tabla insertada permitirá el uso de expresiones con alias
  • Actualizaciones de seguridad del sistema operativo
• 13 de julio de 2022
  • Hacer que la operación Merge de Delta sea coherente cuando el origen no es determinista.
  • Se ha corregido un problema por TVF de cloud_files_state al ejecutarse en rutas que no son DBFS.
  • Se ha deshabilitado el uso de las API de nube nativas de Auto Loader para la lista de directorios en Azure.
  • [SPARK-38796][SQL] Se han actualizado las funciones to_number y try_to_number para que admitan las solicitudes PR que tengan números positivos
  • [SPARK-39272][SQL] Aumentar en 1 la posición inicial del contexto de consulta
  • [SPARK-39419][SQL] Corregir el elemento ArraySort para que produzca una excepción si el comparador devuelve un valor nulo
  • Actualizaciones de seguridad del sistema operativo
• 5 de julio de 2022
  • Mejora de los mensajes de error de un intervalo de clases de error.
  • [SPARK-39451][SQL] Compatibilidad con la conversión de intervalos a enteros en modo ANSI
  • [SPARK-39361] No use el patrón extendido de conversión throwable de Log4J2 en las configuraciones de registro predeterminadas.
  • [SPARK-39354][SQL] Garantizar que se muestre Table or view not found incluso si hay errores dataTypeMismatchError relacionados con Filter al mismo tiempo.
  • [SPARK-38675][CORE] Corregir la condición de carrera durante el desbloqueo en BlockInfoManager
  • [SPARK-39392][SQL] Ajustar los mensajes de error ANSI para las sugerencias de las funciones try_*.
  • [SPARK-39214][SQL][3.3] Mejorar los errores que ocurren en relación con las funciones CAST
  • [SPARK-37939][SQL] Usar clases de error en los errores de análisis de las propiedades
  • [SPARK-39085][SQL] Mover el mensaje de error INCONSISTENT_BEHAVIOR_CROSS_VERSION al archivo error-classes.json.
  • [SPARK-39376][SQL] Ocultar las columnas duplicadas en la expansión de estrella del alias de subconsulta de NATURAL/USING JOIN
  • [SPARK-39283][CORE] Corregir el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator
  • [SPARK-39285][SQL] Spark no debe comprobar los nombres de campo al leer archivos
  • Actualizaciones de seguridad del sistema operativo

Databricks Runtime 10.5

Consulte Databricks Runtime 10.5 (EoS).

• 1 de noviembre de 2022
  • Se ha corregido un problema por el que si una tabla Delta tenía una columna definida por el usuario denominada _change_type, pero la opción Change data feed (Cambiar fuente de distribución de datos) estaba deshabilitada en esa tabla, los datos de esa columna se rellenaban incorrectamente con valores NULL al ejecutar MERGE.
  • [SPARK-40697][SQL] Agregar relleno de caracteres de lectura para cubrir archivos de datos externos
  • [SPARK-40596][CORE] Rellenar ExecutorDecommission con mensajes en ExecutorDecommissionInfo
  • Actualizaciones de seguridad del sistema operativo
• 18 de octubre de 2022
  • Actualizaciones de seguridad del sistema operativo
• 5 de octubre de 2022
  • Los usuarios pueden establecer spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para volver a habilitar la lista nativa para Auto Loader en ADLS. La lista nativa se desactivó anteriormente debido a problemas de rendimiento, pero puede haber provocado un aumento en los costos de almacenamiento para los clientes. Este cambio se implementó en Databricks Runtime 10.4 y 9.1 en la actualización de mantenimiento anterior.
  • reload4j se ha actualizado a la versión 1.2.19 para corregir las vulnerabilidades.
  • [SPARK-40460][SS] Corrección de métricas de streaming al seleccionar _metadata
  • [SPARK-40468][SQL] Corrección de la eliminación de columnas en CSV cuando se selecciona _corrupt_record
  • Actualizaciones de seguridad del sistema operativo
• 22 de septiembre de 2022
  • [SPARK-40315][SQL] Adición de hashCode() para el literal de ArrayBasedMapData
  • [SPARK-40213][SQL] Compatibilidad con la conversión de valores ASCII para caracteres Latino-1
  • [SPARK-40380][SQL] Corregir el plegado constante de InvokeLike para evitar literales no serializables insertados en el plan
  • [SPARK-38404][SQL] Mejorar la resolución de CTE cuando un CTE anidado hace referencia a un CTE externo
  • [SPARK-40089][SQL] Corrección de la ordenación para algunos tipos decimales
  • [SPARK-39887][SQL] RemoveRedundantAliases debe mantener alias que hacen que la salida de los nodos de proyección sea única
  • Actualizaciones de seguridad del sistema operativo
• 6 de septiembre de 2022
  • [SPARK-40235][CORE] Usar el bloqueo interrumpible en lugar de sincronizarse en Executor.updateDependencies()
  • [SPARK-39976][SQL] ArrayIntersect debe controlar null en la expresión de la izquierda correctamente
  • [SPARK-40053][CORE][SQL][TESTS] Agregar assume a casos de cancelación dinámica que requieren entorno de tiempo de ejecución de Python
  • [SPARK-35542][CORE][ML] Corrección: Se ha creado un creador de depósitos para varias columnas con parámetros splitsArray, inputCols y outputCols. No se puede cargar después de guardarlo
  • [SPARK-40079][CORE] Agregar la validación inputCols de Imputer para el caso de entrada vacío
• 24 de agosto de 2022
  • [SPARK-39983][CORE][SQL] No almacenar en caché las relaciones de difusión no serializadas en el controlador
  • [SPARK-39775][CORE][AVRO] Deshabilitar la validación de valores predeterminados al analizar esquemas de Avro
  • [SPARK-39806] Se ha corregido el problema en las consultas que acceden al bloqueo de la estructura METADATA en tablas con particiones
  • [SPARK-39962][PYTHON][SQL] Aplicar la proyección cuando los atributos de grupo están vacíos
  • [SPARK-37643][SQL] si charVarcharAsString es true, para la consulta de predicados del tipo de datos char debe omitir la regla rpadding.
  • Actualizaciones de seguridad del sistema operativo
• 9 de agosto de 2022
  • [SPARK-39847] Corregir la condición de carrera en RocksDBLoader.loadLibrary() si se interrumpe el subproceso del autor de la llamada
  • [SPARK-39731][SQL] Corregir el problema en los orígenes de datos CSV y JSON cuando se analicen fechas en formato "yyyyMMdd" con la directiva de analizador de hora CORREGIDA
  • Actualizaciones de seguridad del sistema operativo
• 27 de julio de 2022
  • [SPARK-39625][SQL] Agregar Dataset.as(StructType)
  • [SPARK-39689]Compatibilidad con 2 caracteres lineSep en el origen de datos CSV
  • [SPARK-39104][SQL] El elemento InMemoryRelation#isCachedColumnBuffersLoaded debe ser seguro para subprocesos
  • [SPARK-39570][SQL] Ahora, la tabla insertada permitirá el uso de expresiones con alias
  • [SPARK-39702][CORE] Reducir la sobrecarga de memoria de TransportCipher$EncryptedMessage mediante un byteRawChannel compartido
  • [SPARK-39575][AVRO] Agregar ByteBuffer#rewind después de ByteBuffer#get en AvroDeserializer
  • [SPARK-39476][SQL] Deshabilitar la optimización de conversión de desajustado al convertir de Long a Float/Double o de Integer a Float
  • Actualizaciones de seguridad del sistema operativo
• 13 de julio de 2022
  • Hacer que la operación Merge de Delta sea coherente cuando el origen no es determinista.
  • [SPARK-39355][SQL] Una sola columna usa comillas para construir UnresolvedAttribute
  • [SPARK-39548][SQL] El comando CreateView con una consulta de cláusula de ventana da un problema de definición de ventana errónea no encontrada
  • [SPARK-39419][SQL] Corregir el elemento ArraySort para que produzca una excepción si el comparador devuelve un valor nulo
  • Se ha deshabilitado el uso de las API de nube nativas de Auto Loader para la lista de directorios en Azure.
  • Actualizaciones de seguridad del sistema operativo
• 5 de julio de 2022
  • [SPARK-39376][SQL] Ocultar las columnas duplicadas en la expansión de estrella del alias de subconsulta de NATURAL/USING JOIN
  • Actualizaciones de seguridad del sistema operativo
• 15 de junio de 2022
  • [SPARK-39283][CORE] Corregir el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator
  • [SPARK-39285][SQL] Spark no debe comprobar los nombres de campo al leer archivos
  • [SPARK-34096][SQL] Mejorar el rendimiento de nth_value ignorando los valores nulos en la ventana de desplazamiento
  • [SPARK-36718][SQL][FOLLOWUP] Corregir la comprobación isExtractOnly en CollapseProject
• 2 de junio de 2022
  • [SPARK-39166][SQL] Proporcionar contexto de consulta de error en tiempo de ejecución para la aritmética binaria cuando WSCG está desactivado
  • [SPARK-39093][SQL] Evitar un error de compilación de codegen al dividir intervalos de año y mes o intervalos de día y hora por un entero
  • [SPARK-38990][SQL] Evitar la excepción NullPointerException al evaluar el formato de date_trunc y trunc como una referencia enlazada
  • Actualizaciones de seguridad del sistema operativo
• 18 de mayo de 2022
  • Corrige una posible pérdida de memoria nativa en el cargador automático.
  • [SPARK-38868][SQL]No propagar excepciones del predicado de filtro al optimizar combinaciones externas
  • [SPARK-38796][SQL] Implementar las funciones to_number y try_to_number SQL según una nueva especificación
  • [SPARK-38918][SQL] La eliminación de columnas anidadas debe filtrar los atributos que no pertenecen a la relación actual
  • [SPARK-38929][SQL] Mejorar los mensajes de error para los errores de conversión en ANSI
  • [SPARK-38926][SQL] Tipos de salida en mensajes de error en estilo SQL
  • [SPARK-39084][PYSPARK] Corregir df.rdd.isEmpty() mediante TaskContext para detener el iterador en la finalización de la tarea
  • [SPARK-32268][SQL] Agregar ColumnPruning en injectBloomFilter
  • [SPARK-38908][SQL] Proporcionar contexto de consulta en tiempo de ejecución de conversión de cadena a número/fecha/marca de tiempo/booleano
  • [SPARK-39046][SQL] Devolver una cadena de contexto vacía si TreeNode.origin se ha establecido erróneamente
  • [SPARK-38974][SQL] Filtrar funciones registradas con un nombre de base de datos determinado en funciones de lista
  • [SPARK-38762][SQL] Proporcionar contexto de consulta en errores de desbordamiento decimal
  • [SPARK-38931][SS] Crear directorio dfs raíz para RocksDBFileManager con un número desconocido de claves en el primer punto de control
  • [SPARK-38992][CORE] Evitar el uso de bash -c en ShellBasedGroupsMappingProvider
  • [SPARK-38716][SQL] proporcionar contexto de consulta en el error la clave de asignación no existe
  • [SPARK-38889][SQL] Compilar filtros de columna booleanos para usar el tipo de bits para el origen de datos MSSQL
  • [SPARK-38698][SQL] Proporcionar contexto de consulta en el error en tiempo de ejecución de Divide/Div/Reminder/Pmod
  • [SPARK-38823][SQL] Hacer que NewInstance no se pueda plegar para corregir el problema de daños en el búfer de agregación
  • [SPARK-38809][SS] Implementar la opción para omitir valores null en la implementación de hash simétrico de combinaciones de flujo a flujo
  • [SPARK-38676][SQL] Proporcionar contexto de consulta SQL en el mensaje de error de tiempo de ejecución Add/Subtract/Multiply
  • [SPARK-38677][PYSPARK] Python MonitorThread debe detectar interbloqueos debido a la E/S de bloqueo
  • Actualizaciones de seguridad del sistema operativo