Compartir vía

Databricks Runtime 15.2

  • Artículo

En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 15.2, con tecnología de Apache Spark 3.5.0.

Databricks publicó estas imágenes en mayo de 2024.

Cambios en el comportamiento

Vacuum limpia los archivos de metadatos COPY INTO

La ejecución de VACUUM en una tabla escrita con COPY INTO ahora limpia los metadatos sin referencia asociados con el seguimiento de archivos ingeridos. No hay ningún impacto en la semántica operativa de COPY INTO.

La federación de Lakehouse está disponible con carácter general (GA)

En Azure Databricks Runtime 15.2 y versiones posteriores, los conectores de Federación de almacén de lago en los siguientes tipos de base de datos están disponibles con carácter general (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Esta versión también presenta las siguientes mejoras:

  • Compatibilidad con la autenticación de inicio de sesión único (SSO) en los conectores de Snowflake y Microsoft SQL Server.

  • Compatibilidad con Azure Private Link para el conector de SQL Server desde entornos de proceso sin servidor. Consulte Paso 3: Creación de reglas de punto de conexión privado.

  • Compatibilidad con inserciones adicionales (cadenas, matemáticas y funciones varias).

  • Se ha mejorado la tasa de éxito de la aplicación en diferentes formas de consulta.

  • Funcionalidades adicionales de depuración de instrucciones:

    • La salida EXPLAIN FORMATTED muestra el texto de consulta insertado.
    • La interfaz de usuario del perfil de consulta muestra el texto de consulta insertado, los identificadores de nodo federado y los tiempos de ejecución de consultas JDBC (en modo detallado). Consulte Visualización de consultas federadas generadas por el sistema.

BY POSITION para la asignación de columnas mediante COPY INTO con archivos CSV sin encabezado

En Databricks Runtime 15.2 y versiones posteriores, puede usar las palabras clave BY POSITION (o sintaxis alternativa ( col_name [ , <col_name> ... ] )) con COPY INTO para archivos CSV sin encabezado para simplificar la asignación de columnas de tabla de destino. Consulte Parámetros.

Reducir el consumo de memoria cuando las tareas de Spark producen un error de Resubmitted

En Databricks Runtime 15.2 y versiones posteriores, el valor devuelto del método Spark TaskInfo.accumulables() está vacío cuando las tareas producen un error Resubmitted. Anteriormente, el método devolvía los valores de un intento de tarea anterior con éxito. Este cambio de comportamiento afecta a los siguientes consumidores:

  • Tareas de Spark que usan la clase EventLoggingListener.
  • Cliente de escucha de Spark personalizados.

Para restaurar el comportamiento anterior, establezca spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled en false.

La visualización de las versiones del plan de ejecución de consultas adaptable está deshabilitada

Para reducir el consumo de memoria, las versiones del plan de ejecución adaptable de consultas (AQE) ahora están deshabilitadas de forma predeterminada en la interfaz de usuario de Spark. Para habilitar la visualización de las versiones del plan de AQE en la interfaz de usuario de Spark, establezca spark.databricks.sql.aqe.showPlanChangesInUI.enabled en true.

Se reduce el límite de las consultas conservadas para reducir el uso de memoria de la interfaz de usuario de Spark

En Databricks Runtime 15.2 y versiones posteriores, para reducir la memoria consumida por la interfaz de usuario de Spark en el proceso de Azure Databricks, el límite del número de consultas visibles en la interfaz de usuario se reduce de 1000 a 100. Para cambiar el límite, establezca un nuevo valor mediante la configuración spark.sql.ui.retainedExecutions de Spark.

DESCRIBE HISTORY ahora muestra columnas de agrupación en clústeres para tablas que usan clústeres líquidos

Cuando se ejecuta una consulta DESCRIBE HISTORY, la columna operationParameters muestra un campo clusterBy de manera predeterminada para las operaciones CREATE OR REPLACE y OPTIMIZE. Para una tabla Delta que usa la agrupación en clústeres líquidos, el campo clusterBy se rellena con las columnas de agrupación en clústeres de la tabla. Si la tabla no utiliza agrupación líquida, el campo está vacío.

Nuevas características y mejoras

Soporte para claves primarias y foráneas es de GA

La compatibilidad con claves principales y externas en Databricks Runtime está disponible con carácter general. La versión de disponibilidad general incluye los siguientes cambios en los privilegios necesarios para usar claves principales y externas:

  • Para definir una clave externa, debe tener el privilegio SELECT en la tabla con la clave principal a la que haga referencia la clave externa. No es necesario que la tabla con la clave principal sea de su propiedad, lo que anteriormente sí que era un requisito.
  • Quitar una clave principal mediante la cláusula CASCADE no requiere privilegios en las tablas que definen claves externas que hacen referencia a la clave principal. Anteriormente, era necesario que las tablas de referencia fueran de su propiedad.
  • Quitar una tabla que incluya restricciones ahora requiere los mismos privilegios que quitar tablas que no incluyen restricciones.

Para obtener información sobre cómo usar claves principales y externas con tablas o vistas, consulte la cláusula CONSTRAINT, la cláusula ADD CONSTRAINT y la cláusula DROP CONSTRAINT.

La agrupación de clústeres líquidos está en disponibilidad general

La compatibilidad con la agrupación en clústeres líquidos ahora está disponible con carácter general mediante Databricks Runtime 15.2 y versiones posteriores. Consulte Uso de clústeres líquidos para tablas Delta.

La ampliación de tipos está en versión preliminar pública

Ahora puede habilitar el ampliación de tipos en tablas respaldadas por Delta Lake. Las tablas con ampliación de tipos habilitada permiten cambiar el tipo de columnas a un tipo de datos más amplio sin volver a escribir archivos de datos subyacentes. Consulte Ampliación de tipos.

Cláusula de evolución del esquema agregada a la sintaxis de combinación de SQL

Ahora puede agregar la cláusula WITH SCHEMA EVOLUTION a una instrucción merge de SQL para habilitar la evolución del esquema para la operación. Consulte Sintaxis de evolución del esquema para combinar.

Los orígenes de datos personalizados de PySpark están disponibles en versión preliminar pública

Una instancia de PySpark DataSource puede crearse usando la API de DataSource de Python (PySpark), que habilita la lectura desde orígenes de datos personalizados y la escritura en receptores de datos personalizados en Apache Spark usando Python. Consulte Orígenes de datos personalizados de PySpark

applyInPandas y mapInPandas ya están disponibles en el proceso de Unity Catalog con el modo de acceso compartido

Como parte de una versión de mantenimiento de Databricks Runtime 14.3 LTS, los tipos applyInPandas y mapInPandas de UDF ahora se admiten en el modo de acceso compartido que ejecuta Databricks Runtime 14.3 y versiones posteriores.

Use dbutils.widgets.getAll() para obtener todos los widgets de un cuaderno

Use dbutils.widgets.getAll() para obtener todos los valores de widget en un cuaderno. Esto resulta especialmente útil al pasar varios valores de widgets a una consulta de Spark SQL.

Compatibilidad con el inventario de vacío

Ahora puede especificar un inventario de archivos que se deben tener en cuenta al ejecutar el comando VACUUM en una tabla Delta. Consulte los documentos de delta de OSS.

Compatibilidad con funciones de compresión Zstandard

Ahora puede usar las funciones zst_compress, zstd_decompress y try_zstd_decompress para comprimir y descomprimir datos BINARY.

Corrección de errores

Los planes de consulta en la interfaz de usuario de SQL ahora muestran correctamente PhotonWriteStage

Cuando se muestra en la interfaz de usuario de SQL, los comandos write en los planes de consulta mostraban incorrectamente PhotonWriteStage como operador. Con esta versión, la interfaz de usuario se actualiza para mostrar PhotonWriteStage como una fase. Se trata de un cambio de interfaz de usuario solo y no afecta a cómo se ejecutan las consultas.

Ray se actualiza para solucionar problemas con el inicio de los grupos de Ray

Esta versión incluye una versión revisada de Ray que corrige un cambio de última hora que impide que los clústeres de Ray se inicien con Databricks Runtime for Machine Learning. Este cambio garantiza que la funcionalidad Ray sea idéntica a la de las versiones de Databricks Runtime anteriores a la 15.2.

GraphFrames se actualiza para corregir resultados incorrectos con Spark 3.5

Esta versión incluye una actualización del paquete GraphFrames para corregir problemas que provocan resultados incorrectos para algunos algoritmos con GraphFrames y Spark 3.5.

Clase de error corregida para funciones de DataFrame.sort() y DataFrame.sortWithinPartitions()

Esta versión incluye una actualización de las funciones PySpark DataFrame.sort() y DataFrame.sortWithinPartitions() para asegurar que se lanza la clase de error ZERO_INDEX cuando se pasa 0 como argumento de índice. Anteriormente, se produjo la clase de error INDEX_NOT_POSITIVE.

ipywidgets cambia a una versión anterior de 8.0.4 a 7.7.2

Para corregir los errores producidos por la actualización de ipywidgets a 8.0.4 en Databricks Runtime 15.0, ipywidgets se actualiza a 7.7.2 en Databricks Runtime 15.2. Esta es la misma versión incluida en versiones anteriores de Databricks Runtime.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • GitPython de 3.1.42 a 3.1.43
    • google-api-core de 2.17.1 a 2.18.0
    • google-auth de 2.28.1 a 2.29.0
    • google-cloud-storage de 2.15.0 a 2.16.0
    • googleapis-common-protos de 1.62.0 a 1.63.0
    • ipywidgets de 8.0.4 a 7.7.2
    • mlflow-skinny de 2.11.1 a 2.11.3
    • s3transfer de 0.10.0 a 0.10.1
    • sqlparse de 0.4.4 a 0.5.0
    • typing_extensions de 4.7.1 a 4.10.0
  • Bibliotecas de R actualizadas:
  • Bibliotecas de Java actualizadas:
    • com.amazonaws.aws-java-sdk-autoscaling de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-config de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-core de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-directory de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ecs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-efs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-emr de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-glacier de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-glue de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-iam de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-importexport de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-kms de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-lambda de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-logs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-rds de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-redshift de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-route53 de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-s3 de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ses de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sns de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sqs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ssm de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sts de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-support de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces de 1.12.390 a 1.12.610
    • com.amazonaws.jmespath-java de 1.12.390 a 1.12.610

Apache Spark

Databricks Runtime 15.2 incluye Apache Spark 3.5.0. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 15.1, junto con las siguientes correcciones de errores y mejoras de Spark:

  • [SPARK-47941] [SC-163568] [SS] [Connect] Propagación de errores de inicialización de trabajo de ForeachBatch a los usuarios para PySpark
  • [SPARK-47412] [SC-163455][SQL] Adición de la compatibilidad de intercalación para LPad/RPad.
  • [SPARK-47907] [SC-163408][SQL] Poner bang en configuración
  • [SPARK-46820] [SC-157093][PYTHON] Corrección de la regresión de mensaje de error restaurando new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Administradores Core/MLLib/Recursos: migración de registros estructurados
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Adición de funciones variant a Scala y Python.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] Adición de la página Environment a la interfaz de usuario maestra
  • [SPARK-47805] [SC-163459][SS] Implementación de TTL para MapState
  • [SPARK-47900] [SC-163326] Corrección de la comprobación de intercalación implícita (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][SQL]Hacer que las expresiones Compute Current Time* se puedan plegar
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Compatibilidad con el tipo de columna en la función de división para Scala y Python
  • [SPARK-47754] [SC-162144][SQL] Postgres: compatibilidad con la lectura de matrices multidimensionales
  • [SPARK-47416] [SC-163001][SQL] Adición de nuevas funciones a CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Corrección del error agregado en RewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Implementación de la expresión is_variant_null
  • [SPARK-47883] [SC-163184][SQL] CollectTailExec.doExecute se vuelve perezoso con RowQueue
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Adición de un registro DEBUG a DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Corrección de la regresión del rendimiento ExpressionSet en scala 2.12
  • [SPARK-47565] [SC-161786][PYTHON] Resistencia al bloqueo del grupo de trabajo de PySpark
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] Hacer que pyspark.resource sea compatible con pyspark-connect
  • [SPARK-47887] [SC-163122][CONNECT] Eliminación de la importación no utilizada spark/connect/common.proto desde spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] Hacer que pyspark.worker_utils sea compatible con pyspark-connect
  • [SPARK-47691] [SC-161760][SQL] Postgres: compatibilidad con la matriz multidimensional en el lado de escritura
  • [SPARK-47617] [SC-162513][SQL] Adición de la infraestructura de prueba de TPC-DS para intercalaciones
  • [SPARK-47356] [SC-162858][SQL] Adición de compatibilidad con ConcatWs & Elt (todas las intercalaciones)
  • [SPARK-47543][SC-161234][CONNECT][PYTHON] Inferir dict como MapType desde DataFrame de Pandas para permitir la creación de DataFrame
  • [SPARK-47863] [SC-162974][SQL] Corrección de la implementación que tiene en cuenta la intercalación de startsWith & endsWith para ICU
  • [SPARK-47867] [SC-162966][SQL] Compatibilidad de variant en el examen JSON.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] Adición de VariantVal para PySpark
  • [SPARK-47803] [SC-162726][SQL] Compatibilidad con la conversión a variant.
  • [SPARK-47769] [SC-162841][SQL] Adición de la expresión schema_of_variant_agg.
  • [SPARK-47420] [SC-162842][SQL] Corrección de la salida de prueba
  • [SPARK-47430] [SC-161178][SQL] Compatibilidad con GROUP BY para MapType
  • [SPARK-47357] [SC-162751][SQL] Adición de compatibilidad con Upper, Lower, InitCap (todas las intercalaciones)
  • [SPARK-47788] [SC-162729][SS] Garantice la misma creación de particiones por hash para las operaciones con estado de streaming
  • [SPARK-47776] [SC-162291][SS] No permitir que se utilice la intercalación de desigualdad binaria en el esquema clave del operador con estado
  • [SPARK-47673] [SC-162824][SS] Implementación de TTL para ListState
  • [SPARK-47818][SC-162845][CONNECT] Introducción a la caché de planes en SparkConnectPlanner para mejorar el rendimiento de las solicitudes de análisis
  • [SPARK-47694] [SC-162783][CONNECT] Hacer que el tamaño máximo del mensaje sea configurable en el lado cliente
  • [SPARK-47274] "[SC-162479][PYTHON][SQL] Proporcionar más uti..." revertido
  • [SPARK-47616] [SC-161193][SQL] Adición de documento de usuario para asignar tipos de datos de Spark SQL desde MySQL
  • [SPARK-47862][SC-162837][PYTHON][CONNECT] Corrección de la generación de archivos proto
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] Cambio del script de versión para publicar pyspark-connect
  • [SPARK-47410] [SC-162518][SQL] Refactorización de UTF8String y CollationFactory
  • [SPARK-47807] [SC-162505][PYTHON][ML] Hacer que pyspark.ml sea compatible con pyspark-connect
  • [SPARK-47707] [SC-161768][SQL] Control especial del tipo JSON para el conector MySQL/J 5.x
  • [SPARK-47765] "[SC-162636][SQL] Adición de SET COLLATION a los parámetros..." revertido
  • [SPARK-47081][SC-162151][CONNECT][FOLLOW] Mejora de la facilidad de uso del controlador de progreso
  • [SPARK-47289] [SC-161877][SQL] Permitir que las extensiones registren información extendida en el plan de explicación
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Provisión de un contexto más útil para los errores de API DataFrame PySpark
  • [SPARK-47765] [SC-162636][SQL] Adición de SET COLLATION a reglas de analizador
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite falla con un plan no válido
  • [SPARK-47812] [SC-162696][CONNECT] Compatibilidad con la serialización de SparkSession para el trabajo ForEachBatch
  • [SPARK-47253] [SC-162698][CORE] Permitir que LiveEventBus se detenga sin la purga completa de la cola de eventos
  • [SPARK-47827] [SC-162625][PYTHON] Faltan advertencias para las características en desuso
  • [SPARK-47733] [SC-162628][SS] Adición de métricas personalizadas para el operador transformWithState como parte del progreso de la consulta
  • [SPARK-47784] [SC-162623][SS] Combinación de TTLMode y TimeoutMode en un único TimeMode.
  • [SPARK-47775] [SC-162319][SQL] Compatibilidad de los tipos escalares restantes en la especificación de variant.
  • [SPARK-47736] [SC-162503][SQL] Adición de compatibilidad con AbstractArrayType
  • [SPARK-47081] [SC-161758][CONNECT] Compatibilidad con el progreso de la ejecución de la consulta
  • [SPARK-47682] [SC-162138][SQL] Compatibilidad con la conversión a partir de variant.
  • [SPARK-47802] [SC-162478][SQL] Revertir () del significado struct() al significado *
  • [SPARK-47680] [SC-162318][SQL] Adición de la expresión variant_explode.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression debe comprobar el error para cada modo codegen
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] Implementación de SQLStringFormatter con WithRelations
  • [SPARK-47693] [SC-162326][SQL] Adición de la optimización para la comparación en minúsculas de UTF8String usada en la intercalación UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][SQL] Cadenas intercaladas en tipos complejos que admiten operaciones reverse, array_join, concat, map
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] Hacer que mapInPandas / mapInArrow admitan ResourceProfile
  • [SPARK-47727] [SC-161982][PYTHON] Hacer que SparkConf llegue al nivel raíz tanto para SparkSession como para SparkContext
  • [SPARK-47406] [SC-159376][SQL] Control de TIMESTAMP y DATETIME en MYSQLDialect
  • [SPARK-47081] "[SC-161758][CONNECT] Compatibilidad de la ejecución de consulta..." revertido
  • [SPARK-47681] [SC-162043][SQL] Adición de la expresión schema_of_variant.
  • [SPARK-47783] [SC-162222] Adición de algunos SQLSTATE que faltan y limpieza del YY000 para usar.…
  • [SPARK-47634] [SC-161558][SQL] Adición de compatibilidad heredada para deshabilitar la normalización de claves de mapa
  • [SPARK-47746] [SC-162022] Implementación de la codificación de rango basada en ordinal en el RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec siempre debe usar context.session
  • [SPARK-47643] [SC-161534][SS][PYTHON] Adición de pruebas de pyspark para el origen de streaming de Python
  • [SPARK-47582] [SC-161943][SQL] Migración de Catalyst logInfo con variables al marco de registro estructurado
  • [SPARK-47558] [SC-162007][SS] Compatibilidad con TTL de estado para ValueState
  • [SPARK-47358] [SC-160912][SQL][COLLATION] Mejora de la compatibilidad con expresiones de repetidas para devolver el datatype correcto
  • [SPARK-47504] [SC-162044][SQL] Resolución de AbstractDataType simpleStrings para StringTypeCollated
  • [SPARK-47719] "[SC-161909][SQL] Cambio de spark.sql.legacy.t…" revertido
  • [SPARK-47657] [SC-162010][SQL] Implementación de compatibilidad con la inserción de filtros de intercalación por origen de archivo
  • [SPARK-47081] [SC-161758][CONNECT] Compatibilidad con el progreso de la ejecución de la consulta
  • [SPARK-47744] [SC-161999] Adición de compatibilidad con bytes con valores negativos en el codificador de rango
  • [SPARK-47713] [SC-162009][SQL][CONNECT] Corrección de un error de autocombinación
  • [SPARK-47310] [SC-161930][SS] Adición de un micropunto de referencia para operaciones de combinación para varios valores en la parte de valor del almacén de estado
  • [SPARK-47700] [SC-161774][SQL] Corrección del formato de los mensajes de error con treeNode
  • [SPARK-47752] [SC-161993][PS][CONNECT] Hacer que pyspark.pandas sea compatible con pyspark-connect
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Implementación de la API logWarning/logInfo en la plataforma de registro estructurado
  • [SPARK-47107] [SC-161201][SS][PYTHON] Implementación del lector de particiones para el origen de datos de streaming de Python
  • [SPARK-47553] [SC-161772][SS] Adición de compatibilidad con Java para las API del operador transformWithState
  • [SPARK-47719] [SC-161909][SQL] Cambio del valor predeterminado spark.sql.legacy.timeParserPolicy a CORRECTED
  • [SPARK-47655] [SC-161761][SS] Integración del temporizador con control de estado inicial para state-v2
  • [SPARK-47665] [SC-161550][SQL] Uso de SMALLINT para escribir ShortType en MYSQL
  • [SPARK-47210] [SC-161777][SQL] Adición de una conversión implícita sin compatibilidad indeterminada
  • [SPARK-47653] [SC-161767][SS] Adición de compatibilidad con tipos numéricos negativos y codificador de clave de examen de rango
  • [SPARK-46743] [SC-160777][SQL] Error de recuento después del plegado constante
  • [SPARK-47525] [SC-154568][SQL] Compatibilidad con la unión de correlación de subconsulta en atributos de mapa
  • [SPARK-46366] [SC-151277][SQL] Uso de la expresión WITH en BETWEEN para evitar expresiones duplicadas
  • [SPARK-47563] [SC-161183][SQL] Adición de normalización de mapa al crear
  • [SPARK-42040] [SC-161171][SQL] SPJ: Introducción de una nueva API para la partición de entrada V2 para informar de estadísticas de partición
  • [SPARK-47679] [SC-161549][SQL] Uso de HiveConf.getConfVars o nombres de conf de Hive directamente
  • [SPARK-47685] [SC-161566][SQL] Restauración de la compatibilidad con el tipo Stream en Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] Hacer que try_to_number devuelva NULL para la entrada con formato incorrecto
  • [SPARK-47366] [SC-161324] [PYTHON] Adición de los alias pyspark y dataframe parse_json
  • [SPARK-47491] [SC-161176][CORE] Adición de jar slf4j-api a la ruta de acceso de clase antes que los demás del directorio jars
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty proyecta CommandResults localmente
  • [SPARK-47364] [SC-158927][CORE] Hacer que PluginEndpoint advierta cuando los complementos responden al mensaje unidireccional
  • [SPARK-47280] [SC-158350][SQL] Eliminación de la limitación de zona horaria para ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][SQL] Adición de la expresión variant_get.
  • [SPARK-47559] [SC-161255][SQL] Compatibilidad de Codegen con variant parse_json
  • [SPARK-47572] [SC-161351][SQL] La aplicación de ventana partitionSpec es ordenable.
  • [SPARK-47546] [SC-161241][SQL] Mejora de la validación al leer Variant desde Parquet
  • [SPARK-47543][SC-161234][CONNECT][PYTHON] Inferir dict como MapType desde DataFrame de Pandas para permitir la creación de DataFrame
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Creación de columna con intercalaciones en la API dataframe
  • [SPARK-47641] [SC-161376][SQL] Mejora del rendimiento de UnaryMinus y Abs
  • [SPARK-47631] [SC-161325][SQL] Eliminación del método no utilizado SQLConf.parquetOutputCommitterClass
  • [SPARK-47674] [SC-161504][CORE] Habilitación de spark.metrics.appStatusSource.enabled de manera predeterminada
  • [SPARK-47273] [SC-161162][SS][PYTHON] implementación de la interfaz de escritura de flujos de datos de Python.
  • [SPARK-47637] [SC-161408][SQL] Uso de errorCapturingIdentifier en más lugares
  • [SPARK-47497] "'[SC-160724][SQL] Hacer que to_csv admita la salida de array/struct/map/binary como cadenas ordenadas' revertido" revertido
  • [SPARK-47492] [SC-161316][SQL] Ampliación de reglas de espacio en blanco en lexer
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] Validación del nombre de columna con el esquema almacenado en caché
  • [SPARK-47638] [SC-161339][PS][CONNECT] Omisión de la validación de nombres de columna en PS
  • [SPARK-47363] [SC-161247][SS] Estado inicial sin implementación del lector de estado para API de State v2.
  • [SPARK-47447] [SC-160448][SQL] Permitir la lectura de Parquet TimestampLTZ como TimestampNTZ
  • [SPARK-47497] "[SC-160724][SQL] to_csv hace que admita la salida de array/struct/map/binary como cadenas ordenadas" revertido
  • [SPARK-47434] [SC-160122][WEBUI] Corrección del vínculo statistics en StreamingQueryPage
  • [SPARK-46761] [SC-159045][SQL] ¿Las cadenas entre comillas en una ruta de acceso JSON deben admitir ? characters
  • [SPARK-46915] [SC-155729][SQL] Simplificar UnaryMinus Abs y alinear la clase de error
  • [SPARK-47431] [SC-160919][SQL] Adición de intercalación predeterminada de nivel de sesión
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] Adición de una función auxiliar para ordenar columnas
  • [SPARK-47570] [SC-161165][SS] Integración de los cambios del codificador de examen de intervalo con la implementación del temporizador
  • [SPARK-47497] [SC-160724][SQL] Hacer que to_csv admita la salida de array/struct/map/binary como cadenas ordenadas
  • [SPARK-47562] [SC-161166][CONNECT] Control literal del factor fuera de plan.py
  • [SPARK-47509] [SC-160902][SQL] Bloqueo de expresiones de subconsulta en funciones lambda y de orden superior
  • [SPARK-47539] [SC-160750][SQL] Hacer que el valor devuelto del método castToString sea Any => UTF8String
  • [SPARK-47372] [SC-160905][SS] Adición de compatibilidad con el codificador de estado de clave basado en análisis de rangos para su uso con el proveedor de almacén de estado
  • [SPARK-47517] [SC-160642][CORE][SQL] Preferencia de Utils.bytesToString para la visualización de tamaño
  • [SPARK-47243] [SC-158059][SS] Corrección del nombre del paquete de StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Compatibilidad con orígenes de datos de Python con Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Uso de Utils.tryWithResource durante la lectura de datos aleatorios del almacenamiento externo
  • [SPARK-47474] [SC-160522][CORE] SPARK-47461 revertido y adición de algunos comentarios
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] Evitar validación RPC del nombre de columna con el esquema almacenado en caché
  • [SPARK-47451] [SC-160749][SQL] Compatibilidad con to_json(variant).
  • [SPARK-47528] [SC-160727][SQL] Adición de compatibilidad de UserDefinedType a DataTypeUtils.canWrite
  • [SPARK-44708] "[SC-160734][PYTHON] Migración de test_reset_index assert_eq para usar assertDataFrameEqual" revertido
  • [SPARK-47506] [SC-160740][SQL] Adición de compatibilidad con todos los formatos de origen de archivos para los tipos de datos intercalados
  • [SPARK-47256] [SC-160784][SQL] Asignación de nombres a clases de error _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] Corrección del archivo jar de recurso principal agregado a spark.jars dos veces en modo de clúster k8s
  • [SPARK-47398] [SC-160572][SQL] Extracción de un rasgo para InMemoryTableScanExec para permitir la extensión de la funcionalidad
  • [SPARK-47479] [SC-160623][SQL] Optimizar registros de error de No se puede escribir datos en relaciones con varias rutas de acceso
  • [SPARK-47483] [SC-160629][SQL] Adición de compatibilidad con operaciones de agregación y combinación en matrices de cadenas intercaladas
  • [SPARK-47458] [SC-160237][CORE] Corrección del problema con el cálculo de las tareas simultáneas máximas para la fase de barrera
  • [SPARK-47534] [SC-160737][SQL] Mover o.a.s.variant a o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Adición de una asignación general para TIME WITHOUT TIME ZONE a TimestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Migración de test_reset_index assert_eq para usar assertDataFrameEqual
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: Adición de pruebas de inferencia de esquema para etiquetas de valor
  • [SPARK-47007] [SC-160630][SQL] Adición de la expresión MapSort
  • [SPARK-47523] [SC-160645][SQL] Reemplazamiento de JsonParser#getCurrentName en desuso por JsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Corrección de la sintaxis de inserción no admitida en MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Tipo de operación de etiqueta usado con la adquisición o liberación del bloqueo de la instancia del almacén de estado de RocksDB
  • [SPARK-47346] [SC-159425][PYTHON] Hacer que el modo de demonio se pueda configurar al crear trabajos de planificador de Python
  • [SPARK-47446] [SC-160163][CORE] BlockManager advertido antes que removeBlockInternal
  • [SPARK-46526] [SC-156099][SQL] Compatibilidad con LIMIT en subconsultas correlacionadas donde los predicados solo hacen referencia a la tabla externa
  • [SPARK-47461] [SC-160297][CORE] Eliminación de la función privada totalRunningTasksPerResourceProfile de ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Compatibilidad con cadenas intercaladas en operaciones de matriz
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] Control de nombres de columna de factor fuera de plan.py
  • [SPARK-47383] [SC-160144][CORE] Compatibilidad con la configuración spark.shutdown.timeout
  • [SPARK-47342] [SC-159049] "[SQL] Compatibilidad de TimestampNTZ para DB2 TIMESTAMP WITH TIME ZONE" revertido
  • [SPARK-47486] [SC-160491][CONNECT] Eliminación del método ArrowDeserializers.getString privado sin usar
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Lógica de cliente y servidor para el cliente de escucha de consultas de streaming del lado cliente
  • [SPARK-47487] [SC-160534][SQL] Simplificación del código en AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Compatibilidad de agregación de ventanas para intercalaciones
  • [SPARK-47296] [SC-160457][SQL][COLLATION] No se admiten funciones no admitidas para intercalaciones no binarias
  • [SPARK-47380] [SC-160164][CONNECT] Asegurarse en el lado servidor de que SparkSession sea el mismo
  • [SPARK-47327] [SC-160069][SQL] Desplazamiento de la prueba de simultaneidad de claves de ordenación a CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Adición del documento de migración para el cambio de comportamiento de la inferencia de marca de tiempo de Parquet desde Spark 3.3
  • [SPARK-47449] [SC-160372][SS] Refactorización y división de pruebas unitarias de lista/temporizador
  • [SPARK-46473] [SC-155663][SQL] Reutilización de método getPartitionedFile
  • [SPARK-47423] [SC-160068][SQL] Intercalaciones: establecimiento de compatibilidad con operaciones en cadenas con intercalaciones
  • [SPARK-47439] [SC-160115][PYTHON] Documentación de la API de origen de datos de Python en la página de referencia de la API
  • [SPARK-47457] [SC-160234][SQL] Corrección de IsolatedClientLoader.supportsHadoopShadedClient para controlar Hadoop 3.4+
  • [SPARK-47366] [SC-159348][SQL] Implementación de parse_json.
  • [SPARK-46331] [SC-152982][SQL] Eliminación de CodegenFallback del subconjunto de expresiones DateTime y de la expresión version()
  • [SPARK-47395] [SC-159404] Adición de intercalar e intercalación a otras API
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] Corrección de la clase de error para DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] SparkConnectListenerBusListener del lado cliente para el cliente de escucha de consultas de streaming del lado cliente
  • [SPARK-47324] [SC-158720][SQL] Adición de la conversión de marca de tiempo que falta para los tipos anidados de JDBC
  • [SPARK-46962] [SC-158834][SS][PYTHON] Adición de interfaz para la API de origen de datos de streaming de Python e implementación del trabajo de Python para ejecutar el origen de datos de streaming de Python
  • [SPARK-45827] [SC-158498][SQL] Traslado de comprobaciones de tipo de datos a CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] Compatibilidad con TimestampNTZ para DB2 TIMESTAMP WITH TIME ZONE
  • [SPARK-47399] [SC-159378][SQL] Deshabilitación de columnas generadas en expresiones con intercalaciones
  • [SPARK-47146] [SC-158247][CORE] Posible fuga de subprocesos al realizar la fusión mediante combinación de ordenación
  • [SPARK-46913] [SC-159149][SS] Adición de compatibilidad con temporizadores basados en tiempo de evento o procesamiento con el operador transformWithState
  • [SPARK-47375] [SC-159063][SQL] Adición de instrucciones para la asignación de marca de tiempo en JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Compatibilidad con TIMESTAMP WITH TIME ZONE para H2Dialect
  • [SPARK-45827] "[SC-158498][SQL] Mover comprobaciones de tipo de datos a…" revertido
  • [SPARK-47208] [SC-159279][CORE] Permitir el reemplazo de la memoria de sobrecarga base
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Compatibilidad con Oracle TIMESTAMP WITH LOCAL TIME ZONE
  • [SPARK-47055] [SC-156916][PYTHON] Actualización de MyPy 1.8.0
  • [SPARK-46906] [SC-157205][SS] Adición de una comprobación de cambio de operador con estado para streaming
  • [SPARK-47391] [SC-159283][SQL] Eliminación de la solución alternativa del caso de prueba para JDK 8
  • [SPARK-47272] [SC-158960][SS] Adición de implementación de MapState para State API v2.
  • [SPARK-47375] [SC-159278][Doc][FollowUp] Corrección de un error en el documento de opciones preferTimestampNTZ de JDBC
  • [SPARK-42328] [SC-157363][SQL] Eliminación de _LEGACY_ERROR_TEMP_1175 de clases de error
  • [SPARK-47375] [SC-159261][Doc][FollowUp] Corrección de la descripción de la opción preferTimestampNTZ en la documentación de JDBC
  • [SPARK-47344] [SC-159146] Ampliación del error INVALID_IDENTIFIER más allá de la detección de '-' en un identificador no entrecomillado y corrección de “IS ! NULL" et al.
  • [SPARK-47340] [SC-159039][SQL] Cambio de "collate" en el nombre de tipo StringType a minúsculas
  • [SPARK-47087] [SC-157077][SQL] Generación de la excepción de Spark con una clase de error en la comprobación de valores de configuración
  • [SPARK-47327] [SC-158824][SQL] Corrección de un problema de seguridad para subprocesos en ICU Collator
  • [SPARK-47082] [SC-157058][SQL] Corrección de la condición de error fuera de límites
  • [SPARK-47331] [SC-158719][SS] Serialización usando clases de casos/primitivas/POJO basadas en codificador SQL para Arbitrary State API v2.
  • [SPARK-47250] [SC-158840][SS] Adición de validaciones adicionales y cambios de NERF para el proveedor de estado de RocksDB y el uso de familias de columnas
  • [SPARK-47328] [SC-158745][SQL] Cambio del nombre de la intercalación UCS_BASIC a UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Compatibilidad con spark.driver.timeout y DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Doc] Adición de documento de migración: inferencia de tipo TimestampNTZ en los archivos Parquet
  • [SPARK-47309] [SC-158827][SQL][XML] Adición de pruebas unitarias de inferencia de esquema
  • [SPARK-47295] [SC-158850][SQL] Se ha agregado ICU StringSearch para las funciones startsWith y endsWith
  • [SPARK-47343] [SC-158851][SQL] Corrección de NPE cuando el valor de variable sqlString es una cadena null en la ejecución inmediata
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] Uso de una dependencia transitiva protobuf
  • [SPARK-46795] [SC-154143][SQL] Reemplazo de UnsupportedOperationException por SparkUnsupportedOperationException en sql/core
  • [SPARK-46087] [SC-149023][PYTHON] Sincronización de dependencias PySpark en los documentos y requisitos de desarrollo
  • [SPARK-47169] [SC-158848][SQL] Deshabilitación de la creación de cubos en columnas intercaladas
  • [SPARK-42332] [SC-153996][SQL] Cambio de la demanda en SparkException en ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][SQL] Traslado de comprobaciones de tipo de datos a CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Connect] Reemplazo de comandos por relaciones en algunas pruebas en SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Reemplazo de la clase de error _LEGACY_ERROR_TEMP_2020 por un error interno
  • [SPARK-47248] [SC-158494][SQL][COLLATION] Compatibilidad mejorada con la función de cadena: contains
  • [SPARK-47334] [SC-158716][SQL] withColumnRenamed vuelve a usar la implementación de withColumnsRenamed
  • [SPARK-46442] [SC-153168][SQL] DS V2 admite el push down de PERCENTILE_CONT y PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] Añadido el control de scala.MatchError en QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][SQL] Adición del tipo variant singleton para Java
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Actualización de la versión de la imagen de Docker de DB2 a 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] Intercalación de palabra clave como identificador
  • [SPARK-46817] [SC-154196][CORE] Corrección del uso de spark-daemon.sh mediante la adición del comando decommission
  • [SPARK-46739] [SC-153553][SQL] Adición de la clase de error UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Adición de la marca de configuración COLLATION_ENABLED
  • [SPARK-46774] [SC-153925][SQL][AVRO] Uso de mapreduce.output.fileoutputformat.compress en lugar de mapred.output.compress en desuso en los trabajos de escritura de Avro
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: tiempo de espera si el trabajo no se conecta.
  • [SPARK-46835] [SC-158355][SQL][Collations] Compatibilidad con la combinación para intercalaciones no binarias
  • [SPARK-47131] [SC-158154][SQL][COLLATION] Compatibilidad con la función de cadena: contains, startswith, endswith
  • [SPARK-46077] [SC-157839][SQL] Considere el tipo generado por TimestampNTZConverter en JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Supresión de excepciones de Python en las que PySpark no está en la ruta de acceso de Python
  • [SPARK-47319] [SC-158599][SQL] Mejora del cálculo missingInput
  • [SPARK-47316] [SC-158606][SQL] Corrección de TimestampNTZ en la matriz Postgres
  • [SPARK-47268] [SC-158158][SQL][Collations] Compatibilidad con la repartición con intercalaciones
  • [SPARK-47191] [SC-157831][SQL] Evite búsquedas de relación innecesarias al retirar la tabla/vista del almacenamiento en caché
  • [SPARK-47168] [SC-158257][SQL] Deshabilitación de la delegación de filtro de Parquet al trabajar con cadenas intercaladas no predeterminadas
  • [SPARK-47236] [SC-158015][CORE] Corrección de deleteRecursivelyUsingJavaIO para omitir la entrada de archivo no existente
  • [SPARK-47238] [SC-158466][SQL] Reducción del uso de memoria del ejecutor haciendo que el código generado en WSCG sea una variable de difusión
  • [SPARK-47249] [SC-158133][CONNECT] Corrección del error en el que todas las ejecuciones de conexión se consideran abandonadas independientemente de su estado real
  • [SPARK-47202] [SC-157828][PYTHON] Corrección de datetimes de interrupción de error tipográfico con tzinfo
  • [SPARK-46834] [SC-158139][SQL][Intercalaciones] Compatibilidad con agregados
  • [SPARK-47277] [SC-158351][3.5] La función util de PySpark assertDataFrameEqual no debería admitir el streaming DF
  • [SPARK-47155] [SC-158473][PYTHON] Corrección del problema de clase de error
  • [SPARK-47245] [SC-158163][SQL] Mejora del código de error para INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][CORE] Adición de un mensaje de advertencia en Dependency cuando se va a crear un número demasiado grande de bloques aleatorios.
  • [SPARK-47277] [SC-158329] La función util de PySpark assertDataFrameEqual no debería admitir el streaming DF
  • [SPARK-47293] [SC-158356][CORE] Compilación de batchSchema con sparkSchema en lugar de anexar uno por uno
  • [SPARK-46732] [SC-153517][CONNECT]Hacer que el subproceso de subconsulta/difusión funcione con la administración de artefactos de Connect
  • [SPARK-44746] [SC-158332][PYTHON] Adición de más documentación de UDTF de Python para funciones que aceptan tablas de entrada
  • [SPARK-47120] [SC-157517][SQL] El filtro de datos de inserción de comparación null a patir de la subconsulta produce en NPE en el filtro Parquet
  • [SPARK-47251] [SC-158291] [PYTHON] Bloquear tipos no válidos del argumento para sql el args comando
  • [SPARK-47251] "[SC-158121][PYTHON] Bloqueo de tipos no válidos del argumento args para el comando sql" revertido
  • [SPARK-47015] [SC-157900][SQL] Deshabilitación de la creación de particiones en columnas intercaladas
  • [SPARK-46846] [SC-154308][CORE] Hacer que WorkerResourceInfo amplíe Serializable explícitamente
  • [SPARK-46641] [SC-156314][SS] Adición del umbral maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner hace que las funciones internas sean privadas
  • [SPARK-47266] [SC-158146][CONNECT] ProtoUtils.abbreviate devuelve el mismo tipo que la entrada
  • [SPARK-46961] [SC-158183][SS] Uso de ProcessorContext para almacenar y recuperar el manipulador
  • [SPARK-46862] [SC-154548][SQL] Deshabilitación de la eliminación de columnas CSV en modo de varias líneas
  • [SPARK-46950] [SC-155803][CORE][SQL] Alineación de la clase de error not available codec
  • [SPARK-46368] [SC-153236][CORE] Compatibilidad con readyz en la API de envío de REST
  • [SPARK-46806] [SC-154108][PYTHON] Mejora del mensaje de error de spark.table cuando el tipo de argumento es incorrecto
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] Corrección de intercalación de cadena de PySpark Connect omitida
  • [SPARK-46552] [SC-151366][SQL] Reemplazo de UnsupportedOperationException por SparkUnsupportedOperationException en catalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Corrección del error de conversión de cadena intercalada de PySpark
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Corrección del error de intercalación de Spark Connect agregando el campo protobuf collateId
  • [SPARK-46575] [SC-153200][SQL][HIVE] Hacer HiveThriftServer2.startWithContext DevelopApi recuperable y corregir la debilidad de ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-153832][CORE] En ResourceProfileManager, las llamadas de función deben producirse después de las declaraciones de variables
  • [SPARK-47214] [SC-157862][Python] Creación de una API UDTF para el método "analyze" para diferenciar argumentos NULL constantes y otros tipos de argumentos
  • [SPARK-46766] [SC-153909][SQL][AVRO] Compatibilidad con grupo de búferes ZSTD para el origen de datos AVRO
  • [SPARK-47192] [SC-157819] Conversión de algunos errores _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][SS] Adición de compatibilidad con ListState en la API de estado arbitrario v2.
  • [SPARK-46881] [SC-154612][CORE] Compatibilidad con spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Compatibilidad con spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Corrección del error que usa el códec de compresión parquet incorrecto lz4raw
  • [SPARK-46791] [SC-154018][SQL] Compatibilidad con el conjunto Java en JavaTypeInference
  • [SPARK-46332] [SC-150224][SQL] Migración de CatalogNotFoundException a la clase de error CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] Hacer que el valor predeterminado a partir de un literal estrecho de tipo más amplio de v2 se comporte como v1
  • [SPARK-46664] [SC-153181][CORE] Mejora de Master para recuperarse rápidamente en caso de cero trabajos y aplicaciones
  • [SPARK-46759] [SC-153839][SQL][AVRO] Los códec xz y zstandard admiten el nivel de compresión para los archivos avro

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 criptografía 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empaquetado 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4,9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six (seis) 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Bibliotecas de R instaladas

Las bibliotecas R se instalan desde la instantánea de CRAN del administrador de paquetes Posit.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
arrow 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
clase 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 en conflicto 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 conjuntos de datos 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
elementos gráficos 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0,10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 r-juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matriz 1.5-4.1 memoise 2.0.1 métodos 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progreso 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 r-reactable 0.4.4
r-reactr 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections colecciones de eclipse 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1