Comparteix via

Databricks Runtime 15.2 (EoS)

Note

La compatibilidad con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para conocer todas las versiones de Databricks Runtime compatibles, consulte las notas de lanzamientos y compatibilidad de Databricks Runtime.

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 15.2, con tecnología de Apache Spark 3.5.0.

Databricks publicó esta versión en mayo de 2024.

Cambios de comportamiento

El vacío limpia los archivos de metadatos COPY INTO

La ejecución VACUUM en una tabla escrita con COPY INTO ahora limpia los metadatos sin referencia asociados con el seguimiento de archivos ingeridos. No hay ningún impacto en la semántica operativa de COPY INTO.

La federación de Lakehouse está disponible con carácter general (GA)

En Databricks Runtime 15.2 y versiones posteriores, los conectores de Federación de Lakehouse están generalmente disponibles (GA) en los siguientes tipos de base de datos:

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Esta versión también presenta las siguientes mejoras:

  • Soporte con inserciones adicionales (cadenas, matemáticas y funciones varias).
  • Se ha mejorado la tasa de éxito de la aplicación en diferentes formas de consulta.
  • Funcionalidades adicionales de depuración de instrucciones:
    • La salida EXPLAIN FORMATTED muestra el texto de consulta insertado.
    • La interfaz de usuario del perfil de consulta muestra el texto de consulta insertado, los identificadores de nodo federado y los tiempos de ejecución de consultas JDBC (en modo detallado). Consulte Visualización de consultas federadas generadas por el sistema.

BY POSITION para la asignación de columnas mediante COPY INTO con archivos CSV sin encabezado

En Databricks Runtime 15.2 y versiones posteriores, puede usar las palabras clave BY POSITION (o la sintaxis alternativa ( col_name [ , <col_name> ... ] )) con COPY INTO archivos CSV sin encabezado para simplificar la asignación de columnas desde la fuente a la tabla de destino. Consulte Parámetros.

Reducir el consumo de memoria cuando se produce un Resubmitted error en las tareas de Spark

En Databricks Runtime 15.2 y versiones posteriores, el valor devuelto del método Spark TaskInfo.accumulables() está vacío cuando las tareas producen un Resubmitted error. Anteriormente, el método devolvía los valores de un intento exitoso de tarea anterior. Este cambio de comportamiento afecta a los siguientes consumidores:

  • Tareas de Spark que usan la EventLoggingListener clase .
  • Escuchadores de Spark personalizados.

Para restaurar el comportamiento anterior, establezca spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled en false.

La visualización de las versiones del plan de ejecución de consultas adaptables está deshabilitada

Para reducir el consumo de memoria, las versiones del plan de ejecución de consultas adaptables (AQE) ahora están deshabilitadas de forma predeterminada en la interfaz de usuario de Spark. Para habilitar la visualización de las versiones del plan de AQE en la interfaz de usuario de Spark, establezca el spark.databricks.sql.aqe.showPlanChangesInUI.enabled en true.

Se reduce el límite de las consultas conservadas para reducir el uso de memoria de la interfaz de usuario de Spark.

En Databricks Runtime 15.2 y versiones posteriores, para reducir la memoria consumida por la interfaz de usuario de Spark en el proceso de Azure Databricks, el límite del número de consultas visibles en la interfaz de usuario se reduce de 1000 a 100. Para cambiar el límite, establezca un nuevo valor mediante la spark.sql.ui.retainedExecutions configuración de Spark.

DESCRIBE HISTORY ahora muestra columnas de clúster para tablas que usan agrupación líquida.

Al ejecutar una consulta de DESCRIBE HISTORY, la columna operationParameters muestra un campo de clusterBy de forma predeterminada para las operaciones de CREATE OR REPLACE y OPTIMIZE. Para una tabla Delta que usa la agrupación en clústeres líquidos, el clusterBy campo se rellena con las columnas de agrupación en clústeres de la tabla. Si la tabla no usa la agrupación en clústeres líquidos, el campo está vacío.

La sintaxis del widget de notebook está obsoleta.

A partir de Databricks Runtime 15.2, la sintaxis ${param} para acceder a los valores del widget del notebook en celdas SQL está obsoleta. Use la sintaxis del marcador de parámetros (:param) en su lugar. La sintaxis del marcador de parámetros proporciona una mejor protección por inyección de código SQL y un mejor rendimiento de las consultas.

Para obtener instrucciones y ejemplos de migración, consulte Widgets de cuadernos heredados. Para obtener información sobre el enfoque recomendado actual, consulte Widgets de Databricks.

Nuevas características y mejoras

La compatibilidad con claves principales y externas está disponible de forma general.

La compatibilidad con claves principales y externas en Databricks Runtime está disponible con carácter general. La versión de disponibilidad general incluye los siguientes cambios en los privilegios necesarios para usar claves principales y externas:

  • Para definir una clave externa, debe tener el privilegio SELECT en la tabla con la clave principal a la que hace referencia la clave externa. No es necesario poseer la tabla con la clave principal, que anteriormente era necesaria.
  • Quitar una clave principal mediante la cláusula CASCADE no requiere privilegios en las tablas que definen claves externas que hacen referencia a la clave principal. Anteriormente, era necesario poseer las tablas de referencia.
  • Quitar una tabla que incluya restricciones ahora requiere los mismos privilegios que quitar tablas que no incluyen restricciones.

Para obtener información sobre cómo usar claves principales y externas con tablas o vistas, consulte CONSTRAINT cláusula, ADD CONSTRAINT cláusulay DROP CONSTRAINT cláusula.

La agrupación en clústeres líquidos está en disponibilidad general

La compatibilidad con la agrupación en clústeres líquidos ahora está disponible con carácter general mediante Databricks Runtime 15.2 y versiones posteriores. Consulte Uso de clústeres líquidos para tablas.

La ampliación de tipos está en versión preliminar pública

Ahora puede habilitar el ampliación de tipos en tablas respaldadas por Delta Lake. Las tablas con ampliación de tipos habilitadas permiten cambiar el tipo de columnas a un tipo de datos más amplio sin volver a escribir archivos de datos subyacentes. Consulte Ampliación de tipos.

Cláusula de evolución del esquema agregada a la sintaxis de combinación de SQL

Ahora puede agregar la cláusula WITH SCHEMA EVOLUTION a una instrucción de combinación de SQL para habilitar la evolución del esquema para la operación. Consulte Sintaxis de evolución del esquema para la combinación.

Los orígenes de datos personalizados de PySpark están disponibles en versión preliminar pública

Se puede crear un DataSource de PySpark usando la API de DataSource en Python (PySpark), que permite leer desde fuentes de datos personalizadas y escribir en sumideros de datos personalizados en Apache Spark mediante Python. Consulte Orígenes de datos personalizados de PySpark.

applyInPandas y mapInPandas ya están disponibles en el cómputo del catálogo de Unity con el modo de acceso compartido

Como parte de una versión de mantenimiento de Databricks Runtime 14.3 LTS, los tipos UDF de applyInPandas y mapInPandas ahora se admiten en el modo de proceso de acceso compartido que ejecutan Databricks Runtime 14.3 y versiones posteriores.

Use dbutils.widgets.getAll() para obtener todos los widgets de un cuaderno.

Use dbutils.widgets.getAll() para obtener todos los valores de widget en un cuaderno. Esto resulta especialmente útil al pasar varios valores de widgets a una consulta de Spark SQL.

Compatibilidad con el inventario de vacío

Ahora puede especificar un inventario de archivos que se deben tener en cuenta al ejecutar el comando VACUUM en una tabla Delta. Consulte los Documentos de delta de OSS.

Compatibilidad con funciones de compresión Zstandard

Ahora puede usar las funciones zst_compress, zstd_decompressy try_zstd_decompress para comprimir y descomprimir BINARY datos.

Corrección de errores

Los planes de consulta en la interfaz de usuario de SQL ahora muestran correctamente PhotonWriteStage

Cuando se muestra en la interfaz de usuario de SQL, los comandos write en los planes de consulta mostraban incorrectamente a PhotonWriteStage como operador. Con esta versión, la interfaz de usuario se actualiza para mostrar PhotonWriteStage como fase. Se trata de un cambio de interfaz de usuario solo y no afecta a cómo se ejecutan las consultas.

Ray se actualiza para corregir problemas con el inicio de clústeres de Ray

Esta versión incluye una versión revisada de Ray que corrige un cambio importante que impide que los clústeres de Ray comiencen con Databricks Runtime para Machine Learning. Este cambio garantiza que la funcionalidad de Ray sea idéntica a las versiones de Databricks Runtime anteriores a la 15.2.

Clase de error corregida para las funciones DataFrame.sort() y DataFrame.sortWithinPartitions()

Esta versión incluye una actualización de pySpark DataFrame.sort() y DataFrame.sortWithinPartitions() funciones para asegurarse de que se produce la ZERO_INDEX clase de error cuando 0 se pasa como argumento de índice. Anteriormente, se lanzó la clase de error INDEX_NOT_POSITIVE.

ipywidgets se degrada de 8.0.4 a 7.7.2

Para corregir los errores introducidos por una actualización de ipywidgets a 8.0.4 en Databricks Runtime 15.0, ipywidgets se degrada a 7.7.2 en Databricks Runtime 15.2. Esta es la misma versión incluida en versiones anteriores de Databricks Runtime.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • GitPython de 3.1.42 a 3.1.43
    • google-api-core de 2.17.1 a 2.18.0
    • google-auth de 2.28.1 a 2.29.0
    • google-cloud-storage de 2.15.0 a 2.16.0
    • googleapis-common-protos de 1.62.0 a 1.63.0
    • ipywidgets de 8.0.4 a 7.7.2
    • mlflow-skinny de 2.11.1 a 2.11.3
    • Actualización de s3transfer de la versión 0.10.0 a la versión 0.10.1
    • sqlparse de 0.4.4 a 0.5.0
    • "typing_extensions" de 4.7.1 a 4.10.0
  • Bibliotecas de R actualizadas:
  • Bibliotecas de Java actualizadas:
    • com.amazonaws.aws-java-sdk-autoscaling de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-config de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-core de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-directory de la versión 1.12.390 a la versión 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ecs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-efs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-emr de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-glacier de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-glue de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-iam de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-importexport de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-kms de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-lambda de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-logs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-rds de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-redshift de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-route53 de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-s3 de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ses de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sns de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sqs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ssm de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sts de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-support de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces desde la versión 1.12.390 hasta la versión 1.12.610
    • com.amazonaws.jmespath-java de 1.12.390 a 1.12.610

Apache Spark

Databricks Runtime 15.2 incluye Apache Spark 3.5.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 15.1 (EoS), así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • [SPARK-47941] [ SC-163568] [SS] [Connect] Propagación de errores de inicialización de trabajo de ForeachBatch a los usuarios para PySpark
  • [SPARK-47412] [SC-163455][sql] Agregar soporte de intercalación para LPad/RPad.
  • [SPARK-47907] [ SC-163408][sql] Colocar bang en una configuración
  • [SPARK-46820] [SC-157093][python] Corregir la regresión de mensajes de error restaurando new_msg
  • [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/Resource managers: migración de registro estructurado
  • [SPARK-47890] [SC-163324][connect][PYTHON] Agregar funciones Variant a Scala y Python.
  • [SPARK-47894] [ SC-163086][core][WEBUI] Agregar Environment página a la interfaz de usuario maestra
  • [SPARK-47805] [SC-163459][ss] Implementación de TTL para MapState
  • [SPARK-47900] [SC-163326] Corregir la verificación de intercalación implícita (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][sql] Hacer que las expresiones Compute Current Time* sean plegables
  • [SPARK-47845] [SC-163315][sql][PYTHON][connect] Admite el tipo de columna en la función de división para Scala y Python
  • [SPARK-47754] [ SC-162144][sql] Postgres: Compatibilidad con la lectura de matrices multidimensionales
  • [SPARK-47416] [SC-163001][sql] Agregar nuevas funciones a CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][sql] Corrección del error agregado en RewriteWithExpression
  • [SPARK-47821] [SC-162967][sql] Implementar la expresión is_variant_null
  • [SPARK-47883] [SC-163184][sql] Hacer CollectTailExec.doExecute perezoso con RowQueue
  • [SPARK-47390] [ SC-163306][sql] PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][core] Agregar un registro DEBUG a DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][sql][3.5] Corregir la regresión del rendimiento expressionSet en scala 2.12
  • [SPARK-47565] [ SC-161786][python] Resiliencia ante fallos del grupo de trabajo de PySpark
  • [SPARK-47885] [SC-162989][python][CONNECT] Hacer que pyspark.resource sea compatible con pyspark-connect
  • [SPARK-47887] [ SC-163122][connect] Quitar la importación spark/connect/common.proto sin usar de spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][python][CONNECT] Hacer que pyspark.worker_utils sean compatibles con pyspark-connect
  • [SPARK-47691] [SC-161760][sql] Postgres: soporte para el array multidimensional en el lado de escritura
  • [SPARK-47617] [SC-162513][sql] Agregar infraestructura de pruebas TPC-DS para intercalaciones
  • [SPARK-47356] [ SC-162858][sql] Agregar compatibilidad con ConcatWs & Elt (todas las intercalaciones)
  • [SPARK-47543] [SC-161234][connect][PYTHON] Infiriendo dict como MapType desde el DataFrame de Pandas para permitir la creación del DataFrame
  • [SPARK-47863] [SC-162974][sql] Corrección de la implementación sensible a la colación para startsWith y endsWith en ICU
  • [SPARK-47867] [ SC-162966][sql] Admite la variante en el examen JSON.
  • [SPARK-47366] [SC-162475][sql][PYTHON] Agregar VariantVal para PySpark
  • [SPARK-47803] [ SC-162726][sql] Compatibilidad con la conversión a variant.
  • [SPARK-47769] [SC-162841][sql] Agregar la expresión schema_of_variant_agg.
  • [SPARK-47420] [SC-162842][sql] Corrección de la salida de la prueba
  • [SPARK-47430] [SC-161178][sql] Compatibilidad GROUP BY con MapType
  • [SPARK-47357] [SC-162751][sql] Agregar soporte para Upper, Lower, InitCap (todas las intercalaciones)
  • [SPARK-47788] [SC-162729][ss] Asegúrese de que se utilicen las mismas particiones hash para las operaciones de estado en streaming.
  • [SPARK-47776] [SC-162291][ss] Prohibir que se utilice la intercalación de desigualdad binaria en el esquema clave del operador con estado
  • [SPARK-47673] [SC-162824][ss] Implementación de TTL para ListState
  • [SPARK-47818] [SC-162845][connect] Introducir caché del plan en SparkConnectPlanner para mejorar el rendimiento de las solicitudes de Análisis
  • [SPARK-47694] [SC-162783][connect] Hacer que el tamaño máximo del mensaje sea configurable en el lado cliente
  • [SPARK-47274] Revertir "[SC-162479][python][SQL] Proporcionar más uso...
  • [SPARK-47616] [SC-161193][sql] Agregar documento de usuario para asignar tipos de datos SQL de Spark desde MySQL
  • [SPARK-47862] [SC-162837][python][CONNECT]Corregir la generación de archivos proto
  • [SPARK-47849] [SC-162724][python][CONNECT] Cambio del script de versión para liberar pyspark-connect
  • [SPARK-47410] [SC-162518][sql] Refactorizar UTF8String y CollationFactory
  • [SPARK-47807] [ SC-162505][python][ML] Hacer que pyspark.ml sea compatible con pyspark-connect
  • [SPARK-47707] [ SC-161768][sql] Control especial del tipo JSON para mySQL Connector/J 5.x
  • [SPARK-47765] Revertir "[SC-162636][sql] Agregar SET INTERCALACIÓN a pars...
  • [SPARK-47081] [ SC-162151][connect][FOLLOW] Mejora de la facilidad de uso del controlador de progreso
  • [SPARK-47289] [SC-161877][sql] Permitir que las extensiones registren información extendida en el plan de explicación
  • [SPARK-47274] [SC-162479][python][SQL] Proporcione un contexto más útil para los errores de la API de DataFrame de PySpark
  • [SPARK-47765] [SC-162636][sql] Agregar SET INTERCALACIÓN a las reglas del analizador
  • [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite se produce un error con un plan no válido
  • [SPARK-47812] [SC-162696][connect] Soporte para la serialización de SparkSession para el trabajador ForEachBatch
  • [SPARK-47253] [SC-162698][core] Permitir que LiveEventBus se detenga sin la purga completa de la cola de eventos
  • [SPARK-47827] [SC-162625][python] Faltan advertencias para las características en desuso
  • [SPARK-47733] [SC-162628][ss] Adición de métricas personalizadas al operador transformWithState como parte del progreso de la consulta
  • [SPARK-47784] [ SC-162623][ss] Combinar TTLMode y TimeoutMode en un único TimeMode.
  • [SPARK-47775] [SC-162319][sql] Admite los tipos escalares restantes en la especificación de variantes.
  • [SPARK-47736] [SC-162503][sql] Agregar compatibilidad con AbstractArrayType
  • [SPARK-47081] [SC-161758][connect] Admitir el progreso de la ejecución de consultas
  • [SPARK-47682] [SC-162138][sql] Admitir conversión desde variante.
  • [SPARK-47802] [ SC-162478][sql] Revertir () del significado struct() a *
  • [SPARK-47680] [SC-162318][sql] Agregar expresión variant_explode.
  • [SPARK-47809] [ SC-162511][sql] checkExceptionInExpression debería comprobar los errores en cada modo de codegen.
  • [SPARK-41811] [SC-162470][python][CONNECT] Implementar SQLStringFormatter con WithRelations
  • [SPARK-47693] [SC-162326][sql] Agregar optimización para la comparación en minúsculas de UTF8String usada en clasificación UTF8_BINARY_LCASE
  • [SPARK-47541] [ SC-162006][sql] Cadenas intercaladas en tipos complejos que admiten operaciones inversas, array_join, concat, mapa
  • [SPARK-46812] [SC-161535][connect][PYTHON] Hacer que mapInPandas / mapInArrow admitan ResourceProfile
  • [SPARK-47727] [SC-161982][python] Hacer SparkConf a nivel raíz para SparkSession y SparkContext
  • [SPARK-47406] [ SC-159376][sql] Controlar TIMESTAMP y DATETIME en MYSQLDialect
  • [SPARK-47081] Revertir “[SC-161758][connect] Soporte para ejecución de consultas…"
  • [SPARK-47681] [SC-162043][sql] Agregar expresión schema_of_variant.
  • [SPARK-47783] [ SC-162222] Agregue algunos SQLSTATEs que faltan y limpie el YY000 que se va a usar...
  • [SPARK-47634] [SC-161558][sql] Agregar soporte heredado para deshabilitar la normalización de claves de mapa
  • [SPARK-47746] [SC-162022] Implementación de la codificación de rango basada en ordinal en RocksDBStateEncoder
  • [SPARK-47285] [ SC-158340][sql] AdaptiveSparkPlanExec siempre debe usar context.session.
  • [SPARK-47643] [SC-161534][ss][PYTHON] Adición de pruebas de pyspark para el origen de streaming de Python
  • [SPARK-47582] [SC-161943][sql] Migrar logInfo de Catalyst con variables al marco de registro estructurado
  • [SPARK-47558] [SC-162007][ss] Soporte de TTL de estado para ValueState
  • [SPARK-47358] [ SC-160912][sql][COLLATION] Mejorar la compatibilidad con expresiones de repetición para devolver el tipo de datos correcto
  • [SPARK-47504] [SC-162044][sql] Resolver las cadenas simples de AbstractDataType para StringTypeCollated
  • [SPARK-47719] Revertir “[SC-161909][sql] Cambiar spark.sql.legacy.t…
  • [SPARK-47657] [SC-162010][sql] Implementar compatibilidad con la inserción de filtros de intercalación por origen de archivo
  • [SPARK-47081] [SC-161758][connect] Admitir el progreso de la ejecución de consultas
  • [SPARK-47744] [SC-161999] Adición de compatibilidad con bytes con valores negativos en el codificador de intervalos
  • [SPARK-47713] [SC-162009][sql][CONNECT] Corrección de un error de autocombinación
  • [SPARK-47310] [SC-161930][ss] Añadir micro-benchmark para operaciones de fusión para múltiples valores en la parte de valores del almacén de estado
  • [SPARK-47700] [SC-161774][sql] Corrección del formato de mensajes de error con treeNode
  • [SPARK-47752] [SC-161993][ps][CONNECT] Hacer que pyspark.pandas sea compatible con pyspark-connect
  • [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] Implementación de logWarning/logInfo API en el marco de registro estructurado
  • [SPARK-47107] [SC-161201][ss][PYTHON] Implementación del lector de particiones para el origen de datos de streaming de Python
  • [SPARK-47553] [SC-161772][ss] Agregar compatibilidad con Java para las API del operador transformWithState
  • [SPARK-47719] [SC-161909][sql] Cambiar el valor predeterminado de spark.sql.legacy.timeParserPolicy a CORRECTED
  • [SPARK-47655] [SC-161761][ss] Integrar el temporizador con el control de estado inicial para state-v2
  • [SPARK-47665] [SC-161550][sql] Usar SMALLINT para escribir ShortType en MYSQL
  • [SPARK-47210] [SC-161777][sql] Adición de conversión implícita sin soporte para indeterminación
  • [SPARK-47653] [ SC-161767][ss] Agregar compatibilidad con tipos numéricos de valor negativo y codificador de teclas de escaneo de intervalo
  • [SPARK-46743] [ SC-160777][sql] Error de recuento después del plegado constante
  • [SPARK-47525] [SC-154568][sql] Soporte para la combinación por correlación de subconsultas en atributos de mapa
  • [SPARK-46366] [SC-151277][sql] Usar la expresión WITH en BETWEEN para evitar expresiones duplicadas
  • [SPARK-47563] [SC-161183][sql] Agregar normalización de mapa en la creación
  • [SPARK-42040] [ SC-161171][sql] SPJ: Introducción de una nueva API para la partición de entrada V2 para informar de estadísticas de partición
  • [SPARK-47679] [SC-161549][sql] Utilizar nombres de HiveConf.getConfVars o de configuración de Hive directamente
  • [SPARK-47685] [SC-161566][sql] Restaurar la compatibilidad con el tipo de Stream en Dataset#groupBy
  • [SPARK-47646] [SC-161352][sql] Hacer que try_to_number devuelva NULL para entradas malformadas
  • [SPARK-47366] [SC-161324][python] Agregar alias pyspark y dataframe parse_json
  • [SPARK-47491] [SC-161176][core] Agregue slf4j-api jar a la ruta de clase antes que los demás del jars directorio.
  • [SPARK-47270] [SC-158741][sql] Dataset.isEmpty proyecta CommandResults localmente
  • [SPARK-47364] [ SC-158927][core] Advertir PluginEndpoint cuando los complementos responden al mensaje unidireccional
  • [SPARK-47280] [ SC-158350][sql] Eliminar la limitación de zona horaria para ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][sql] Agregar expresión variant_get.
  • [SPARK-47559] [SC-161255][sql] Compatibilidad con Codegen para variantes parse_json
  • [SPARK-47572] [ SC-161351][sql] Asegurar que el partitionSpec de la ventana sea ordenable.
  • [SPARK-47546] [SC-161241][sql] Mejorar la validación al leer Variant de Parquet
  • [SPARK-47543] [SC-161234][connect][PYTHON] Infiriendo dict como MapType desde el DataFrame de Pandas para permitir la creación del DataFrame
  • [SPARK-47485] [SC-161194][sql][PYTHON][connect] Crear columna con ordenaciones en la API de dataframe
  • [SPARK-47641] [ SC-161376][sql] Mejorar el rendimiento de UnaryMinus y Abs
  • [SPARK-47631] [SC-161325][sql] Eliminar método no utilizado SQLConf.parquetOutputCommitterClass
  • [SPARK-47674] [ SC-161504][core] Habilitar spark.metrics.appStatusSource.enabled de forma predeterminada
  • [SPARK-47273] [ SC-161162][ss][PYTHON] implementan la interfaz de escritura de flujos de datos de Python.
  • [SPARK-47637] [SC-161408][sql] Usar errorCapturingIdentifier en más lugares
  • [SPARK-47497] Revertir "Revertir '[SC-160724][sql] Hacer que to_csv admita la salida de array/struct/map/binary como cadenas legibles'"
  • [SPARK-47492] [SC-161316][sql] Ampliar las reglas de espacio en blanco en el lexer
  • [SPARK-47664] [SC-161475][python][CONNECT] Validar el nombre de columna con el esquema almacenado en caché
  • [SPARK-47638] [SC-161339][ps][CONNECT] Omitir la validación del nombre de columna en PS
  • [SPARK-47363] [ SC-161247][ss] Estado inicial sin implementación del lector de estado para State API v2.
  • [SPARK-47447] [SC-160448][sql] Permitir la lectura de Parquet TimestampLTZ como TimestampNTZ
  • [SPARK-47497] Revert "[SC-160724][sql] Make to_csv support the output of array/struct/map/binary as pretty strings"
  • [SPARK-47434] [SC-160122][webui] Arreglar statistics el vínculo en StreamingQueryPage
  • [SPARK-46761] [ SC-159045][sql] ¿Las cadenas entre comillas en una ruta de acceso JSON deberían admitir? characters
  • [SPARK-46915] [SC-155729][sql] Simplificar UnaryMinusAbs y alinear la clase de error
  • [SPARK-47431] [SC-160919][sql] Agregar intercalación predeterminada de nivel de sesión
  • [SPARK-47620] [SC-161242][python][CONNECT] Agregar una función auxiliar para ordenar columnas
  • [SPARK-47570] [SC-161165][ss] Integrar los cambios del codificador de escaneo de rango con la implementación del temporizador
  • [SPARK-47497] [SC-160724][sql] Hacer to_csv que admita la salida de array/struct/map/binary como cadenas bonitas
  • [SPARK-47562] [ SC-161166][connect] Externalizar el manejo de literales fuera de plan.py
  • [SPARK-47509] [ SC-160902][sql] Bloquear expresiones de subconsulta en funciones lambda y de orden superior
  • [SPARK-47539] [ SC-160750][sql] Hacer que el valor devuelto del método castToString sea Any => UTF8String
  • [SPARK-47372] [SC-160905][ss] Agregar compatibilidad con el codificador de estado de clave basado en análisis de intervalos para su uso con el proveedor de almacén de estado
  • [SPARK-47517] [SC-160642][core][SQL] Preferir Utils.bytesToString para mostrar tamaño
  • [SPARK-47243] [SC-158059][ss] Corrija el nombre del paquete de StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][python][CONNECT] Compatibilidad con orígenes de datos de Python con Spark Connect
  • [SPARK-47521] [SC-160666][core] Usar Utils.tryWithResource durante la lectura de datos mezclados del almacenamiento externo
  • [SPARK-47474] [ SC-160522][core] Revertir SPARK-47461 y agregar algunos comentarios
  • [SPARK-47560] [SC-160914][python][CONNECT] Evitar RPC para validar el nombre de columna con el esquema almacenado en caché
  • [SPARK-47451] [SC-160749][sql] Compatibilidad con to_json(variant).
  • [SPARK-47528] [SC-160727][sql] Agregar compatibilidad con UserDefinedType a DataTypeUtils.canWrite
  • [SPARK-44708] Revertir "[SC-160734][python] Migrar test_reset_index assert_eq para usar assertDataFrameEqual"
  • [SPARK-47506] [SC-160740][sql] Agregar compatibilidad con todos los formatos de origen de archivos para los tipos de datos ordenados
  • [SPARK-47256] [SC-160784][sql] Asignar nombres a clases de error _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][core] Arreglar que el archivo jar de recurso principal se añadiera dos veces a spark.jars en el modo clúster de k8s
  • [SPARK-47398] [ SC-160572][sql] Extraer un rasgo para InMemoryTableScanExec para permitir ampliar la funcionalidad
  • [SPARK-47479] [ SC-160623][sql] Optimize no puede escribir datos en relaciones con varios registros de errores de rutas de acceso
  • [SPARK-47483] [SC-160629][sql] Agregar compatibilidad con operaciones de agregación y combinación en matrices de cadenas intercaladas
  • [SPARK-47458] [ SC-160237][core] Corregir el problema con el cálculo de las tareas simultáneas máximas para la fase de barrera
  • [SPARK-47534] [SC-160737][sql] Mover o.a.s.variant a o.a.s.types.variant
  • [SPARK-47396] [SC-159312][sql] Agregar una asignación general para TIME WITHOUT TIME ZONE a TimestampNTZType
  • [SPARK-44708] [ SC-160734][python] Migrar test_reset_index assert_eq para usar assertDataFrameEqual
  • [SPARK-47309] [ SC-157733][sc-160398][SQL] XML: Agregar pruebas de inferencia de esquema para etiquetas de valor
  • [SPARK-47007] [SC-160630][sql] Agregar la MapSort expresión
  • [SPARK-47523] [SC-160645][sql] Reemplazar obsoleto JsonParser#getCurrentName por JsonParser#currentName
  • [SPARK-47440] [SC-160635][sql] Corrección de la inserción de sintaxis no admitida en MsSqlServer
  • [SPARK-47512] [SC-160617][ss] Tipo de operación de etiqueta usado con la adquisición o liberación del bloqueo de instancia del almacén de estado de RocksDB
  • [SPARK-47346] [SC-159425][python] Hacer que el modo de servicio en segundo plano sea configurable al crear trabajadores del planificador de Python
  • [SPARK-47446] [SC-160163][core] Emitir una advertencia BlockManager antes de removeBlockInternal
  • [SPARK-46526] [SC-156099][sql] Compatibilidad LIMIT con subconsultas correlacionadas donde los predicados solo hacen referencia a la tabla externa
  • [SPARK-47461] [SC-160297][core] Quitar la función totalRunningTasksPerResourceProfile privada de ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][sql] Compatibilidad con cadenas intercaladas en operaciones de matriz
  • [SPARK-47500] [ SC-160627][python][CONNECT] Factorizar el manejo de los nombres de columna fuera de plan.py
  • [SPARK-47383] [SC-160144][core] Configuración de compatibilidad spark.shutdown.timeout
  • [SPARK-47342] [SC-159049]Revertir “[SQL] Soporte para TimestampNTZ de DB2 TIMESTAMP WITH TIME ZONE”
  • [SPARK-47486] [SC-160491][connect] Quitar método privado ArrowDeserializers.getString sin usar
  • [SPARK-47233] [SC-154486][connect][SS][2/2] Lógica de cliente y servidor para la escucha de consultas de streaming del cliente
  • [SPARK-47487] [SC-160534][sql] Simplificar el código en AnsiTypeCoercion
  • [SPARK-47443] [ SC-160459][sql] Compatibilidad con agregados de ventana para intercalaciones
  • [SPARK-47296] [ SC-160457][sql][COLLATION] Fallan las funciones no compatibles para intercalaciones no binarias
  • [SPARK-47380] [SC-160164][connect] Asegurar en el lado del servidor que el SparkSession sea el mismo
  • [SPARK-47327] [SC-160069][sql] Mover la prueba de simultaneidad de claves de ordenación a CollationFactorySuite
  • [SPARK-47494] [SC-160495][doc] Agregar documento de migración para el cambio en el comportamiento de la inferencia de marcas de tiempo de Parquet desde Spark 3.3
  • [SPARK-47449] [SC-160372][ss] Refactorizar y dividir las pruebas unitarias de lista/temporizador
  • [SPARK-46473] [SC-155663][sql] Reutilizar método getPartitionedFile
  • [SPARK-47423] [ SC-160068][sql] Intercalaciones: establecer compatibilidad con operaciones para cadenas con intercalaciones
  • [SPARK-47439] [SC-160115][python] Documentar el API de fuente de datos de Python en la página de referencia de API
  • [SPARK-47457] [SC-160234][sql] Corrección IsolatedClientLoader.supportsHadoopShadedClient para controlar Hadoop 3.4+
  • [SPARK-47366] [ SC-159348][sql] Implemente parse_json.
  • [SPARK-46331] [SC-152982][sql] Eliminación de CodegenFallback del subconjunto de expresiones DateTime y expresión version()
  • [SPARK-47395] [SC-159404] Agregar ordenar e intercalación a otras API
  • [SPARK-47437] [SC-160117][python][CONNECT] Corrija la clase de error de . DataFrame.sort*
  • [SPARK-47174] [SC-154483][connect][SS][1/2] Servidor SparkConnectListenerBusListener para la escucha de consultas de streaming del lado del cliente
  • [SPARK-47324] [SC-158720][sql] Agregar las conversiones de fecha y hora que faltan para los tipos anidados JDBC
  • [SPARK-46962] [SC-158834][ss][PYTHON] Agregar interfaz para la API de fuente de datos de transmisión en Python e implementar el operario de Python para ejecutar la fuente de datos de transmisión en Python
  • [SPARK-45827] [SC-158498][sql] Mover comprobaciones de tipo de datos a CreatableRelationProvider
  • [SPARK-47342] [SC-158874][sql] Compatibilidad de TimestampNTZ para DB2 TIMESTAMP WITH TIME ZONE
  • [SPARK-47399] [SC-159378][sql] Deshabilitar la generación de columnas en expresiones con intercalaciones
  • [SPARK-47146] [SC-158247][core] Posible fuga de subprocesos al realizar una combinación de ordenamiento y mezcla
  • [SPARK-46913] [SC-159149][ss] Agregar compatibilidad con temporizadores basados en el procesamiento o el tiempo de eventos con el operador transformWithState
  • [SPARK-47375] [SC-159063][sql] Agregar directrices para la asignación de marca de tiempo en JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][sql] Compatibilidad con TIMESTAMP WITH TIME ZONE para H2Dialect
  • [SPARK-45827] Revertir "[SC-158498][sql] Mover comprobaciones de tipo de datos a ...
  • [SPARK-47208] [SC-159279][core] Permitir anular la sobrecarga de memoria base
  • [SPARK-42627] [SC-158021][spark-26494][SQL] Admite Oracle TIMESTAMP WITH LOCAL TIME ZONE
  • [SPARK-47055] [SC-156916][python] Actualizar MyPy 1.8.0
  • [SPARK-46906] [SC-157205][ss] Agregar una comprobación de cambio de operador con estado para el streaming
  • [SPARK-47391] [SC-159283][sql] Quitar la solución provisional del caso de prueba para JDK 8
  • [SPARK-47272] [ SC-158960][ss] Agregar implementación de MapState para State API v2.
  • [SPARK-47375] [SC-159278][doc][FollowUp] Corrección de un error en la documentación de la opción preferTimestampNTZ de JDBC
  • [SPARK-42328] [SC-157363][sql] Quitar _LEGACY_ERROR_TEMP_1175 de las clases de error
  • [SPARK-47375] [ SC-159261][doc][FollowUp] Corrija la descripción de la opción preferTimestampNTZ en el documento de JDBC
  • [SPARK-47344] [SC-159146] Ampliar el error INVALID_IDENTIFIER más allá de detectar "-" en un identificador no citado y corregir “ES !” NULL" et al.
  • [SPARK-47340] [SC-159039][sql] Cambiar "collate" en el tipo de nombre StringType a minúsculas.
  • [SPARK-47087] [ SC-157077][sql] Generar la excepción de Spark con una clase de error en la comprobación de valores de configuración
  • [SPARK-47327] [SC-158824][sql] Corrección del problema de seguridad de hilos en el ICU Collator
  • [SPARK-47082] [SC-157058][sql] Corregir la condición de error fuera de límite
  • [SPARK-47331] [ SC-158719][ss] Serialización mediante clases de casos,primitivos/POJO basados en el codificador SQL para la API de estado arbitrario v2.
  • [SPARK-47250] [ SC-158840][ss] Agregar validaciones adicionales y cambios NERF para el proveedor de estado RocksDB y el uso de familias de columnas
  • [SPARK-47328] [SC-158745][sql] Cambiar el nombre de intercalado UCS_BASIC a UTF8_BINARY
  • [SPARK-47207] [SC-157845][core] Soporte técnico spark.driver.timeout y DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][doc] Añadir documento de migración: Inferencia de tipos TimestampNTZ en archivos Parquet
  • [SPARK-47309] [SC-158827][sql][XML] Agregar pruebas unitarias de inferencia de esquema
  • [SPARK-47295] [SC-158850][sql] Se agregó ICU StringSearch para las startsWith funciones y endsWith
  • [SPARK-47343] [SC-158851][sql] Corregir NPE cuando sqlString el valor de variable es una cadena nula en ejecución inmediata
  • [SPARK-46293] [SC-150117][connect][PYTHON] Usar protobuf dependencia transitiva
  • [SPARK-46795] [SC-154143][sql] Reemplazar UnsupportedOperationException por SparkUnsupportedOperationException en sql/core
  • [SPARK-46087] [SC-149023][python] Sincronizar dependencias de PySpark en documentos y requisitos de desarrollo
  • [SPARK-47169] [SC-158848][sql] Deshabilitar la segmentación en columnas clasificadas
  • [SPARK-42332] [SC-153996][sql] Cambio de la demanda a sparkException en ComplexTypeMergedExpression
  • [SPARK-45827] [SC-158498][sql] Mover comprobaciones de tipo de datos a CreatableRelationProvider
  • [SPARK-47341] [ SC-158825][connect] Reemplazar comandos por relaciones en algunas pruebas en SparkConnectClientSuite
  • [SPARK-43255] [ SC-158026][sql] Reemplace la clase de error _LEGACY_ERROR_TEMP_2020 por un error interno
  • [SPARK-47248] [ SC-158494][sql][COLLATION] Compatibilidad mejorada con funciones de cadena: contains
  • [SPARK-47334] [ SC-158716][sql] withColumnRenamed Volver a usar la implementación de withColumnsRenamed
  • [SPARK-46442] [SC-153168][sql] DS V2 admite la optimización de PERCENTILE_CONT y PERCENTILE_DISC
  • [SPARK-47313] [ SC-158747][sql] Se agregó manejo de scala.MatchError dentro de QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][sql] Agregar tipo singleton variante para Java
  • [SPARK-47337] [SC-158743][sql][DOCKER] Actualización de la versión de la imagen de Docker de DB2 a la versión 11.5.8.0
  • [SPARK-47302] [ SC-158609][sql] Palabra clave Collate como identificador
  • [SPARK-46817] [SC-154196][core] Corregir spark-daemon.sh el uso agregando decommission el comando
  • [SPARK-46739] [SC-153553][sql] Agregar la clase de error UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][sql] Agregar la marca de configuración COLLATION_ENABLED
  • [SPARK-46774] [SC-153925][sql][AVRO] Utilizar mapreduce.output.fileoutputformat.compress en lugar del obsoleto mapred.output.compress en tareas de escritura de Avro.
  • [SPARK-45245] [ SC-146961][python][CONNECT] PythonWorkerFactory: Tiempo de espera si el trabajador no logra reconectar.
  • [SPARK-46835] [SC-158355][sql][Intercalaciones] Compatibilidad de combinación con intercalaciones no binarias
  • [SPARK-47131] [SC-158154][sql][COLLATION] Compatibilidad con la función de cadena: contiene, empieza con, termina con
  • [SPARK-46077] [SC-157839][sql] Considere el tipo generado por TimestampNTZConverter en JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][sql][PYTHON] Suprimir excepciones de Python cuando PySpark no está en la ruta de Python.
  • [SPARK-47319] [SC-158599][sql] Mejorar el cálculo de entrada faltante
  • [SPARK-47316] [SC-158606][sql] Corregir timestampNTZ en la matriz postgres
  • [SPARK-47268] [SC-158158][sql][Intercalaciones] Compatibilidad con la repartición con intercalaciones
  • [SPARK-47191] [ SC-157831][sql] Evitar búsquedas de relaciones innecesarias al descachar tabla o vista
  • [SPARK-47168] [SC-158257][sql] Deshabilitar el empuje del filtro parquet cuando se trabaja con cadenas ordenadas no predeterminadas
  • [SPARK-47236] [SC-158015][core] Corrección deleteRecursivelyUsingJavaIO para omitir la entrada de archivo no existente
  • [SPARK-47238] [ SC-158466][sql] Reducir el uso de memoria del ejecutor haciendo que el código generado en WSCG sea una variable de difusión
  • [SPARK-47249] [SC-158133][connect] Corrección del error en el que todas las ejecuciones de conexión se consideran abandonadas independientemente de su estado real
  • [SPARK-47202] [SC-157828][python] Corrección de un error tipográfico que afecta a las fechas y horas con tzinfo
  • [SPARK-46834] [SC-158139][sql][Intercalaciones] Compatibilidad con agregados
  • [SPARK-47277] [ SC-158351][3.5] La función PySpark util assertDataFrameEqual no debe admitir streaming DF
  • [SPARK-47155] [SC-158473][python] Solucionar el problema de la clase de error
  • [SPARK-47245] [SC-158163][sql] Mejorar el código de error para INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [ SC-158425][core] Se añade un mensaje de advertencia en Dependency cuando se va a crear un número demasiado grande de bloques de intercambio.
  • [SPARK-47277] [ SC-158329] La función pySpark util assertDataFrameEqual no debe admitir streaming DF
  • [SPARK-47293] [ SC-158356][core] Compilar batchSchema con sparkSchema en lugar de anexar uno por uno
  • [SPARK-46732] [SC-153517][connect] Hacer que el hilo de Subquery/Broadcast funcione con la gestión de artefactos de Connect.
  • [SPARK-44746] [SC-158332][python] Agregar más documentación de UDTF de Python para funciones que aceptan tablas de entrada
  • [SPARK-47120] [SC-157517][sql] Descenso de comparación nula en el filtro de datos desde la subconsulta produce un NPE en el filtro Parquet
  • [SPARK-47251] [SC-158291][python] Bloquear tipos no válidos del argumento args para el comando sql
  • [SPARK-47251] Revertir "[SC-158121][python] Bloquear tipos no válidos del argumento para el argssql comando"
  • [SPARK-47015] [SC-157900][sql] Deshabilitar la creación de particiones en columnas intercaladas
  • [SPARK-46846] [SC-154308][core] Hacer que WorkerResourceInfo extienda Serializable explícitamente
  • [SPARK-46641] [ SC-156314][ss] Agregar umbral maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][connect] SparkConnectPlanner hacer que las funciones internas sean privadas
  • [SPARK-47266] [SC-158146][connect] Hacer que ProtoUtils.abbreviate devuelva el mismo tipo que la entrada
  • [SPARK-46961] [ SC-158183][ss] Uso de ProcessorContext para almacenar y recuperar el identificador
  • [SPARK-46862] [SC-154548][sql] Deshabilitar la eliminación de columnas CSV en el modo de varias líneas
  • [SPARK-46950] [SC-155803][core][SQL] Alinear clase de error
  • [SPARK-46368] [SC-153236][core] Compatibilidad readyz con la API de envío de REST
  • [SPARK-46806] [SC-154108][python] Mejora del mensaje de error de spark.table cuando el tipo de argumento es incorrecto
  • [SPARK-47211] [SC-158008][connect][PYTHON] Solucionar la ignorada intercalación de cadenas de PySpark Connect
  • [SPARK-46552] [SC-151366][sql] Reemplazar UnsupportedOperationException por SparkUnsupportedOperationException en catalyst
  • [SPARK-47147] [SC-157842][python][SQL] Corrección del error de conversión de cadenas intercaladas de PySpark
  • [SPARK-47144] [SC-157826][connect][SQL][python] Corregir el error de intercalación de Spark Connect al agregar el campo protobuf collateId
  • [SPARK-46575] [ SC-153200][sql][HIVE] Hacer que HiveThriftServer2.startWithContext del DevelopApi sea repetible y solucionar la inestabilidad de ThriftServerWithSparkContextInHttpSuite.
  • [SPARK-46696] [SC-153832][core] En ResourceProfileManager, las llamadas de función deben producirse después de las declaraciones de variables.
  • [SPARK-47214] [ SC-157862][python] Creación de una API UDTF para el método "analyze" para diferenciar argumentos NULL constantes y otros tipos de argumentos
  • [SPARK-46766] [SC-153909][sql][AVRO] Compatibilidad con grupos de búferes ZSTD para el origen de datos AVRO
  • [SPARK-47192] [SC-157819] Convertir algunos errores de _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [ SC-157341][ss] Agregar compatibilidad con ListState en la API de estado arbitrario v2.
  • [SPARK-46881] [SC-154612][core] Compatibilidad spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][core] Soporte técnico spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][sql] Corrige el error que utiliza incorrectamente el códec de compresión parquet lz4raw.
  • [SPARK-46791] [SC-154018][sql] Compatibilidad con el conjunto de Java en JavaTypeInference
  • [SPARK-46332] [SC-150224][sql] Migrar CatalogNotFoundException a la clase de error CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][sql] Hacer que el valor predeterminado de un tipo más amplio, restringido a un literal, de v2 se comporte de la misma forma que en v1.
  • [SPARK-46664] [SC-153181][core] Mejorar Master para recuperarse rápidamente en caso de cero trabajadores y aplicaciones
  • [SPARK-46759] [ SC-153839][sql][AVRO] Códec xz y zstandard admiten el nivel de compresión para archivos avro.

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Consulte Actualizaciones de mantenimiento de Databricks Runtime 15.2.

Entorno del sistema

  • sistema operativo: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Bibliotecas de Python instaladas

Library Version Library Version Library Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 cryptography 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0.4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 packaging 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Bibliotecas de R instaladas

Las bibliotecas R se instalan desde la instantánea de CRAN del administrador de paquetes Posit.

Library Version Library Version Library Version
arrow 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 methods 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.12)

Identificador de grupo Id. de artefacto Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collector 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on