Databricks Runtime 13.2 (EoS)
Nota:
El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.
En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 13.2, con tecnología de Apache Spark 3.4.0.
Databricks publicó esta versión en julio de 2023.
Nuevas características y mejoras
- Puntos de control del registro de cambios para el almacén de estado de RocksDB
- Confiabilidad mejorada para VACUUM con clon superficial en Unity Catalog.
- Compatibilidad con UDF de Python en SQL
- Delta Lake UniForm para Iceberg está en versión preliminar pública
- La agrupación dinámica en clústeres de Delta Lake está en versión preliminar pública
- Compatibilidad con archivos en Azure Databricks
- Compatibilidad con la cláusula IDENTIFICADOR
- Compatibilidad de Unity Catalog con Python y funciones definidas por el usuario de Pandas (UDF)
- Uso compartido de esquemas mediante Delta Sharing
- Correcciones de errores
Puntos de control del registro de cambios para el almacén de estado de RocksDB
Puede habilitar los puntos de control del registro de cambios para reducir la duración de los puntos de control y la latencia de un extremo a otro para las cargas de trabajo de flujo estructurado con estado. Databricks recomienda habilitar los puntos de control del registro de cambios para todas las consultas con estado de Structured Streaming. Consulte Habilitar puntos de control del registro de cambios.
Confiabilidad mejorada para VACUUM con clon superficial en Unity Catalog.
Cuando se usan tablas administradas de Unity Catalog para el origen y el destino de una operación de clonación superficial, Unity Catalog administra los archivos de datos subyacentes para mejorar la confiabilidad para el origen y el destino de la operación de clonación. La ejecución VACUUM en el origen de un clon superficial no interrumpe la tabla clonada. Clones superficiales de Vacuum y Unity Catalog.
Compatibilidad con las UDF de Python en SQL
Ahora puede declarar funciones definidas por el usuario mediante Python en instrucciones CREATE FUNCTION de SQL en Unity Catalog. Consulte Funciones definidas por el usuario (UDF) en Unity Catalog.
Delta Lake UniForm para Iceberg está en versión preliminar pública
El formato universal de Delta Lake (UniForm) le permite leer tablas Delta con clientes de Iceberg. Consulte Uso de UniForm para leer tablas Delta con clientes de Iceberg.
La agrupación dinámica en clústeres de Delta Lake está en versión preliminar pública
La agrupación en clústeres líquidos de Delta Lake reemplaza a la creación de particiones de tablas y ZORDER para simplificar las decisiones de diseño de datos y optimizar el rendimiento de las consultas. Consulte Uso de clústeres líquidos para tablas Delta.
Compatibilidad con archivos en Azure Databricks
La compatibilidad con archivos en Azure Databricks introduce una colección de capacidades que le permite usar directivas de ciclo de vida basadas en la nube en el almacenamiento de objetos en la nube que contiene tablas Delta. Estas capacidades le permiten, a su vez, mover archivos a los niveles de almacenamiento de archivos. Consulte Compatibilidad con archivos en Azure Databricks.
Compatibilidad con la cláusula IDENTIFICADOR
Use IDENTIFIER(:mytable) para parametrizar de forma segura los nombres de tabla, columna, función y esquema en varias instrucciones SQL.
Compatibilidad de Unity Catalog con Python y funciones definidas por el usuario (UDF) de Pandas
En Databricks Runtime 13.2 y versiones superiores, las funciones definidas por el usuario (UDF) escritas en Python son compatibles con los clústeres que utilizan el modo de acceso compartido en un área de trabajo habilitada para Unity Catalog. Esto incluye las UDF de Python y Pandas. Para más información sobre las UDF de Python, consulte Funciones escalares definidas por el usuario: Python.
Uso compartido de esquemas mediante Delta Sharing
Databricks Runtime 13.2 agrega la capacidad de usar ALTER SHARE <share-name> ADD SCHEMA <schema-name> para compartir un esquema completo mediante Delta Sharing, lo que proporciona al destinatario acceso a todas las tablas y vistas del esquema en el momento de compartirlo, junto con las tablas y vistas que se agregan al esquema en el futuro. Consulte Agregar esquemas a un recurso compartido y ALTER SHARE.
Correcciones de errores
- Se ha corregido un error con el lector JSON, que provocaba que los registros se analizaran en modo
PERMISSIVEsifailOnUnknownFieldsmodeestaba habilitado. Los registros ahora se quitan en modoDROPMALFORMEDparsero se escriben enbadRecordsPath, si se establece alguna de estas opciones.FAILFASTproduce un error si un tipo de columna no coincide.
Actualizaciones de bibliotecas
- Bibliotecas de Python actualizadas:
- nodeenv de 1.7.0 a 1.8.0
- Bibliotecas de R actualizadas:
- Bibliotecas de Java actualizadas:
- io.delta.delta-sharing-spark_2.12 de 0.6.7 a 0.7.0
Apache Spark
Databricks Runtime 13.2 incluye Apache Spark 3.4.0. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 13.1 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:
- [SPARK-42750] [SC-133452][DBRRM-273] Compatibilidad con la instrucción Insertar por nombre
- [SPARK-43133] [SC-133728] Compatibilidad de Scala Client DataStreamWriter Foreach
- [SPARK-43663] [SC-134135][CONNECT][PS] Se habilitó
SeriesParityTests.test_compare - [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Se corrigió
(NullOps|NumOps).(eq|ne)para Spark Connect. - [SPARK-44021] [SC-134109][SQL] Se agregó spark.sql.files.maxPartitionNum
- [SPARK-43910] [SC-132936][SQL] Se quitó
__auto_generated_subquery_namede los identificadores en errores - [SPARK-43976] [SC-133375][CORE] Control del caso en el que modifiedConfigs no existía en los registros de eventos
- [SPARK-32559] [SC-133992][SQL] Se corrigió la lógica de recorte que no controlaba correctamente los caracteres de control ASCII
- [SPARK-43421] [SC-132930][SS] Implementación de puntos de control basados en el registro de cambios para el proveedor de almacén de estado de RocksDB
- [SPARK-43594] [SC-133851][SQL] Se agregó LocalDateTime a anyToMicros
- [SPARK-43884] [SC-133867] Marcadores de parámetros en DDL
- [SPARK-43398] [SC-133894][CORE] El tiempo de espera del ejecutor debe ser máximo de orden aleatorio inactivo y en función del tiempo de espera de RDD
- [SPARK-43610] [SC-133892][CONNECT][PS] Se habilitó
InternalFrame.attach_distributed_columnen Spark Connect. - [SPARK-43971] [SC-133826][CONNECT][PYTHON] Compatibilidad con createDataFrame de Python en forma de streaming
- [SPARK-44006] [SC-133652][CONNECT][PYTHON] Compatibilidad con artefactos de caché
- [SPARK-43790] [SC-133468][PYTHON][CONNECT] Se agregó la API
copyFromLocalToFs - [SPARK-43921] [SC-133461][PROTOBUF] Generación de archivos descriptores Protobuf en tiempo de compilación
- [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT] Se implementó la compatibilidad con archivos en SparkSession.addArtifacts
- [SPARK-44010] [SC-133744][PYTHON][SS][MINOR] Corrección del tipo rowsPerSecond de StreamingQueryProgress de Python
- [SPARK-43768] [SC-132398][PYTHON][CONNECT] Compatibilidad con la administración de dependencias de Python en Python Spark Connect
- [SPARK-43979] [13.X] Se revirtió "[SC-133456][SQL] CollectedMetrics debe tratarse como lo mismo para la autocombinación"
- [SPARK-42290] [SC-133696][SQL] Se corrigió el error OOM que no podía reportarse cuando AQE estaba activado
- [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT] Se agregaron las funciones matemáticas de SQL a Scala y Python
- [SPARK-43747] [SC-132047][PYTHON][CONNECT] Se implementó la compatibilidad con pyfile en SparkSession.addArtifacts
- [SPARK-43700] [SC-133726][SPARK-43701][CONNECT][PS] Se habilitó
TimedeltaOps.(sub|rsub)con Spark Connect - [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS] Se habilitó la prueba de paridad:
test_line_plot,test_pie_plot. - [SPARK-43867] [SC-132895][SQL] Mejoraron los candidatos sugeridos para el atributo sin resolver
- [SPARK-43901] [SC-133454][SQL] Se mejoró Avro para admitir el tipo decimal personalizado respaldado por Long
- [SPARK-43267] [SC-133024][JDBC] Se controla la columna definida por el usuario desconocida como cadena en la matriz
- [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT] Se agregaron funciones xpath_* a Scala y Python
- [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT] Se agregó el percentil a la API Scala y Python
- [SPARK-43717] [SC-133455][CONNECT] La agregación y reducción del cliente de Scala no pueden controlar las particiones nulas para las entradas primitivas de Sacala
- [SPARK-43984] [SC-133469][SQL][PROTOBUF] Modificación. Ahora se usa
foreachcuandomapno produce resultados - [SPARK-43612] [SC-132011][CONNECT][PYTHON] Implementación de SparkSession.addArtifact(s) en el cliente de Python
- [SPARK-44002] [SC-133606][CONNECT] Se corrigió el controlador de estados del artefacto
- [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT] Se agregaron funciones de agregado de regresión lineal a Scala y Python
- [SPARK-43920] [SC-133614][SQL][CONNECT] Se creó un módulo sql/api
- [SPARK-43979] [SC-133456][SQL] CollectedMetrics debe tratarse como lo mismo para la autocombinación
- [SPARK-43977] [SC-133373][CONNECT] Se corrigió el resultado inesperado de la comprobación de
dev/connect-jvm-client-mima-check - [SPARK-43985] [SC-133412][PROTOBUF] protobuf de spark protobuf: se corrigió un error que provocaba que los valores enum se traten como int
- [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT] Se agregaron funciones unix_* a Scala y Python
- [SPARK-43807] [SC-132545][SQL] Se migró _LEGACY_ERROR_TEMP_1269 a PARTITION_SCHEMA_IS_EMPTY
- [SPARK-43956] [SC-133123][SQL] Se corrigió un problema que provocaba que no se mostrara el SQL de ciertas columnas para los percentiles[Cont|Disc]
- [SPARK-42626] [SC-133248][CONNECT] Se agregó un iterador destructivo para SparkResult
- [SPARK-43333] [SC-132898][SQL] Se permitió que Avro convierta el tipo de unión en SQL con el nombre de campo estable con el tipo
- [SPARK-43953] [SC-133134][CONNECT] Se quitó
pass - [SPARK-43970] [SC-133403][PYTHON][CONNECT] Se ocultaron los métodos de DataFrame no compatibles con la finalización automática
- [SPARK-43973][SC-133272][SS][UI] La interfaz de usuario de streaming estructurado debe mostrar correctamente las consultas con errores
- [SPARK-42577] [SC-125445][CORE] Se agregó un límite de intentos máximo para las fases, con el fin de evitar posibles reintentos infinitos
- [SPARK-43841] [SC-132699][SQL] Ahora se pueden manipular los atributos candidatos sin prefijo en
StringUtils#orderSuggestedIdentifiersBySimilarity - [SPARK-41497] [SC-124795][CORE][Follow UP]Se modificó la configuración de
spark.rdd.cache.visibilityTracking.enabledpara ser compatible con la versión 3.5.0 - [SPARK-37942] [SC-130983][CORE][SQL] Se migraron las clases de error
- [SPARK-43898] [SC-132926][CORE] Se registró automáticamente
immutable.ArraySeq$ofRefenKryoSerializerpara Scala 2.13 - [SPARK-43775] [SC-132891][SQL] DataSource V2: Se permitió la representación de actualizaciones como eliminaciones e inserciones
- [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] Se admite UserDefinedType en createDataFrame desde DataFrame de Pandas y a formato Pandas
- [SPARK-43418] [SC-132753][SC-130685][CONNECT] Se agregó SparkSession.Builder.getOrCreate
- [SPARK-43549] [SC-132383][SQL] Se convirtió _LEGACY_ERROR_TEMP_0036 en INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN
- [SPARK-41497] [SC-124644][CORE] Se corrigió el recuento inferior del acumulador en el caso de la tarea de reintento con caché de RDD
- [SPARK-43892] [SC-133006][PYTHON] Se agregó compatibilidad con autocompletar para
df[|]enpyspark.sql.dataframe.DataFrame - [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Agregar un patrón opcional para Catalog.listDatabases
- [SPARK-43205] [SC-132623] Cláusula IDENTIFICADOR
- [SPARK-43545] [SC-132378][SQL][PYTHON] Compatibilidad con el tipo de marca de tiempo anidada
- [SPARK-43949] [SC-133048][PYTHON] Se actualizó cloudpickle a 2.2.1
- [SPARK-43760] [SC-132809][SQL] Nulabilidad de los resultados de la subconsulta escalar
- [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] Se corrigió
TimedeltaOpspara Spark Connect - [SPARK-43895] [SC-132897][CONNECT][GO] Se preparó la ruta de acceso del paquete Go
- [SPARK-43894] [SC-132892][PYTHON] Se corrigió el error df.cache()
- [SPARK-43509] [SC-131625][CONNECT] Compatibilidad con la creación de varias sesiones de Spark Connect
- [SPARK-43882] [SC-132888][SQL] Se asignó un nombre a _LEGACY_ERROR_TEMP_2122
- [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] Se corrigió
NumOpspara Spark Connect - [SPARK-43604] [SC-132165][SQL] Refactorización de
INVALID_SQL_SYNTAXpara evitar insertar el texto del error en el código fuente - [SPARK-43859] [SC-132883][SQL] Se invalidó toString en LateralColumnAliasReference
- [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] Se agregó un patrón opcional para Catalog.listCatalogs
- [SPARK-43353] Se revirtió "[SC-132734][PYTHON] Se migraron los errores de sesión restantes a la clase de error"
- [SPARK-43375] [SC-130309][CONNECT] Se mejoraron los mensajes de error para INVALID_CONNECT_URL
- [SPARK-43863] [SC-132721][CONNECT] Se quitó la redundancia de
toSeqdeSparkConnectPlannerpara Scala 2.13 - [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] Se corrigió
DatetimeOpspara Spark Connect - [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] Se corrigió
BinaryOpspara Spark Connect - [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] Se corrigió
NullOpspara Spark Connect - [SPARK-43782] [SC-132885][CORE] Compatibilidad con la configuración de nivel de registro con la configuración de Spark estático
- [SPARK-43132] [SC-131623] [SS] [CONNECT] API DataStreamWriter de cliente Python foreach()
- [SPARK-43290] [SC-131961][SQL] Se agregó compatibilidad con AES IV y AAD a ExpressionImplUtils
- [SPARK-43795] [SC-132532][CONNECT] Se eliminaron los parámetros no usados para SparkConnectPlanner
- [SPARK-42317] [SC-129194][SQL] Se asignó un nombre a _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
- [SPARK-43597] [SC-131960][SQL] Se asignó un nombre a la clase de error _LEGACY_ERROR_TEMP_0017
- [SPARK-43834] [SC-132679][SQL] Uso de clases de error en los errores de compilación de
ResolveDefaultColumns - [SPARK-43749] [SC-132423][SPARK-43750][SQL] Se asignaron los nombres a la clase de error _LEGACY_ERROR_TEMP_240[4-5]
- [SPARK-43576] [SC-132533][CORE] Se quitaron las declaraciones sin usar del módulo Core
- [SPARK-43314] [SC-129970][CONNECT][PYTHON] Se migraron los errores del cliente de Spark Connect a la clase de error
- [SPARK-43799] [SC-132715][PYTHON] Se agregó la opción binaria descriptor a la API Protobuf de Pyspark
- [SPARK-43837] [SC-132678][SQL] Se asignó un nombre a la clase de error _LEGACY_ERROR_TEMP_103[1-2]
- [SPARK-43862] [SC-132750][SQL] Asignar un nombre a la clase de error LEGACY_ERROR_TEMP(1254 y 1315)
- [SPARK-43886] [SC-132808][PYTHON] Se acepta la tupla genérica como sugerencias de escritura de UDF de Pandas
- [SPARK-43530] [SC-132653][PROTOBUF] Lectura del archivo descriptor solo una vez
- [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] Se asignaron nombres a la clase de error _LEGACY_ERROR_TEMP_241[1-7]
- [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] Se corrigió
CategoricalOpspara Spark Connect - [SPARK-39979] [SC-132685][SQL] Se agregó la opción para usar vectores de ancho variable grande para las operaciones de UDF de flecha
- [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] Se corrigió
StringOpspara Spark Connect - [SPARK-43353] [SC-132734][PYTHON] Migrar los errores de sesión restantes a la clase de error
- [SPARK-43815] [SC-132781][SQL] Se agregó el alias
to_varcharparato_char - [SPARK-43543] [13.x][SC-131839][PYTHON] Se corrigió el comportamiento de MapType anidado en UDF de Pandas
- [SPARK-43361] [SC-131789][PROTOBUF] se actualizó la documentación de errores relacionados con la serialización de enumeración
- [SPARK-43740] [SC-132035][PYTHON][CONNECT] Se ocultaron los métodos
sessionno compatibles con la finalización automática - [SPARK-43022] [SC-131681][CONNECT] Compatibilidad con funciones protobuf para el cliente de Scala
- [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] Se migró
NotImplementedErroraPySparkNotImplementedError - [SPARK-43860] [SC-132713][SQL] Se habilitó tail-recursion siempre que sea posible
- [SPARK-42421] [SC-132695][CORE] Use las utilidades para obtener el modificador para la asignación dinámica usada en el punto de control local
- [SPARK-43590] [SC-132012][CONNECT] Se agregó compatibilidad de
connect-jvm-client-mima-checkcon la comprobación mima con el móduloprotobuf - [SPARK-43315] [13.x][CONNECT][PYTHON][SS] Se migraron los errores restantes de DataFrame(Reader|Writer) en la clase de error
- [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf: se permite el proceso "serde" con los valores enum como int
- [SPARK-43789] [SC-132397][R] Se usa "spark.sql.execution.arrow.maxRecordsPerBatch" en createDataFrame de R con Arrow de manera predeterminada
- [SPARK-43596] [SC-126994][SQL] Control del predicado IsNull en rewriteDomainJoins
- [SPARK-42249] [SC-122565][SQL] Refinado del vínculo html para obtener documentación en los mensajes de error.
- [SPARK-43128] [SC-131628][CONNECT][SS]
recentProgressylastProgressahora devuelvenStreamingQueryProgressde manera coherente con la API nativa de Scala - [SPARK-43387] [SC-130448][SQL] Proporcione un código de error legible para _LEGACY_ERROR_TEMP_1168.
- [SPARK-43334] [SC-132358] [UI] Se corrigió el error al serializar ExecutorPeakMetricsDistributions en la respuesta de la API
- [SPARK-42958] [SC-131475][CONNECT] Refactorización de
connect-jvm-client-mima-checkpara admitir la comprobación mima con el módulo avro - [SPARK-43591] [SC-131977][SQL] Se asignó un nombre a la clase de error _LEGACY_ERROR_TEMP_0013
- [SPARK-38464] [SC-132211][CORE] Uso de las clases de error en org.apache.spark.io
- [SPARK-43759] [SC-132189][SQL][PYTHON] Se expuso TimestampNTZType en pyspark.sql.types
- [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] Se asignaron nombres a la clase de error _LEGACY_ERROR_TEMP_240[1-3]
- [SPARK-43719] [SC-132016][WEBUI] Control del campo
missing row.excludedInStages - [SPARK-42956] [SC-127257][CONNECT] Compatibilidad con funciones avro para el cliente de Scala
- [SPARK-43487] [SC-131975][SQL] Corrección del mensaje de error CTE anidado
- [SPARK-43265] [SC-129653] Traslado del marco de error a un módulo de utilidades comunes
- [SPARK-40912] [SC-131547][CORE]Sobrecarga de excepciones en KryoDeserializationStream
- [SPARK-43583] [SC-131976][CORE] se obtiene MergedBlockedMetaReqHandler del delegado en lugar de la instancia de SaslRpcHandler
- [SPARK-42996] [SC-131997][CONNECT][PS][ML] Creación y asignación de vales JIRA adecuados para todas las pruebas con errores.
- [SPARK-38469] [SC-131425][CORE] Uso de la clase de error en org.apache.spark.network
- [SPARK-43718] [SC-132014][SQL] Establecimiento correcto de valores NULL para las claves en combinaciones USING
- [SPARK-43502] [SC-131419][PYTHON][CONNECT]
DataFrame.dropdebe aceptar columnas vacías - [SPARK-43743] [SC-132038][SQL] Puerto HIVE-12188(DoAs no funciona correctamente en HS2 protegido sin kerberos)
- [SPARK-43598] [SC-131929][SQL] Asignación de un nombre a la clase de error _LEGACY_ERROR_TEMP_2400
- [SPARK-43138] [SC-131031][CORE] Se corrigió ClassNotFoundException durante la migración
- [SPARK-43360] [SC-131526][SS][CONNECT] Cliente de Scala StreamingQueryManager
- [SPARK-38467] [SC-131025][CORE] Uso de las clases de error en org.apache.memory
- [SPARK-43345] [SC-131790][SPARK-43346][SQL] Se cambió el nombre de las clases de error LEGACY_ERROR_TEMP[0041|1206]
- [SPARK-42815] [SC-126450][SQL] La eliminación de subexpresión admite la expresión de método abreviado de teclado
- [SPARK-38462] [SC-130449][CORE] Se agregó la clase de error INTERNAL_ERROR_EXECUTOR
- [SPARK-43589] [SC-131798][SQL] Se corrigió
cannotBroadcastTableOverMaxTableBytesErrorpara usarbytesToString - [SPARK-43539] [SC-131830][SQL] Se asignó un nombre a la clase de error _LEGACY_ERROR_TEMP_0003
- [SPARK-43157] [SC-131688][SQL] Clonación de plan en caché InMemoryRelation para evitar que el plan clonado haga referencia a los mismos objetos
- [SPARK-43309] [SC-129746][SPARK-38461][CORE] Extender INTERNAL_ERROR con categorías y agregar INTERNAL_ERROR_BROADCAST de clase de error
- [SPARK-43281] [SC-131370][SQL] Se corrigió el sistema de escritura simultáneo porque no actualizaba las métricas de archivo
- [SPARK-43383] [SC-130660][SQL] Se agregaron las estadísticas
rowCounta LocalRelation - [SPARK-43574] [SC-131739][PYTHON][SQL] Compatibilidad para establecer el ejecutable de Python para las API de funciones de Pandas y UDF en los trabajos durante el tiempo de ejecución
- [SPARK-43569] [SC-131694][SQL] Quitar solución alternativa para HADOOP-14067
- [SPARK-43183] [SC-128938][SS][13.x] Se presenta una nueva devolución de llamada "onQueryIdle" a StreamingQueryListener
- [SPARK-43528] [SC-131531][SQL][PYTHON] Compatibilidad con nombres de campo duplicados en createDataFrame con pandas DataFrame
- [SPARK-43548] [SC-131686][SS] Se quitó la solución alternativa para HADOOP-16255
- [SPARK-43494] [SC-131272][CORE] Llamada directa a
replicate()paraHdfsDataOutputStreamBuilderen lugar de reflexión enSparkHadoopUtil#createFile - [SPARK-43471] [SC-131063][CORE] Control de la falta de hadoopProperties y metricsProperties
- [SPARK-42899] [SC-126456][SQL] Se corrigió DataFrame.to(schema) para controlar el caso en el que hay un campo anidado que no acepta valores NULL en un campo que acepta valores NULL
- [SPARK-43302] [SC-129747][SQL] Hacer que UDAF de Python sea AggregateFunction
- [SPARK-43223] [SC-131270][Connect] Agregación con tipo, funciones reduce, RelationalGroupedDataset#as
- [SPARK-43482] [SC-131375][SS] Se expandió QueryTerminatedEvent para contener la clase de error si existe en la excepción
- [SPARK-43359] [SC-131463][SQL] La eliminación de la tabla de Hive debe producir "UNSUPPORTED_FEATURE.TABLE_OPERATION"
- [SPARK-43284] [SC-130313] Se ha vuelto a cadenas con codificación URL
- [SPARK-43492] [SC-131227][SQL] Se agregaron alias de función 3 argumentos
DATE_ADDyDATE_DIFF - [SPARK-43473] [SC-131372][PYTHON] Compatibilidad con el tipo de estructura en createDataFrame desde pandas DataFrame
- [SPARK-43386] [SC-131110][SQL] Se mejoró la lista de columnas o atributos sugeridos en la clase de error
UNRESOLVED_COLUMN.WITH_SUGGESTION - [SPARK-43443] [SC-131332][SQL] Se agregaron pruebas comparativas para la inferencia de tipos de marca de tiempo cuando se usa un valor no válido
- [SPARK-43518] [SC-131420][SQL] Se convirtió
_LEGACY_ERROR_TEMP_2029en INTERNAL_ERROR - [SPARK-42604] [SC-130648][CONNECT] Se implementó functions.typedlit
- [SPARK-42323] [ES-669513] Se revirtió "[SC-123479][SQL] Se le asignó un nombre a
_LEGACY_ERROR_TEMP_2332" - [SPARK-43357] [SC-130649][SQL] Filtro, tipo de datos, fecha de oferta
- [SPARK-43410] [SC-130526][SQL] Se mejoró el bucle vectorizado para skipValues empaquetados
- [SPARK-43441] [SC-130995][CORE]
makeDotNodeno debe producir un error cuando DeterministicLevel no está presente - [SPARK-43324] [SC-130455][SQL] Control de comandos UPDATE para orígenes basados en delta
- [SPARK-43272] [SC-131168][CORE] Llamada directa a
createFileen lugar de reflexión - [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] Migración de errores de sesión de Spark Connect a la clase de error
- [SPARK-43405] [SC-130987][CORE] Quitar método inútil
getRowFormatSQL,inputRowFormatSQL,outputRowFormatSQL - [SPARK-43447] [SC-131017][R] Compatibilidad con R 4.3.0
- [SPARK-43425] [SC-130981][SQL] Se agregó
TimestampNTZTypeaColumnarBatchRow - [SPARK-41532] [SC-130523][CONNECT][CLIENT] Agregar comprobación de las operaciones que implican varias tramas de datos
- [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] Migración de errores de flujo estructurado de Spark Connect a la clase de error
- [SPARK-42992] [13.x][SC-129465][PYTHON] Introducción de PySparkRuntimeError
- [SPARK-43422] [SC-130982][SQL] Se mantienen las etiquetas en LogicalRelation con salida de metadatos
- [SPARK-43390] [SC-130646][SQL] DSv2 permite que CTAS/RTAS reserve la nulabilidad del esquema
- [SPARK-43430] [SC-130989][CONNECT][PROTO] ExecutePlanRequest admite opciones de solicitud arbitrarias.
- [SPARK-43313] [SC-130254][SQL] Se agregaron los valores PREDETERMINADOS de columna que faltan para las acciones MERGE INSERT
- [SPARK-42842] [SC-130438][SQL] Se combinó la clase de error _LEGACY_ERROR_TEMP_2006 en REGEX_GROUP_INDEX
- [SPARK-43377] [SC-130405][SQL] Se habilitó
spark.sql.thriftServer.interruptOnCancelde forma predeterminada - [SPARK-43292] [SC-130525][CORE][CONNECT] Mover
ExecutorClassLoaderalcoremódulo y simplificarExecutor#addReplClassLoaderIfNeeded - [SPARK-43040] [SC-130310][SQL] Se mejoró la compatibilidad del tipo TimestampNTZ en el origen de datos JDBC
- [SPARK-43343] [SC-130629][SS] FileStreamSource debe deshabilitar una comprobación global de archivo adicional al crear DataSource
- [SPARK-43312] [SC-130294][PROTOBUF] Opción para convertir los campos Any en JSON
- [SPARK-43404] [SC-130586][SS] Se omitió la reutilización del archivo sst para la misma versión del almacén de estado de RocksDB para evitar errores de coincidencia de id.
- [SPARK-43397] [SC-130614][CORE] Duración de retirada del ejecutor de registros en el método
executorLost - [SPARK-42388] [SC-128568][SQL] Se evitaron lecturas de pie de página de parquet dos veces en el lector vectorizado
- [SPARK-43306] [13.x][SC-130320][PYTHON] Se migró ValueError de los tipos SQL de Spark a una clase de error
- [SPARK-43337] [SC-130353][UI][3.4] Los iconos de flecha asc/desc para la columna de ordenación no se muestran en la columna de tabla
- [SPARK-43279] [SC-130351][CORE] Se limpiaron los miembros sin usar de
SparkHadoopUtil - [SPARK-43250] [SC-130147][SQL] Se reemplazó la clase de error
_LEGACY_ERROR_TEMP_2014por un error interno - [SPARK-43363] [SC-130299][SQL][PYTHON] Se realiza una llamada a
astypepara el tipo de categoría solo cuando no se proporciona el tipo de Arrow - [SPARK-43261] [SC-130154][PYTHON] Se migró
TypeErrorde tipos SQL de Spark a una clase de error - [SPARK-41971] [SC-130230][SQL][PYTHON] Se agregó una configuración para la conversión de Pandas con el fin de controlar los tipos de estructura
- [SPARK-43381] [SC-130464][CONNECT] El proceso 'transformStatCov' ahora es diferido
- [SPARK-43362] [SC-130481][SQL] Control especial del tipo JSON para el conector MySQL
- [SPARK-42843] [SC-130196][SQL] Se actualizó la clase de error _LEGACY_ERROR_TEMP_2007 a REGEX_GROUP_INDEX
- [SPARK-42585] [SC-129968][CONNECT] Streaming de relaciones locales
- [SPARK-43181] [SC-130476][SQL] Se mostró WebURL de interfaz de usuario en el shell
spark-sql - [SPARK-43051] [SC-130194][CONNECT] Se agregó la opción para emitir valores predeterminados
- [SPARK-43204] [SC-129296][SQL] Se alinearon las asignaciones MERGE con atributos de tabla
- [SPARK-43348] [SC-130082][PYTHON] Compatibilidad de
Python 3.8con PyPy3 - [SPARK-42845] [SC-130078][SQL] Se actualizó la clase de error _LEGACY_ERROR_TEMP_2010 a InternalError
- [SPARK-43211] [SC-128978][HIVE] Eliminación de la compatibilidad de Hadoop2 en IsolatedClientLoader
Entorno del sistema
- Sistema operativo: Ubuntu 22.04.2 LTS
- Java: Zulu 8.70.0.23-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.2.2
- Delta Lake: 2.4.0
Bibliotecas de Python instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.2.1 | attrs | 21.4.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
| certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | click | 8.0.4 | criptografía | 37.0.1 |
| cycler | 0.11.0 | Cython | 0.29.32 | databricks-sdk | 0.1.6 |
| dbus-python | 1.2.18 | debugpy | 1.5.1 | decorator | 5.1.1 |
| defusedxml | 0.7.1 | distlib | 0.3.6 | docstring-to-markdown | 0,12 |
| entrypoints | 0,4 | executing | 1.2.0 | facets-overview | 1.0.3 |
| fastjsonschema | 2.16.3 | filelock | 3.12.0 | fonttools | 4.25.0 |
| googleapis-common-protos | 1.56.4 | grpcio | 1.48.1 | grpcio-status | 1.48.1 |
| httplib2 | 0.20.2 | idna | 3.3 | importlib-metadata | 4.6.4 |
| ipykernel | 6.17.1 | ipython | 8.10.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.16.0 | jupyter-client | 7.3.4 | jupyter_core | 4.11.2 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 |
| kiwisolver | 1.4.2 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | MarkupSafe | 2.0.1 | matplotlib | 3.5.2 |
| matplotlib-inline | 0.1.6 | mccabe | 0.7.0 | mistune | 0.8.4 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nbclient | 0.5.13 |
| nbconvert | 6.4.4 | nbformat | 5.5.0 | nest-asyncio | 1.5.5 |
| nodeenv | 1.8.0 | notebook | 6.4.12 | numpy | 1.21.5 |
| oauthlib | 3.2.0 | empaquetado | 21,3 | pandas | 1.4.4 |
| pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.9.0 |
| patsy | 0.5.2 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.2.0 | pip | 22.2.2 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 3.19.4 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pycparser | 2.21 | pydantic | 1.10.6 |
| pyflakes | 3.0.1 | Pygments | 2.11.2 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | pyrsistent | 0.18.0 | Python-dateutil | 2.8.2 |
| python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 |
| pytz | 2022.1 | pyzmq | 23.2.0 | requests | 2.28.1 |
| rope | 1.7.0 | s3transfer | 0.6.0 | scikit-learn | 1.1.1 |
| scipy | 1.9.1 | seaborn | 0.11.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 63.4.1 | six (seis) | 1.16.0 |
| soupsieve | 2.3.1 | ssh-import-id | 5.11 | stack-data | 0.6.2 |
| statsmodels | 0.13.2 | tenacity | 8.1.0 | terminado | 0.13.1 |
| testpath | 0.6.0 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| tomli | 2.0.1 | tornado | 6.1 | traitlets | 5.1.1 |
| typing_extensions | 4.3.0 | ujson | 5.4.0 | unattended-upgrades | 0,1 |
| urllib3 | 1.26.11 | virtualenv | 20.16.3 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.2 |
| wheel | 0.37.1 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
| zipp | 1.0.0 |
Bibliotecas de R instaladas
Las bibliotecas de R se instalan con la instantánea de Microsoft CRAN desde el 02-10-2023.
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| arrow | 10.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.3 |
| boot | 1.3-28 | brew | 1,0 - 8 | brio | 1.1.3 |
| broom | 1.0.3 | bslib | 0.4.2 | cachem | 1.0.6 |
| callr | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-59 | clase | 7.3-21 | cli | 3.6.0 |
| clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | credentials | 1.3.2 | curl | 5.0.0 |
| data.table | 1.14.6 | conjuntos de datos | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.3.0 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.31 | downlit | 0.4.2 |
| dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
| ellipsis | 0.3.2 | evaluate | 0,20 | fansi | 1.0.4 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.5.0 |
| forcats | 1.0.0 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.6.1 | future | 1.31.0 |
| future.apply | 1.10.0 | gargle | 1.3.0 | generics | 0.1.3 |
| gert | 1.9.2 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-6 | globals | 0.16.2 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.1 | elementos gráficos | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0,10 | hms | 1.1.2 | htmltools | 0.5.4 |
| htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.4 | KernSmooth | 2.23-20 | knitr | 1.42 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| lava | 1.7.1 | ciclo de vida | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.1 | magrittr | 2.0.3 | markdown | 1.5 |
| MASS | 7.3-58.2 | Matriz | 1.5-1 | memoise | 2.0.1 |
| methods | 4.2.2 | mgcv | 1.8-41 | mime | 0,12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.10 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.5 | parallel | 4.2.2 |
| parallelly | 1.34.0 | pillar | 1.8.1 | pkgbuild | 1.4.0 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | progreso | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.2 | recipes | 1.0.4 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2,20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.20 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.5 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
| SparkR | 3.4.0 | spatial | 7.3-15 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.6 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0,44 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.3 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.2 |
| viridisLite | 0.4.1 | vroom | 1.6.1 | waldo | 0.4.0 |
| whisker | 0.4.1 | withr | 2.5.0 | xfun | 0,37 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.2.2 |
Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)
| Identificador de grupo | Identificador de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | flujo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.14.2 |
| com.fasterxml.jackson.core | jackson-core | 2.14.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.2-5 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.9 |
| com.google.crypto.tink | tink | 1.7.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.1.214 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,21 |
| io.delta | delta-sharing-spark_2.12 | 0.7.0 |
| io.dropwizard.metrics | metrics-core | 4.2.10 |
| io.dropwizard.metrics | metrics-graphite | 4.2.10 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.10 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
| io.dropwizard.metrics | metrics-jmx | 4.2.10 |
| io.dropwizard.metrics | metrics-json | 4.2.10 |
| io.dropwizard.metrics | metrics-jvm | 4.2.10 |
| io.dropwizard.metrics | metrics-servlets | 4.2.10 |
| io.netty | netty-all | 4.1.87.Final |
| io.netty | netty-buffer | 4.1.87.Final |
| io.netty | netty-codec | 4.1.87.Final |
| io.netty | netty-codec-http | 4.1.87.Final |
| io.netty | netty-codec-http2 | 4.1.87.Final |
| io.netty | netty-codec-socks | 4.1.87.Final |
| io.netty | netty-common | 4.1.87.Final |
| io.netty | netty-handler | 4.1.87.Final |
| io.netty | netty-handler-proxy | 4.1.87.Final |
| io.netty | netty-resolver | 4.1.87.Final |
| io.netty | netty-transport | 4.1.87.Final |
| io.netty | netty-transport-classes-epoll | 4.1.87.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.87.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recopilador | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.29 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 11.0.0 |
| org.apache.arrow | arrow-memory-core | 11.0.0 |
| org.apache.arrow | arrow-memory-netty | 11.0.0 |
| org.apache.arrow | arrow-vector | 11.0.0 |
| org.apache.avro | avro | 1.11.1 |
| org.apache.avro | avro-ipc | 1.11.1 |
| org.apache.avro | avro-mapred | 1.11.1 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
| org.apache.logging.log4j | log4j-api | 2.19.0 |
| org.apache.logging.log4j | log4j-core | 2.19.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.8.3-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.8.3-shaded-protobuf |
| org.apache.orc | orc-shims | 1.8.3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4,22 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.19.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-continuation | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-http | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-io | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-jndi | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-plus | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-proxy | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-security | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-server | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlet | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlets | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-webapp | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-xml | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.50.v20221201 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,36 |
| org.glassfish.jersey.core | jersey-client | 2,36 |
| org.glassfish.jersey.core | jersey-common | 2,36 |
| org.glassfish.jersey.core | jersey-server | 2,36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,36 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.8 |
| org.roaringbitmap | RoaringBitmap | 0.9.39 |
| org.roaringbitmap | shims | 0.9.39 |
| org.rocksdb | rocksdbjni | 7.8.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.6 |
| org.slf4j | jul-to-slf4j | 2.0.6 |
| org.slf4j | slf4j-api | 2.0.6 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.33 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |