Nota
L'accés a aquesta pàgina requereix autorització. Pots provar d'iniciar sessió o canviar de directori.
L'accés a aquesta pàgina requereix autorització. Pots provar de canviar directoris.
Nota:
El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.
En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 14.2, con tecnología de Apache Spark 3.5.0.
Databricks publicó esta versión en noviembre de 2023.
Nuevas características y mejoras
-
CACHE SELECTahora se omite - Comportamiento de almacenamiento en caché mejorado
- Se ha corregido el control de archivos dañados en los comandos DML
- Registro de esquema auxiliar para las funciones relacionadas con protobuf y Avro en clústeres compartidos
-
Compatibilidad con
foreachBatchyStreamingListener - Simultaneidad de nivel de fila disponible con carácter general y activada de forma predeterminada
- Delta Sharing: los destinatarios pueden realizar consultas por lotes, de CDF y de streaming en tablas compartidas con vectores de eliminación (versión preliminar pública)
- Clonación superficial para tablas externas del Unity Catalog (versión preliminar pública)
- Nuevo algoritmo de asignación de almacenamiento en caché de disco
-
from_avrocon el conector del Registro de esquemas agrega compatibilidad con la evolución del esquema - Recopilación de estadísticas multiproceso más rápida
- Filtros de inserción en DeltaSource en archivos Delta
- Compatibilidad con funciones escalares de Scala definidas por el usuario en clústeres compartidos (versión preliminar pública)
CACHE SELECT ahora se omite
El comando SQL CACHE SELECT ahora se omite en favor de un algoritmo de almacenamiento en caché mejorado. Consulte Optimización del rendimiento con el almacenamiento en caché en Azure Databricks.
Comportamiento mejorado del almacenamiento en caché
La colocación de DiskCache por parte del programador de Spark ahora tiene una asignación de partición más rápida, un mejor equilibrio durante el escalado automático del clúster y la ejecución de consultas más coherente.
Se ha corregido el control de archivos dañados en los comandos DML
Los comandos DML DELETE, UPDATE y MERGE INTO ya no respetan las opciones de lecturaignoreCorruptFiles y ignoreMissingFiles. Al encontrar un archivo ilegible en una tabla, estos comandos ahora producirán un error incluso si se especifican estas opciones.
Registro de esquema auxiliar para las funciones relacionadas con protobuf y Avro en clústeres compartidos
Ahora puede usar las funciones from_avro, to_avro, from_protobuf y to_protobuf de Python con el Registro de esquema en clústeres compartidos.
Compatibilidad con foreachBatch y StreamingListener
Ahora puede usar las API foreachBatch() y StreamingListener con Structured Streaming en clústeres compartidos. Vea Uso de foreachBatch para escribir en receptores de datos arbitrarios y Supervisión de consultas de Structured Streaming en Azure Databricks.
Simultaneidad de nivel de fila disponible con carácter general y activada de forma predeterminada
La simultaneidad de nivel de fila reduce los conflictos entre operaciones de escritura simultáneas mediante la detección de cambios en el nivel de fila. La simultaneidad de nivel de fila solo se admite en tablas sin particiones, lo que incluye las tablas con clústeres líquidos. La simultaneidad de nivel de fila está habilitada de manera predeterminada en tablas Delta con vectores de eliminación habilitados. Vea Conflictos de escritura con simultaneidad de nivel de fila.
Delta Sharing: los destinatarios pueden realizar consultas por lotes, CDF y streaming en tablas compartidas con vectores de eliminación (versión preliminar pública)
Los destinatarios de Delta Sharing ahora pueden realizar consultas por lotes, de CDF y de streaming en tablas compartidas que usan vectores de eliminación. En Databricks Runtime 14.1, solo pueden realizar consultas por lotes. Consulte Agregar tablas con vectores de eliminación o asignación de columnas a un recurso compartido, Tablas de lectura con vectores de eliminación o asignación de columnas habilitadasy Lectura de tablas con vectores de eliminación o asignación de columna habilitadas.
Clonación superficial para tablas externas de Unity Catalog (versión preliminar pública)
Ahora puede usar la clonación superficial con tablas externas de Unity Catalog. Consulte Clonación superficial para tablas de Unity Catalog.
Nuevo algoritmo de asignación de almacenamiento en caché de disco
El programador de Spark ahora usa un nuevo algoritmo de almacenamiento en caché de disco. El algoritmo mejora el uso del disco y la asignación de particiones entre nodos, con una asignación más rápida inicial y después de los eventos de escalado de clústeres. La asignación de caché stickier mejora la coherencia entre ejecuciones y reduce los datos movidos durante las operaciones de reequilibrio.
from_avro con el conector del Registro de esquemas agrega compatibilidad con la evolución del esquema
Ahora puede habilitar las canalizaciones para reiniciarse cuando se detectan registros evolucionados. Anteriormente, si la evolución del esquema se produjo con el from_avro conector, las nuevas columnas devolverían null. Consulte Lectura y escritura de datos de Avro en streaming.
Recopilación de estadísticas multiproceso más rápida
La recopilación de estadísticas es hasta 10 veces más rápida en clústeres pequeños al ejecutar CONVERT TO DELTA o clonar desde tablas Apache Iceberg y Parquet. Consulte: Convertir a Delta Lake y Clonar tablas Parquet e Iceberg.
Filtros de inserción en DeltaSource en archivos Delta
Para mejorar el uso, los filtros de partición en las consultas de streaming de tablas Delta ahora se insertan en Delta antes de la limitación de la tasa.
Compatibilidad con funciones escalares de Scala definidas por el usuario en clústeres compartidos (versión preliminar pública)
Ahora puede usar funciones escalares de Scala definidas por el usuario en clústeres habilitados para Unity Catalog configurados con el modo de acceso compartido. Consulte Funciones escalares definidas por el usuario - Scala.
Actualizaciones de bibliotecas
- Bibliotecas de Python actualizadas:
- fastjsonschema de 2.18.0 a 2.19.0
- filelock de 3.12.3 a 3.12.4
- googleapis-common-protos de 1.60.0 a 1.61.0
- Bibliotecas de R actualizadas:
- Bibliotecas de Java actualizadas:
Apache Spark
Databricks Runtime 14.2 incluye Apache Spark 3.5.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 14.1 (EoS), así como las siguientes correcciones de errores adicionales y mejoras realizadas en Spark:
- [SPARK-45592] [DBRRM-624] Revertir “[SC-146977][sql] Problema de precisión en AQE con InMemoryTableScanExec”
- [SPARK-45524] [DBRRM-625] Revertir "[SC-146319][python][SQL] Soporte inicial para..."
- [SPARK-45433] [DBRRM-621] Revertir "[SC-145163][sql] Corregir la inferencia de esquemas de CSV/JSON...
- [SPARK-45592] [SC-146977][sql] Problema de corrección en AQE con InMemoryTableScanExec
- [SPARK-45354] Revertir "[SC-143991][sql] Resolver funciones de abajo hacia arriba"
- [SPARK-45680] [TEST-ONLY][sasp-2347][CONNECT] Corrección de pruebas
- [SPARK-45680] [CONNECT] Sesión de versión
- [SPARK-43380][SC-146726][es-897115][SQL] Corregir la ralentización en la lectura de Avro
-
[SPARK-45649] [SC-146742][sql] Unifique el marco de preparación para
OffsetWindowFunctionFrame - [SPARK-40820] [SC-146727][python][SQL] Creando StructType desde JSON
- [SPARK-45620] [SC-146225][python] Corrección de las API orientadas al usuario relacionadas con el UDTF de Python para usar camelCase
- [SPARK-45727] [ SC-146978][ss] Quitar un mapa sin usar en la simulación de propagación de marcas de agua
- [SPARK-45723] [SC-146890][python][CONNECT] Métodos de catálogo evitan la conversión de Pandas
- [SPARK-45574] [SC-146106][sql] Agregar :: sintaxis como abreviatura para la conversión
-
[SPARK-45670] [ SC-146725][core][3.5] SparkSubmit no admite
--total-executor-coresla implementación en K8s - [SPARK-45661] [SC-146594][sql][PYTHON] Agregar toNullable en StructType, MapType y ArrayType
- [SPARK-45524] [SC-146319][python][SQL] Compatibilidad inicial con la API de lectura del origen de datos de Python
-
[SPARK-45542] [ SC-145892][core] Reemplazar
setSafeMode(HdfsConstants.SafeModeAction, boolean)porsetSafeMode(SafeModeAction, boolean) - [SPARK-45652] [SC-146641][sql] SPJ: Control de particiones de entrada vacías después del filtrado dinámico
- [SPARK-45454] [SC-144846][sql] Establezca el propietario predeterminado de la tabla en current_user
-
[SPARK-45554] [SC-146875][python] Introducción de un parámetro flexible a
assertSchemaEqual - [SPARK-45242] [SC-143410][sql] Usar el ID de DataFrame para validar semánticamente CollectMetrics
- [SPARK-45674] [ SC-146862][connect][PYTHON] Mejorar el mensaje de error para los atributos dependientes de JVM en Spark Connect.
- [SPARK-45646] [SC-146276][sql] Quitar variables de tiempo codificadas rígidamente anteriores a Hive 2.0.
- [SPARK-43380][SC-146726][es-897115][SQL] Corregir la ralentización en la lectura de Avro
- [SPARK-45545] [SC-146484][core] Pasar SSLOptions en todos los lugares donde se crea un SparkTransportConf.
- [SPARK-45641] [SC-146260][ui] Mostrar la hora de inicio de la aplicación en AllJobsPage
- [SPARK-40154] [SC-146491][python][Docs] Nivel de almacenamiento correcto en Dataframe.cache docstring
- [SPARK-45626] [SC-146259][sql] Convertir _LEGACY_ERROR_TEMP_1055 en REQUIRES_SINGLE_PART_NAMESPACE
- [SPARK-45507] [ SC-145900][sql] Corrección de corrección para subconsultas escalares correlacionadas anidadas con agregados COUNT
- [SPARK-45619] [SC-146226][connect][PYTHON] Aplicar las métricas observadas al objeto De observación
- [SPARK-45588] [SC-145909][protobuf][CONNECT][minor] Mejora de Scaladoc para StreamingForeachBatchHelper
- [SPARK-45616] [ SC-146120][core] Evite ParVector, que no propaga ThreadLocals ni SparkSession
- [SPARK-45604] [SC-146105][sql] Añadir comprobación de LogicalType en INT64 -> conversión de DateTime en el lector vectorial de Parquet
- [SPARK-44649] [SC-145891][sql] Runtime Filter admite la transmisión de expresiones equivalentes del lado de creación.
- [SPARK-41674] [ SC-128408][sql] El filtro en tiempo de ejecución debe admitir combinación aleatoria de varios niveles como lado de creación de filtros.
- [SPARK-45547] [SC-146228][ml] Validar vectores con función integrada
- [SPARK-45558] [ SC-145890][ss] Introducir un archivo de metadatos para el operador con estado de streaming
- [SPARK-45618] [SC-146252][core] Remove BaseErrorHandler
- [SPARK-45638] [ SC-146251][sql][Avro] Mejorar la cobertura de pruebas de conversión decimal
- [SPARK-44837] [SC-146020][sql] Cambio en el mensaje de error de ALTER ALTER TABLE columna
- [SPARK-45561] [SC-146264][sql] Agregar conversiones adecuadas para TINYINT en MySQLDialect
- [SPARK-45632] [ SC-146255][sql] La caché de tablas debe evitar ColumnarToRow innecesaria al habilitar AQE
- [SPARK-45569] [SC-145932][sql] Asignar nombre al error _LEGACY_ERROR_TEMP_2152
- [SPARK-44784] [SC-141015][connect] Hacer que las pruebas SBT sean herméticas.
-
[SPARK-45452] [SC-144836][sql] Mejorar
InMemoryFileIndexpara usarFileSystem.listFilesAPI - [SPARK-44735] [ SC-146186][sql] Agregar mensaje de advertencia al insertar columnas con el mismo nombre por fila que no coinciden
-
[SPARK-45351] [SC-144791][core] Cambiar
spark.shuffle.service.db.backendel valor predeterminado a ROCKSDB -
[SPARK-45553] [SC-145906][ps] Ser declarado obsoleto
assertPandasOnSparkEqual - [SPARK-45613] [SC-146022][core] Exponer DeterministicLevel como DeveloperApi
-
[SPARK-45549] [ SC-145895][core] Eliminar elementos no utilizados en
numExistingExecutorsyCoarseGrainedSchedulerBackend - [SPARK-45609] [SC-146030][connect] Incluir SqlState en el mensaje proto SparkThrowable
- [SPARK-45595] [SC-146037] Exposición de sqlstate en el mensaje de error
-
[SPARK-45628] [ SC-146123][ml] Mejorar
vector_to_arraypara.mllib.linalg.SparseVector - [SPARK-45009] [SC-145884][sql][FOLLOW UP] Desactivar la descorrelación en condiciones de unión para la prueba AQE InSubquery
- [SPARK-45576] [SC-145883][core] Eliminar registros de depuración innecesarios en ReloadingX509TrustManagerSuite
- [SPARK-45485] [ SC-145719][connect] Mejoras en el agente de usuario: Use SPARK_CONNECT_USER_AGENT variable env e incluya atributos específicos del entorno
- [SPARK-45508] [SC-145513][core] Agregar "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" para que la plataforma pueda acceder a Cleaner en Java 9+
- [SPARK-45595] Reversión de "[SC-146037] Exposición de SQLSTATE en el mensaje de error"
- [SPARK-45595] [SC-146037] Exposición de SQLSTATE en el mensaje de error
- [SPARK-45112] Revertir “[SC-143259][sql] Uso de la función no resuelta ba...
-
[SPARK-45257] [SC-143411][core] Habilitar
spark.eventLog.compressde forma predeterminada - [SPARK-45586] [SC-145899][sql] Reducir la latencia del compilador para planes con árboles de expresión grandes
- [SPARK-45517] [SC-145691][connect][14.x] Expanda más constructores de excepciones para admitir parámetros del marco de error
- [SPARK-45581] [SC-145896] Obligatoriedad de SQLSTATE.
- [SPARK-45427] [SC-145590][core] Agregar la configuración SSL de RPC a SSLOptions y SparkTransportConf
-
[SPARK-45261] [SC-143357][core] Corrección
EventLogFileWriterspara controlarnonecomo un códec - [SPARK-45582] [SC-145897][ss] Asegúrese de que la instancia de almacenamiento no se usa después de llamar al commit en la agregación de streaming en modo de salida.
- [SPARK-45562] [SC-145720][sc-144650][SQL] XML: Convertir 'rowTag' en una opción necesaria
-
[SPARK-45392] [ SC-144362][core][SQL][ss] Reemplazar
Class.newInstance()porClass.getDeclaredConstructor().newInstance() - [SPARK-45433] [SC-145163][sql] Corregir la inferencia de esquema CSV/JSON cuando las marcas de tiempo no coinciden con la marca de tiempo especificadaFormat
- [SPARK-45458] [SC-145011][sql] Convertir IllegalArgumentException a SparkIllegalArgumentException en expresiones de bits
- [SPARK-45564] [SC-145735][sql] Simplifique "DataFrameStatFunctions.bloomFilter" con la expresión "BloomFilterAggregate".
- [SPARK-45566] [SC-145777][ps] Compatibilidad con utilidades de pruebas similares a Pandas para la API de Pandas en Spark
- [SPARK-45498] [ SC-145509][core] Seguimiento: Omitir la finalización de tareas de la fase anterior a...
- [SPARK-45483] [SC-145152][connect] Corrija los grupos de funciones en connect.functions.
- [SPARK-45577] [SC-145781][python] Corregir UserDefinedPythonTableFunctionAnalyzeRunner para pasar valores plegados de argumentos con nombre
- [SPARK-45009] [SC-138223][seguimiento] Desactivar la descorrelación en las condiciones de unión para AetherSQLQuerySuite
- [SPARK-45415] [SC-145344] Permitir la deshabilitación selectiva de "fallocate" en el almacén de estados de RocksDB
- [SPARK-45500] [SC-145134][core][WEBUI] Mostrar el número de controladores con finalización anómala en la página MasterPage.
- [SPARK-44120] [SC-144349][python] Compatibilidad con Python 3.12
- [SPARK-45439] [SC-145589][sql][UI] Reducir el uso de memoria de LiveStageMetrics.accumIdsToMetricType
- [SPARK-45565] [SC-145717][ui] Json.stringify innecesario y bucle JSON.parse para la lista de tareas en detalle de la fase
- [SPARK-45567] [SC-145718][connect] Eliminar el 'if' redundante en org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
- [SPARK-45112] [SC-143259][SQL] Uso de la resolución basada en UnresolvedFunction en funciones de conjunto de datos de SQL
- [SPARK-45486] [SASP-2457][sc-145612][CONNECT] Hacer que la solicitud add_artifact sea idempotente
- [SPARK-44913] [ SC-144326][sql] DS V2 admite la inserción de UDF V2 que tiene método magic.
- [SPARK-45538] [SC-145635][python][CONNECT] fallo de conexión en pyspark al sobrescribir particiones
- [SPARK-45491] [SC-145622] Adición de instancias de SQLSTATES 2/2 que faltan
- [SPARK-45009] [SC-145620][sc-138223][SQL] Decorrelacionar las subconsultas de predicado en la condición de unión
- [SPARK-45377] [SC-144377][core] Manejar InputStream en NettyLogger
- [SPARK-45248] [SC-143759][core]Establecer el tiempo de espera para el servidor de interfaz de usuario de Spark
- [SPARK-44594] [ SC-145611][ss] Quitar el parámetro de método redundante en el conector kafka
- [SPARK-45539] [ SC-145621][ss] Agregar aserción y registro para indicar que la definición de marca de agua es necesaria para las consultas de agregación de streaming en modo de anexión
-
[SPARK-44262] [SC-145639][sql] Agregar
dropTableygetInsertStatementa JdbcDialect - [SPARK-45516] [SC-145480][connect] Incluir QueryContext en el mensaje proto de SparkThrowable
- [SPARK-45310] [ SC-145127][core] El estado del bloque aleatorio de informe debe respetar el servicio aleatorio durante la migración de retirada.
-
[SPARK-45521] [SC-145487][ml] Evite volver a calcular nnz en
VectorAssembler - [SPARK-45418] [SC-145485][sql][PYTHON][connect] Cambió el alias de columna de current_database() a current_schema()
-
[SPARK-45116] [SC-145142][sql] Añadir algún comentario para el parámetro de JdbcDialect
createTable - [SPARK-45495][SC-145529][core] Compatibilidad con el perfil de recursos de tarea en el nivel de fase para un clúster k8s cuando la asignación dinámica está deshabilitada
- [SPARK-45487] [SC-145559] Corrección de errores de SQLSTATE y temporales
- [SPARK-45505] [ SC-145550][python] Refactorizar analyzeInPython para que sea reutilizable
- [SPARK-45132] [SC-145425][sql] Corrección IDENTIFIER para la invocación de funciones
- [SPARK-45213] [SC-145020][sql] Asignar nombre al error _LEGACY_ERROR_TEMP_2151
- [SPARK-45416] [ SC-145126][connect] Verificación de coherencia de los resultados de Arrow
- [SPARK-45163] [ SC-143386][sql] Combinar UNSUPPORTED_VIEW_OPERATION y UNSUPPORTED_TABLE_OPERATION y corregir algún problema
- [SPARK-45421] [SC-144814][sql] Catch AnalysisException sobre InlineCTE
-
[SPARK-43664] [SC-145404][connect][PS] Generar excepción para
ps.sqlcon el objeto Pandas-on-Spark en Spark Connect. - [SPARK-45402] [SC-145371][sql][PYTHON] Agregar la API UDTF para los métodos "eval" y "terminate" para consumir el resultado "analyze" anterior
- [SPARK-36112] [SC-67885] [SQL] Compatibilidad con subconsultas EXISTS e IN correlacionadas mediante el marco DecorrelateInnerQuery
- [SPARK-45383] [SC-144929][sql] Corrección del mensaje de error para el viaje de tiempo con tabla no existente
- [SPARK-43254] [SC-143318][sql] Asignar un nombre al error _LEGACY_ERROR_TEMP_2018
- [SPARK-45204] [SC-145167][connect] Agregar ExecuteHolder opcional a SparkConnectPlanner
- [SPARK-45451] [ SC-145144][sql] Hacer que el nivel de almacenamiento predeterminado de la caché del conjunto de datos sea configurable
- [SPARK-45192] [SC-143194][ui] Corrección del parámetro lineInterpolate vencido para graphviz edge
-
[SPARK-45467] [ SC-145146][core] Reemplazar
Proxy.getProxyClass()porProxy.newProxyInstance().getClass - [SPARK-45397] [ SC-145139][ml][CONNECT] Agregar transformador de características de ensamblador de matriz
- [SPARK-44855] [SC-145226][connect] Pequeñas modificaciones al adjuntar ExecuteGrpcResponseSender a ExecuteResponseObserver
-
[SPARK-45398] [SC-144796][sql] Anexar
ESCAPEensql()laLikeexpresión - [SPARK-45494] [ SC-145129][core][PYTHON] Introducción de funciones de utilidad para leer y escribir una matriz de bytes para PythonWorkerUtils
- [SPARK-45464] [SC-145125][core] Corrección de la compilación de distribución network-yarn
- [SPARK-45461] [SC-144851][core][SQL][mllib] Presentar un mapeador para el nivel de almacenamiento
- [SPARK-45450] [SC-145009][python] Corregir las importaciones según PEP8: pyspark.pandas y pyspark (núcleo)
- [SPARK-45475] [SC-145018][sql] Usa DataFrame.foreachPartition en lugar de RDD.foreachPartition en JdbcUtils
- [SPARK-45271] [ SC-143778][sql] Combinar _LEGACY_ERROR_TEMP_1113 en TABLE_OPERATION y eliminar algún método sin usar en QueryCompilationErrors
- [SPARK-45449] [ SC-145013][sql] Problema de invalidación de caché con la tabla JDBC
- [SPARK-45473] [SC-145017][sql] Corrección de un mensaje de error incorrecto para RoundBase
- [SPARK-43299] [SC-145022][ss][CONNECT] Convertir StreamingQueryException en el cliente Scala
- [SPARK-45474] [ SC-145014][core][WEBUI] Compatibilidad con el filtrado de nivel superior en masterPage JSON API
- [SPARK-45205] [ SC-145012][sql] CommandResultExec para invalidar métodos de iterador para evitar desencadenar varios trabajos.
- [SPARK-45472] [ SC-145004][ss] El almacén de estado de RocksDB no necesita volver a comprobar la existencia de la ruta de acceso del punto de control.
- [SPARK-45470] [SC-145010][sql] Evitar incluir el valor en cadena del tipo de compresión de Hive ORC
- [SPARK-45448] [ SC-144829][python] Corregir importaciones según PEP8: pyspark.testing, pyspark.mllib, pyspark.resource y pyspark.streaming
- [SPARK-45446] [SC-144828][python] Corregir importaciones según PEP8: pyspark.errors y pyspark.ml
- [SPARK-45239] [SC-144832][connect] Reducir el valor predeterminado de spark.connect.jvmStacktrace.maxSize
- [SPARK-45436] [SC-144831][python][CONNECT] Los métodos DataFrame comprueban la misma sesión
- [SPARK-45413] [SC-144847][core] Agregar advertencia para preparar la eliminación de la compatibilidad con LevelDB
-
[SPARK-45462] [ SC-144848][core][WEBUI] Mostrar
DurationenApplicationPage - [SPARK-44527] [SC-144855][sql] Reemplace ScalarSubquery por null si su maxRows es 0
-
[SPARK-45401] [SC-144854][python] Agregar un nuevo método
cleanupen la interfaz UDTF -
[SPARK-43704] [SC-144849][connect][PS] Compatibilidad con
MultiIndexto_series() - [SPARK-45424] [SC-144888][sql] Corregir TimestampFormatter para devolver resultados de análisis opcionales cuando solo coinciden los prefijos
- [SPARK-45441] [ SC-144833][python] Introducción de más funciones de utilidad para PythonWorkerUtils
-
[SPARK-45412] [ SC-144803][python][CONNECT] Validar el plan y la sesión en
DataFrame.__init__ - [SPARK-45408] [ SC-144810][core] Agregar la configuración SSL de RPC a TransportConf
-
[SPARK-45432] [ SC-144818][core] Eliminar el constructor Hadoop-2
LocatedFileStatusobsoleto - [SPARK-45434] [ SC-144819][ml][CONNECT] LogisticRegression comprueba las etiquetas de entrenamiento
- [SPARK-45420] [SC-144808][sql][PYTHON][connect] Agregar DataType.fromDDL a PySpark
-
[SPARK-45406] [SC-144793][python][CONNECT] Eliminar
schemadel constructor DataFrame -
[SPARK-45404] [SC-144799][core] Compatibilidad con
AWS_ENDPOINT_URLla variable env - [SPARK-43620] [ SC-144792][connect][PS] Corrección de las API de Pandas depende de características no admitidas.
- [SPARK-45354] [SC-143991][sql] Resolver funciones de abajo arriba
- [SPARK-45394] [ SASP-1480][sc-144712][PYTHON][connect] Agregar reintentos para la API de artefactos. Mejore el control de errores (seguimiento a [SPARK-45093]).
- [SPARK-45120] [SC-142780][spark-45150][UI] Actualizar d3 de la versión v3 a v7(v7.8.5) y aplicar cambios de la API en la IU
- [SPARK-44838] [SC-143983][sql] mejora en raise_error
- [SPARK-45312] [SC-143754][sql][UI] Compatibilidad con mostrar u ocultar plan svg en la página de ejecución
- [SPARK-45378] [SC-144448][core] Agregar convertToNettyForSsl a ManagedBuffer
- [SPARK-44762] [SC-144338][connect][CORE] Documentación para SparkConnect.addJobTag y Connect SparkSession.addTag
- [SPARK-45383] Controlar RelationTimeAdvisor sin resolver correctamente
- [SPARK-45347] [SC-144512][sql][CONNECT] Incluir SparkThrowable en FetchErrorDetailsResponse
- [SPARK-45012] [SC-141512][sql] CheckAnalysis debería lanzar el plan integrado en AnalysisException
-
[SPARK-45359] [ SC-144336][python][CONNECT]
DataFrame.{columns, colRegex, explain}debe generar excepciones cuando el plan no es válido - [SPARK-45227] [SC-144233][core] Corrección de un problema sutil de seguridad de subprocesos con CoarseGrainedExecutorBackend
- [SPARK-45266] [SC-144171][python] Refactorizar la norma de análisis ResolveFunctions para retrasar la creación de una unión lateral cuando se usan argumentos de tabla.
- [SPARK-45266] Revertir "[SC-144171][python] Refactorizar la regla del analizador ResolveFunctions para retrasar la realización de una unión lateral cuando se emplean argumentos de tabla"
- [SPARK-45371] [SC-144389][connect] Corregir problemas de sombreado en el cliente Scala de Spark Connect
- [SPARK-45057] [SC-144214][core] Evitar la adquisición del bloqueo de lectura cuando keepReadLock es falso
-
[SPARK-45385] [SC-144357][sql] Declarar obsoleto
spark.sql.parser.escapedStringLiterals -
[SPARK-45340] [SC-143917][sql] Quitar la configuración de SQL
spark.sql.hive.verifyPartitionPath - [SPARK-45266] [SC-144171][python] Refactorizar la norma de análisis ResolveFunctions para retrasar la creación de una unión lateral cuando se usan argumentos de tabla.
- [SPARK-45362] [SC-144198][python] Proyectar las expresiones PARTITION BY antes de que el método 'eval' del UDTF de Python las consuma.
- [SPARK-45346] [ SC-143925][sql] La inferencia de esquema Parquet debe respetar la marca de distinción entre mayúsculas y minúsculas al combinar el esquema.
-
[SPARK-45341] [ SC-143933][core] Corrija el nivel de título en los comentarios de KVStore.java para que
sbt docse ejecute correctamente con Java 17 - [SPARK-45334] [SC-143914][sql] Quitar comentario engañoso en parquetSchemaConverter
-
[SPARK-45337] [SC-143932][core] Refactorizar
AbstractCommandBuilder#getScalaVersionpara quitar la comprobación de Scala 2.12 - [SPARK-45329] [SC-143918][python][CONNECT] Métodos DataFrame omiten la conversión de Pandas
- [SPARK-43662] [SC-143923][ps][CONNECT] Compatibilidad con merge_asof en Spark Connect
- [SPARK-44126] [SC-143751][core] El recuento de errores de migración de 'shuffle' no debe aumentar cuando se desmantela el ejecutor de destino.
-
[SPARK-44550] [SC-119768][sql] Habilitar correcciones para
null IN (empty list)en ANSI -
[SPARK-45316] [SC-143783][core][SQL] Agregar nuevos parámetros
ignoreCorruptFiles/ignoreMissingFilesa yHadoopRDDNewHadoopRDD - [SPARK-45093] [ SC-143414][connect][PYTHON] Informe de errores para la consulta addArtifacts
- [SPARK-44756] [ SC-143787][core] Executor se bloquea cuando RetryingBlockTransferor no puede iniciar el reintento.
- [SPARK-45333] [SC-143768][core] Corrección de un error de unidad relacionado con spark.eventLog.buffer.kb
- [SPARK-45317] [ SC-143750][sql][CONNECT] Controlar el nombre de archivo nulo en seguimientos de pila de excepciones
- [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId agrega información columnar
-
[SPARK-45235] [SC-143314][connect][PYTHON] Admite parámetros de mapa y array mediante
sql() - [SPARK-45138] [ SC-143309][ss] Definir una nueva clase de error y aplicarla cuando el estado de punto de control en DFS falla
- [SPARK-45297] [SC-143644][sql] Eliminar la solución alternativa para el formateador de fechas añadida en SPARK-31827
-
[SPARK-44345] [SC-143593][core] Nivel de registro inferior
unknown shuffle map outputa WARN si está habilitada la migración aleatoria - [SPARK-44463] [SC-143251][ss][CONNECT] Mejorar el manejo de errores para Connect en el trabajador de Python en streaming
- [SPARK-45207] [SC-143603][sql][CONNECT] Implementar el enriquecimiento de errores para el cliente de Scala
- [SPARK-45240] [SC-143602][sql][CONNECT] Implementar el enriquecimiento de errores para el cliente de Python
- [SPARK-45216] [SC-143288][sql] Corregir APIs de Dataset con semillas no determinísticas
- [SPARK-45251] [SC-143419][connect] Agregar client_type campo para FetchErrorDetails
-
[SPARK-45137] [SC-143001][connect] Compatibilidad con parámetros map/array en parametrizados
sql() -
[SPARK-45224] [SC-143257][python] Añadir ejemplos con mapa y array como parámetros de
sql() - [SPARK-44622] [SC-143205][sql][CONNECT] Implementar FetchErrorDetails RPC
- [SPARK-45178] [SC-136089] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor
- [SPARK-44823] [14.x][sc-142979][PYTHON] Actualizar black a 23.9.1 y corregir verificación errónea
-
[SPARK-45078] [SC-142954][sql] Corrección de
array_insertImplicitCastInputTypes no funciona - [SPARK-44579] [ SC-138428][sql] Permitir interrupciones cuando se cancela en SQLExecution
-
[SPARK-45252] [SC-143371][core] Escapar los símbolos mayor/menor que en los comentarios para que
sbt docse ejecute correctamente - [SPARK-45189] [SC-142973][sql] Crear UnresolvedRelation a partir de TableIdentifier debe incluir el campo del catálogo
- [SPARK-45229] [SC-143254][core][UI] Mostrar el número de drivers que esperan en estado ENVIADO en MasterPage
-
[SPARK-43453] Revertir "[SC-143135][ps] Ignorar el
namesdeMultiIndexcuandoaxis=1paraconcat"
Compatibilidad con el controlador ODBC/JDBC de Databricks
Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).
Consulte Actualizaciones de mantenimiento de Databricks Runtime 14.2.
Entorno del sistema
- Sistema operativo: Ubuntu 22.04.3 LTS
- Java: Zulu 8.72.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- Delta Lake: 3.0.0
Bibliotecas de Python instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| "asttokens" | 2.0.5 | atributos | 22.1.0 | llamada de retorno | 0.2.0 |
| beautifulsoup4 | 4.11.1 | negro | 22.6.0 | blanquear | 4.1.0 |
| intermitente | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | Haz clic | 8.0.4 | Comm | 0.1.2 |
| contourpy | 1.0.5 | criptografía | 39.0.1 | ciclista | 0.11.0 |
| Cython | 0.29.32 | SDK de Databricks | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorador | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | Conversión de docstring a markdown | 0,11 | puntos de entrada | 0,4 |
| Ejecutar | 0.8.3 | visión general de las facetas | 1.1.1 | fastjsonschema | 2.19.0 |
| bloqueo de archivos | 3.12.4 | fonttools | 4.25.0 | googleapis-common-protos | 1.61.0 |
| grpcio | 1.48.2 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| idna | 3.4 | importlib-metadata | 4.6.4 | ipykernel | 6.25.0 |
| ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| Jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.17.3 |
| Cliente Jupyter | 7.3.4 | servidor Jupyter | 1.23.4 | jupyter_core | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | llavero | 23.5.0 |
| kiwisolver | 1.4.4 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lxml | 4.9.1 | MarkupSafe | 2.1.1 |
| matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 | Mccabe | 0.7.0 |
| Mal sintonizado | 0.8.4 | more-itertools | 8.10.0 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.2 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | nodeenv | 1.8.0 |
| cuaderno | 6.5.2 | notebook_shim | 0.2.2 | numpy | 1.23.5 |
| oauthlib | 3.2.0 | empaquetado | 22,0 | Pandas | 1.5.3 |
| PandocFiltros | 1.5.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| chivo expiatorio | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Almohada | 9.4.0 | pepita | 22.3.1 | platformdirs | 2.5.2 |
| trazado | 5.9.0 | pluggy | 1.0.0 | Cliente-Prometeo | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 4.24.0 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pyarrow-hotfix | 0,4 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.1.0 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| Python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | python-lsp-servidor | 1.8.0 |
| configuración de herramienta Python | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| solicitudes | 2.28.1 | cuerda | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | scipy | 1.10.0 | biblioteca de visualización de datos de Python llamada seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 65.6.3 |
| six (seis) | 1.16.0 | sniffio | 1.2.0 | colador para sopa | 2.3.2.post1 |
| ssh-import-id | 5.11 | stack-data | 0.2.0 | statsmodels (paquete de Python para análisis estadístico) | 0.13.5 |
| tenacidad | 8.1.0 | terminado | 0.17.1 | threadpoolctl | 2.2.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.7.1 | typing_extensions | 4.4.0 |
| ujson | 5.4.0 | actualizaciones desatendidas | 0,1 | urllib3 | 1.26.14 |
| virtualenv | 20.16.7 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| codificaciones web | 0.5.1 | cliente de websocket | 0.58.0 | ¿Qué es el parche? | 1.0.2 |
| rueda | 0.38.4 | widgetsnbextension | 3.6.1 | yapf | 0.33.0 |
| zipp | 1.0.0 |
Bibliotecas de R instaladas
Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes de Posit el 2023-02-10.
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| flecha | 12.0.1 | askpass | 1.1 | asegúrate de que | 0.2.1 |
| retroportaciones | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| poco | 4.0.5 | bit 64 | 4.0.5 | mancha | 1.2.4 |
| bota | 1.3-28 | fermentar | 1,0 - 8 | Brio | 1.1.3 |
| escoba | 1.0.5 | bslib | 0.5.0 | cachemir | 1.0.8 |
| callr | 3.7.3 | cursor | 6.0-94 | cellranger (herramienta de análisis de datos celulares) | 1.1.0 |
| Chron | 2.3-61 | clase | 7.3-22 | Cli | 3.6.1 |
| clipr | 0.8.0 | reloj | 0.7.0 | conglomerado | 2.1.4 |
| codetools | 0.2-19 | espacio de colores | 2.1-0 | commonmark | 1.9.0 |
| compilador | 4.3.1 | configuración | 0.3.1 | en conflicto | 1.2.0 |
| cpp11 | 0.4.4 | crayón | 1.5.2 | credenciales | 1.3.2 |
| rizo | 5.0.1 | tabla de datos | 1.14.8 | conjuntos de datos | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | Descripción | 1.4.2 |
| devtools | 2.4.5 | diagrama | 1.6.5 | diffobj | 0.3.5 |
| digerir | 0.6.33 | iluminado hacia abajo | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | elipsis | 0.3.2 |
| evaluar | 0,21 | fans | 1.0.4 | colores | 2.1.1 |
| mapa rápido | 1.1.1 | fontawesome | 0.5.1 | convictos | 1.0.0 |
| foreach | 1.5.2 | extranjero | 0.8-82 | fragua | 0.2.0 |
| Fs | 1.6.2 | futuro | 1.33.0 | aplicación futura | 1.11.0 |
| hacer gárgaras | 1.5.1 | genéricos | 0.1.3 | Gert | 1.9.2 |
| ggplot2 | 3.4.2 | Gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globales | 0.16.2 | pegamento | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Gower | 1.0.1 |
| elementos gráficos | 4.3.1 | grDevices | 4.3.1 | rejilla | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0,7 | gtable | 0.3.3 |
| Casco | 1.3.0 | refugio | 2.5.3 | más alto | 0,10 |
| HMS | 1.1.3 | herramientas de HTML | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| Identificadores | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | Iteradores | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | tejido | 1,43 |
| etiquetado | 0.4.2 | más tarde | 1.3.1 | retícula | 0.21-8 |
| lava | 1.7.2.1 | ciclo de vida | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | Formato Markdown | 1.7 |
| MASA | 7.3-60 | Matriz | 1.5-4.1 | memorizar | 2.0.1 |
| métodos | 4.3.1 | mgcv | 1.8-42 | mimo | 0,12 |
| miniUI (Interfaz de Usuario) | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl (software de cifrado) | 2.0.6 | paralelo | 4.3.1 |
| Paralelamente | 1.36.0 | pilar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | elogio | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | progreso | 1.2.2 |
| progressr | 0.13.0 | promesas | 1.2.0.1 | prototipo | 1.0.0 |
| intermediario | 0.4-27 | P.D | 1.7.5 | ronroneo | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| Bosque Aleatorio (randomForest) | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recetas | 1.0.6 |
| partido de revancha | 1.0.1 | segunda revancha | 2.1.2 | Telecontroles | 2.4.2 |
| ejemplo reproducible | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2,23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | Sass | 0.4.6 | balanzas | 1.2.1 |
| selectr | 0.4-2 | información de sesión | 1.2.2 | forma | 1.4.6 |
| brillante | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| espacial | 7.3-15 | Tiras | 4.3.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | Estadísticas | 4.3.1 | estadísticas4 | 4.3.1 |
| stringi | 1.7.12 | stringr | 1.5.0 | supervivencia | 3.5-5 |
| sys | 3.4.2 | systemfonts | 1.0.4 | tcltk | 4.3.1 |
| testthat | 3.1.10 | Formateo de texto | 0.3.6 | tibble | 3.2.1 |
| tidyr | 1.3.0 | tidyselect | 1.2.0 | tidyverse | 2.0.0 |
| cambio de hora | 0.2.0 | fechaHora | 4022.108 | tinytex | 0.45 |
| herramientas | 4.3.1 | tzdb | 0.4.0 | verificador de URL | 1.0.1 |
| usa esto | 2.2.2 | utf8 | 1.2.3 | utilidades | 4.3.1 |
| Identificador Único Universal (UUID) | 1.1-0 | vctrs | 0.6.3 | viridisLite | 0.4.2 |
| Vroom | 1.6.3 | Waldo | 0.5.1 | bigotes | 0.4.1 |
| withr | 2.5.0 | xfun | 0.39 | xml2 | 1.3.5 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.7 |
| cremallera | 2.3.0 |
Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)
| Identificador de grupo | Identificador de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | cliente de Amazon Kinesis | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config (configuración del SDK de Java de AWS) | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs (registros del SDK de AWS para Java) | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | SDK de AWS para Java - Soporte | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | flujo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.7.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo sombreado | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | compañero de clase | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.cafeína | cafeína | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 nativos |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 nativos |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 nativos |
| com.github.fommil.netlib | netlib-sistema_nativo-linux-x86_64 | 1.1 nativos |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | Gson | 2.10.1 |
| com.google.crypto.tink | Tink | 1.9.0 |
| com.google.errorprone | anotaciones_propensas_a_errores | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guayaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | perfilador | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuración | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | analizadores de univocidad | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack (software de cálculo numérico) | 3.0.3 |
| dev.ludovic.netlib | Blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | compresor de aire | 0,25 |
| io.delta | delta-sharing-client_2.12 | 1.0.2 |
| io.dropwizard.metrics | anotación de métricas | 4.2.19 |
| io.dropwizard.metrics | núcleo de métricas | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | métricas y verificaciones de salud | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | cliente_simple_común | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recopilador | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activación | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transacciones | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolución | javolución | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | escabeche | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combinado_todo | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc (servicio de comunicación remota) | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | plantilla de cadenas | 3.2.1 |
| org.apache.ant | hormiga | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | lanzador de aplicaciones Ant | 1.9.16 |
| org.apache.arrow | formato de flecha | 12.0.1 |
| org.apache.arrow | núcleo de memoria de flecha | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | vector de flecha | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curador-cliente | 2.13.0 |
| org.apache.curator | marco de trabajo para curadores | 2.13.0 |
| org.apache.curator | curador-recetas | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derbi | 10.14.2.0 |
| org.apache.hadoop | Entorno de ejecución del cliente de Hadoop | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | Hive-shims | 2.3.9 |
| org.apache.hive | API de almacenamiento de hive | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | planificador-de-adaptadores-hive | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | hiedra | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.mesos | Mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.1-shaded-protobuf |
| org.apache.orc | calzos de orco | 1.9.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-sombreado | 4.23 |
| org.apache.yetus | anotaciones de audiencia | 0.13.0 |
| org.apache.zookeeper | guardián de zoológico | 3.6.3 |
| org.apache.zookeeper | Zookeeper-Jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | compilador común | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | Seguridad de Jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | servidor Jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | Aplicación web de Jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | WebSocket-API | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | cliente de websocket | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | servidor de websocket | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | servlet de contenedor de Jersey | 2,40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,40 |
| org.glassfish.jersey.core | jersey-client | 2,40 |
| org.glassfish.jersey.core | jersey-common | 2,40 |
| org.glassfish.jersey.core | jersey-server | 2,40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,40 |
| org.hibernate.validator | validador de hibernación | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Anotaciones | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.9 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | Cuñas | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interfaz de prueba | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | compatible con ScalaTest | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |