Compartir vía

Databricks Runtime 14.2 (EoS)

  • Artículo

Nota:

El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.

En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 14.2, con tecnología de Apache Spark 3.5.0.

Databricks publicó esta versión en noviembre de 2023.

Sugerencia

Para ver las notas de la versión de las versiones de Databricks Runtime que han llegado a la finalización del soporte (EoS), vea las Notas de la versión de finalización del soporte de Databricks Runtime. Las versiones de Databricks Runtime EoS se han retirado y es posible que no se actualicen.

Nuevas características y mejoras

CACHE SELECT ahora se omite

El comando SQL CACHE SELECT ahora se omite en favor de un algoritmo de almacenamiento en caché mejorado. Consulte Optimización del rendimiento con el almacenamiento en caché en Azure Databricks.

Comportamiento mejorado del almacenamiento en caché

La colocación de DiskCache por parte del programador de Spark ahora tiene una asignación de partición más rápida, un mejor equilibrio durante el escalado automático del clúster y la ejecución de consultas más coherente.

Se ha corregido el control de archivos dañados en los comandos DML

Los comandos DML DELETE, UPDATE y MERGE INTO ya no respetan las opciones de lecturaignoreCorruptFiles y ignoreMissingFiles. Al encontrar un archivo ilegible en una tabla, estos comandos ahora producirán un error incluso si se especifican estas opciones.

Ahora puede usar las funciones from_avro, to_avro, from_protobuf y to_protobuf de Python con el Registro de esquema en clústeres compartidos.

Compatibilidad con foreachBatch y StreamingListener

Ahora puede usar las API foreachBatch() y StreamingListener con Structured Streaming en clústeres compartidos. Vea Uso de foreachBatch para escribir en receptores de datos arbitrarios y Supervisión de consultas de Structured Streaming en Azure Databricks.

Simultaneidad de nivel de fila disponible con carácter general y activada de forma predeterminada

La simultaneidad de nivel de fila reduce los conflictos entre operaciones de escritura simultáneas mediante la detección de cambios en el nivel de fila. La simultaneidad de nivel de fila solo se admite en tablas sin particiones, lo que incluye las tablas con clústeres líquidos. La simultaneidad de nivel de fila está habilitada de manera predeterminada en tablas Delta con vectores de eliminación habilitados. Vea Conflictos de escritura con simultaneidad de nivel de fila.

Delta Sharing: los destinatarios pueden realizar consultas por lotes, CDF y streaming en tablas compartidas con vectores de eliminación (versión preliminar pública)

Los destinatarios de Delta Sharing ahora pueden realizar consultas por lotes, de CDF y de streaming en tablas compartidas que usan vectores de eliminación. En Databricks Runtime 14.1, solo pueden realizar consultas por lotes. Consulte Agregar tablas con vectores de eliminación o asignación de columnas a un recurso compartido, Tablas de lectura con vectores de eliminación o asignación de columnas habilitadasy Lectura de tablas con vectores de eliminación o asignación de columna habilitadas.

Clonación superficial para tablas externas de Unity Catalog (versión preliminar pública)

Ahora puede usar la clonación superficial con tablas externas de Unity Catalog. Consulte Clonación superficial para tablas de Unity Catalog.

Nuevo algoritmo de asignación de almacenamiento en caché de disco

El programador de Spark ahora usa un nuevo algoritmo de almacenamiento en caché de disco. El algoritmo mejora el uso del disco y la asignación de particiones entre nodos, con una asignación más rápida inicial y después de los eventos de escalado de clústeres. La asignación de caché stickier mejora la coherencia entre ejecuciones y reduce los datos movidos durante las operaciones de reequilibrio.

from_avro con el conector del Registro de esquemas agrega compatibilidad con la evolución del esquema

Ahora puede habilitar las canalizaciones para reiniciarse cuando se detectan registros evolucionados. Anteriormente, si la evolución del esquema se produjo con el from_avro conector, las nuevas columnas devolverían null. Consulte Lectura y escritura de datos de Avro en streaming.

Recopilación de estadísticas multiproceso más rápida

La recogida de estadísticas es hasta 10 veces más rápida en clústers pequeños al ejecutar CONVERTIR A DELTA o clonar desde tablas Iceberg y Parquet. Consulte: Convertir a Delta Lake y Clonar tablas Parquet e Iceberg.

Filtros de inserción en DeltaSource en archivos Delta

Para mejorar el uso, los filtros de partición en las consultas de streaming de tablas Delta ahora se insertan en Delta antes de la limitación de la tasa.

Compatibilidad con funciones escalares de Scala definidas por el usuario en clústeres compartidos (versión preliminar pública)

Ahora puede usar funciones escalares de Scala definidas por el usuario en clústeres habilitados para Unity Catalog configurados con el modo de acceso compartido. Consulte Funciones escalares definidas por el usuario - Scala.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • fastjsonschema de 2.18.0 a 2.19.0
    • filelock de 3.12.3 a 3.12.4
    • googleapis-common-protos de 1.60.0 a 1.61.0
  • Bibliotecas de R actualizadas:
  • Bibliotecas de Java actualizadas:

Apache Spark

Databricks Runtime 14.2 incluye Apache Spark 3.5.0. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 14.1, junto con las siguientes correcciones de errores y mejoras de Spark:

  • [SPARK-45592] [DBRRM-624] Reversión de "[SC-146977][SQL] Problema de corrección en AQE con InMemoryTableScanExec"
  • [SPARK-45524] [DBRRM-625] Reversión de "[SC-146319][PYTHON][SQL] Compatibilidad inicial f…
  • [SPARK-45433] [DBRRM-621] Reversión de "[SC-145163][SQL] Corrección de la inferencia de esquema CSV/JSON…
  • [SPARK-45592] [SC-146977][SQL] Problema de corrección en AQE con InMemoryTableScanExec
  • [SPARK-45354] Reversión de "[SC-143991] [SQL] Resolución de funciones de abajo a arriba"
  • [SPARK-45680] [SOLO PRUEBA] [SASP-2347] [CONNECT] Corrección de pruebas
  • [SPARK-45680] [CONNECT] Sesión de versión
  • [SPARK-43380] [SC-146726] [ES-897115] [SQL] Corrección de la ralentización en la lectura de Avro
  • [SPARK-45649] [SC-146742] [SQL] Unificar el marco de preparación para OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727][PYTHON][SQL] Creación de StructType a partir de Json
  • [SPARK-45620] [SC-146225][PYTHON] Corrección de las API orientadas al usuario relacionadas con el UDTF de Python para usar mayúsculas y minúsculas combinadas
  • [SPARK-45727] [SC-146978] [SS] Eliminación del mapa sin usar en la simulación de propagación de marcas de agua
  • [SPARK-45723] [SC-146890] [PYTHON] [CONNECT] Los métodos de catálogo evitan la conversión de Pandas
  • [SPARK-45574] [SC-146106] [SQL] Agregar :: sintaxis como abreviatura para la conversión
  • [SPARK-45670] [SC-146725] [CORE] [3.5] SparkSubmit no admite --total-executor-cores la implementación en K8s
  • [SPARK-45661] [SC-146594][SQL][PYTHON] Adición de toNullable en StructType, MapType y ArrayType
  • [SPARK-45524] [SC-146319] [PYTHON] [SQL] Compatibilidad inicial con la API de lectura del origen de datos de Python
  • [SPARK-45542] [SC-145892] [CORE] Reemplazar por setSafeMode(HdfsConstants.SafeModeAction, boolean) setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [SC-146641] [SQL] SPJ: control de particiones de entrada vacías después del filtrado dinámico
  • [SPARK-45454] [SC-144846][SQL] Establecimiento del propietario predeterminado de la tabla en current_user
  • [SPARK-45554] [SC-146875] [PYTHON] Introducción del parámetro flexible a assertSchemaEqual
  • [SPARK-45242] [SC-143410][SQL] Uso de id. de DataFrame ID para validar CollectMetrics semánticamente
  • [SPARK-45674] [SC-146862] [CONNECT] [PYTHON] Mejore el mensaje de error de los atributos dependientes de JVM en Spark Connect.
  • [SPARK-45646] [SC-146276] [SQL] Eliminación de variables de tiempo de codificación dura antes de Hive 2.0
  • [SPARK-43380] [SC-146726] [ES-897115] [SQL] Corrección de la ralentización en la lectura de Avro
  • [SPARK-45545] [SC-146484][CORE] Transferencia de SSLOptions cuando se crea una instancia de SparkTransportConf
  • [SPARK-45641] [SC-146260][IU] Representación de la hora de inicio de la aplicación en AllJobsPage
  • [SPARK-40154] [SC-146491][Python][Documentación] Nivel de almacenamiento correcto en Dataframe.cache docstring
  • [SPARK-45626] [SC-146259][SQL] Conversión de _LEGACY_ERROR_TEMP_1055 en REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [SC-145900][SQL] Corrección para subconsultas escalares anidadas correlacionadas con agregados COUNT
  • [SPARK-45619] [SC-146226] [CONNECT] [PYTHON] Aplicación de las métricas observadas al objeto Observation
  • [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][MENOR] Mejora de scaladoc para StreamingForeachBatchHelper
  • [SPARK-45616] [SC-146120][CORE] Omisión de ParVector, que no propaga ThreadLocals ni SparkSession
  • [SPARK-45604] [SC-146105][SQL] Adición de comprobación de LogicalType en INT64 :> conversión dateTime en el lector vectorizado de Parquet
  • [SPARK-44649] [SC-145891] [SQL] El filtro en tiempo de ejecución admite el paso de expresiones del lado de creación equivalentes
  • [SPARK-41674] [SC-128408][SQL] El filtro en tiempo de ejecución debe ser compatible con la unión aleatoria multinivel como lado de creación del filtro
  • [SPARK-45547] [SC-146228] [ML] Validar vectores con función integrada
  • [SPARK-45558] [SC-145890] [SS] Introducción de un archivo de metadatos para el operador con estado de streaming
  • [SPARK-45618] [SC-146252][CORE] Eliminación de BaseErrorHandler
  • [SPARK-45638] [SC-146251] [SQL] [Avro] Mejora de la cobertura de pruebas de conversión decimal
  • [SPARK-44837] [SC-146020][SQL] Cambio del mensaje de error de columna ALTER TABLE ALTER PARTITION
  • [SPARK-45561] [SC-146264][SQL] Adición de conversiones adecuadas para TINYINT en MySQLDialect
  • [SPARK-45632] [SC-146255][SQL] La caché de tablas debe evitar elementos ColumnarToRow innecesarios al habilitar AQE
  • [SPARK-45569] [SC-145932][SQL] Asignación de un nombre al error _LEGACY_ERROR_TEMP_2152
  • [SPARK-44784] [SC-141015] [CONNECT] Haz que SBT pruebe hermético.
  • [SPARK-45452] [SC-144836] [SQL] Mejora InMemoryFileIndex para usar FileSystem.listFiles la API
  • [SPARK-44735] [SC-146186][SQL] Adición de un mensaje de advertencia al insertar columnas con el mismo nombre por fila que no coinciden
  • [SPARK-45351] [SC-144791] [CORE] Cambio spark.shuffle.service.db.backend del valor predeterminado a ROCKSDB
  • [SPARK-45553] [SC-145906] [PS] Deprecate assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022][CORE] Exposición de DeterministicLevel como DeveloperApi
  • [SPARK-45549] [SC-145895] [CORE] Quitar sin usar numExistingExecutors en CoarseGrainedSchedulerBackend
  • [SPARK-45609] [SC-146030][CONNECT] Inclusión de SqlState en el protomensaje de SparkThrowable
  • [SPARK-45595] [SC-146037] Exposición de sqlstate en el mensaje de error
  • [SPARK-45628] [SC-146123] [ML] Mejorar vector_to_array para .mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884][SQL][SEGUIMIENTO] Desactivación de la descorrelación en condiciones de combinación para la prueba InSubquery de AQE
  • [SPARK-45576] [SC-145883][CORE] Eliminación de registros de depuración innecesarios en ReloadingX509TrustManagerSuite
  • [SPARK-45485] [SC-145719][CONNECT] Mejoras del agente de usuario: uso de la variable de entorno SPARK_CONNECT_USER_AGENT e inclusión de atributos específicos del entorno
  • [SPARK-45508] [SC-145513][CORE] Adición de "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" para que la plataforma pueda acceder a Cleaner en Java 9+
  • [SPARK-45595] Reversión de "[SC-146037] Exposición de SQLSTATE en el mensaje de error"
  • [SPARK-45595] [SC-146037] Exposición de SQLSTATE en el mensaje de error
  • [SPARK-45112] Reversión de "[SC-143259][SQL] Uso de UnresolvedFunction ba…
  • [SPARK-45257] [SC-143411] [CORE] Habilitar spark.eventLog.compress de forma predeterminada
  • [SPARK-45586] [SC-145899] [SQL] Reducción de la latencia del compilador para planes con árboles de expresión grandes
  • [SPARK-45517] [SC-145691] [CONNECT] [14.x] Expansión de más constructores de excepciones para admitir parámetros del marco de error
  • [SPARK-45581] [SC-145896] Obligatoriedad de SQLSTATE.
  • [SPARK-45427] [SC-145590][CORE] Adición de la configuración SSL de RPC a SSLOptions y SparkTransportConf
  • [SPARK-45261] [SC-143357] [CORE] Corregir EventLogFileWriters para controlar none como un códec
  • [SPARK-45582] [SC-145897] [SS] Asegúrese de que la instancia de almacén no se usa después de llamar a la confirmación en la agregación de streaming en modo de salida
  • [SPARK-45562] [SC-145720][SC-144650][SQL] XML: Obligatoriedad de la opción "rowTag"
  • [SPARK-45392] [SC-144362] [CORE] [SQL] [SS] Reemplazar Class.newInstance() por Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [SC-145163][SQL] Corrección de la inferencia de esquema CSV/JSON cuando las marcas de tiempo no coinciden con el valor timestampFormat especificado
  • [SPARK-45458] [SC-145011][SQL] Conversión de IllegalArgumentException en SparkIllegalArgumentException en bitwiseExpressions
  • [SPARK-45564] [SC-145735][SQL] Simplificación de "DataFrameStatFunctions.bloomFilter" con la expresión "BloomFilterAggregate"
  • [SPARK-45566] [SC-145777] [PS] Compatibilidad con utilidades de pruebas similares a Pandas para la API de Pandas en Spark
  • [SPARK-45498] [SC-145509][CORE] Seguimiento: Omisión de la finalización de tareas de la fase anterior
  • [SPARK-45483] [SC-145152][CONNECT] Corrección de los grupos de funciones en connect.functions
  • [SPARK-45577] [SC-145781][PYTHON] Corrección de UserDefinedPythonTableFunctionAnalyzeRunner para pasar valores plegados de argumentos con nombre
  • [SPARK-45009] [SC-138223][SEGUIMIENTO] Desactivación de la descorrelación en condiciones de combinación para AetherSQLQuerySuite
  • [SPARK-45415] [SC-145344] Permitir la deshabilitación selectiva de "fallocate" en el almacén de estados de RocksDB
  • [SPARK-45500] [SC-145134][CORE][WEBUI] Representación del número de controladores completados de forma anómala en MasterPage
  • [SPARK-44120] [SC-144349][PYTHON] Compatibilidad con Python 3.12
  • [SPARK-45439] [SC-145589][SQL][IU] Reducción del uso de memoria de LiveStageMetrics.accumIdsToMetricType
  • [SPARK-45565] [SC-145717][IU] Bucle JSON.stringify y JSON.parse innecesario para la lista de tareas en detalle de la fase
  • [SPARK-45567] [SC-145718][CONNECT] Eliminación de redundancia si está en org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
  • [SPARK-45112] [SC-143259][SQL] Uso de la resolución basada en UnresolvedFunction en funciones de conjunto de datos de SQL
  • [SPARK-45486] [SASP-2457][SC-145612][CONNECT] Conversión de la solicitud add_artifact en idempotente
  • [SPARK-44913] [SC-144326] [SQL] DS V2 admite la inserción de UDF V2 que tiene método magic
  • [SPARK-45538] [SC-145635][PYTHON][CONNECT]error de conexión overwrite_partitions de pyspark
  • [SPARK-45491] [SC-145622] Adición de instancias de SQLSTATES 2/2 que faltan
  • [SPARK-45009] [SC-145620] [SC-138223] [SQL] Subconsultas de predicado decorrelate en la condición de combinación
  • [SPARK-45377] [SC-144377][CORE] Control de InputStream en NettyLogger
  • [SPARK-45248] [SC-143759] [CORE] Establecimiento del tiempo de espera para el servidor de interfaz de usuario de Spark
  • [SPARK-44594] [SC-145611] [SS] Eliminación del parámetro de método redundante en el conector kafka
  • [SPARK-45539] [SC-145621] [SS] Se requiere agregar aserción y registro para indicar que la definición de marca de agua es necesaria para las consultas de agregación de streaming en modo de anexión
  • [SPARK-44262] [SC-145639] [SQL] Agregar dropTable y getInsertStatement a JdbcDialect
  • [SPARK-45516] [SC-145480][CONNECT] Inclusión de QueryContext en el protomensaje de SparkThrowable
  • [SPARK-45310] [SC-145127] [CORE] El estado del bloque aleatorio de informe debe respetar el servicio aleatorio durante la migración de retirada
  • [SPARK-45521] [SC-145487] [ML] Evitar volver a calcular nnz en VectorAssembler
  • [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] Cambio del alias de columna current_database() a current_schema()
  • [SPARK-45116] [SC-145142] [SQL] Agregar algún comentario para el parámetro de JdbcDialect createTable
  • [SPARK-45495][SC-145529][core] Compatibilidad con el perfil de recursos de tarea en el nivel de fase para un clúster k8s cuando la asignación dinámica está deshabilitada
  • [SPARK-45487] [SC-145559] Corrección de errores de SQLSTATE y temporales
  • [SPARK-45505] [SC-145550][PYTHON] Refactorización de analyzeInPython para que sea reutilizable
  • [SPARK-45132] [SC-145425][SQL] Corrección de IDENTIFIER para la invocación de funciones
  • [SPARK-45213] [SC-145020][SQL] Asignación de un nombre al error _LEGACY_ERROR_TEMP_2151
  • [SPARK-45416] [SC-145126] [CONNECT] Coherencia de comprobación de integridad de los resultados de Arrow
  • [SPARK-45163] [SC-143386][SQL] Combinación de UNSUPPORTED_VIEW_OPERATION y UNSUPPORTED_TABLE_OPERATION y corrección de algún problema
  • [SPARK-45421] [SC-144814][SQL] Captura de AnalysisException sobre InlineCTE
  • [SPARK-43664] [SC-145404] [CONNECT] [PS] Genere una excepción para ps.sql con el objeto Pandas-on-Spark en Spark Connect.
  • [SPARK-45402] [SC-145371][SQL][PYTHON] Adición de la API UDTF para los métodos "eval" y "terminate" a fin de consumir el resultado de análisis anterior
  • [SPARK-36112] [SC-67885] [SQL] Compatibilidad con subconsultas EXISTS e IN correlacionadas mediante el marco DecorrelateInnerQuery
  • [SPARK-45383] [SC-144929] [SQL] Corrección del mensaje de error para el viaje de tiempo con una tabla no existente
  • [SPARK-43254] [SC-143318][SQL] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_2018
  • [SPARK-45204] [SC-145167] [CONNECT] Adición de ExecuteHolder opcional a SparkConnectPlanner
  • [SPARK-45451] [SC-145144] [SQL] Hacer que el nivel de almacenamiento predeterminado de la caché del conjunto de datos sea configurable
  • [SPARK-45192] [SC-143194] [UI] Corrección del parámetro lineInterpolate vencido para graphviz edge
  • [SPARK-45467] [SC-145146] [CORE] Reemplazar por Proxy.getProxyClass() Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139] [ML] [CONNECT] Adición del transformador de características del ensamblador de matriz
  • [SPARK-44855] [SC-145226][CONNECT] Pequeños ajustes para adjuntar ExecuteGrpcResponseSender a ExecuteResponseObserver
  • [SPARK-45398] [SC-144796] [SQL] Anexar ESCAPE a sql() la Like expresión
  • [SPARK-45494] [SC-145129][CORE][PYTHON] Introducción de funciones de utilidad para leer y escribir una matriz de bytes para PythonWorkerUtils
  • [SPARK-45464] [SC-145125] [CORE] Corregir la compilación de la distribución network-yarn
  • [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] Introducción de un asignador para StorageLevel
  • [SPARK-45450] [SC-145009][PYTHON] Corrección de importaciones según PEP8: pyspark.pandas y pyspark (núcleo)
  • [SPARK-45475] [SC-145018][SQL] Uso de DataFrame.foreachPartition en lugar de RDD.foreachPartition en JdbcUtils
  • [SPARK-45271] [SC-143778][SQL] Combinación de _LEGACY_ERROR_TEMP_1113 en TABLE_OPERATION y eliminación de algún método no utilizado en QueryCompilationErrors
  • [SPARK-45449] [SC-145013] [SQL] Problema de invalidación de caché con la tabla JDBC
  • [SPARK-45473] [SC-145017][SQL] Corrección de un mensaje de error incorrecto para RoundBase
  • [SPARK-43299] [SC-145022][SS][CONNECT] Conversión de StreamingQueryException en el cliente de Scala
  • [SPARK-45474] [SC-145014] [CORE] [WEBUI] Compatibilidad con el filtrado de nivel superior en MasterPage JSON API
  • [SPARK-45205] [SC-145012][SQL] CommandResultExec para invalidar los métodos de iterador y evitar desencadenar varios trabajos.
  • [SPARK-45472] [SC-145004] [SS] El almacén de estado de RocksDB no necesita volver a comprobar la existencia de la ruta de acceso del punto de control
  • [SPARK-45470] [SC-145010] [SQL] Evitar el valor de cadena de pegado del tipo de compresión hive orc
  • [SPARK-45448] [SC-144829][PYTHON] Corrección de importaciones según PEP8: pyspark.testing, pyspark.mllib, pyspark.resource y pyspark.streaming
  • [SPARK-45446] [SC-144828][PYTHON] Corrección de importaciones según PEP8: pyspark.errors y pyspark.ml
  • [SPARK-45239] [SC-144832][CONNECT] Reducción del valor predeterminado de spark.connect.jvmStacktrace.maxSize
  • [SPARK-45436] [SC-144831] [PYTHON] [CONNECT] Los métodos DataFrame comprueban la misma sesión
  • [SPARK-45413] [SC-144847] [CORE] Adición de una advertencia para preparar la compatibilidad con LevelDB
  • [SPARK-45462] [SC-144848] [CORE] [WEBUI] Mostrar Duration en ApplicationPage
  • [SPARK-44527] [SC-144855][SQL] Reemplazo de ScalarSubquery por null si su valor maxRows es 0
  • [SPARK-45401] [SC-144854] [PYTHON] Agregar un nuevo método cleanup en la interfaz UDTF
  • [SPARK-43704] [SC-144849] [CONNECT] [PS] Compatibilidad con MultiIndex to_series()
  • [SPARK-45424] [SC-144888] [SQL] Corrección de los resultados de análisis opcionales de TimestampFormatter cuando solo coinciden los prefijos
  • [SPARK-45441] [SC-144833][PYTHON] Introducción de más funciones de utilidad para PythonWorkerUtils
  • [SPARK-45412] [SC-144803] [PYTHON] [CONNECT] Validar el plan y la sesión en DataFrame.__init__
  • [SPARK-45408] [SC-144810][CORE] Adición de la configuración ssl de RPC a TransportConf
  • [SPARK-45432] [SC-144818] [CORE] Eliminación del constructor Hadoop-2 LocatedFileStatus en desuso
  • [SPARK-45434] [SC-144819][ML][CONNECT] LogisticRegression comprueba las etiquetas de entrenamiento
  • [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT] Adición de DataType.fromDDL a PySpark
  • [SPARK-45406] [SC-144793] [PYTHON] [CONNECT] Eliminar schema del constructor DataFrame
  • [SPARK-45404] [SC-144799] [CORE] Compatibilidad con AWS_ENDPOINT_URL la variable env
  • [SPARK-43620] [SC-144792] [CONNECT] [PS] Corrección de las API de Pandas depende de características no admitidas
  • [SPARK-45354] [SC-143991] [SQL] Resolución de funciones de abajo arriba
  • [SPARK-45394] [SASP-1480] [SC-144712] [PYTHON] [CONNECT] Agregue reintentos para la API de artefactos. Mejore el control de errores (seguimiento a [SPARK-45093]).
  • [SPARK-45120] [SC-142780] [SPARK-45150] [UI] Actualice d3 de v3 a v7(v7.8.5) y aplique cambios de API en la interfaz de usuario
  • [SPARK-44838] [SC-143983][SQL] Mejora de raise_error
  • [SPARK-45312] [SC-143754] [SQL] [UI] Compatibilidad con la visualización u ocultación del plan svg en la página de ejecución
  • [SPARK-45378] [SC-144448][CORE] Adición de convertToNettyForSsl a ManagedBuffer
  • [SPARK-44762] [SC-144338][CONNECT][CORE] Documentación para SparkConnect.addJobTag y Connect SparkSession.addTag
  • [SPARK-45383] Controlar RelationTimeAdvisor sin resolver correctamente
  • [SPARK-45347] [SC-144512][SQL][CONNECT] Inclusión de SparkThrowable en FetchErrorDetailsResponse
  • [SPARK-45012] [SC-141512][SQL] CheckAnalysis debe iniciar el plan insertado en AnalysisException
  • [SPARK-45359] [SC-144336] [PYTHON] [CONNECT] DataFrame.{columns, colRegex, explain} debe generar excepciones cuando el plan no es válido
  • [SPARK-45227][SC-144233][CORE] Corrección de un problema sutil de seguridad de subprocesos con CoarseGrainedExecutorBackend
  • [SPARK-45266] [SC-144171][PYTHON] Refactorización de la regla del analizador de ResolveFunctions para retrasar la unión lateral cuando se usan argumentos de tabla
  • [SPARK-45266] Reversión de "[SC-144171][PYTHON] Refactorización de la regla del analizador de ResolveFunctions para retrasar la unión lateral cuando se usan argumentos de tabla"
  • [SPARK-45371][SC-144389][CONNECT] Corregir problemas de sombreado en el cliente Scala de Spark Connect
  • [SPARK-45057][SC-144214][CORE] Evitar adquirir bloqueo de lectura cuando keepReadLock sea false
  • [SPARK-45385] [SC-144357] [SQL] Deprecate spark.sql.parser.escapedStringLiterals
  • [SPARK-45340] [SC-143917] [SQL] Eliminación de la configuración de SQL spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171][PYTHON] Refactorización de la regla del analizador de ResolveFunctions para retrasar la unión lateral cuando se usan argumentos de tabla
  • [SPARK-45362] [SC-144198][PYTHON] Proyección de expresiones PARTITION BY antes de que el método "eval" UDTF de Python las consuma
  • [SPARK-45346][SC-143925][SQL] La inferencia de esquema Parquet deben respetar las marcas que distinguen mayúsculas de minúsculas al combinar el esquema
  • [SPARK-45341] [SC-143933] [CORE] Corrija el nivel de título en los comentarios de KVStore.java para que se sbt doc ejecute correctamente con Java 17
  • [SPARK-45334] [SC-143914][SQL] Eliminación de comentarios confusos en parquetSchemaConverter
  • [SPARK-45337] [SC-143932] [CORE] Refactorización AbstractCommandBuilder#getScalaVersion para quitar la comprobación de Scala 2.12
  • [SPARK-45329] [SC-143918] [PYTHON] [CONNECT] Los métodos DataFrame omiten la conversión de Pandas
  • [SPARK-43662] [SC-143923][PS][CONNECT] Compatibilidad con merge_asof en Spark Connect
  • [SPARK-44126] [SC-143751] [CORE] El recuento de errores de migración aleatoria no debe aumentar cuando se retira el ejecutor de destino
  • [SPARK-44550] [SC-119768] [SQL] Habilitación de correcciones de corrección para null IN (empty list) en ANSI
  • [SPARK-45316][SC-143783][CORE][SQL] Agregar nuevos parámetros ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD y NewHadoopRDD
  • [SPARK-45093] [SC-143414][CONNECT][PYTHON] Informes de errores para la consulta addArtifacts
  • [SPARK-44756] [SC-143787][CORE] El ejecutor se bloquea cuando RetryingBlockTransferor no inicia el reintento
  • [SPARK-45333] [SC-143768][CORE] Corrección de un error de unidad relacionado con spark.eventLog.buffer.kb
  • [SPARK-45317] [SC-143750] [SQL] [CONNECT] Controlar el nombre de archivo NULL en seguimientos de pila de excepciones
  • [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId agrega información de columnas
  • [SPARK-45235] [SC-143314] [CONNECT] [PYTHON] Compatibilidad con parámetros de asignación y matriz por sql()
  • [SPARK-45138] [SC-143309] [SS] Defina una nueva clase de error y aplíquela cuando se produzca un error en el estado de punto de comprobación en DFS
  • [SPARK-45297] [SC-143644] [SQL] Eliminación de soluciones alternativas para dateformatter agregados en SPARK-31827
  • [SPARK-44345] [SC-143593] [CORE] Nivel de registro inferior unknown shuffle map output a WARN si está habilitada la migración aleatoria
  • [SPARK-44463] [SC-143251][SS][CONNECT] Mejora del control de errores para conectar el trabajo de streaming de Python
  • [SPARK-45207] [SC-143603] [SQL] [CONNECT] Implementación del enriquecimiento de errores para el cliente de Scala
  • [SPARK-45240] [SC-143602] [SQL] [CONNECT] Implementación del enriquecimiento de errores para el cliente de Python
  • [SPARK-45216] [SC-143288] [SQL] Corrección de las API de conjunto de datos de inicialización no deterministas
  • [SPARK-45251] [SC-143419][CONNECT] Adición del campo client_type para FetchErrorDetails
  • [SPARK-45137] [SC-143001] [CONNECT] Compatibilidad con parámetros de asignación o matriz en parametrizados sql()
  • [SPARK-45224] [SC-143257] [PYTHON] Adición de ejemplos con asignación y matriz como parámetros de sql()
  • [SPARK-44622] [SC-143205][SQL][CONNECT] Implementación de RPC de FetchErrorDetails
  • [SPARK-45178] [SC-136089] Reserva para ejecutar un único lote para Trigger.AvailableNow con orígenes no admitidos en lugar de usar el contenedor
  • [SPARK-44823] [14.x][SC-142979][PYTHON] Actualización de negro a 23.9.1 y comprobación fija
  • [SPARK-45078] [SC-142954][SQL] La corrección de array_insert ImplicitCastInputTypes no funciona
  • [SPARK-44579] [SC-138428] [SQL] Compatibilidad con la interrupción al cancelar en SQLExecution
  • [SPARK-45252] [SC-143371] [CORE] Escape de los símbolos mayores o menores que los de los comentarios para que se sbt doc ejecuten correctamente
  • [SPARK-45189] [SC-142973][SQL] La creación de UnresolvedRelation desde TableIdentifier debe incluir el campo de catálogo
  • [SPARK-45229] [SC-143254] [CORE] [UI] Mostrar el número de controladores que esperan en estado ENVIADO en MasterPage
  • [SPARK-43453] Reversión de "[SC-143135][PS] Omisión de names en MultiIndex cuando axis=1 para concat"

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Consulte Actualizaciones de mantenimiento de Databricks Runtime 14.2.

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 comm 0.1.2
contourpy 1.0.5 criptografía 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
executing 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.0
filelock 3.12.4 fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 empaquetado 22,0 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,4 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
six (seis) 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes de Posit el 2023-02-10.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
arrow 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1,0 - 8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 clase 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 en conflicto 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 conjuntos de datos 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagrama 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0,21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 generics 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
elementos gráficos 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0,10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 ciclo de vida 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matriz 1.5-4.1 memoise 2.0.1
métodos 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progreso 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spatial 7.3-15 splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 survival 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0.45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1