Databricks Runtime 14.3 LTS
Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 14.3 LTS, con tecnología de Apache Spark 3.5.0.
Databricks ha publicado estas imágenes en febrero de 2024.
Nuevas características y mejoras
- Compatibilidad del sistema de archivos del área de trabajo en funciones definidas por el usuario (UDF) de PySpark en clústeres compartidos
- Soporte con optimizaciones de vectores
MERGEde eliminación sin Photon - Las API del catálogo de Spark ahora son totalmente compatibles con el modo de acceso compartido
- Delta UniForm ya está disponible con carácter general
- Nueva función de SQL EXECUTE IMMEDIATE
- Recálculo de las estadísticas de omisión de datos para tablas delta
- Información de estado de consulta para consultas de streaming con estado
- Uso de Microsoft Entra ID para la autenticación de Kafka en clústeres compartidos
- Compatibilidad agregada para la eliminación de archivos y particiones para mejorar el rendimiento de las consultas
- Declaración de variables temporales en una sesión de SQL
- Actualizaciones del servidor Thrift para quitar características que no se usan
- Uso del almacén de confianza y los archivos de almacén de claves en volúmenes de Unity Catalog
- Compatibilidad con el formato de archivo XML nativo (versión preliminar pública)
- Compatibilidad con el almacenamiento de Cloudflare R2 (versión preliminar pública)
- Acceso de Spark y dbutils a los archivos del área de trabajo admiten clústeres de Unity Catalog de acceso compartido
- Soporte con scripts de inicialización y biblioteca de clústeres en clústeres de Unity Catalog de acceso compartido
Compatibilidad del sistema de archivos del área de trabajo en funciones definidas por el usuario (UDF) de PySpark en clústeres compartidos
Las UDF de PySpark en clústeres compartidos ahora pueden importar módulos de Python desde carpetas de Git, archivos de área de trabajo o volúmenes UC.
Para obtener más información sobre cómo trabajar con módulos en carpetas de Git o archivos de área de trabajo, vea Trabajar con módulos de Python y R.
Soporte con optimizaciones de vectores de eliminación MERGE sin Photon
Photon ya no es necesario para MERGE operaciones para aprovechar las optimizaciones de vectores de eliminación. Consulte ¿Qué son los vectores de eliminación?.
Las API del catálogo de Spark ahora son totalmente compatibles con el modo de acceso compartido
Ahora puede usar todas las funciones de la API spark.catalog tanto en Python como en Scala en el proceso configurado con el modo de acceso compartido.
Delta UniForm ya está disponible con carácter general
UniForm ahora está disponible con carácter general y usa la característica de tabla IcebergCompatV2. Ahora puede habilitar o actualizar UniForm en las tablas existentes. Consulte Uso de UniForm para leer tablas Delta con clientes de Iceberg.
Nueva función de SQL EXECUTE IMMEDIATE
Ahora puede usar la sintaxis EXECUTE IMMEDIATE para admitir consultas con parámetros en SQL. Consulte EXECUTE IMMEDIATE.
Recálculo de las estadísticas de omisión de datos para tablas delta
Ahora puede volver a calcular las estadísticas almacenadas en el registro delta después de cambiar las columnas que se usan para la omisión de datos. Vea Especificación de columnas de estadísticas delta.
Información de estado de consulta para consultas de streaming con estado
Ahora puede consultar metadatos y datos de estado de flujo estructurado. Consulte leer información de estado de flujo estructurado.
Uso de Microsoft Entra ID para la autenticación de Kafka en clústeres compartidos
Ahora puede autenticar los servicios de Event Hubs a través de OAuth con Microsoft Entra ID en el proceso configurado con el modo de acceso compartido. Consulte Autenticación de entidad de servicio con Microsoft Entra ID y Azure Event Hubs.
Compatibilidad agregada para la eliminación de archivos y particiones para mejorar el rendimiento de las consultas
Para acelerar algunas consultas que dependen de la igualdad con tolerancia a valores null en condiciones JOIN, ahora se admiten DynamicFilePruning y DynamicPartitionPruning para el operador EqualNullSafe en condiciones JOIN.
Declaración de variables temporales en una sesión de SQL
Esta versión presenta la capacidad de declarar variables temporales en una sesión que se puede establecer y, a continuación, hacer referencia a desde dentro de las consultas. Consulte Variables.
Actualizaciones del servidor Thrift para quitar características que no se usan
El código del servidor Thrift se ha actualizado para quitar el código de las características obsoletas. Debido a estos cambios, ya no se admiten las siguientes configuraciones:
- Los archivos JAR auxiliares de Hive, configurados con la propiedad
hive.aux.jars.path, ya no se admiten para las conexioneshive-thriftserver. - El archivo init global de Hive (
.hiverc), cuya ubicación se configura mediante la propiedadhive.server2.global.init.file.locationo la variable de entornoHIVE_CONF_DIR, ya no se admite para las conexioneshive-thriftserver.
Uso del almacén de confianza y los archivos de almacén de claves en volúmenes de Unity Catalog
Ahora puede usar archivos de almacén de confianza y almacén de claves en volúmenes de Unity Catalog para autenticarse en un registro de esquema de confluent para datos de avro o búfer de protocolo. Consulte la documentación de avro o búferes de protocolo.
Compatibilidad con el formato de archivo XML nativo (versión preliminar pública)
La compatibilidad con el formato de archivo XML nativo ahora está en versión preliminar pública. La compatibilidad con formatos de archivo XML permite la ingesta, la consulta y el análisis de datos XML para el procesamiento por lotes o el streaming. Puede deducir y evolucionar automáticamente los tipos de datos y esquemas, admite expresiones SQL como from_xml, y pueden generar documentos XML. No requiere archivos JAR externos y funciona sin problemas con Auto Loader, read_files, COPY INTOy Delta Live Tables. Consulte Lectura y escritura de archivos XML.
Compatibilidad con el almacenamiento de Cloudflare R2 (versión preliminar pública)
Ahora puede usar Cloudflare R2 como almacenamiento en la nube para los datos registrados en Unity Catalog. Cloudflare R2 está pensado principalmente para los casos de uso compartido de Delta en los que desea evitar las tarifas de salida de datos que cobran los proveedores de nube cuando los datos cruzan regiones. El almacenamiento de R2 admite todos los recursos de inteligencia artificial y datos de Databricks compatibles con AWS S3, Azure Data Lake Storage Gen2 y Google Cloud Storage. Consulte Uso de réplicas de Cloudflare R2 o migración de almacenamiento a R2 y Creación de una credencial de almacenamiento para conectarse a Cloudflare R2.
El acceso de Spark y dbutils a los archivos del área de trabajo admiten clústeres de Unity Catalog de acceso compartido
Spark y dbutils acceso de lectura y escritura a los archivos del área de trabajo ahora se admiten en clústeres de Unity Catalog en modo de acceso compartido. Consulte Trabajar con archivos del área de trabajo.
Soporte con scripts de inicialización y biblioteca de clústeres en clústeres de Unity Catalog de acceso compartido
La instalación de scripts de inicialización con ámbito de clúster y bibliotecas de Python y JAR en clústeres de Catálogo de Unity en modo de acceso compartido, incluida la instalación mediante directivas de clúster, ahora está disponible con carácter general. Databricks recomienda instalar scripts y bibliotecas de inicialización desde volúmenes de Unity Catalog.
Actualizaciones de bibliotecas
- Bibliotecas de Python actualizadas:
- fastjsonschema de 2.19.0 a 2.19.1
- filelock de 3.12.4 a 3.13.1
- googleapis-common-protos de 1.61.0 a 1.62.0
- packaging de 22.0 a 23.2
- Bibliotecas de R actualizadas:
- foreign de 0.8-82 a 0.8-85
- nlme de 3.1-162 a 3.1-163
- rpart de 4.1.19 a 4.1.21
- Bibliotecas de Java actualizadas:
- com.databricks.databricks-sdk-java de 0.7.0 a 0.13.0
- org.apache.orc.orc-core de 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
- org.apache.orc.orc-mapreduce de 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
- org.apache.orc.orc-shims de 1.9.1 a 1.9.2
- org.scala-lang.modules.scala-collection-compat_2.12 de 2.9.0 a 2.11.0
Apache Spark
Databricks Runtime 14.3 incluye Apache Spark 3.5.0. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 14.2, junto con las siguientes correcciones de errores y mejoras de Spark:
- [SPARK-46541] [SC-153546][SQL][CONNECT] Corrección de la referencia de columna ambigua en la combinación automática
- [SPARK-45433] Reversión de "[SC-145163][SQL] Corrección de la inferencia de esquema CSV/JSON…"
- [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] Habilitación de reintentos de addArtifact
- [SPARK-46660] [SC-153391][CONNECT] Actualización de la actividad de SessionHolder mediante solicitudes ReattachExecute
- [SPARK-46670] [SC-153273][PYTHON][SQL] Habilitación de DataSourceManager como autoclonable separando orígenes de datos de Python estáticos y en tiempo de ejecución
- [SPARK-46720] [SC-153410][SQL][PYTHON] Refactorización del origen de datos de Python para alinearlo con otros orígenes de datos DSv2 integrados
- [SPARK-46684] [SC-153275][PYTHON][CONNECT] Corrección de CoGroup.applyInPandas/Arrow para pasar argumentos correctamente
- [SPARK-46667] [SC-153271][SC-153263][SQL] XML: error en varios orígenes de datos XML
- [SPARK-46382] [SC-151881][SQL] XML: configuración del valor predeterminado de ignoreSurroundingSpaces en true
- [SPARK-46382] [SC-153178][SQL] XML: actualización del documento de
ignoreSurroundingSpaces - [SPARK-45292] Reversión de "[SC-151609][SQL][HIVE] Eliminación de Guava de las clases compartidas de IsolatedClientLoader"
- [SPARK-45292] [SC-151609][SQL][HIVE] Eliminación de Guava de las clases compartidas de IsolatedClientLoader
- [SPARK-46311] [SC-150137][CORE] Registro del estado final de los controladores durante
Master.removeDriver - [SPARK-46413] [SC-151052][PYTHON] Validación de returnType en la UDF de Arrow Python
- [SPARK-46633] [WARMFIX][SC-153092][SQL] Corrección del lector de Avro para que controle bloques de longitud cero
- [SPARK-46537] [SC-151286][SQL] Conversión de NPE y aserciones de comandos a errores internos
- [SPARK-46179] [SC-151678][SQL] Adición de CrossDbmsQueryTestSuites, que ejecuta otros DBMS en archivos dorados con otros DBMS, empezando por Postgres
- [SPARK-44001] [SC-151413][PROTOBUF] Adición de una opción para permitir la desencapsulación de tipos de contenedor conocidos de protobuf
- [SPARK-40876] [SC-151786][SQL] Ampliación de la promoción de tipos para decimales con mayor escala en lectores de Parquet
- [SPARK-46605] [SC-151769][CONNECT] Actualización de la función
lit/typedLiten el módulo Connect para que admitas.c.immutable.ArraySeq - [SPARK-46634] [SC-153005][SQL] La validación literal no debe explorar en profundidad los campos null
- [SPARK-37039] [SC-153094][PS] Corrección de
Series.astypepara que funcione correctamente con el valor que falta - [SPARK-46312] [SC-150163][CORE] Uso de
lower_camel_caseenstore_types.proto - [SPARK-46630] [SC-153084][SQL] XML: validación del nombre del elemento XML durante la escritura
- [SPARK-46627] [SC-152981][SS][UI] Corrección del contenido de la información sobre herramientas de la escala de tiempo en la interfaz de usuario de streaming
- [SPARK-46248] [SC-151774][SQL] XML: compatibilidad con las opciones ignoreCorruptFiles e ignoreMissingFiles
- [SPARK-46386] [SC-150766][PYTHON] Mejora de las aserciones de observación (pyspark.sql.observation)
- [SPARK-46581] [SC-151789][CORE] Actualización del comentario de isZero en AccumulatorV2
- [SPARK-46601] [SC-151785][CORE] Corrección del error de registro en handleStatusMessage
- [SPARK-46568] [SC-151685][PYTHON] Conversión de las opciones de origen de datos de Python en un diccionario que no distingue mayúsculas de minúsculas
- [SPARK-46611] [SC-151783][CORE] Eliminación de ThreadLocal reemplazando SimpleDateFormat por DateTimeFormatter
- [SPARK-46604] [SC-151768][SQL] Compatibilidad de
Literal.applycons.c.immuable.ArraySeq - [SPARK-46324] [SC-150223][SQL][PYTHON] Corrección del nombre de salida de pyspark.sql.functions.user y session_user
- [SPARK-46621] [SC-151794][PYTHON] Solución de valores null de Exception.getMessage en una excepción Py4J capturada
- [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader debe respetar el modo de memoria al crear vectores de columna para la columna que falta
- [SPARK-46613] [SC-151778][SQL][PYTHON] Excepción de registro completo cuando no se encuentran orígenes de datos de Python
- [SPARK-46559] [SC-151364][MLLIB] Encapsulación de
exporten el nombre del paquete con acentos graves - [SPARK-46522] [SC-151784][PYTHON] Bloqueo del registro de orígenes de datos de Python con conflictos de nombres
- [SPARK-45580] [SC-149956][SQL] Solución del caso en el que una subconsulta anidada se convierte en una combinación existente
- [SPARK-46609] [SC-151714][SQL] Evitación de la explosión exponencial en PartitioningPreservingUnaryExecNode
- [SPARK-46535] [SC-151288][SQL] Corrección de NPE al describir una columna extendida sin estadísticas de columna
- [SPARK-46599] [SC-147661][SC-151770][SQL] XML: uso de TypeCoercion.findTightestCommonType para comprobar la compatibilidad
- [SPARK-40876] [SC-151129][SQL] Ampliación de las promociones de tipos en lectores de Parquet
- [SPARK-46179] [SC-151069][SQL] Extracción de código en funciones reutilizables en SQLQueryTestSuite
- [SPARK-46586] [SC-151679][SQL] Compatibilidad de
s.c.immutable.ArraySeqcomocustomCollectionClsenMapObjects - [SPARK-46585] [SC-151622][CORE] Construcción de
metricPeaksdirectamente comoimmutable.ArraySeqen lugar de usarmutable.ArraySeq.toSeqenExecutor - [SPARK-46488] [SC-151173][SQL] Omisión de la llamada a trimAll durante el análisis de marca de tiempo
- [SPARK-46231] [SC-149724][PYTHON] Migración de todos los elementos
NotImplementedErroryTypeErrorrestantes al marco de errores de PySpark - [SPARK-46348] [SC-150281][CORE] Compatibilidad con
spark.deploy.recoveryTimeout - [SPARK-46313] [SC-150164][CORE] Registro de la duración de la recuperación de
Spark HA - [SPARK-46358] [SC-150307][CONNECT] Simplificación de la comprobación de la condición en
ResponseValidator#verifyResponse - [SPARK-46380] [SC-151078][SQL] Reemplazo de la hora y fecha actuales antes de evaluar las expresiones de tabla insertadas
- [SPARK-46563] [SC-151441][SQL] La vista simpleString no sigue la configuración spark.sql.debug.maxToStringFields
- [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Reducción de la profundidad de la pila reemplazando (cadena|matriz).size por (cadena|matriz).length
- [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT(todos los campos de un struct) produce un error de aserción
- [SPARK-46565] [SC-151414][PYTHON] Mejora de las clases de error y los mensajes de error para orígenes de datos de Python
- [SPARK-46576] [SC-151614][SQL] Mejora de los mensajes de error para modos de guardado de orígenes de datos no admitidos
- [SPARK-46540] [SC-151355][PYTHON] Respeto de los nombres de columna cuando la función de lectura del origen de datos de Python genera objetos Row con nombre
- [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite filtra el SessionState de Hive
- [SPARK-44556] [SC-151562][SQL] Reutilización de
OrcTailal habilitar vectorizedReader - [SPARK-46587] [SC-151618][SQL] XML: corrección de la conversión de enteros grandes XSD
- [SPARK-46382] [SC-151297][SQL] XML: captura de valores intercalados entre elementos
- [SPARK-46567] [SC-151447][CORE] Eliminación de ThreadLocal para ReadAheadInputStream
- [SPARK-45917] [SC-151269][PYTHON][SQL] Registro automático del origen de datos de Python al inicio
- [SPARK-28386] [SC-151014][SQL] No se pueden resolver las columnas ORDER BY con GROUP BY y HAVING
- [SPARK-46524] [SC-151446][SQL] Mejora de los mensajes de error para modos de guardado no válidos
- [SPARK-46294] [SC-150672][SQL] Limpieza de la semántica de init frente al valor cero
- [SPARK-46301] [SC-150100][CORE] Compatibilidad con
spark.worker.(initial|max)RegistrationRetries - [SPARK-46542] [SC-151324][SQL] Eliminación de la comprobación de
c>=0enExternalCatalogUtils#needsEscapingporque siempre es true - [SPARK-46553] [SC-151360][PS]
FutureWarningparainterpolatecon el objeto dtype - [SPARK-45914] [SC-151312][PYTHON] Compatibilidad con la confirmación y anulación de la API para la escritura de orígenes de datos de Python
- [SPARK-46543] [SC-151350][PYTHON][CONNECT] Hacer que
json_tuplegenere el error PySparkValueError para campos vacíos - [SPARK-46520] [SC-151227][PYTHON] Compatibilidad con el modo de sobrescritura para la escritura de orígenes de datos de Python
- [SPARK-46502] [SC-151235][SQL] Compatibilidad con tipos de marca de tiempo en UnwrapCastInBinaryComparison
- [SPARK-46532] [SC-151279][CONNECT] Pasar parámetros de mensaje en metadatos de
ErrorInfo - [SPARK-46397] Reversión de "[SC-151311][PYTHON][CONNECT] La función
sha2debe generar el errorPySparkValueErrorparanumBitsno válidos" - [SPARK-46170] [SC-149472][SQL] Compatibilidad con la inserción de queryPostPlannerStrategyRules adaptable en SparkSessionExtension
- [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable no debe cargar la tabla
- [SPARK-46397] [SC-151311][PYTHON][CONNECT] La función
sha2debe generar el errorPySparkValueErrorparanumBitsno válidos - [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista
- [SPARK-46272] [SC-151012][SQL] Compatibilidad con CTAS mediante orígenes DSv2
- [SPARK-46480] [SC-151127][CORE][SQL] Corrección de NPE al intentar la tarea de copiar en caché tablas
- [SPARK-46100] [SC-149051][CORE][PYTHON] Reducción de la profundidad de la pila reemplazando (cadena|matriz).size por (cadena|matriz).length
- [SPARK-45795] [SC-150764][SQL] DS V2 admite el modo de inserción
- [SPARK-46485] [SC-151133][SQL] V1Write no debe agregar Sort cuando no es necesario
- [SPARK-46468] [SC-151121][SQL] Solución del error COUNT para subconsultas EXISTS con Aggregate sin agrupar claves
- [SPARK-46246] [SC-150927][SQL] Compatibilidad con EXECUTE IMMEDIATE en SQL
- [SPARK-46498] [SC-151199][CORE] Eliminación de
shuffleServiceEnabledeno.a.spark.util.Utils#getConfiguredLocalDirs - [SPARK-46440] [SC-150807][SQL] Establecimiento de configuraciones de fusión mediante cambio de base en el modo
CORRECTEDde forma predeterminada - [SPARK-45525] [SC-151120][SQL][PYTHON] Compatibilidad con la escritura de orígenes de datos de Python mediante DSv2
- [SPARK-46505] [SC-151187][CONNECT] Habilitar el umbral de bytes como configurable en
ProtoUtils.abbreviate - [SPARK-46447] [SC-151025][SQL] Eliminación de las configuraciones de SQL de fecha y hora heredadas
- [SPARK-46443] [SC-151123][SQL] La precisión decimal y la escala deben decidirse por el dialecto H2
- [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] Corrección del gráfico de pila de duración de la operación en la página de streaming estructurado
- [SPARK-46207] [SC-151068][SQL] Compatibilidad con MergeInto en DataFrameWriterV2
- [SPARK-46452] [SC-151018][SQL] Adición de una nueva API en DataWriter para escribir un iterador de registros
- [SPARK-46273] [SC-150313][SQL] Compatibilidad con INSERT INTO/OVERWRITE mediante orígenes DSv2
- [SPARK-46344] [SC-150267][CORE] Advertir correctamente cuando un controlador existe, pero el maestro está desconectado
- [SPARK-46284] [SC-149944][PYTHON][CONNECT] Adición de la función
session_userpara Python - [SPARK-46043] [SC-149786][SQL] Compatibilidad con la creación de tablas mediante orígenes DSv2
- [SPARK-46323] [SC-150191][PYTHON] Corrección del nombre de salida de pyspark.sql.functions.now
- [SPARK-46465] [SC-151059][PYTHON][CONNECT] Adición de
Column.isNaNen PySpark - [SPARK-46456] [SC-151050][CORE] Adición de
spark.ui.jettyStopTimeoutpara establecer el tiempo de espera de detención del servidor Jetty para desbloquear el apagado de SparkContext - [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: permitir la difusión de tipos enteros sin signo
- [SPARK-46399] [SC-151013][14.x][Core] Adición del estado de salida al evento de finalización de la aplicación para el uso del agente de escucha de Spark
- [SPARK-46423] [SC-150752][PYTHON][SQL] Creación de la instancia del origen de datos de Python en DataSource.lookupDataSourceV2
- [SPARK-46424] [SC-150765][PYTHON][SQL] Compatibilidad con métricas de Python en el origen de datos de Python
- [SPARK-46330] [SC-151015] Carga de bloques de interfaz de usuario de Spark durante mucho tiempo cuando HybridStore está habilitado
- [SPARK-46378] [SC-150397][SQL] Seguir quitando Sort después de convertir Aggregate en Project
- [SPARK-45506] [SC-146959][CONNECT] Adición de compatibilidad con URI de ivy a SparkConnect addArtifact
- [SPARK-45814] [SC-147871][CONNECT][SQL] Hacer que la llamada a ArrowConverters.createEmptyArrowBatch se cierre() para evitar la pérdida de memoria
- [SPARK-46427] [SC-150759][PYTHON][SQL] Cambio de la descripción del origen de datos de Python para que esté bastante explicada
- [SPARK-45597] [SC-150730][PYTHON][SQL] Compatibilidad con la creación de tablas mediante un origen de datos de Python en SQL (ejecución de DSv2)
- [SPARK-46402] [SC-150700][PYTHON] Adición de compatibilidad con getMessageParameters y getQueryContext
- [SPARK-46453] [SC-150897][CONNECT] Inicio de la excepción de
internalError()enSessionHolder - [SPARK-45758] [SC-147454][SQL] Introducción de un asignador para los códecs de compresión de Hadoop
- [SPARK-46213] [PYTHON] Introducción de
PySparkImportErrorpara el marco de errores - [SPARK-46230] [SC-149960][PYTHON] Migración de
RetriesExceededal error de PySpark - [SPARK-45035] [SC-145887][SQL] Corrección de la notificación de error al ejecutar ignoreCorruptFiles/ignoreMissingFiles con CSV/JSON multilínea
- [SPARK-46289] [SC-150846][SQL] Compatibilidad con la ordenación de UDT en modo interpretado
- [SPARK-46229] [SC-150798][PYTHON][CONNECT] Adición de applyInArrow a groupBy y cogroup en Spark Connect
- [SPARK-46420] [SC-150847][SQL] Eliminación del transporte sin usar en SparkSQLCLIDriver
- [SPARK-46226] [PYTHON] Migración todos los elementos
RuntimeErrorrestantes al marco de errores de PySpark - [SPARK-45796] [SC-150613][SQL] Compatibilidad con MODE() WITHIN GROUP (columna ORDER BY)
- [SPARK-40559] [SC-149686][PYTHON][14.X] Adición de applyInArrow a groupBy y cogroup
- [SPARK-46069] [SC-149672][SQL] Compatibilidad con la desencapsulación del tipo de marca de tiempo al tipo de fecha
- [SPARK-46406] [SC-150770][SQL] Asignación de un nombre a la clase de error _LEGACY_ERROR_TEMP_1023
- [SPARK-46431] [SC-150782][SS] Conversión de
IllegalStateExceptioneninternalErroren iteradores de sesión - [SPARK-45807] [SC-150751][SQL] Mejora de la API ViewCatalog
- [SPARK-46009] [SC-149771][SQL][CONNECT] Combinación de la regla de análisis de PercentileCont y PercentileDisc en functionCall
- [SPARK-46403] [SC-150756][SQL] Descodificación del archivo binario parquet con el método getBytesUnsafe
- [SPARK-46389] [SC-150779][CORE] Cierre manual de la instancia de
RocksDB/LevelDBcuandocheckVersioninicia una excepción - [SPARK-46360] [SC-150376][PYTHON] Mejora de la depuración de mensajes de error con la nueva API
getMessage - [SPARK-46233] [SC-149766][PYTHON] Migración de todos los elementos
AttributeErrorrestantes al marco de errores de PySpark - [SPARK-46394] [SC-150599][SQL] Corrección de problemas de spark.catalog.listDatabases() en esquemas con caracteres especiales cuando
spark.sql.legacy.keepCommandOutputSchemase establece en true - [SPARK-45964] [SC-148484][SQL] Eliminación del descriptor de acceso de SQL privado en XML y el paquete JSON, en el paquete Catalyst
- [SPARK-45856] [SC-148691] Mover ArtifactManager de Spark Connect a SparkSession (sql/core)
- [SPARK-46409] [SC-150714][CONNECT] Corrección del script de inicio spark-connect-scala-client
- [SPARK-46416] [SC-150699][CORE] Adición de
@tailrecaHadoopFSUtils#shouldFilterOutPath - [SPARK-46115] [SC-149154][SQL] Restricción de los juegos de caracteres en
encode() - [SPARK-46253] [SC-150416][PYTHON] Planeación de la lectura del origen de datos de Python mediante MapInArrow
- [SPARK-46339] [SC-150266][SS] El directorio con el nombre del número de lote no debe tratarse como un registro de metadatos
- [SPARK-46353] [SC-150396][CORE] Refactorización para mejorar la cobertura de pruebas unitarias de
RegisterWorker - [SPARK-45826] [SC-149061][SQL] Adición de una configuración de SQL para seguimientos de la pila en el contexto de consulta de DataFrame
- [SPARK-45649] [SC-150300][SQL] Unificación del marco de preparación para OffsetWindowFunctionFrame
- [SPARK-46346] [SC-150282][CORE] Corrección de Master para actualizar un trabajo de
UNKNOWNaALIVEen el mensajeRegisterWorker - [SPARK-46388] [SC-150496][SQL] HiveAnalysis pierde la protección de patrones de
query.resolved - [SPARK-46401] [SC-150609][CORE] Uso de
!isEmpty()enRoaringBitmapen lugar degetCardinality() > 0enRemoteBlockPushResolver - [SPARK-46393] [SC-150603][SQL] Clasificación de excepciones en el catálogo de tablas JDBC
- [SPARK-45798] [SC-150513][CONNECT] Seguimiento: adición de serverSessionId a SessionHolderInfo
- [SPARK-46153] [SC-146564][SC-150508][SQL] XML: adición de compatibilidad con TimestampNTZType
- [SPARK-46075] [SC-150393][CONNECT] Mejoras en SparkConnectSessionManager
- [SPARK-46357] [SC-150596] Reemplazo del uso incorrecto de la documentación de setConf con conf.set
- [SPARK-46202] [SC-150420][CONNECT] Exposición de nuevas API de ArtifactManager para admitir directorios de destino personalizados
- [SPARK-45824] [SC-147648][SQL] Exigir la clase de error en
ParseException - [SPARK-45845] [SC-148163][SS][UI] Adición del número de filas de estado expulsadas en la interfaz de usuario de streaming
- [SPARK-46316] [SC-150181][CORE] Habilitación de
buf-lint-actionen el módulocore - [SPARK-45816] [SC-147656][SQL] Devolución de
NULLcuando hay un desbordamiento durante la conversión de la marca de tiempo a enteros - [SPARK-46333] [SC-150263][SQL] Reemplazo de
IllegalStateExceptionporSparkException.internalErroren catalyst - [SPARK-45762] [SC-148486][CORE] Compatibilidad con administradores aleatorios definidos en archivos JAR de usuarios cambiando el orden de inicio
- [SPARK-46239] [SC-149752][CORE] Ocultación de la información de
Jetty - [SPARK-45886] [SC-148089][SQL] Generar el seguimiento de la pila completa en
callSitedel contexto de DataFrame - [SPARK-46290] [SC-150059][PYTHON] Cambio de saveMode a una marca booleana para DataSourceWriter
- [SPARK-45899] [SC-148097][CONNECT] Establecimiento de errorClass en errorInfoToThrowable
- [SPARK-45841] [SC-147657][SQL] Exposición del seguimiento de la pila por
DataFrameQueryContext - [SPARK-45843] [SC-147721][CORE] Compatibilidad con
killallen la API de envío de REST - [SPARK-46234] [SC-149711][PYTHON] Introducción de
PySparkKeyErrorpara el marco de errores de PySpark - [SPARK-45606] [SC-147655][SQL] Eliminación de las restricciones del filtro en tiempo de ejecución de varias capas
- [SPARK-45725] [SC-147006][SQL] Eliminación del filtro IN de subconsulta en tiempo de ejecución no predeterminado
- [SPARK-45694] [SC-147314][SPARK-45695][SQL] Limpieza del uso de las API en desuso
View.forceyScalaNumberProxy.signum - [SPARK-45805] [SC-147488][SQL] Hacer que
withOriginsea más genérico - [SPARK-46292] [SC-150086][CORE][UI] Mostrar un resumen de los trabajos en MasterPage
- [SPARK-45685] [SC-146881][CORE][SQL] Uso de
LazyListen lugar deStream - [SPARK-45888] [SC-149945][SS] Aplicación del marco de la clase de error al origen de datos de estado (metadatos)
- [SPARK-46261] [SC-150111][CONNECT]
DataFrame.withColumnsRenameddebe mantener el orden dict/map - [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI] Limpieza de las conversiones de
SeqOps.viewyArrayOps.view - [SPARK-46029] [SC-149255][SQL] Escape de la comilla simple,
_y%para la delegación de DS V2 - [SPARK-46275] [SC-150189] Protobuf: devolución de valores null en modo permisivo cuando se produce un error en la deserialización
- [SPARK-46320] [SC-150187][CORE] Compatibilidad con
spark.master.rest.host - [SPARK-46092] [SC-149658][SQL] No insertar filtros de grupo de filas Parquet que se desbordan
- [SPARK-46300] [SC-150097][PYTHON][CONNECT] Buscar coincidencias de comportamientos menores en Columna con cobertura de prueba completa
- [SPARK-46298] [SC-150092][PYTHON][CONNECT] Coincidencia de la advertencia de desuso, caso de prueba y error de Catalog.createExternalTable
- [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Limpieza del uso de API en desuso relacionado con
StringContext/StringOps/RightProjection/LeftProjection/Eithery el uso de tipos deBufferedIterator/CanBuildFrom/Traversable - [SPARK-33393] [SC-148407][SQL] Compatibilidad con SHOW TABLE EXTENDED en v2
- [SPARK-45737] [SC-147011][SQL] Eliminación del elemento
.toArray[InternalRow]innecesario enSparkPlan#executeTake - [SPARK-46249] [SC-149797][SS] Requerir el bloqueo de la instancia para adquirir métricas de RocksDB para evitar la carrera con operaciones en segundo plano
- [SPARK-46260] [SC-149940][PYTHON][SQL]
DataFrame.withColumnsRenameddeben respetar el orden dict - [SPARK-46274] [SC-150043][SQL] Corrección del operador Range computeStats() para comprobar la validez prolongada antes de la conversión
- [SPARK-46040] [SC-149767][SQL][Python] Actualización de la API de UDTF para que el método "analyze" admita expresiones generales para la partición/ordenación de columnas
- [SPARK-46287] [SC-149949][PYTHON][CONNECT]
DataFrame.isEmptydeben funcionar con todos los tipos de datos - [SPARK-45678] [SC-146825][CORE] Encapsulación de BufferReleasingInputStream.available/reset en tryOrFetchFailedException
- [SPARK-45667] [SC-146716][CORE][SQL][CONNECT] Limpieza del uso de API en desuso relacionado con
IterableOnceExtensionMethods - [SPARK-43980] [SC-148992][SQL] Introducción de la sintaxis
select * except - [SPARK-46269] [SC-149816][PS] Habilitación de más pruebas de función de compatibilidad de NumPy
- [SPARK-45807] [SC-149851][SQL] Adición de createOrReplaceView(..) / replaceView(..) a ViewCatalog
- [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON] Introducción de una función implícita para que Scala Array se encapsule en
immutable.ArraySeq. - [SPARK-46205] [SC-149655][CORE] Mejora del rendimiento de
PersistenceEngineconKryoSerializer - [SPARK-45746] [SC-149359][Python] Devolución de mensajes de error específicos si el método "analyze" o "eval" de UDTF acepta o devuelve valores incorrectos
- [SPARK-46186] [SC-149707][CONNECT] Corrección de la transición de estado no válida cuando ExecuteThreadRunner se interrumpió antes de comenzar
- [SPARK-46262] [SC-149803][PS] Habilitación de la prueba de
np.left_shiftpara el objeto Pandas-on-Spark - [SPARK-45093] [SC-149679][CONNECT][PYTHON] Compatibilidad correcta con la solución de errores y la conversión para AddArtifactHandler
- [SPARK-46188] [SC-149571][Doc][3.5] Corrección del CSS de las tablas generadas de la documentación de Spark
- [SPARK-45940] [SC-149549][PYTHON] Adición de InputPartition a la interfaz de DataSourceReader
- [SPARK-43393] [SC-148301][SQL] Solución del error de desbordamiento de expresiones de secuencia
- [SPARK-46144] [SC-149466][SQL] Generación de un error en la instrucción INSERT INTO … REPLACE si la condición contiene subconsultas
- [SPARK-46118] [SC-149096][SQL][SS][CONNECT] Usar de
SparkSession.sessionState.confen lugar deSQLContext.confy marcarSQLContext.confcomo en desuso - [SPARK-45760] [SC-147550][SQL] Adición de la expresión With para evitar duplicar expresiones
- [SPARK-43228] [SC-149670][SQL] Las claves de combinación también coinciden con PartitioningCollection en CoalesceBucketsInJoin
- [SPARK-46223] [SC-149691][PS] Prueba de SparkPandasNotImplementedError con la limpieza del código sin usar
- [SPARK-46119] [SC-149205][SQL] Invalidación del método
toStringparaUnresolvedAlias - [SPARK-46206] [SC-149674][PS] Uso de una excepción de ámbito más estrecho para el procesador SQL
- [SPARK-46191] [SC-149565][CORE] Mejora del mensaje de error
FileSystemPersistenceEngine.persisten caso de que exista un archivo - [SPARK-46036] [SC-149356][SQL] Eliminación de la clase de error en la función raise_error
- [SPARK-46055] [SC-149254][SQL] Reescritura de la implementación de las API de bases de datos de catálogos
- [SPARK-46152] [SC-149454][SQL] XML: adición de compatibilidad con DecimalType en la inferencia de esquemas XML
- [SPARK-45943] [SC-149452][SQL] Mover DetermineTableStats a reglas de resolución
- [SPARK-45887] [SC-148994][SQL] Alineación de la implementación de codegen y non-codegen de
Encode - [SPARK-45022] [SC-147158][SQL] Proporcionar contexto para errores de API del conjunto de datos
- [SPARK-45469] [SC-145135][CORE][SQL][CONNECT][PYTHON] Reemplazo de
toIteratorconiteratorparaIterableOnce - [SPARK-46141] [SC-149357][SQL] Cambio del valor predeterminado de spark.sql.legacy.ctePrecedencePolicy a CORRECTED
- [SPARK-45663] [SC-146617][CORE][MLLIB] Reemplazo de
IterableOnceOps#aggregateporIterableOnceOps#foldLeft - [SPARK-45660] [SC-146493][SQL] Reutilización de objetos literales en la regla ComputeCurrentTime
- [SPARK-45803] [SC-147489][CORE] Eliminación del
RpcAbortExceptionque ya no se usa - [SPARK-46148] [SC-149350][PS] Corrección de la prueba pyspark.pandas.mlflow.load_model (Python 3.12)
- [SPARK-46110] [SC-149090][PYTHON] Uso de clases de error en los módulos catalog, conf, connect, observation y pandas
- [SPARK-45827] [SC-149203][SQL] Correcciones de variaciones con codegen y el lector vectorizado deshabilitados
- [SPARK-46080] Reversión de "[SC-149012][PYTHON] Actualización de Cloudpickle a 3.0.0"
- [SPARK-45460] [SC-144852][SQL] Reemplazo de
scala.collection.convert.ImplicitConversionsporscala.jdk.CollectionConverters - [SPARK-46073] [SC-149019][SQL] Eliminación de la resolución especial de UnresolvedNamespace para determinados comandos
- [SPARK-45600] [SC-148976][PYTHON] Hacer que el registro del origen de datos de Python sea a nivel de sesión
- [SPARK-46074] [SC-149063][CONNECT][SCALA] Detalles insuficientes en el mensaje de error de UDF
- [SPARK-46114] [SC-149076][PYTHON] Adición de PySparkIndexError para el marco de errores
- [SPARK-46120] [SC-149083][CONNECT][PYTHON] Eliminación de la función auxiliar
DataFrame.withPlan - [SPARK-45927] [SC-148660][PYTHON] Actualización del control de rutas de acceso para el origen de datos de Python
- [SPARK-46062] [14.x][SC-148991][SQL] Sincronización de la marca isStreaming entre la definición de CTE y la referencia
- [SPARK-45698] [SC-146736][CORE][SQL][SS] Limpieza del uso de API en desuso relacionado con
Buffer - [SPARK-46064] [SC-148984][SQL][SS] Mover EliminateEventTimeWatermark al analizador y cambiarlo para que solo surta efecto en el elemento secundario resuelto
- [SPARK-45922] [SC-149038][CONNECT][CLIENT] Refactorización de reintentos menores (seguimiento de varias directivas)
- [SPARK-45851] [SC-148419][CONNECT][SCALA] Compatibilidad con varias directivas en el cliente de Scala
- [SPARK-45974] [SC-149062][SQL] Adición de un criterio scan.filterAttributes no vacío para RowLevelOperationRuntimeGroupFiltering
- [SPARK-46085] [SC-149049][CONNECT] Dataset.groupingSets en el cliente de Scala Spark Connect
- [SPARK-45136] [SC-146607][CONNECT] Mejora de la compatibilidad de ClosureCleaner con Ammonite
- [SPARK-46084] [SC-149020][PS] Refactorización de la operación de conversión de tipos de datos para el tipo de categoría
- [SPARK-46083] [SC-149018][PYTHON] Hacer que SparkNoSuchElementException sea como una API de error canónico
- [SPARK-46048] [SC-148982][PYTHON][CONNECT] Compatibilidad con DataFrame.groupingSets en Python Spark Connect
- [SPARK-46080] [SC-149012][PYTHON] Actualización de Cloudpickle a 3.0.0
- [SPARK-46082] [SC-149015][PYTHON][CONNECT] Corrección de la representación de cadenas protobuf para la API de funciones de Pandas con Spark Connect
- [SPARK-46065] [SC-148985][PS] Refactorización de
(DataFrame|Series).factorize()para usarcreate_map - [SPARK-46070] [SC-148993][SQL] Compilación del patrón regex en SparkDateTimeUtils.getZoneId fuera del bucle frecuente
- [SPARK-46063] [SC-148981][PYTHON][CONNECT] Mejora de los mensajes de error relacionados con los tipos de argumento en cute, rollup, groupby y pivot
- [SPARK-44442] [SC-144120][MESOS] Eliminación de la compatibilidad con Mesos
- [SPARK-45555] [SC-147620][PYTHON] Incluye un objeto depurable para la aserción con errores
- [SPARK-46048] [SC-148871][PYTHON][SQL] Compatibilidad con DataFrame.groupingSets en PySpark
- [SPARK-45768] [SC-147304][SQL][PYTHON] Conversión de faulthandler en una configuración de entorno de ejecución para la ejecución de Python en SQL
- [SPARK-45996] [SC-148586][PYTHON][CONNECT] Mostrar mensajes de requisitos de dependencia adecuados para Spark Connect
- [SPARK-45681] [SC-146893][UI] Clonación de una versión js de UIUtils.errorMessageCell para la representación coherente de errores en la interfaz de usuario
- [SPARK-45767] [SC-147225][CORE] Eliminación de
TimeStampedHashMapy su UT - [SPARK-45696] [SC-148864][CORE] Corrección del método tryCompleteWith, está en desuso con el rasgo Promise
- [SPARK-45503] [SC-146338][SS] Adición de una configuración para establecer la compresión de RocksDB
- [SPARK-45338] [SC-143934][CORE][SQL] Reemplazo de
scala.collection.JavaConvertersporscala.jdk.CollectionConverters - [SPARK-44973] [SC-148804][SQL] Corrección de
ArrayIndexOutOfBoundsExceptionenconv() - [SPARK-45912] [SC-144982][SC-148467][SQL] Mejora de la API XSDToSchema: cambio a la API de HDFS para la accesibilidad del almacenamiento en la nube
- [SPARK-45819] [SC-147570][CORE] Compatibilidad con
clearen la API de envío de REST - [SPARK-45552] [14.x][SC-146874][PS] Introducción de parámetros flexible en
assertDataFrameEqual - [SPARK-45815] [SC-147877][SQL][Streaming][14.x][CHERRY-PICK] Proporcionar una interfaz para que otros orígenes de streaming agreguen columnas
_metadata - [SPARK-45929] [SC-148692][SQL] Compatibilidad con la operación groupingSets en la API de DataFrame
- [SPARK-46012] [SC-148693][CORE] EventLogFileReader no debe leer registros graduales si falta el archivo de estado de la aplicación
- [SPARK-45965] [SC-148575][SQL] Mover expresiones de partición DSv2 a functions.partitioning
- [SPARK-45971] [SC-148541][CORE][SQL] Corrección del nombre del paquete de
SparkCollectionUtilsaorg.apache.spark.util - [SPARK-45688] [SC-147356][SPARK-45693][CORE] Limpieza del uso de la API en desuso relacionado con
MapOpsy corrección demethod += in trait Growable is deprecated - [SPARK-45962] [SC-144645][SC-148497][SQL] Eliminación de
treatEmptyValuesAsNullsy uso de la opciónnullValueen su lugar en XML - [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Corrección de typehints para controlar
listGenericAlias en Python 3.11+ - [SPARK-45999] [SC-148595][PS] Uso de
PandasProductdedicados encumprod - [SPARK-45986] [SC-148583][ML][PYTHON] Corrección de
pyspark.ml.torch.tests.test_distributoren Python 3.11 - [SPARK-45994] [SC-148581][PYTHON] Cambio de
description-fileadescription_file - [SPARK-45575] [SC-146713][SQL] Compatibilidad con opciones de viaje en tiempo para la API df read
- [SPARK-45747] [SC-148404][SS] Uso de información de clave de prefijo en metadatos de estado para controlar el estado de lectura para la agregación de ventanas de sesión
- [SPARK-45898] [SC-148213][SQL] Reescritura de las API de tabla de catálogo para usar un plan lógico sin resolver
- [SPARK-45828] [SC-147663][SQL] Eliminación de métodos en desuso en dsl
- [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT] Actualización de
protobufa 4.25.1 para admitirPython 3.11 - [SPARK-45911] [SC-148226][CORE] Hacer que TLS1.3 sea el ajuste predeterminado para RPC SSL
- [SPARK-45955] [SC-148429][UI] Compatibilidad con la contracción de los detalles de los gráficos de flama y del volcado de subprocesos
- [SPARK-45936] [SC-148392][PS] Optimización de
Index.symmetric_difference - [SPARK-45389] [SC-144834][SQL][3.5] Corrección de la regla de coincidencia MetaException para obtener metadatos de partición
- [SPARK-45655] [SC-148085][SQL][SS] Permitir expresiones no deterministas dentro de AggregateFunctions en CollectMetrics
- [SPARK-45946] [SC-148448][SS] Corrección del uso de escritura de FileUtils en desuso para pasar el conjunto de caracteres predeterminado en RocksDBSuite
- [SPARK-45511] [SC-148285][SS] Origen de datos de estado - Lector
- [SPARK-45918] [SC-148293][PS] Optimización de
MultiIndex.symmetric_difference - [SPARK-45813] [SC-148288][CONNECT][PYTHON] Devolución de las métricas observadas de los comandos
- [SPARK-45867] [SC-147916][CORE] Compatibilidad con
spark.worker.idPattern - [SPARK-45945] [SC-148418][CONNECT] Adición de una función auxiliar para
parser - [SPARK-45930] [SC-148399][SQL] Compatibilidad con UDF no deterministas en MapInPandas/MapInArrow
- [SPARK-45810] [SC-148356][Python] Creación de una API de UDTF de Python para dejar de consumir filas de la tabla de entrada
- [SPARK-45731] [SC-147929][SQL] Actualización también de las estadísticas de partición con el comando
ANALYZE TABLE - [SPARK-45868] [SC-148355][CONNECT] Garantizar que
spark.tableusa el mismo analizador con vanilla spark - [SPARK-45882] [SC-148161][SQL] La partición propagada de BroadcastHashJoinExec debe respetar CoalescedHashPartitioning
- [SPARK-45710] [SC-147428][SQL] Asignación de un nombre al error _LEGACY_ERROR_TEMP_21[59,60,61,62]
- [SPARK-45915] [SC-148306][SQL] Tratar decimal(x, 0) igual que IntegralType en
PromoteStrings - [SPARK-45786] [SC-147552][SQL] Corrección de resultados de división y multiplicación decimal inexactos
- [SPARK-45871] [SC-148084][CONNECT] Conversión de colecciones de optimizaciones relacionadas con
.toBufferen los módulosconnect - [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager puede buscar un sparkcontext detenido
- [SPARK-45913] [SC-148289][PYTHON] Hacer que los atributos internos sean privados para los errores de PySpark
- [SPARK-45827] [SC-148201][SQL] Adición del tipo de datos Variant en Spark
- [SPARK-44886] [SC-147876][SQL] Introducción de la cláusula CLUSTER BY para CREATE/REPLACE TABLE
- [SPARK-45756] [SC-147959][CORE] Compatibilidad con
spark.master.useAppNameAsAppId.enabled - [SPARK-45798] [SC-147956][CONNECT] Declaración del identificador de sesión del lado servidor
- [SPARK-45896] [SC-148091][SQL] Construcción de
ValidateExternalTypecon el tipo esperado correcto - [SPARK-45902] [SC-148123][SQL] Eliminación de la función
resolvePartitionColumnssin usar deDataSource - [SPARK-45909] [SC-148137][SQL] Eliminación de la conversión de
NumericTypesi se puede convertir de forma segura enIsNotNull - [SPARK-42821] [SC-147715][SQL] Eliminación de los parámetros sin usar en métodos splitFiles
- [SPARK-45875] [SC-148088][CORE] Eliminación de
MissingStageTableRowDatadel módulocore - [SPARK-45783] [SC-148120][PYTHON][CONNECT] Mejora de los mensajes de error cuando el modo Spark Connect está habilitado, pero la dirección URL remota no está establecida
- [SPARK-45804] [SC-147529][UI] Adición de la configuración spark.ui.threadDump.flamegraphEnabled para activar o desactivar el gráfico de flama
- [SPARK-45664] [SC-146878][SQL] Introducción de un asignador para los códecs de compresión de ocr
- [SPARK-45481] [SC-146715][SQL] Introducción de un asignador para los códecs de compresión de parquet
- [SPARK-45752] [SC-148005][SQL] Simplificación del código para comprobar las relaciones CTE sin referencia
- [SPARK-44752] [SC-146262][SQL] XML: actualización de la documentación de Spark
- [SPARK-45752] [SC-147869][SQL] Las CTE sin referencia deben comprobarse mediante CheckAnalysis0
- [SPARK-45842] [SC-147853][SQL] Refactorización de las API de función de catálogo para usar el analizador
- [SPARK-45639] [SC-147676][SQL][PYTHON] Compatibilidad con la carga de orígenes de datos de Python en DataFrameReader
- [SPARK-45592] [SC-146977][SQL] Problema de corrección en AQE con InMemoryTableScanExec
- [SPARK-45794] [SC-147646][SS] Introducción del origen de metadatos de estado para consultar la información de metadatos de estado de streaming
- [SPARK-45739] [SC-147059][PYTHON] Captura de IOException en lugar de solo EOFException para faulthandler
- [SPARK-45677] [SC-146700] Mejora del registro de errores para la API de observación
- [SPARK-45544] [SC-146873][CORE] Integración de la compatibilidad con SSL en TransportContext
- [SPARK-45654] [SC-147152][PYTHON] Adición de una API de escritura de orígenes de datos de Python
- [SPARK-45771] [SC-147270][CORE] Habilitación de
spark.eventLog.rolling.enabledde forma predeterminada - [SPARK-45713] [SC-146986][PYTHON] Compatibilidad con el registro de orígenes de datos de Python
- [SPARK-45656] [SC-146488][SQL] Corrección de la observación cuando hay observaciones con el mismo nombre en diferentes conjuntos de datos
- [SPARK-45808] [SC-147571][CONNECT][PYTHON] Mejora del control de errores para excepciones de SQL
- [SPARK-45774] [SC-147353][CORE][UI] Compatibilidad con
spark.master.ui.historyServerUrlenApplicationPage - [SPARK-45776] [SC-147327][CORE] Eliminación de la comprobación defensiva de valores null para
MapOutputTrackerMaster#unregisterShuffleagregada en SPARK-39553 - [SPARK-45780] [SC-147410][CONNECT] Propagación de todos los ThreadLocal de cliente de Spark Connect en InheritableThread
- [SPARK-45785] [SC-147419][CORE] Compatibilidad con
spark.deploy.appNumberModulopara rotar el número de aplicación - [SPARK-45793] [SC-147456][CORE] Mejora de los códecs de compresión integrados
- [SPARK-45757] [SC-147282][ML] Evitación del recálculo de NNZ en Binarizer
- [SPARK-45209] [SC-146490][CORE][UI] Compatibilidad del gráfico de flama con la página de volcado de subprocesos del ejecutor
- [SPARK-45777] [SC-147319][CORE] Compatibilidad con
spark.test.appIdenLocalSchedulerBackend - [SPARK-45523] [SC-146331][PYTHON] Refactorización de la comprobación de valores null para tener accesos directos
- [SPARK-45711] [SC-146854][SQL] Introducción de un asignador para los códecs de compresión de avro
- [SPARK-45523] [SC-146077][Python] Devolución de un mensaje de error útil si UDTF devuelve None para cualquier columna que no acepta valores NULL
- [SPARK-45614] [SC-146729][SQL] Asignación de un nombre al error __LEGACY_ERROR_TEMP_215[6,7,8]
- [SPARK-45755] [SC-147164][SQL] Mejora de
Dataset.isEmpty()aplicando el límite global1 - [SPARK-45569] [SC-145915][SQL] Asignación de un nombre al error _LEGACY_ERROR_TEMP_2153
- [SPARK-45749] [SC-147153][CORE][WEBUI] Corrección de
Spark History Serverpara ordenar la columnaDurationcorrectamente - [SPARK-45754] [SC-147169][CORE] Compatibilidad con
spark.deploy.appIdPattern - [SPARK-45707] [SC-146880][SQL] Simplificación de
DataFrameStatFunctions.countMinSketchconCountMinSketchAgg - [SPARK-45753] [SC-147167][CORE] Compatibilidad con
spark.deploy.driverIdPattern - [SPARK-45763] [SC-147177][CORE][UI] Mejora de
MasterPagepara que muestre la columnaResourcesolo cuando exista - [SPARK-45112] [SC-143259][SQL] Uso de la resolución basada en UnresolvedFunction en funciones de conjunto de datos de SQL
Compatibilidad con el controlador ODBC/JDBC de Databricks
Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).
Actualizaciones de mantenimiento
Consulte Actualizaciones de mantenimiento de Databricks Runtime 14.3. Esto se comenta en la versión inicial.
Entorno del sistema
- Sistema operativo: Ubuntu 22.04.3 LTS
- Java: Zulu 8.74.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- Delta Lake: 3.1.0
Bibliotecas de Python instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | click | 8.0.4 | comm | 0.1.2 |
| contourpy | 1.0.5 | criptografía | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0,11 | entrypoints | 0,4 |
| executing | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.19.1 |
| filelock | 3.13.1 | fonttools | 4.25.0 | googleapis-common-protos | 1.62.0 |
| grpcio | 1.48.2 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| idna | 3.4 | importlib-metadata | 4.6.4 | ipykernel | 6.25.0 |
| ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.17.3 |
| jupyter-client | 7.3.4 | jupyter-server | 1.23.4 | jupyter_core | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 |
| kiwisolver | 1.4.4 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lxml | 4.9.1 | MarkupSafe | 2.1.1 |
| matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 | mccabe | 0.7.0 |
| mistune | 0.8.4 | more-itertools | 8.10.0 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.2 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | nodeenv | 1.8.0 |
| notebook | 6.5.2 | notebook_shim | 0.2.2 | numpy | 1.23.5 |
| oauthlib | 3.2.0 | empaquetado | 23,2 | pandas | 1.5.3 |
| pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 22.3.1 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 4.24.0 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pyarrow-hotfix | 0.5 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.1.0 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| Python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | python-lsp-server | 1.8.0 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| requests | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | scipy | 1.10.0 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 65.6.3 |
| six (seis) | 1.16.0 | sniffio | 1.2.0 | soupsieve | 2.3.2.post1 |
| ssh-import-id | 5.11 | stack-data | 0.2.0 | statsmodels | 0.13.5 |
| tenacity | 8.1.0 | terminado | 0.17.1 | threadpoolctl | 2.2.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.7.1 | typing_extensions | 4.4.0 |
| ujson | 5.4.0 | unattended-upgrades | 0,1 | urllib3 | 1.26.14 |
| virtualenv | 20.16.7 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | whatthepatch | 1.0.2 |
| wheel | 0.38.4 | widgetsnbextension | 3.6.1 | yapf | 0.33.0 |
| zipp | 1.0.0 |
Bibliotecas de R instaladas
Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes de Posit el 2023-02-10.
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| arrow | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.4 |
| boot | 1.3-28 | brew | 1,0 - 8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | caret | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | clase | 7.3-22 | cli | 3.6.1 |
| clipr | 0.8.0 | clock | 0.7.0 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | en conflicto | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | credentials | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | conjuntos de datos | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
| devtools | 2.4.5 | diagrama | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | ellipsis | 0.3.2 |
| evaluate | 0,21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-85 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | generics | 0.1.3 | gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| elementos gráficos | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0,10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1,43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| lava | 1.7.2.1 | ciclo de vida | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
| MASS | 7.3-60 | Matriz | 1.5-4.1 | memoise | 2.0.1 |
| métodos | 4.3.1 | mgcv | 1.8-42 | mime | 0,12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | progreso | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2,23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.21 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| spatial | 7.3-15 | splines | 4.3.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | stats | 4.3.1 | stats4 | 4.3.1 |
| stringi | 1.7.12 | stringr | 1.5.0 | survival | 3.5-5 |
| sys | 3.4.2 | systemfonts | 1.0.4 | tcltk | 4.3.1 |
| testthat | 3.1.10 | textshaping | 0.3.6 | tibble | 3.2.1 |
| tidyr | 1.3.0 | tidyselect | 1.2.0 | tidyverse | 2.0.0 |
| timechange | 0.2.0 | timeDate | 4022.108 | tinytex | 0.45 |
| tools | 4.3.1 | tzdb | 0.4.0 | urlchecker | 1.0.1 |
| usethis | 2.2.2 | utf8 | 1.2.3 | utils | 4.3.1 |
| uuid | 1.1-0 | vctrs | 0.6.3 | viridisLite | 0.4.2 |
| vroom | 1.6.3 | waldo | 0.5.1 | whisker | 0.4.1 |
| withr | 2.5.0 | xfun | 0.39 | xml2 | 1.3.5 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.7 |
| zip | 2.3.0 |
Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)
| Identificador de grupo | Identificador de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | flujo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.13.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,25 |
| io.delta | delta-sharing-client_2.12 | 1.0.3 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recopilador | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,40 |
| org.glassfish.jersey.core | jersey-client | 2,40 |
| org.glassfish.jersey.core | jersey-common | 2,40 |
| org.glassfish.jersey.core | jersey-server | 2,40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |