Comparteix via

Databricks Runtime 14.3 LTS

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 14.3 LTS, con tecnología de Apache Spark 3.5.0.

Databricks publicó esta versión en febrero de 2024.

Nota:

LTS significa que esta versión tiene soporte técnico a largo plazo. Consulte Ciclo de vida de la versión de Databricks Runtime LTS.

Sugerencia

Para ver las notas de la versión de las versiones de Databricks Runtime que han alcanzado el fin de soporte técnico (EoS), consulte Notas de la versión de Databricks Runtime de fin de soporte técnico. Las versiones de Databricks Runtime EoS se han retirado y es posible que no se actualicen.

Nuevas características y mejoras

Compatibilidad con el sistema de archivos del área de trabajo en funciones definidas por el usuario (UDF) de PySpark en clústeres de modo de acceso estándar (anteriormente modo de acceso compartido)

Las UDF de PySpark en clústeres estándar ahora pueden importar módulos de Python desde carpetas de Git, archivos de área de trabajo o volúmenes UC.

Para obtener más información sobre cómo trabajar con módulos en carpetas de Git o archivos de área de trabajo, vea Trabajar con módulos de Python y R.

Soporte con optimizaciones de vectores de eliminación MERGE sin Photon

Photon ya no es necesario para MERGE operaciones para aprovechar las optimizaciones de vectores de eliminación. Consulte ¿Qué son los vectores de eliminación?.

Las API de catálogo de Spark ahora son totalmente compatibles con el modo de acceso estándar

Ahora puede usar todas las funciones de la API de spark.catalog en Python y Scala en sistemas de computación configurados con el modo de acceso estándar.

Delta UniForm ya está disponible con carácter general

UniForm ahora está disponible con carácter general y usa la característica de tabla IcebergCompatV2. Ahora puede habilitar o actualizar UniForm en las tablas existentes. Consulte Lectura de tablas Delta con clientes de Iceberg.

Nueva función SQL EXECUTE IMMEDIATE

Ahora puede usar la sintaxis de EXECUTE IMMEDIATE para admitir consultas con parámetros en SQL. Consulte EXECUTE IMMEDIATE.

Recálculo de las estadísticas de omisión de datos para tablas delta

Ahora puede volver a calcular las estadísticas almacenadas en el registro delta después de cambiar las columnas que se usan para la omisión de datos. Vea Especificación de columnas de estadísticas delta.

Información de estado de consulta para consultas de streaming con estado

Ahora puede consultar los datos de estado y los metadatos de Structured Streaming. Consulte Leer información de estado de Structured Streaming.

Uso de Microsoft Entra ID para la autenticación de Kafka en clústeres estándar

Ahora puede autenticar los servicios de Event Hubs a través de OAuth con Microsoft Entra ID en recursos de computación configurados con el modo de acceso estándar. Consulte Autenticación de entidad de servicio con Microsoft Entra ID y Azure Event Hubs.

Compatibilidad agregada para la eliminación de archivos y particiones para mejorar el rendimiento de las consultas

Para acelerar algunas consultas que dependen de la igualdad tolerante a valores NULL en condiciones JOIN ahora se admite DynamicFilePruning y DynamicPartitionPruning para el EqualNullSafe operador en JOIN.

Declaración de variables temporales en una sesión de SQL

Esta versión presenta la capacidad de declarar variables temporales en una sesión que se puede establecer y, a continuación, hacer referencia a desde dentro de las consultas. Consulte Variables.

Actualizaciones del servidor Thrift para quitar características que no se usan

El código del servidor Thrift se ha actualizado para quitar el código de las características obsoletas. Debido a estos cambios, ya no se admiten las siguientes configuraciones:

  • Los archivos JAR auxiliares de Hive, configurados con la propiedad hive.aux.jars.path, ya no se admiten para las conexiones hive-thriftserver.
  • El archivo init global de Hive (.hiverc), cuya ubicación se configura mediante la propiedad hive.server2.global.init.file.location o la variable de entorno HIVE_CONF_DIR, ya no se admite para las conexiones hive-thriftserver.

Uso del almacén de confianza y los archivos de almacén de claves en volúmenes de Unity Catalog

Ahora puede usar archivos de almacén de confianza y de almacén de claves en los volúmenes del Catálogo de Unity para autenticarse en un Registro de esquemas Confluent para datos de búfer de protocolo o avro. Consulte la documentación de avro o protocol buffers.

Compatibilidad con el formato de archivo XML nativo (versión preliminar pública)

La compatibilidad con el formato de archivo XML nativo ahora está en versión preliminar pública. La compatibilidad con formatos de archivo XML permite la ingesta, la consulta y el análisis de datos XML para el procesamiento por lotes o el streaming. Puede deducir y evolucionar automáticamente los tipos de datos y esquemas, admite expresiones SQL como from_xml, y pueden generar documentos XML. No requiere archivos jar externos y funciona sin problemas con el cargador automático, read_files, COPY INTOy DLT. Consulte Lectura y escritura de archivos XML.

Compatibilidad con el almacenamiento de Cloudflare R2 (versión preliminar pública)

Ahora puede usar Cloudflare R2 como almacenamiento en la nube para los datos registrados en Unity Catalog. Cloudflare R2 está pensado principalmente para los casos de uso compartido de Delta en los que desea evitar las tarifas de salida de datos que cobran los proveedores de nube cuando los datos cruzan regiones. El almacenamiento R2 admite todos los recursos de inteligencia artificial y datos de Databricks compatibles con AWS S3, Azure Data Lake Storage y Google Cloud Storage. Consulte Uso de réplicas de Cloudflare R2 o migración de almacenamiento a R2 y Creación de una credencial de almacenamiento para conectarse a Cloudflare R2.

El acceso de Spark y dbutils a los archivos del área de trabajo admiten clústeres de Catálogo de Unity de acceso estándar

Spark y dbutils acceso de lectura y escritura a los archivos del área de trabajo ahora se admiten en clústeres de Unity Catalog en modo de acceso estándar. Consulte Trabajar con archivos del área de trabajo.

Compatibilidad con scripts de inicialización y biblioteca de clústeres en clústeres de Catálogo de Unity de acceso estándar

La instalación de scripts de inicialización con ámbito de clúster y bibliotecas de Python y JAR en clústeres de Catálogo de Unity en modo de acceso estándar, incluida la instalación mediante directivas de clúster, ahora está disponible con carácter general. Databricks recomienda instalar scripts y bibliotecas de inicialización desde volúmenes de Unity Catalog.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • fastjsonschema de 2.19.0 a 2.19.1
    • filelock de 3.12.4 a 3.13.1
    • googleapis-common-protos de 1.61.0 a 1.62.0
    • packaging de 22.0 a 23.2
  • Bibliotecas de R actualizadas:
    • foreign de 0.8-82 a 0.8-85
    • nlme de 3.1-162 a 3.1-163
    • rpart de 4.1.19 a 4.1.21
  • Bibliotecas de Java actualizadas:
    • com.databricks.databricks-sdk-java de 0.7.0 a 0.13.0
    • org.apache.orc.orc-core de 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims de 1.9.1 a 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 de 2.9.0 a 2.11.0

Apache Spark

Databricks Runtime 14.3 incluye Apache Spark 3.5.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 14.2 (EoS), así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • [SPARK-46541] [SC-153546][sql][CONNECT] Corregir la referencia de columna ambigua en la unión automática
  • [SPARK-45433] Reversión de "[SC-145163][sql] Corrección de la inferencia de esquema CSV/JSON…
  • [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] Hacer que addArtifact vuelva a intentarlo
  • [SPARK-46660] [SC-153391][connect] Actualización de la actividad de SessionHolder mediante solicitudes ReattachExecute
  • [SPARK-46670] [SC-153273][python][SQL] Hacer que DataSourceManager pueda clonar automáticamente separando orígenes de datos de Python estáticos y en tiempo de ejecución
  • [SPARK-46720] [SC-153410][sql][PYTHON] Refactorizar el origen de datos de Python para alinearse con otros orígenes de datos integrados de DSv2
  • [SPARK-46684] [SC-153275][python][CONNECT] Corregir CoGroup.applyInPandas/Arrow para pasar argumentos correctamente
  • [SPARK-46667] [SC-153271][SC-153263][SQL] XML: error en varios orígenes de datos XML
  • [SPARK-46382] [SC-151881][sql] XML: configuración del valor predeterminado de ignoreSurroundingSpaces en true
  • [SPARK-46382] [SC-153178][sql] XML: Actualizar el documento para ignoreSurroundingSpaces
  • [SPARK-45292] Reversión de "[SC-151609][sql][HIVE] Eliminación de Guava de las clases compartidas de IsolatedClientLoader"
  • [SPARK-45292] [SC-151609][sql][HIVE] Eliminar Guava de las clases compartidas de IsolatedClientLoader
  • [SPARK-46311] [SC-150137][core] Registro del estado final de los controladores durante Master.removeDriver
  • [SPARK-46413] [SC-151052][python] Validación de returnType en la UDF de Arrow Python
  • [SPARK-46633] [WARMFIX][sc-153092][SQL] Corrección del lector de Avro para que controle bloques de longitud cero
  • [SPARK-46537] [SC-151286][sql] Conversión de NPE y aserciones de comandos a errores internos
  • [SPARK-46179] [SC-151678][sql] Adición de CrossDbmsQueryTestSuites, que ejecuta otros DBMS en archivos dorados con otros DBMS, empezando por Postgres
  • [SPARK-44001] [SC-151413][protobuf] Adición de una opción para permitir la desencapsulación de tipos de contenedor conocidos de protobuf
  • [SPARK-40876] [SC-151786][sql] Ampliación de la promoción de tipos para decimales con mayor escala en lectores de Parquet
  • [SPARK-46605] [SC-151769][connect] Hacer que la función lit/typedLit en el módulo connect admita s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005][sql] la validación literal no debe explorar en profundidad los campos NULL.
  • [SPARK-37039] [SC-153094][ps] Corregir Series.astype para que funcione correctamente con el valor que falta.
  • [SPARK-46312] [SC-150163][core] Usar lower_camel_case en store_types.proto
  • [SPARK-46630] [SC-153084][sql] XML: Validar el nombre del elemento XML en escritura
  • [SPARK-46627] [SC-152981][ss][UI] Corrección del contenido de la información sobre herramientas de la escala de tiempo en la interfaz de usuario de streaming
  • [SPARK-46248] [SC-151774][sql] XML: Compatibilidad con ignoreCorruptFiles y opciones ignoreMissingFiles
  • [SPARK-46386] [SC-150766][python] Mejora de las aserciones de observación (pyspark.sql.observation)
  • [SPARK-46581] [SC-151789][core] Actualizar comentario sobre isZero en AccumulatorV2
  • [SPARK-46601] [SC-151785][CORE] Corrección del error de registro en handleStatusMessage
  • [SPARK-46568] [SC-151685][python] Conversión de las opciones de origen de datos de Python en un diccionario que no distingue mayúsculas de minúsculas
  • [SPARK-46611] [SC-151783][core] Quitar ThreadLocal por reemplazar SimpleDateFormat por DateTimeFormatter
  • [SPARK-46604] [SC-151768][sql] Compatibilidad de Literal.apply con s.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223][sql][PYTHON] Corregir el nombre de salida de pyspark.sql.functions.user y session_user
  • [SPARK-46621] [SC-151794][python] Solución de valores null de Exception.getMessage en una excepción Py4J capturada
  • [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader debe respetar el modo de memoria al crear vectores de columna para la columna que falta.
  • [SPARK-46613] [SC-151778][sql][PYTHON] Registrar la excepción completa cuando no se pudo encontrar los orígenes de datos de Python
  • [SPARK-46559] [SC-151364][MLLIB] Encapsulación de export en el nombre del paquete con acentos graves
  • [SPARK-46522] [SC-151784][python] Bloquear el registro del origen de datos de Python debido a conflictos de nombres
  • [SPARK-45580] [SC-149956][SQL] Solución del caso en el que una subconsulta anidada se convierte en una combinación existente
  • [SPARK-46609] [SC-151714][sql] Evitar la explosión exponencial en PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288][SQL] Corrección de NPE al describir una columna extendida sin estadísticas de columna
  • [SPARK-46599] [SC-147661][sc-151770][SQL] XML: Use TypeCoercion.findTightestCommonType para comprobar la compatibilidad
  • [SPARK-40876] [SC-151129][SQL] Ampliación de las promociones de tipos en lectores de Parquet
  • [SPARK-46179] [SC-151069][sql] Extraer código en funciones reutilizables en SQLQueryTestSuite
  • [SPARK-46586] [SC-151679][SQL] Compatibilidad de s.c.immutable.ArraySeq como customCollectionCls en MapObjects
  • [SPARK-46585] [SC-151622][core] metricPeaks se construyó directamente como un immutable.ArraySeq en lugar de utilizar mutable.ArraySeq.toSeq en Executor
  • [SPARK-46488] [SC-151173][sql] Omitir la llamada trimAll durante el análisis de marca de tiempo
  • [SPARK-46231] [SC-149724][python] Migre todos los NotImplementedError & TypeError restantes al marco de errores de PySpark
  • [SPARK-46348] [SC-150281][core] Compatibilidad con spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164][CORE] Registro de la duración de la recuperación de Spark HA
  • [SPARK-46358] [SC-150307][CONNECT] Simplificación de la comprobación de la condición en ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078][sql]Reemplace la hora y fecha actuales antes de evaluar las expresiones de tabla insertadas.
  • [SPARK-46563] [SC-151441][SQL] La vista simpleString no sigue la configuración spark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Reducción de la profundidad de la pila reemplazando (cadena|matriz).size por (cadena|matriz).length
  • [SPARK-46539] [SC-151469][sql] SELECT * EXCEPT(todos los campos de una estructura) da como resultado un error de aserción
  • [SPARK-46565] [SC-151414][python] Refinar clases de error y mensajes de error para orígenes de datos de Python
  • [SPARK-46576] [SC-151614][sql] Mejorar los mensajes de error para el modo de guardado de orígenes de datos no admitidos
  • [SPARK-46540] [SC-151355][PYTHON] Respeto de los nombres de columna cuando la función de lectura del origen de datos de Python genera objetos Row con nombre
  • [SPARK-46577] [ SC-151448][sql] HiveMetastoreLazyInitializationSuite pierde el SessionState de Hive
  • [SPARK-44556] [SC-151562][sql] Reutilizar OrcTail al habilitar vectorizedReader
  • [SPARK-46587] [SC-151618][SQL] XML: corrección de la conversión de enteros grandes XSD
  • [SPARK-46382] [SC-151297][sql] XML: Capturar valores intercalados entre elementos
  • [SPARK-46567] [SC-151447][CORE] Eliminación de ThreadLocal para ReadAheadInputStream
  • [SPARK-45917] [SC-151269][python][SQL] Registro automático del origen de datos de Python al iniciarse
  • [SPARK-28386] [SC-151014][sql] No se pueden resolver ORDER BY columnas con GROUP BY y HAVING
  • [SPARK-46524] [SC-151446][SQL] Mejora de los mensajes de error para modos de guardado no válidos
  • [SPARK-46294] [SC-150672][SQL] Limpieza de la semántica de init frente al valor cero
  • [SPARK-46301] [SC-150100][core] Compatibilidad con spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324][SQL] Eliminación de la comprobación de c>=0 en ExternalCatalogUtils#needsEscaping porque siempre es true
  • [SPARK-46553] [SC-151360][ps] FutureWarning para interpolate con el objeto dtype
  • [SPARK-45914] [SC-151312][PYTHON] Compatibilidad con la confirmación y anulación de la API para la escritura de orígenes de datos de Python
  • [SPARK-46543] [SC-151350][PYTHON][CONNECT] Hacer que json_tuple genere el error PySparkValueError para campos vacíos
  • [SPARK-46520] [SC-151227][python] Compatibilidad con el modo de sobrescritura para escritura de orígenes de datos de Python
  • [SPARK-46502] [SC-151235][sql] Soporte de tipos de timestamp en UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279][CONNECT] Pasar parámetros de mensaje en metadatos de ErrorInfo
  • [SPARK-46397] Reversión de "[SC-151311][PYTHON][CONNECT] La función sha2 debe generar el error PySparkValueError para numBits no válidos"
  • [SPARK-46170] [SC-149472][sql] Admite la inyección de reglas de estrategia de planificación posterior a consultas adaptativas en SparkSessionExtensions
  • [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable no debe cargar la tabla
  • [SPARK-46397] [SC-151311][PYTHON][CONNECT] La función sha2 debe generar el error PySparkValueError para numBits no válidos
  • [SPARK-46145] [SC-149471][sql] spark.catalog.listTables no produce una excepción cuando no se encuentra la tabla o vista
  • [SPARK-46272] [SC-151012][SQL] Compatibilidad con CTAS mediante orígenes DSv2
  • [SPARK-46480] [SC-151127][core][SQL] Corregir NPE cuando se intenta la tarea de caché de tablas
  • [SPARK-46100] [SC-149051][core][PYTHON] Reduzca la profundidad de la pila reemplazando (string|array).size por (string|array).length.
  • [SPARK-45795] [SC-150764][SQL] DS V2 admite el modo de inserción
  • [SPARK-46485] [SC-151133][sql] V1Write no debe agregar Sort cuando no sea necesario.
  • [SPARK-46468] [SC-151121][SQL] Solución del error COUNT para subconsultas EXISTS con Aggregate sin agrupar claves
  • [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE soporte para SQL
  • [SPARK-46498] [SC-151199][core] Quitar shuffleServiceEnabled de o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807][sql] Establecer las configuraciones de rebase en el modo de CORRECTED de forma predeterminada
  • [SPARK-45525] [SC-151120][sql][PYTHON] Compatibilidad con escritura de orígenes de datos de Python mediante DSv2
  • [SPARK-46505] [SC-151187][connect] Hacer que el umbral de bytes sea configurable en ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025][SQL] Eliminación de las configuraciones de SQL de fecha y hora heredadas
  • [SPARK-46443] [SC-151123][sql] La precisión decimal y la escala deben decidirse por el dialecto H2.
  • [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] Corrección del gráfico de pila de duración de la operación en la página de streaming estructurado
  • [SPARK-46207] [SC-151068][sql] Compatibilidad con MergeInto en DataFrameWriterV2
  • [SPARK-46452] [SC-151018][sql] Agregar una nueva API en DataWriter para escribir un iterador de registros
  • [SPARK-46273] [SC-150313][sql] Compatibilidad con INSERT INTO/OVERWRITE mediante orígenes DSv2
  • [SPARK-46344] [SC-150267][CORE] Advertir correctamente cuando un controlador existe, pero el maestro está desconectado
  • [SPARK-46284] [SC-149944][python][CONNECT] Agregar session_user función a Python
  • [SPARK-46043] [SC-149786][sql] Compatibilidad con la creación de tablas mediante orígenes DSv2
  • [SPARK-46323] [SC-150191][python] Corregir el nombre de salida de pyspark.sql.functions.now
  • [SPARK-46465] [SC-151059][python][CONNECT] Agregar Column.isNaN en PySpark
  • [SPARK-46456] [SC-151050][core] Agregar spark.ui.jettyStopTimeout para establecer el tiempo de espera de detención del servidor Jetty para desbloquear el apagado de SparkContext
  • [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: permitir la difusión de tipos enteros sin signo
  • [SPARK-46399] [SC-151013][14.x][Core] Adición del estado de salida al evento de finalización de la aplicación para el uso del agente de escucha de Spark
  • [SPARK-46423] [SC-150752][python][SQL] Crear la instancia de fuente de datos de Python en DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765][PYTHON][SQL] Compatibilidad con métricas de Python en el origen de datos de Python
  • [SPARK-46330] [SC-151015] Carga de bloques de interfaz de usuario de Spark durante mucho tiempo cuando HybridStore está habilitado
  • [SPARK-46378] [SC-150397][SQL] Seguir quitando Sort después de convertir Aggregate en Project
  • [SPARK-45506] [SC-146959][CONNECT] Adición de compatibilidad con URI de ivy a SparkConnect addArtifact
  • [SPARK-45814] [SC-147871][connect][SQL] Hacer que ArrowConverters.createEmptyArrowBatch llame a close() para evitar fugas de memoria
  • [SPARK-46427] [SC-150759][python][SQL] Cambiar la descripción del origen de datos de Python para que sea bastante explicada
  • [SPARK-45597] [SC-150730][python][SQL] Compatibilidad con la creación de tablas mediante un origen de datos de Python en SQL (exec DSv2)
  • [SPARK-46402] [SC-150700][python] Agregar compatibilidad con getMessageParameters y getQueryContext
  • [SPARK-46453] [SC-150897][CONNECT] Inicio de la excepción de internalError() en SessionHolder
  • [SPARK-45758] [SC-147454][sql] Introducción de un mapeador para códecs de compresión de Hadoop
  • [SPARK-46213] [PYTHON] Introducción de PySparkImportError para el marco de errores
  • [SPARK-46230] [SC-149960][PYTHON] Migración de RetriesExceeded al error de PySpark
  • [SPARK-45035] [SC-145887][SQL] Corrección de la notificación de error al ejecutar ignoreCorruptFiles/ignoreMissingFiles con CSV/JSON multilínea
  • [SPARK-46289] [SC-150846][SQL] Compatibilidad con la ordenación de UDT en modo interpretado
  • [SPARK-46229] [SC-150798][PYTHON][CONNECT] Adición de applyInArrow a groupBy y cogroup en Spark Connect
  • [SPARK-46420] [SC-150847][sql] Quitar el transporte sin usar en SparkSQLCLIDriver
  • [SPARK-46226] [PYTHON] Migrar todos los elementos RuntimeError restantes al marco de manejo de errores de PySpark
  • [SPARK-45796] [SC-150613][sql] Soporte para MODE() DENTRO DEL GRUPO (ORDER BY col)
  • [SPARK-40559] [SC-149686][PYTHON][14.X] Adición de applyInArrow a groupBy y cogroup
  • [SPARK-46069] [SC-149672][SQL] Compatibilidad con la desencapsulación del tipo de marca de tiempo al tipo de fecha
  • [SPARK-46406] [SC-150770][sql] Asigne un nombre a la clase de error _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782][ss] Convertir IllegalStateException a internalError en iteradores de sesión
  • [SPARK-45807] [SC-150751][sql] Mejorar ViewCatalog API
  • [SPARK-46009] [SC-149771][sql][CONNECT] Combinar la regla de análisis de PercentileCont y PercentileDisc en functionCall
  • [SPARK-46403] [SC-150756][SQL] Descodificación del archivo binario parquet con el método getBytesUnsafe
  • [SPARK-46389] [SC-150779][core] Cierre manualmente la instancia de RocksDB/LevelDB cuando checkVersion inicie la excepción
  • [SPARK-46360] [SC-150376][python] Mejorar la depuración de mensajes de error con la nueva API de getMessage
  • [SPARK-46233] [SC-149766][python] Migre todos los AttributeError restantes al marco de error de PySpark
  • [SPARK-46394] [SC-150599][sql] Corregir problemas en spark.catalog.listDatabases() en esquemas con caracteres especiales cuando spark.sql.legacy.keepCommandOutputSchema está establecido en true
  • [SPARK-45964] [SC-148484][SQL] Eliminación del descriptor de acceso de SQL privado en XML y el paquete JSON, en el paquete Catalyst
  • [SPARK-45856] [SC-148691] Mover ArtifactManager desde Spark Connect hasta SparkSession (sql/core)
  • [SPARK-46409] [SC-150714][connect] Corrección del script de inicio de spark-connect-scala-client
  • [SPARK-46416] [SC-150699][core] Agregar @tailrec a HadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154][sql] Restringir los conjuntos de caracteres en encode()
  • [SPARK-46253] [SC-150416][python] Planificar la lectura de la fuente de datos de Python utilizando MapInArrow
  • [SPARK-46339] [SC-150266][ss] El directorio con el nombre del número de lote no debe tratarse como registro de metadatos
  • [SPARK-46353] [SC-150396][CORE] Refactorización para mejorar la cobertura de pruebas unitarias de RegisterWorker
  • [SPARK-45826] [SC-149061][SQL] Adición de una configuración de SQL para seguimientos de la pila en el contexto de consulta de DataFrame
  • [SPARK-45649] [SC-150300][sql] Unificar el marco de preparación para OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282][CORE] Corrección de Master para actualizar un trabajo de UNKNOWN a ALIVE en el mensaje RegisterWorker
  • [SPARK-46388] [SC-150496][SQL] HiveAnalysis pierde la protección de patrones de query.resolved
  • [SPARK-46401] [SC-150609][core] Use !isEmpty() en RoaringBitmap en lugar de getCardinality() > 0 en RemoteBlockPushResolver
  • [SPARK-46393] [SC-150603][sql] Clasificar excepciones en el catálogo de tablas de JDBC
  • [SPARK-45798] [SC-150513][connect] Seguimiento: agregar serverSessionId a SessionHolderInfo
  • [SPARK-46153] [SC-146564][sc-150508][SQL] XML: Agregar compatibilidad con TimestampNTZType
  • [SPARK-46075] [SC-150393][connect] Mejoras en SparkConnectSessionManager
  • [SPARK-46357] [SC-150596] Reemplazo del uso incorrecto de la documentación de setConf con conf.set
  • [SPARK-46202] [SC-150420][connect] Exponer nuevas API de ArtifactManager para admitir directorios de destino personalizados
  • [SPARK-45824] [SC-147648][sql] Imponer la clase de error en ParseException
  • [SPARK-45845] [SC-148163][SS][UI] Adición del número de filas de estado expulsadas en la interfaz de usuario de streaming
  • [SPARK-46316] [SC-150181][core] Habilitar buf-lint-action en el módulo core
  • [SPARK-45816] [SC-147656][SQL] Devolución de NULL cuando hay un desbordamiento durante la conversión de la marca de tiempo a enteros
  • [SPARK-46333] [SC-150263][SQL] Reemplazo de IllegalStateException por SparkException.internalError en catalyst
  • [SPARK-45762] [SC-148486][CORE] Compatibilidad con administradores aleatorios definidos en archivos JAR de usuarios cambiando el orden de inicio
  • [SPARK-46239] [SC-149752][core] Ocultar información Jetty
  • [SPARK-45886] [SC-148089][SQL] Generar el seguimiento de la pila completa en callSite del contexto de DataFrame
  • [SPARK-46290] [SC-150059][python] Cambiar saveMode a una marca booleana para DataSourceWriter
  • [SPARK-45899] [SC-148097][CONNECT] Establecimiento de errorClass en errorInfoToThrowable
  • [SPARK-45841] [SC-147657][SQL] Exposición del seguimiento de la pila por DataFrameQueryContext
  • [SPARK-45843] [SC-147721][core] Compatibilidad con killall en la API de envío de REST
  • [SPARK-46234] [SC-149711][python] Introducción PySparkKeyError para el marco de errores de PySpark
  • [SPARK-45606] [SC-147655][SQL] Eliminación de las restricciones del filtro en tiempo de ejecución de varias capas
  • [SPARK-45725] [SC-147006][SQL] Eliminación del filtro IN de subconsulta en tiempo de ejecución no predeterminado
  • [SPARK-45694] [SC-147314][spark-45695][SQL] Limpiar el uso de API obsoleto View.force y ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488][sql] Hacer que withOrigin sea más genérico
  • [SPARK-46292] [SC-150086][core][UI] Mostrar un resumen de los trabajadores en MasterPage
  • [SPARK-45685] [SC-146881][core][SQL] Use LazyList en lugar de Stream
  • [SPARK-45888] [SC-149945][ss] Aplicar el marco de clases de error al origen de datos de estado (metadata)
  • [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed debe mantener el orden dict/map
  • [SPARK-46263] [SC-149933][sql][SS][ml][MLLIB][ui] Depurar conversiones de SeqOps.view y ArrayOps.view
  • [SPARK-46029] [SC-149255][SQL] Escape de la comilla simple, _ y % para la delegación de DS V2
  • [SPARK-46275] [SC-150189] Protobuf: Devolver null en modo permisivo cuando falle la deserialización.
  • [SPARK-46320] [SC-150187][core] Compatibilidad con spark.master.rest.host
  • [SPARK-46092] [SC-149658][sql] No empuje filtros de grupo de filas Parquet que generan desbordamiento
  • [SPARK-46300] [SC-150097][PYTHON][CONNECT] Buscar coincidencias de comportamientos menores en Columna con cobertura de prueba completa
  • [SPARK-46298] [SC-150092][PYTHON][CONNECT] Coincidencia de la advertencia de desuso, caso de prueba y error de Catalog.createExternalTable
  • [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] Eliminar el uso de API obsoleto relacionado con StringContext/StringOps/RightProjection/LeftProjection/Either y el uso de tipo de BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407][sql] Compatibilidad con SHOW TABLE EXTENDED en v2
  • [SPARK-45737] [SC-147011][sql] Quitar .toArray[InternalRow] innecesario en SparkPlan#executeTake
  • [SPARK-46249] [SC-149797][SS] Requerir el bloqueo de la instancia para adquirir métricas de RocksDB para evitar la carrera con operaciones en segundo plano
  • [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed deben respetar el orden dict
  • [SPARK-46274] [SC-150043][SQL] Corrección del operador Range computeStats() para comprobar la validez prolongada antes de la conversión
  • [SPARK-46040] [SC-149767][sql][Python] Actualizar la API UDTF para 'analizar' las columnas de partición/orden para admitir expresiones generales
  • [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty debe funcionar con todos los tipos de datos
  • [SPARK-45678] [SC-146825][CORE] Encapsulación de BufferReleasingInputStream.available/reset en tryOrFetchFailedException
  • [SPARK-45667] [SC-146716][core][SQL][connect] Realizar una limpieza del uso de la API obsoleta relacionada con IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992][SQL] Introducción de la sintaxis select * except
  • [SPARK-46269] [SC-149816][ps] Habilitar más pruebas de función de compatibilidad de NumPy
  • [SPARK-45807] [SC-149851][SQL] Adición de createOrReplaceView(..) / replaceView(..) a ViewCatalog
  • [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] Introduce una función implícita para que la matriz de Scala se ajuste a immutable.ArraySeq.
  • [SPARK-46205] [SC-149655][core] Mejorar el rendimiento de PersistenceEngine con KryoSerializer
  • [SPARK-45746] [ SC-149359][python] Devuelve mensajes de error específicos si el método "analyze" o "eval" de UDTF acepta o devuelve valores incorrectos.
  • [SPARK-46186] [SC-149707][connect] Corregir la transición de estado no válida cuando ExecuteThreadRunner se interrumpe antes de iniciarse
  • [SPARK-46262] [SC-149803][PS] Habilitación de la prueba de np.left_shift para el objeto Pandas-on-Spark.
  • [SPARK-45093] [SC-149679][CONNECT][PYTHON] Compatibilidad correcta con la solución de errores y la conversión para AddArtifactHandler
  • [SPARK-46188] [ SC-149571][doc][3.5] Corregir el CSS de las tablas generadas del documento de Spark
  • [SPARK-45940] [SC-149549][python] Agregar InputPartition a la interfaz DataSourceReader
  • [SPARK-43393] [SC-148301][sql] Error de desbordamiento de expresiones de secuencia de direcciones.
  • [SPARK-46144] [SC-149466][sql] Error INSERT INTO … REPLACE si la condición contiene subconsultas
  • [SPARK-46118] [SC-149096][sql][SS][connect] Use SparkSession.sessionState.conf en lugar de SQLContext.conf y marque SQLContext.conf como en desuso
  • [SPARK-45760] [SC-147550][sql] Agregar con expresión para evitar duplicar expresiones
  • [SPARK-43228] [SC-149670][sql] Las claves de combinación también coinciden con PartitioningCollection en CoalesceBucketsInJoin
  • [SPARK-46223] [SC-149691][ps] Pruebe SparkPandasNotImplementedError con la limpieza de código sin usar
  • [SPARK-46119] [SC-149205][SQL] Invalidación del método toString para UnresolvedAlias
  • [SPARK-46206] [SC-149674][ps] Usar una excepción de ámbito más estrecha para el procesador SQL
  • [SPARK-46191] [SC-149565][CORE] Mejora del mensaje de error FileSystemPersistenceEngine.persist en caso de que exista un archivo
  • [SPARK-46036] [SC-149356][SQL] Eliminación de la clase de error en la función raise_error
  • [SPARK-46055] [SC-149254][SQL] Reescritura de la implementación de las API de bases de datos de catálogos
  • [SPARK-46152] [SC-149454][sql] XML: Agregar compatibilidad con DecimalType en la inferencia de esquemas XML
  • [SPARK-45943] [SC-149452][SQL] Mover DetermineTableStats a reglas de resolución
  • [SPARK-45887] [SC-148994][SQL] Alineación de la implementación de codegen y non-codegen de Encode
  • [SPARK-45022] [SC-147158][sql] Proporcionar contexto para errores de API del conjunto de datos
  • [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] Reemplace toIterator por iterator para IterableOnce
  • [SPARK-46141] [SC-149357][sql] Cambie el valor predeterminado de spark.sql.legacy.ctePrecedencePolicy a CORRECTED
  • [SPARK-45663] [SC-146617][core][MLLIB] Reemplace IterableOnceOps#aggregate por IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493][SQL] Reutilización de objetos literales en la regla ComputeCurrentTime
  • [SPARK-45803] [SC-147489][core] Quitar el RpcAbortException ya no usado
  • [SPARK-46148] [SC-149350][ps] Corrección de pyspark.pandas.mlflow.load_model test (Python 3.12)
  • [SPARK-46110] [SC-149090][PYTHON] Uso de clases de error en los módulos catalog, conf, connect, observation y pandas
  • [SPARK-45827] [SC-149203][SQL] Correcciones de variaciones con codegen y el lector vectorizado deshabilitados
  • [SPARK-46080] Reversión de "[SC-149012][PYTHON] Actualización de Cloudpickle a 3.0.0"
  • [SPARK-45460] [SC-144852][sql] Reemplace scala.collection.convert.ImplicitConversions por scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019][sql] Quitar la resolución especial de UnresolvedNamespace para determinados comandos
  • [SPARK-45600] [SC-148976][python] Hacer que el registro del origen de datos de Python sea a nivel de sesión
  • [SPARK-46074] [SC-149063][connect][SCALA] Detalles insuficientes en el mensaje de error al fallar la UDF
  • [SPARK-46114] [SC-149076][python] Agregar PySparkIndexError para el marco de error
  • [SPARK-46120] [SC-149083][connect][PYTHON] Quitar la función auxiliar DataFrame.withPlan
  • [SPARK-45927] [SC-148660][python] Actualización del manejo de rutas para el origen de datos de Python
  • [SPARK-46062] [14.x][sc-148991][SQL] Sincronizar el indicador isStreaming entre la definición de CTE y la referencia
  • [SPARK-45698] [SC-146736][core][SQL][ss] Limpiar el uso de la API en desuso relacionado con Buffer
  • [SPARK-46064] [SC-148984][SQL][SS] Mover EliminateEventTimeWatermark al analizador y cambiarlo para que solo surta efecto en el elemento secundario resuelto
  • [SPARK-45922] [SC-149038][CONNECT][CLIENT] Refactorización de reintentos menores (seguimiento de varias directivas)
  • [SPARK-45851] [SC-148419][connect][SCALA] Compatibilidad con varias directivas en el cliente de scala
  • [SPARK-45974] [SC-149062][SQL] Adición de un criterio scan.filterAttributes no vacío para RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049][CONNECT] Dataset.groupingSets en el cliente de Scala Spark Connect
  • [SPARK-45136] [SC-146607][CONNECT] Mejora de la compatibilidad de ClosureCleaner con Ammonite
  • [SPARK-46084] [SC-149020][PS] Refactorización de la operación de conversión de tipos de datos para el tipo de categoría.
  • [SPARK-46083] [SC-149018][python] Hacer de SparkNoSuchElementException una API de error canónica.
  • [SPARK-46048] [SC-148982][python][CONNECT] Compatibilidad con DataFrame.groupingSets en Python Spark Connect
  • [SPARK-46080] [SC-149012][python] Actualizar Cloudpickle a 3.0.0
  • [SPARK-46082] [SC-149015][python][CONNECT] Corrección de la representación de cadena protobuf para la API de Funciones de Pandas con Spark Connect
  • [SPARK-46065] [SC-148985][ps] Refactorizar (DataFrame|Series).factorize() para usar create_map.
  • [SPARK-46070] [SC-148993][SQL] Compilación del patrón regex en SparkDateTimeUtils.getZoneId fuera del bucle frecuente
  • [SPARK-46063] [SC-148981][PYTHON][CONNECT] Mejora de los mensajes de error relacionados con los tipos de argumento en cute, rollup, groupby y pivot
  • [SPARK-44442] [SC-144120][mesos] Eliminar soporte de Mesos
  • [SPARK-45555] [SC-147620][python] Incluye un objeto depurable para una afirmación fallida
  • [SPARK-46048] [SC-148871][python][SQL] Compatibilidad con DataFrame.groupingSets en PySpark
  • [SPARK-45768] [SC-147304][sql][PYTHON] Hacer que el controlador de errores sea una configuración en tiempo de ejecución para Python en SQL
  • [SPARK-45996] [SC-148586][python][CONNECT] Mostrar mensajes de requisitos de dependencia adecuados para Spark Connect
  • [SPARK-45681] [SC-146893][ui] Clone una versión js de UIUtils.errorMessageCell para la representación de errores coherente en la interfaz de usuario
  • [SPARK-45767] [SC-147225][core] Eliminar TimeStampedHashMap y su UT
  • [SPARK-45696] [SC-148864][CORE] Corrección del método tryCompleteWith, está en desuso con el rasgo Promise
  • [SPARK-45503] [SC-146338][ss] Agregar configuración para establecer la compresión de RocksDB
  • [SPARK-45338] [SC-143934][core][SQL] Reemplazar scala.collection.JavaConverters a scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804][sql] Corrección de ArrayIndexOutOfBoundsException en conv()
  • [SPARK-45912] [SC-144982][sc-148467][SQL] Mejora de la API XSDToSchema: Cambio a la API de HDFS para la accesibilidad del almacenamiento en la nube
  • [SPARK-45819] [SC-147570][core] Compatibilidad con clear en la API de envío de REST
  • [SPARK-45552] [14.x][sc-146874][PS] Introduce parámetros flexibles para assertDataFrameEqual
  • [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] Proporcionar una interfaz para que otras fuentes de Streaming agreguen columnas de _metadata
  • [SPARK-45929] [SC-148692][sql] Compatibilidad con la operación groupingSets en la API dataframe
  • [SPARK-46012] [SC-148693][core] EventLogFileReader no debe leer registros graduales si falta el archivo de estado de la aplicación
  • [SPARK-45965] [SC-148575][SQL] Mover expresiones de partición DSv2 a functions.partitioning
  • [SPARK-45971] [SC-148541][core][SQL] Corrija el nombre del paquete de SparkCollectionUtils a org.apache.spark.util
  • [SPARK-45688] [SC-147356][spark-45693][CORE] Limpiar el uso de la API en desuso relacionado con MapOps & Corregir method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645][sc-148497][SQL] Quitar treatEmptyValuesAsNulls y usar nullValue opción en su lugar en XML
  • [SPARK-45988] [SC-148580][spark-45989][PYTHON] Corrección de typehints para controlar list GenericAlias en Python 3.11+
  • [SPARK-45999] [SC-148595][PS] Uso de PandasProduct dedicados en cumprod
  • [SPARK-45986] [SC-148583][ml][PYTHON] Corrección de pyspark.ml.torch.tests.test_distributor en Python 3.11
  • [SPARK-45994] [SC-148581][python] Cambie description-file a description_file
  • [SPARK-45575] [SC-146713][SQL] Compatibilidad con opciones de viaje en tiempo para la API df read
  • [SPARK-45747] [SC-148404][SS] Uso de información de clave de prefijo en metadatos de estado para controlar el estado de lectura para la agregación de ventanas de sesión
  • [SPARK-45898] [SC-148213][sql] Reescritura de las API de tabla de catálogo para usar un plan lógico sin resolver
  • [SPARK-45828] [SC-147663][sql] Quitar método en desuso en dsl
  • [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] Actualizar protobuf a 4.25.1 para admitir Python 3.11
  • [SPARK-45911] [SC-148226][core] Haga que TLS1.3 sea el valor predeterminado para RPC SSL.
  • [SPARK-45955] [SC-148429][UI] Compatibilidad con la contracción de los detalles de los gráficos de flama y del volcado de subprocesos
  • [SPARK-45936] [SC-148392][PS] Optimización de Index.symmetric_difference
  • [SPARK-45389] [SC-144834][sql][3.5] Regla de coincidencia de MetaException correcta para obtener metadatos de partición
  • [SPARK-45655] [SC-148085][sql][SS] Permitir expresiones no deterministas dentro de AggregateFunctions en CollectMetrics
  • [SPARK-45946] [SC-148448][SS] Corrección del uso de escritura de FileUtils en desuso para pasar el conjunto de caracteres predeterminado en RocksDBSuite
  • [SPARK-45511] [SC-148285][ss] Fuente de datos de estado - Lector
  • [SPARK-45918] [SC-148293][PS] Optimización de MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288][CONNECT][PYTHON] Devolución de las métricas observadas de los comandos
  • [SPARK-45867] [SC-147916][core] Compatibilidad con spark.worker.idPattern
  • [SPARK-45945] [SC-148418][connect] Agregar una función auxiliar para parser
  • [SPARK-45930] [SC-148399][sql] Compatibilidad con UDF no deterministas en MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356][python] Creación de una API UDTF de Python para dejar de consumir filas de la tabla de entrada
  • [SPARK-45731] [SC-147929][sql] Actualice también las estadísticas de partición con ANALYZE TABLE comando
  • [SPARK-45868] [SC-148355][CONNECT] Garantizar que spark.table usa el mismo analizador con vanilla spark
  • [SPARK-45882] [SC-148161][sql] La propagación de particiones en BroadcastHashJoinExec debería respetar CoalescedHashPartitioning
  • [SPARK-45710] [SC-147428][sql] Asignar nombres al error _LEGACY_ERROR_TEMP_21[59,60,61,62]
  • [SPARK-45915] [SC-148306][sql] Tratar decimal(x, 0) igual que IntegralType en PromoteStrings
  • [SPARK-45786] [SC-147552][sql] Corregir resultados de división y multiplicación decimal inexactos
  • [SPARK-45871] [SC-148084][CONNECT] Conversión de colecciones de optimizaciones relacionadas con .toBuffer en los módulos connect
  • [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager puede buscar un sparkcontext detenido
  • [SPARK-45913] [SC-148289][PYTHON] Hacer que los atributos internos sean privados para los errores de PySpark.
  • [SPARK-45827] [SC-148201][SQL] Adición del tipo de datos Variant en Spark.
  • [SPARK-44886] [SC-147876][sql] Cláusula Introduce CLUSTER BY para CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959][core] Compatibilidad con spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956][CONNECT] Declaración del identificador de sesión del lado servidor
  • [SPARK-45896] [SC-148091][sql] Construye ValidateExternalType con el tipo esperado correcto
  • [SPARK-45902] [SC-148123][sql] Eliminar la función sin usar resolvePartitionColumns de DataSource
  • [SPARK-45909] [SC-148137][SQL] Eliminación de la conversión de NumericType si se puede convertir de forma segura en IsNotNull
  • [SPARK-42821] [SC-147715][sql] Quitar parámetros sin usar en métodos splitFiles
  • [SPARK-45875] [SC-148088][core] Quitar MissingStageTableRowData del módulo core
  • [SPARK-45783] [SC-148120][python][CONNECT] Mejorar los mensajes de error cuando el modo Spark Connect está habilitado, pero no se establece la dirección URL remota
  • [SPARK-45804] [SC-147529][ui] Agregar la configuración spark.ui.threadDump.flamegraphEnabled para activar o desactivar el gráfico de llamas
  • [SPARK-45664] [SC-146878][SQL] Introducción de un asignador para los códecs de compresión de ocr
  • [SPARK-45481] [SC-146715][SQL] Introducción de un asignador para los códecs de compresión de parquet
  • [SPARK-45752] [SC-148005][sql] Simplificación del código para comprobar relaciones CTE sin referencia
  • [SPARK-44752] [SC-146262][sql] XML: Actualizar documentación de Spark
  • [SPARK-45752] [SC-147869][SQL] Las CTE sin referencia deben comprobarse mediante CheckAnalysis0
  • [SPARK-45842] [SC-147853][sql] Refactorizar las API de función de catálogo para usar el analizador
  • [SPARK-45639] [SC-147676][sql][PYTHON] Compatibilidad con la carga de orígenes de datos de Python en DataFrameReader
  • [SPARK-45592] [SC-146977][sql] Problema de corrección en AQE con InMemoryTableScanExec
  • [SPARK-45794] [SC-147646][SS] Introducción del origen de metadatos de estado para consultar la información de metadatos de estado de streaming
  • [SPARK-45739] [SC-147059][PYTHON] Captura de IOException en lugar de solo EOFException para faulthandler
  • [SPARK-45677] [SC-146700] Mejora del registro de errores para la API de observación
  • [SPARK-45544] [SC-146873][core] Integración de la compatibilidad con SSL en TransportContext
  • [SPARK-45654] [SC-147152][python] Adición de la API de escritura de orígenes de datos de Python
  • [SPARK-45771] [SC-147270][core] Habilitar spark.eventLog.rolling.enabled de forma predeterminada
  • [SPARK-45713] [SC-146986][python] Compatibilidad con el registro de orígenes de datos de Python
  • [SPARK-45656] [SC-146488][sql] Se corrige la observación cuando existen observaciones nombradas igual en diferentes conjuntos de datos
  • [SPARK-45808] [SC-147571][connect][PYTHON] Mejor control de errores para excepciones de SQL
  • [SPARK-45774] [SC-147353][core][UI] Compatibilidad con spark.master.ui.historyServerUrl en ApplicationPage
  • [SPARK-45776] [SC-147327][CORE] Eliminación de la comprobación defensiva de valores null para MapOutputTrackerMaster#unregisterShuffle agregada en SPARK-39553
  • [SPARK-45780] [SC-147410][CONNECT] Propagación de todos los ThreadLocal de cliente de Spark Connect en InheritableThread
  • [SPARK-45785] [SC-147419][core] Compatibilidad con spark.deploy.appNumberModulo para rotar el número de la app
  • [SPARK-45793] [SC-147456][core] Mejorar los códecs de compresión integrados
  • [SPARK-45757] [SC-147282][ml] Evite volver a calcular NNZ en Binarizer
  • [SPARK-45209] [SC-146490][CORE][UI] Compatibilidad del Gráfico de flama con la página de volcado de subprocesos del ejecutor
  • [SPARK-45777] [SC-147319][core] Compatibilidad con spark.test.appId en LocalSchedulerBackend
  • [SPARK-45523] [SC-146331][python] Refactorizar la comprobación de valores nulos para tener atajos
  • [SPARK-45711] [SC-146854][sql] Introducir un mapeador para los códecs de compresión avro
  • [SPARK-45523] [SC-146077][python] Devuelve un mensaje de error útil si UDTF devuelve None para cualquier columna que no acepta valores NULL.
  • [SPARK-45614] [SC-146729][sql] Asignar nombres al error _LEGACY_ERROR_TEMP_215[6,7,8]
  • [SPARK-45755] [SC-147164][sql] Mejorar Dataset.isEmpty() aplicando el límite global 1
  • [SPARK-45569] [SC-145915][sql] Asignar nombre al error _LEGACY_ERROR_TEMP_2153
  • [SPARK-45749] [SC-147153][core][WEBUI] Corregir Spark History Server para ordenar Duration columna correctamente
  • [SPARK-45754] [SC-147169][core] Compatibilidad con spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880][sql] Simplificar DataFrameStatFunctions.countMinSketch con CountMinSketchAgg
  • [SPARK-45753] [SC-147167][core] Compatibilidad con spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177][CORE][UI] Mejora de MasterPage para que muestre la columna Resource solo cuando exista
  • [SPARK-45112] [SC-143259][SQL] Uso de la resolución basada en UnresolvedFunction en funciones de conjunto de datos de SQL

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 14.3.

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.3 LTS
    • Nota: Esta es la versión de Ubuntu que usan los contenedores de Databricks Runtime. Los contenedores de DBR se ejecutan en las máquinas virtuales del proveedor de nube, que pueden usar otra versión de Ubuntu o distribución de Linux.
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.1.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
"asttokens" 2.0.5 atributos 22.1.0 llamada de retorno 0.2.0
beautifulsoup4 4.11.1 negro 22.6.0 blanquear 4.1.0
intermitente 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Haz clic 8.0.4 Comm 0.1.2
contourpy 1.0.5 criptografía 39.0.1 ciclista 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorador 5.1.1 defusedxml 0.7.1
distlib 0.3.7 Conversión de docstring a markdown 0,11 puntos de entrada 0,4
Ejecutar 0.8.3 visión general de las facetas 1.1.1 fastjsonschema 2.19.1
bloqueo de archivos 3.13.1 fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 servidor-jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 llavero 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Mccabe 0.7.0
Mal sintonizado 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
cuaderno 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 empaquetado 23.2 Pandas 1.5.3
PandocFiltros 1.5.0 parso 0.8.3 pathspec 0.10.3
chivo expiatorio 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Almohada 9.4.0 pepita 22.3.1 platformdirs 2.5.2
trazado 5.9.0 pluggy 1.0.0 Cliente-Prometeo 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,5 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-servidor 1.8.0
configuración de herramienta Python 1.2.5 pytz 2022.7 pyzmq 23.2.0
solicitudes 2.28.1 cuerda 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 biblioteca de visualización de datos de Python llamada seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
Seis 1.16.0 sniffio 1.2.0 colador para sopa 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels (paquete de Python para análisis estadístico) 0.13.5
tenacidad 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 actualizaciones desatendidas 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
codificaciones web 0.5.1 cliente de websocket 0.58.0 whatthepatch 1.0.2
rueda 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del administrador de paquetes de Posit el 13-07-2023: https://packagemanager.posit.co/cran/2023-07-13/.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
flecha 12.0.1 askpass 1.1 asegúrate de que 0.2.1
retroportaciones 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit 64 4.0.5 mancha 1.2.4
bota 1.3-28 fermentar 1,0 - 8 Brio 1.1.3
escoba 1.0.5 bslib 0.5.0 cachemir 1.0.8
callr 3.7.3 cursor 6.0-94 cellranger (herramienta de análisis de datos celulares) 1.1.0
Chron 2.3-61 clase 7.3-22 Cli 3.6.1
clipr 0.8.0 reloj 0.7.0 conglomerado 2.1.4
codetools 0.2-19 espacio de colores 2.1-0 commonmark 1.9.0
compilador 4.3.1 configuración 0.3.1 Confuso 1.2.0
cpp11 0.4.4 crayón 1.5.2 credenciales 1.3.2
rizo 5.0.1 tabla de datos 1.14.8 conjuntos de datos 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Descripción 1.4.2
devtools 2.4.5 diagrama 1.6.5 diffobj 0.3.5
digerir 0.6.33 iluminado hacia abajo 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 elipsis 0.3.2
evaluar 0,21 fans 1.0.4 colores 2.1.1
mapa rápido 1.1.1 fontawesome 0.5.1 convictos 1.0.0
foreach 1.5.2 extranjero 0.8-85 fragua 0.2.0
Fs 1.6.2 futuro 1.33.0 aplicación futura 1.11.0
hacer gárgaras 1.5.1 genéricos 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globales 0.16.2 pegamento 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
gráficos 4.3.1 grDevices 4.3.1 rejilla 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
Casco 1.3.0 refugio 2.5.3 más alto 0,10
HMS 1.1.3 herramientas de HTML 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Identificadores 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
etiquetado 0.4.2 más tarde 1.3.1 retícula 0.21-8
lava 1.7.2.1 ciclo de vida 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Formato Markdown 1.7
MASA 7.3-60 Matriz 1.5-4.1 memorizar 2.0.1
métodos 4.3.1 mgcv 1.8-42 mimo 0,12
miniUI (Interfaz de Usuario) 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl (software de cifrado) 2.0.6 paralelo 4.3.1
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 alabanza 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progreso 1.2.2
progressr 0.13.0 promesas 1.2.0.1 prototipo 1.0.0
intermediario 0.4-27 P.D 1.7.5 ronroneo 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
Bosque Aleatorio (randomForest) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recetas 1.0.6
partido de revancha 1.0.1 segunda revancha 2.1.2 Telecontroles 2.4.2
ejemplo reproducible 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 balanzas 1.2.1
selectr 0.4-2 información de sesión 1.2.2 forma 1.4.6
brillante 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 espacial 7.3-15 Splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 estadísticas 4.3.1
estadísticas4 4.3.1 stringi 1.7.12 stringr 1.5.0
supervivencia 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 formateo de texto 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 cambio de hora 0.2.0 fechaHora 4022.108
tinytex 0.45 herramientas 4.3.1 tzdb 0.4.0
verificador de URLs 1.0.1 usa esto 2.2.2 utf8 1.2.3
utilidades 4.3.1 Identificador Universalmente Único (UUID) 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 Vroom 1.6.3 Waldo 0.5.1
bigotes 0.4.1 withr 2.5.0 xfun 0.39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 cremallera 2.3.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (configuración del SDK de Java de AWS) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs (registros del SDK de AWS para Java) 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo sombreado 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml compañero de clase 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 nativos
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1 nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 nativos
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1 nativos
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone anotaciones_propensas_a_errores 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guayaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger perfilador 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuración 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity analizadores de univocidad 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresor de aire 0,25
io.delta delta-sharing-client_2.12 1.1.4
io.dropwizard.metrics anotación de métricas 4.2.19
io.dropwizard.metrics núcleo de métricas 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métricas-verificaciones de salud 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activación 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transacciones 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine escabeche 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc (servicio de comunicación remota) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr plantilla de cadenas 3.2.1
org.apache.ant hormiga 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant lanzador de aplicaciones Ant 1.9.16
org.apache.arrow formato de flecha 12.0.1
org.apache.arrow núcleo de memoria de flecha 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow vector de flecha 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator marco de trabajo para curadores 2.13.0
org.apache.curator curador-recetas 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derbi 10.14.2.0
org.apache.hadoop Entorno de ejecución del cliente de Hadoop 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API de almacenamiento de hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims planificador-de-adaptadores-hive 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hiedra 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotaciones de audiencia 0.13.0
org.apache.zookeeper guardián de zoológico 3.6.3
org.apache.zookeeper Zookeeper-Jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilador común 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty Seguridad de Jetty 9.4.52.v20230823
org.eclipse.jetty servidor Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty aplicación web Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket API de WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket cliente de websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket servidor de websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey común 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator validador de hibernación 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotaciones 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Cuñas 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaz de prueba 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatible con scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on