Comparteix via

Databricks Runtime 15.4 LTS

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 15.4 LTS, con tecnología de Apache Spark 3.5.0.

Databricks publicó esta versión en agosto de 2024.

Nota:

LTS significa que esta versión tiene soporte técnico a largo plazo. Consulte Ciclo de vida de la versión de Databricks Runtime LTS.

Sugerencia

Para ver las notas de la versión de las versiones de Databricks Runtime que han llegado a la finalización del soporte (EoS), vea las Notas de la versión de finalización del soporte de Databricks Runtime. Las versiones de Databricks Runtime EoS se han retirado y es posible que no se actualicen.

Cambios en el comportamiento

El uso de VARIANT como tipo de entrada o salida con una UDF de Python, UDAF o UDTF produce una excepción

[Cambio importante] En Databricks Runtime 15.3 y versiones posteriores, llamar a cualquier función definida por el usuario (UDF) de Python, función de agregado definida por el usuario (UDAF) o función de tabla definida por el usuario (UDTF) que usa un tipo VARIANT como argumento o valor devuelto produce una excepción. Este cambio se realiza para evitar problemas que pueden producirse debido a un valor no válido devuelto por una de estas funciones. Para obtener más información sobre el tipo VARIANT, consulte Uso de VARIANT para almacenar datos semiestructurados.

spark.sql.legacy.jdbc.useNullCalendar ahora está habilitado de forma predeterminada.

spark.sql.legacy.jdbc.useNullCalendar ahora está establecido en true de forma predeterminada. Si este cambio interrumpirá tus consultas (como aquellas que devuelven TIMESTAMP valores), establézcalo a false en el código.

Cambiar al modo de enlace de esquema predeterminado para las vistas

Las vistas ahora se adaptan a los cambios de esquema en la consulta subyacente mediante la compensación de esquemas con reglas de conversión normales. Este es un cambio del valor predeterminado anterior del modo BINDING, que generaba errores cuando no se podía realizar una conversión segura al hacer referencia a la vista.

Consulte CREATE VIEW y cast función.

No permitir el uso de la sintaxis de ! no documentada en lugar de NOT fuera de las expresiones booleanas

Con esta versión, ya no se permite el uso de ! como sinónimo de NOT fuera de expresiones booleanas. Por ejemplo, instrucciones como las siguientes: CREATE ... IF ! EXISTS, IS ! NULL, una propiedad de campo o columna ! NULL, ! IN y ! BETWEEN, debe reemplazarse por: CREATE ... IF NOT EXISTS, IS NOT NULL, una propiedad de campo o columna NOT NULL, NOT IN y NOT BETWEEN.

Este cambio garantiza la coherencia, se alinea con el estándar SQL y hace que SQL sea más portátil.

El operador de prefijo booleano! (por ejemplo !is_mgr, o !(true AND false)) no se ve afectado por este cambio.

No permitir la sintaxis de definición de columna no documentada en vistas

Databricks admite CREATE VIEW con columnas con nombre y comentarios de columna. Anteriormente, se ha permitido la especificación de tipos de columna, restricciones NOT NULL o DEFAULT. Con esta versión, ya no puede usar esta sintaxis.

Este cambio garantiza la coherencia, se alinea con el estándar SQL y admite mejoras futuras.

Control coherente de errores para la descodificación de Base64 en Spark y Photon

Esta versión cambia el modo en que Photon controla los errores de descodificación de Base64 para que coincidan con el control de Spark de estos errores. Antes de estos cambios, la ruta de acceso de generación de código Photon y Spark a veces no podía generar excepciones de análisis, mientras que la ejecución de Spark interpretó correctamente IllegalArgumentException o ConversionInvalidInputError. Esta actualización garantiza que Photon genere de forma coherente las mismas excepciones que Spark durante los errores de descodificación de Base64, lo que proporciona un control de errores más predecible y confiable.

Agregar una restricción CHECK en una columna no válida ahora devuelve la clase de error UNRESOLVED_COLUMN.WITH_SUGGESTION

Para proporcionar mensajería de errores más útil, en Databricks Runtime 15.3 y versiones posteriores, una instrucción ALTER TABLE ADD CONSTRAINT que incluye una restricción CHECK que hace referencia a un nombre de columna no válido devuelve la clase de error UNRESOLVED_COLUMN.WITH_SUGGESTION. Anteriormente, se devolvía un INTERNAL_ERROR.

spark.sql.legacy.jdbc.useNullCalendar ahora está habilitado de forma predeterminada.

### spark.sql.legacy.jdbc.useNullCalendar ahora está establecido true como valor predeterminado. Si este cambio interrumpirá tus consultas (como aquellas que devuelven TIMESTAMP valores), establézcalo a false en el código.

pyodbc se actualiza de 4.0.38 a 4.0.39

El paquete pyodbc se actualiza de la versión 4.0.38 a la versión 4.0.39. Este cambio es necesario porque se encontró un error en la versión 4.0.38 y esa versión se ha quitado de PyPI.

Nuevas características y mejoras

Funciones de validación UTF-8

En esta versión se presentan las siguientes funciones para validar cadenas UTF-8:

  • is_valid_utf8 comprobó si una cadena es una cadena UTF-8 válida.
  • make_valid_utf8 convierte una cadena UTF-8 potencialmente no válida en una cadena UTF-8 válida mediante caracteres de sustitución
  • validate_utf8 genera un error si la entrada no es una cadena UTF-8 válida.
  • try_validate_utf8 devuelve NULL si la entrada no es una cadena UTF-8 válida.

API de conjuntos de datos tipificados con UDF de Scala

Esta versión incluye compatibilidad adicional para las API con tipo de Dataset con funciones definidas por el usuario de Scala (excepto las funciones de agregado definidas por el usuario) en el sistema habilitado con Unity Catalog en modo de acceso estándar (anteriormente conocido como modo de acceso compartido). Consulte API de conjunto de datos con tipo.

Habilitación de UniForm Iceberg mediante ALTER TABLE

Ahora puede habilitar UniForm Iceberg en tablas existentes sin volver a escribir los archivos de datos. Consulte Habilitación de lecturas de Iceberg en una tabla existente.

función try_url_decode

En esta versión se presenta la función try_url_decode, que descodifica una cadena codificada en dirección URL. Si la cadena no tiene el formato correcto, la función devuelve NULL en lugar de generar un error.

Opcionalmente, permitir que el optimizador dependa de restricciones de clave externa no aplicadas

Para mejorar el rendimiento de las consultas, ahora puede especificar la palabra clave RELY en restricciones de FOREIGN KEY al ejecutar CREATE o ALTER en una tabla.

Ejecuciones de trabajo en paralelo para sobrescrituras selectivas

Sobrescribe selectivamente mediante replaceWhere ahora ejecuta trabajos que eliminan datos e insertan nuevos datos en paralelo, lo cual mejora el rendimiento de las consultas y el uso del clúster.

Rendimiento mejorado para la fuente de datos modificados con sobrescrituras selectivas

Las sobrescrituras selectivas que usan replaceWhere en tablas con fuente de datos modificados ya no escriben archivos de datos modificados independientes para los datos insertados. Estas operaciones usan una columna oculta _change_type presente en los archivos de datos Parquet subyacentes para registrar cambios sin amplificación de escritura.

Latencia de consulta mejorada para el comando COPY INTO

Esta versión incluye un cambio que mejora la latencia de la consulta para el comando COPY INTO. Esta mejora se implementa haciendo asincrónica la carga de estado por parte del almacén de estados de RocksDB. Con este cambio, debería ver una mejora en las horas de inicio de las consultas con estados grandes, por ejemplo, consultas con un gran número de archivos ya ingeridos.

Compatibilidad con la eliminación de la característica de comprobar la tabla de restricciones

Ahora puede quitar la característica de tabla de checkConstraints de una tabla Delta mediante ALTER TABLE table_name DROP FEATURE checkConstraints. Consulte Deshabilitación de las restricciones de comprobación.

Computación dedicada (anteriormente cómputo de usuario único) admite el control de acceso detallado, las vistas materializadas y las tablas de streaming (vista previa pública).

Cuando se habilita un área de trabajo para la computación sin servidor, Databricks Runtime 15.4 LTS agrega soporte para el control de acceso específico en la computación dedicada. Cuando una consulta accede a cualquiera de los siguientes objetos, el recurso de proceso dedicado en Databricks Runtime 15.4 LTS pasa la consulta al proceso sin servidor para ejecutar el filtrado de datos:

  • Vistas creadas sobre tablas en las que el usuario no tiene el privilegio SELECT.
  • Vistas dinámicas.
  • Tablas con filtros de fila o máscaras de columna aplicadas.
  • Vistas materializadas y tablas de streaming.

Estas consultas no son compatibles con el proceso dedicado que ejecuta Databricks Runtime 15.3 y versiones posteriores.

Para obtener más información, consulte Control de acceso granular en la computación dedicada.

Compatibilidad expandida para bibliotecas de Java y Scala

A partir de Databricks Runtime 15.4 LTS, todas las bibliotecas de Java y Scala agrupadas con Databricks Runtime están disponibles en todos los modos de acceso de proceso cuando se usa Unity Catalog. Para más información sobre la compatibilidad con lenguajes en el proceso habilitado para el catálogo de Unity, consulte Requisitos y limitaciones de proceso estándar.

Compatibilidad expandida para las operaciones del conjunto de datos de Scala

Con esta versión, los recursos de proceso habilitados para el catálogo de Unity que usan el modo de acceso estándar admiten las siguientes operaciones de Scala Dataset : map, mapPartitions, foreachPartition, flatMapy reducefilter.

Scala es de disponibilidad general en el proceso estándar del catálogo de Unity

Con esta versión, Scala está disponible con carácter general en el modo de acceso estándar de proceso habilitado para el catálogo de Unity, incluida la compatibilidad con funciones escalares definidas por el usuario (UDF). No se admiten funciones de agregado definidas por el usuario de Structured Streaming, UDF de Hive y Hive. Para obtener una lista completa de las limitaciones, consulte Requisitos y limitaciones de proceso estándar.

Acceso regulado por el catálogo de Unity a servicios en la nube externos mediante credenciales de servicio (versión preliminar pública)

Las credenciales de servicio permiten la autenticación sencilla y segura con los servicios del inquilino en la nube mediante identidades administradas de Azure (MI) y catálogo de Unity. Consulte Creación de credenciales de servicio.

Corrección de errores

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • azure-core de 1.30.1 a 1.30.2
    • google-auth de 2.29.0 a 2.31.0
    • google-cloud-storage de 2.16.0 a 2.17.0
    • google-resumable-media de 2.7.0 a 2.7.1
    • googleapis-common-protos de 1.63.0 a 1.63.2
    • mlflow-skinny de 2.11.3 a 2.11.4
    • proto-plus de 1.23.0 a 1.24.0
    • s3transfer de 0.10.1 a 0.10.2
  • Bibliotecas de R actualizadas:
  • Bibliotecas de Java actualizadas:
    • com.databricks.databricks-sdk-java de 0.17.1 a 0.27.0
    • com.ibm.icu.icu4j de 72.1 a 75.1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 to 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS incluye Apache Spark 3.5.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 15.3 (EoS) y las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • [SPARK-48503] [DBRRM-1150][sc-172196][SQL] Permitir la agrupación en expresiones en subconsultas escalares, si están enlazadas a filas externas
  • [SPARK-48834] [BEHAVE-79][sc-170972][SQL] Deshabilitar la entrada/salida de variantes en UDFs escalares de Python, UDTFs, UDAFs durante la compilación de la consulta
  • [SPARK-48441] [SC-170980][sql][WARMFIX] Corrección del comportamiento de StringTrim para intercalaciones que no sean UTF8_BINARY
  • [SPARK-48440] [SC-170895][sql][WARMFIX] Corregir el comportamiento de StringTranslate para intercalaciones no UTF8_BINARY
  • [SPARK-48872] [SC-170866][python] Reduzca la sobrecarga de _capture_call_site
  • [SPARK-48862] [SC-170845][python][CONNECT] Evite llamar _proto_to_string cuando el nivel INFO no está habilitado
  • [SPARK-48852] [SC-170837][connect] Corrección de la función de recorte de cadena en la conexión
  • [SPARK-48791] [ SC-170658][core] Corregir la regresión de rendimiento causada por la sobrecarga en el registro de acumuladores mediante CopyOnWriteArrayList
  • [SPARK-48118] [SQL] Compatibilidad con SPARK_SQL_LEGACY_CREATE_HIVE_TABLE la variable env
  • [SPARK-48241] [SC-165811][sql] Error de análisis de CSV con columnas de tipo char/varchar
  • [SPARK-48168] [SC-166900][sql] Se ha agregado compatibilidad con operadores de desplazamiento bit a bit
  • [SPARK-48148] [ SC-165630][core] Los objetos JSON no se deben modificar cuando se leen como STRING
  • [SPARK-46625] [SC-170561] CTE con la cláusula de identificador como referencia
  • [SPARK-48771] [SC-170546][sql] Aceleración de LogicalPlanIntegrity.validateExprIdUniqueness para planes de consulta de gran tamaño
  • [SPARK-48831] [BEHAVE-76][sc-170554][CONNECT] Hacer que el nombre de columna predeterminado de cast sea compatible con Spark Classic
  • [SPARK-48623] [SC-170544][core] Migraciones de registro estructurado [Parte 2]
  • [SPARK-48296] [SC-166138][sql] Compatibilidad con Codegen to_xml
  • [SPARK-48027] [SC-165154][sql] InjectRuntimeFilter para la combinación de varios niveles debe comprobar el tipo de combinación secundaria
  • [SPARK-48686] [SC-170365][sql] Mejorar el rendimiento de ParserUtils.unescapeSQLString
  • [SPARK-48798] [ SC-170588][python] Introducción spark.profile.render a la generación de perfiles basada en SparkSession
  • [SPARK-48048] [SC-169099] Revertir “[SC-164846][connect][SS] Se ha agregado compatibilidad con el agente de escucha del lado cliente para Scala”
  • [SPARK-47910] [SC-168929][core] cierre la secuencia cuando DiskBlockObjectWriter closeResources para evitar pérdidas de memoria
  • [SPARK-48816] [SC-170547][sql] Abreviatura para convertidores de intervalos en UnivocityParser
  • [SPARK-48589] [SC-170132][sql][SS] Agregar la opción snapshotStartBatchId y snapshotPartitionId al origen de datos de estado
  • [SPARK-48280] [SC-170293][sql] Mejorar el área expuesta de pruebas de intercalación mediante el recorrido de expresiones
  • [SPARK-48837] [ SC-170540][ml] En CountVectorizer, solo se lee el parámetro binario una vez por transformación, no una vez por fila.
  • [SPARK-48803] [SC-170541][sql] Mostrar un error interno en Orc(De)serializer para alinearse con ParquetWriteSupport
  • [SPARK-48764] [SC-170129][python] Filtrado de fotogramas relacionados con IPython desde la pila de usuarios
  • [SPARK-48818] [SC-170414][python] Simplificar percentile funciones
  • [SPARK-48479] [SC-169079][sql] Compatibilidad con la creación de UDF escalares y de tabla de SQL en el analizador
  • [SPARK-48697] [SC-170122][lc-4703][SQL] Agregar filtros de cadena que tengan en cuenta la intercalación
  • [SPARK-48800] [SC-170409][connect][SS] Analizar ClientStreamingQuerySuite
  • [SPARK-48738] [SC-169814][sql] Correcto desde la versión para del alias de func integrada random, position, mod, cardinality, current_schema, user, session_user,char_length,character_length
  • [SPARK-48638] [SC-169575][connect] Agregar compatibilidad con ExecutionInfo para DataFrame
  • [SPARK-48064] [SC-164697][sql] Actualizar mensajes de error para clases de error relacionadas con rutinas
  • [SPARK-48810] API [CONNECT] Session stop() debe ser idempotent y no producir un error si el servidor ya ha cerrado la sesión
  • [SPARK-48650] [15.x][python] Mostrar el sitio de llamada correcto desde IPython Notebook
  • [SPARK-48271] [SC-166076][sql] Convertir el error de coincidencia en RowEncoder en UNSUPPORTED_DATA_TYPE_FOR_ENCODER
  • [SPARK-48709] [SC-169603][sql] Corregir la falta de coincidencia de resolución de tipos varchar para DataSourceV2 CTAS
  • [SPARK-48792] [SC-170335][sql] Corregir la regresión para INSERT con una lista de columnas parciales en una tabla con char/varchar
  • [SPARK-48767] [SC-170330][sql] Corregir algunos mensajes de error cuando variant los datos de tipo no son válidos
  • [SPARK-48719] [ SC-170339][sql] Corregir el error de cálculo de RegrSlope y RegrIntercept cuando el primer parámetro es null
  • [SPARK-48815] [SC-170334][connect] Actualizar entorno al detener la sesión de conexión
  • [SPARK-48646] [SC-169020][python] Refinar sugerencias de tipo y documentación de la API del origen de datos de Python
  • [SPARK-48806] [SC-170310][sql] Pasar la excepción real cuando se produce un error en url_decode
  • [SPARK-47777] [SC-168818] corrección de la prueba de conexión del origen de datos de streaming de Python
  • [SPARK-48732] [ SC-169793][sql] Limpieza del uso de API obsoleta relacionado con JdbcDialect.compileAggregate
  • [SPARK-48675] [SC-169538][sql] Corrección de la tabla de caché con columnas intercaladas
  • [SPARK-48623] [SC-169034][core] Migraciones de registro estructurado
  • [SPARK-48655] [SC-169542][sql] SPJ: Adición de pruebas para la omisión aleatoria de consultas agregadas
  • [SPARK-48586] [SC-169808][ss] Quitar la adquisición de bloqueos en doMaintenance() realizando una copia en profundidad de asignaciones de archivos en RocksDBFileManager en load()
  • [SPARK-48799] [Backport][15.x][SC-170283][ss] Refactorización de versiones para metadatos de operador de lectura y escritura y autores de llamada
  • [SPARK-48808] [SC-170309][sql] Corrección de NPE al conectar thriftserver a través de Hive 1.2.1 y el esquema de resultados está vacío
  • [SPARK-48715] [SC-170291][sql] Integrar la validación de UTF8String en implementaciones de funciones de cadena sensibles a la ordenación por intercalación
  • [SPARK-48747] [SC-170120][sql] Agregar iterador de punto de código a UTF8String
  • [SPARK-48748] [SC-170115][sql] Caché numChars en UTF8String
  • [SPARK-48744] [ SC-169817][core] La entrada de registro solo se debe construir una vez
  • [SPARK-46122] [SC-164313][sql] Establecer spark.sql.legacy.createHiveTableByDefault a false de forma predeterminada
  • [SPARK-48765] [SC-170119][deploy] Mejorar la evaluación de valores predeterminados para SPARK_IDENT_STRING
  • [SPARK-48759] [SC-170128][sql] Agregar documento de migración para CREATE TABLE AS SELECT cambio de comportamiento desde Spark 3.4
  • [SPARK-48598] [ SC-169484][python][CONNECT] Propagación del esquema almacenado en caché en operaciones de trama de datos
  • [SPARK-48766] [ SC-170126][python] Documente la diferencia de comportamiento entre extractionelement_at y try_element_at
  • [SPARK-48768][SC-170124][python][CONNECT] No debería almacenarse en caché explain
  • [SPARK-48770] [Backport][15.x][SC-170133][ss] Cambio para leer los metadatos del operador una vez en el controlador para comprobar si podemos encontrar información sobre numColsPrefixKey que se usa para las consultas agg de ventana de sesión
  • [SPARK-48656] [SC-169529][core] Realice una comprobación de longitud e inicie el error COLLECTION_SIZE_LIMIT_EXCEEDED en CartesianRDD.getPartitions
  • [SPARK-48597] [SC-168817][sql] Introducir un marcador para la propiedad "isStreaming" en la representación textual del plan lógico
  • [SPARK-48472] [SC-169044][sql] Habilitar expresiones reflect con cadenas intercaladas
  • [SPARK-48699] [SC-169597][sql] Refine collation API
  • [SPARK-48682] [SC-169812][sql][BEHAVE-58] Uso de ICU en la expresión InitCap para cadenas de UTF8_BINARY
  • [SPARK-48282] [SC-169813][sql] Modificar la lógica de búsqueda de cadena para la intercalación UTF8_BINARY_LCASE (StringReplace, FindInSet)
  • [SPARK-47353] [SC-169599][sql] Habilitación de compatibilidad de intercalación para la expresión Mode
  • [SPARK-48320] [SPARK-48490] Sincronización del último rasgo de registro y casos de prueba de OSS Spark
  • [SPARK-48629] [SC-169479] Migración del código residual al marco de registro estructurado
  • [SPARK-48681] [SC-169469][sql][BEHAVE-58] Uso de ICU en las expresiones Lower/Upper para cadenas de UTF8_BINARY
  • [SPARK-48573] [15.x][sc-169582][SQL] Actualización de la versión de ICU
  • [SPARK-48687] [Backport][15.x][SS] Agregar cambio para realizar la validación del esquema de estado y actualizar el controlador para consultas con estado
  • [SPARK-47579] [15.x][sc-167310][CORE][part4] Migrar logInfo con variables al marco de registro estructurado
  • [SPARK-48008] [SC-167363][1/2] Compatibilidad de UDAF con Spark Connect
  • [SPARK-48578] [SC-169505][sql] agregar funciones relacionadas con la validación de cadenas UTF8
  • [SPARK-48670] [SC-169598][sql] Proporcionar sugerencia como parte del mensaje de error cuando se da un nombre de intercalación no válido
  • [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPA... …RK-48291] Marco de registro estructurado en el lado java
  • [SPARK-47599] [15.x][sc-166000][MLLIB] MLLib: Migrar logWarn con variables al marco de registro estructurado
  • [SPARK-48706] [ SC-169589][python] UDF de Python en funciones de orden superior no debe producir un error interno
  • [SPARK-48498] [BEHAVE-38][SC-168060][sql] Hacer siempre un relleno de caracteres en predicados
  • [SPARK-48662] [SC-169533][sql] Corregir la expresión StructsToXml con intercalaciones
  • [SPARK-48482] [ SC-167702][python][15.x] dropDuplicates y dropDuplicatesWIthinWatermark deben aceptar argumentos de longitud variable
  • [SPARK-48678] [ SC-169463][core] Optimizaciones de rendimiento para SparkConf.get(ConfigEntry)
  • [SPARK-48576] [SQL] Cambie el nombre del UTF8_BINARY_LCASE a UTF8_LCASE
  • [SPARK-47927] [SC-164123][sql]: Corrección del atributo de nulabilidad en el descodificador de UDF
  • [SPARK-47579] [SC-165297][core][PART1] Migrar logInfo con variables al marco de registro estructurado (nuevo)
  • [SPARK-48695] [SC-169473][python] TimestampNTZType.fromInternal no usan los métodos en desuso
  • [SPARK-48431] [SC-167290][LC-4066][sql] No reenviar predicados en columnas intercaladas a lectores de archivos
  • [SPARK-47579] Revertir “[165297.x][SC-167310][core][PART1] Migración de logInfo con variables al marco de registro estructurado”
  • [SPARK-47585] [SC-164306][sql] SQL Core: Migración de logInfo con variables al marco de registro estructurado
  • [SPARK-48466] [SC-169042][sql] Crear un nodo dedicado para EmptyRelation en AQE
  • [SPARK-47579] [SC-165297][core][PART1] Migrar logInfo con variables al marco de registro estructurado
  • [SPARK-48410] [SC-168320][sql] Corrección de la expresión InitCap para intercalaciones UTF8_BINARY_LCASE & ICU
  • [SPARK-48318] [SC-167709][sql] Habilitar la compatibilidad con la combinación hash para todas las intercalaciones (tipos complejos)
  • [SPARK-48435] [SC-168128][sql] La intercalación UNICODE no debe admitir la igualdad binaria
  • [SPARK-48555] [SC-169041][sql][PYTHON][connect] Compatibilidad con el uso de columnas como parámetros para varias funciones en pyspark/scala
  • [SPARK-48591] [ SC-169081][python] Agregar una función auxiliar para simplificar Column.py
  • [SPARK-48574] [SC-169043][sql] Corrección de la compatibilidad de StructTypes con intercalaciones
  • [SPARK-48305] [SC-166390][sql] Añadir soporte de intercalación para expresiones CurrentLike
  • [SPARK-48342] [SC-168941][sql] Introducción al analizador de scripting de SQL
  • [SPARK-48649] [ SC-169024][sql] Agregue las configuraciones "ignoreInvalidPartitionPaths" y "spark.sql.files.ignoreInvalidPartitionPaths" para permitir omitir rutas de acceso de partición no válidas
  • [SPARK-48000] [SC-167194][sql] Habilitar la compatibilidad con el hash join para todas las collaciones (StringType)
  • [SPARK-48459] [SC-168947][connect][PYTHON] Implementar DataFrameQueryContext en Spark Connect
  • [SPARK-48602] [SC-168692][sql] Hacer que el generador csv admita un estilo de salida diferente con spark.sql.binaryOutputStyle
  • [SPARK-48283] [SC-168129][sql] Modificar la comparación de cadenas para UTF8_BINARY_LCASE
  • [SPARK-48610] [SC-168830][sql] refactorizar: usar idMap auxiliar en lugar de OP_ID_TAG
  • [SPARK-48634] [SC-169021][python][CONNECT] Evite inicializar estáticamente threadpool en ExecutePlanResponseReattachableIterator
  • [SPARK-47911] [ SC-164658][sql] Presenta un BinaryFormatter universal para que la salida binaria sea coherente
  • [SPARK-48642] [SC-168889][core] False SparkOutOfMemoryError causado por la tarea de eliminación de derrames
  • [SPARK-48572] [SC-168844][sql] Corregir las expresiones DateSub, DateAdd, WindowTime, TimeWindow y SessionWindow
  • [SPARK-48600] [SC-168841][sql] Corrección de la conversión implícita de expresiones FrameLessOffsetWindowFunction
  • [SPARK-48644] [SC-168933][sql] Realice una comprobación de longitud e inicie el error COLLECTION_SIZE_LIMIT_EXCEEDED en Hex.hex
  • [SPARK-48587] [SC-168824][variant] Evite la amplificación de almacenamiento al acceder a una subvariantes
  • [SPARK-48647] [SC-168936][python][CONNECT] Refinar el mensaje de error de YearMonthIntervalType en df.collect
  • [SPARK-48307] [ SC-167802][sql] InlineCTE debe mantener relaciones no insertadas en el nodo WithCTE original
  • [SPARK-48596] [SC-168581][sql] Mejora de rendimiento para calcular la cadena hexadecimal durante mucho tiempo
  • [SPARK-48621] [SC-168726][sql] Corregir la simplificación del operador Like en el optimizador para cadenas ordenadas
  • [SPARK-47148] [SC-164179][sql] Evitar materializar AQE ExchangeQueryStageExec en la cancelación
  • [SPARK-48584] [SC-168579][sql] Mejora de rendimiento para unescapePathName
  • [SPARK-48281] [SC-167260][sql] Modificar la lógica de búsqueda de cadena para la intercalación UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
  • [SPARK-48577] [SC-168826][sql] Reemplazo de secuencia de bytes UTF-8 no válido
  • [SPARK-48595] [ SC-168580][core] Limpieza del uso de API obsoleta relacionado con commons-compress
  • [SPARK-48030] [SC-164303][sql] SPJ: rowOrdering y structType de caché para InternalRowComparableWrapper
  • [SPARK-48004] [SC-164005][sql] Agregar el rasgo WriteFilesExecBase para la escritura v1
  • [SPARK-48551] [SC-168438][sql] Mejora de rendimiento para escapePathName
  • [SPARK-48565] [SC-168437][ui] Corrección de la visualización del volcado de subproceso en la interfaz de usuario
  • [SPARK-48364] [SC-166782][sql] Agregar la conversión de tipos AbstractMapType y corregir la asignación de parámetros RaiseError para trabajar con cadenas intercaladas
  • [SPARK-48421] [SC-168689][sql] SPJ: Agregar documentación
  • [SPARK-48604] [SC-168698][sql] Reemplazar la llamada de método new ArrowType.Decimal(precision, scale) en desuso
  • [SPARK-46947] [ SC-157561][core] Retrasar la inicialización del administrador de memoria hasta que se cargue el complemento Driver
  • [SPARK-48411] [SC-168576][ss][PYTHON] Agregar prueba E2E para DropDuplicateWithinWatermark
  • [SPARK-48543] [SC-168697][ss] Registrar fallos de validación de filas de estado mediante una clase de error específica
  • [SPARK-48221] [SC-167143][sql] Modificar la lógica de búsqueda de cadena para la intercalación UTF8_BINARY_LCASE (Contains, StartsWith, EndsWith, StringLocate)
  • [SPARK-47415] [SC-168441][sql] Agregar compatibilidad de intercalación para la expresión Levenshtein
  • [SPARK-48593] [SC-168719][python][CONNECT] Corrección de la representación de cadena de la función lambda
  • [SPARK-48622] [SC-168710][sql] obtener SQLConf una vez al resolver nombres de columna
  • [SPARK-48594] [SC-168685][python][CONNECT] Cambiar el nombre parent del campo a child en ColumnAlias
  • [SPARK-48403] [SC-168319][sql] Corrección de las expresiones Lower y Upper para intercalaciones UTF8_BINARY_LCASE & ICU
  • [SPARK-48162] [SC-166062][sql] Añadir soporte de intercalación para expresiones MISC
  • [SPARK-48518] [ SC-167718][core] Hacer que la compresión LZF se pueda ejecutar en paralelo
  • [SPARK-48474] [SC-167447][core] Corregir el nombre de clase del registro en SparkSubmitArguments y SparkSubmit
  • [SPARK-48012] [SC-168267][sql] SPJ: compatibilidad con expresiones transfrom para un orden aleatorio lateral
  • [SPARK-48552] [SC-168212][sql] la inferencia de esquema CSV de varias líneas también debe iniciar FAILED_READ_FILE
  • [SPARK-48560] [SC-168268][ss][PYTHON] Hacer que StreamingQueryListener.spark sea configurable
  • [SPARK-48569] [SC-168321][ss][CONNECT] Controlar casos perimetrales en query.name
  • [SPARK-47260] [SC-167323][sql] Asignar nombre a la clase de error _LEGACY_ERROR_TEMP_3250
  • [SPARK-48564] [SC-168327][python][CONNECT] Propagación del esquema almacenado en caché en operaciones de conjunto
  • [SPARK-48155] [SC-165910][sql] AQEPropagateEmptyRelation para unirse debe comprobar si el elemento secundario sigue siendo BroadcastQueryStageExec
  • [SPARK-48506] [ SC-167720][core] Los nombres cortos de códec de compresión no distinguen mayúsculas de minúsculas, excepto en el registro de eventos.
  • [SPARK-48447] [SC-167607][ss] Comprobar la clase de proveedor del almacén de estado antes de invocar el constructor
  • [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff y DateTimeUtils.timestampAdd no deben iniciar la excepción INTERNAL_ERROR
  • [SPARK-48513] [Backport][15.x][SC-168085][ss] Agregar clase de error para la compatibilidad del esquema de estado y la refactorización secundaria
  • [SPARK-48413] [SC-167669][sql] ALTER COLUMN con intercalación
  • [SPARK-48561] [SC-168250][ps][CONNECT] Iniciar PandasNotImplementedError para funciones de trazado no admitidas
  • [SPARK-48465] [SC-167531][sql] Evitar la propagación de relaciones vacías de no-op
  • [SPARK-48553] [SC-168166][python][CONNECT] Almacenar en caché más propiedades
  • [SPARK-48540] [SC-168069][core] Evitar la configuración de carga de salida de ivy en stdout
  • [SPARK-48535] [SC-168057][ss] Actualizar los documentos de configuración para indicar la posibilidad de que se produzca un problema de pérdida o daños en los datos si se habilita la omisión de valores NULL para la configuración de combinaciones de secuencias de flujo
  • [SPARK-48536] [SC-168059][python][CONNECT] Almacenar en caché el esquema especificado por el usuario en applyInPandas y applyInArrow
  • [SPARK-47873] [SC-163473][sql] Escribir cadenas intercaladas en Metastore de Hive mediante el tipo de cadena normal
  • [SPARK-48461] [SC-167442][sql] Reemplazar NullPointerExceptions por clase de errores en la expresión AssertNotNull
  • [SPARK-47833] [SC-163191][sql][CORE] Stackstrace del autor de la llamada para checkAndGlobPathIfNecessary AnalysisException
  • [SPARK-47898] [ SC-163146][sql] Puerto HIVE-12270: Agregar compatibilidad con DBTokenStore al token de delegación de HS2
  • [SPARK-47578] [SC-167497][r] Migrar RPackageUtils con variables al marco de registro estructurado
  • [SPARK-47875] [SC-162935][core] Eliminar spark.deploy.recoverySerializer
  • [SPARK-47552] [SC-160880][core] Establecer spark.hadoop.fs.s3a.connection.establish.timeout en 30s si falta
  • [SPARK-47972] [SC-167692][sql] Restringir la expresión CAST para intercalaciones
  • [SPARK-48430] [SC-167489][sql] Corregir la extracción de valores de mapa cuando el mapa contiene cadenas intercaladas
  • [SPARK-47318] [SC-162712][core][3.5] Adición de la ronda HKDF a la derivación de claves de AuthEngine para seguir las prácticas estándar de KEX
  • [SPARK-48503] [BEHAVE-29][es-1135236][SQL] Corrección de subconsultas escalares no válidas con agrupación por en columnas no equivalentes que se permitieron incorrectamente
  • [SPARK-48508] [ SC-167695][connect][PYTHON] Cachear el esquema especificado por el usuario en DataFrame.{to, mapInPandas, mapInArrow}
  • [SPARK-23015] [ SC-167188][windows] Corrección del error en Windows en el que iniciar varias instancias de Spark en el mismo segundo produce un error.
  • [SPARK-45891] [SC-167608]Revertir ” Descripción del esquema de fragmentación para Variant”
  • [SPARK-48391] [SC-167554][core]Usar addAll en lugar de agregar función en el método fromAccumulatorInfos de la clase TaskMetrics
  • [SPARK-48496] [SC-167600][core] Usar instancias de patrón regex estáticas en JavaUtils.timeStringAs y JavaUtils.byteStringAs
  • [SPARK-48476] [SC-167488][sql] Corrección del mensaje de error NPE para csv delmiter null
  • [SPARK-48489] [SC-167598][sql] Mostrar un error mejor orientado al usuario al leer un esquema no válido del origen de datos de texto
  • [SPARK-48471] [ SC-167324][core] Mejora de la documentación y la guía de uso del servidor de historial
  • [SPARK-45891] [SC-167597] Descripción del esquema de fragmentación para Variant
  • [SPARK-47333] [SC-159043][sql] Uso de checkInputDataTypes para comprobar los tipos de parámetro de la función to_xml
  • [SPARK-47387] [SC-159310][sql] Quitar algunas clases de error sin usar
  • [SPARK-48265] [ES-1131440][sql] El lote de límite de grupos de ventanas de inferencia debe hacer plegado constante
  • [SPARK-47716] [SC-167444][sql] Evitar conflictos de nombres de vista en el caso de prueba de ordenación semántica de SQLQueryTestSuite
  • [SPARK-48159] [SC-167141][sql] Extensión de la compatibilidad con cadenas intercaladas en expresiones datetime
  • [SPARK-48462] [SC-167271][sql][Tests] Uso de withSQLConf en pruebas: refactorizar HiveQuerySuite y HiveTableScanSuite
  • [SPARK-48392] [SC-167195][core] También cargar spark-defaults.conf cuando se proporcione --properties-file
  • [SPARK-48468] [SC-167417] Agregar interfaz LogicalQueryStage en catalyst
  • [SPARK-47578] [SC-164988][core] Portabilidad con versiones anteriores manual para Spark PR #46309: migración de logWarning con variables al marco de registro estructurado
  • [SPARK-48415] [SC-167321]Revertir “[PYTHON] Refactorizar TypeName para admitir tipos de datos con parámetros”
  • [SPARK-46544] [SC-151361][sql] Compatibilidad con la versión 2 de DESCRIBE TABLE EXTENDED con estadísticas de tabla
  • [SPARK-48325] [SC-166963][core] Especificar siempre mensajes en ExecutorRunner.killProcess
  • [SPARK-46841] [SC-167139][sql] Agregar compatibilidad de intercalación con configuraciones regionales de ICU y especificadores de intercalación
  • [SPARK-47221] [SC-157870][sql] Usa firmas de CsvParser a AbstractParser
  • [SPARK-47246] [SC-158138][sql] Reemplazar InternalRow.fromSeq por new GenericInternalRow para guardar una conversión de colección
  • [SPARK-47597] [SC-163932][streaming] Portabilidad con versiones anteriores manual para Spark PR #46192: Streaming: migración de logInfo con variables al marco de registro estructurado
  • [SPARK-48415] [ SC-167130][python] Refactorización TypeName para admitir tipos de datos con parámetros
  • [SPARK-48434] [SC-167132][python][CONNECT] Asegurar que printSchema use el esquema almacenado en caché.
  • [SPARK-48432] [ES-1097114][sql] Evitar desempaquetar enteros en UnivocityParser
  • [SPARK-47463] [SC-162840][sql] Uso de V2Predicate para ajustar la expresión con el tipo de valor devuelto booleano
  • [SPARK-47781] [SC-162293][sql] Gestión de decimales con escala negativa para fuentes de datos JDBC
  • [SPARK-48394] [SC-166966][core] Limpiar mapIdToMapIndex en mapoutput unregister
  • [SPARK-47072] [SC-156933][sql] Corregir formatos de intervalo admitidos en mensajes de error
  • [SPARK-47001] [SC-162487][sql] Comprobación de delegación en el optimizador
  • [SPARK-48335] [SC-166387][python][CONNECT] Hacer _parse_datatype_string que sea compatible con Spark Connect
  • [SPARK-48329] [SC-166518][sql] Habilitar spark.sql.sources.v2.bucketing.pushPartValues.enabled de forma predeterminada
  • [SPARK-48412] [SC-166898][python] Refactorizar el procesamiento JSON del tipo de dato
  • [SPARK-48215] [SC-166781][sql] Extensión de la compatibilidad con cadenas ordenadas en la expresión date_format
  • [SPARK-45009] [SC-166873][sql][FOLLOW UP] Agregar clases de error y pruebas para la descorrelación de subconsultas de predicado en la condición de combinación que hacen referencia a ambos elementos secundarios de combinación
  • [SPARK-47960] [ SC-165295][ss][15.x] Permitir encadenar otros operadores con estado después del operador transformWithState.
  • [SPARK-48340] [SC-166468][python] Compatibilidad con errores de esquema de inferencia timestampNTZ al que le falta prefer_timestamp_ntz
  • [SPARK-48157] [SC-165902][sql] Agregar compatibilidad de intercalación para expresiones CSV
  • [SPARK-48158] [SC-165652][sql] Agregar compatibilidad de intercalación para expresiones XML
  • [SPARK-48160] [SC-166064][sql] Agregar compatibilidad de intercalación para expresiones XPATH
  • [SPARK-48229] [SC-165901][sql] Adición de compatibilidad de intercalación para expresiones inputFile
  • [SPARK-48367] [SC-166487][connect] Corrección de lint-scala para scalafmt para detectar archivos con el formato correcto
  • [SPARK-47858] [ SC-163095][spark-47852][PYTHON][sql] Refactorización de la estructura para el contexto de error de DataFrame
  • [SPARK-48370] [SC-166787][connect] Punto de control y localCheckpoint en el cliente de Scala Spark Connect
  • [SPARK-48247] [SC-166028][python] Usar todos los valores en un dict al deducir el esquema MapType
  • [SPARK-48395] [SC-166794][python] Corrección StructType.treeString para tipos con parámetros
  • [SPARK-48393] [SC-166784][python] Mover un grupo de constantes a pyspark.util
  • [SPARK-48372] [SC-166776][spark-45716][PYTHON] Implementar StructType.treeString
  • [SPARK-48258] [SC-166467][python][CONNECT] Punto de control y localCheckpoint en Spark Connect

Consulte las actualizaciones de mantenimiento de Databricks Runtime 15.4 LTS.

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.4 LTS
    • Nota: Esta es la versión de Ubuntu que usan los contenedores de Databricks Runtime. Los contenedores de DBR se ejecutan en las máquinas virtuales del proveedor de nube, que pueden usar otra versión de Ubuntu o distribución de Linux.
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.11
  • R: 4.3.2
  • Delta Lake: 3.2.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
"asttokens" 2.0.5 astunparse 1.6.3 azure-core 1.30.2
azure-storage-blob 12.19.1 Servicio de Azure Storage File Data Lake 12.14.0 llamada de retorno 0.2.0
negro 23.3.0 intermitente 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
Haz clic 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
contourpy 1.0.5 criptografía 41.0.3 ciclista 0.11.0
Cython 0.29.32 SDK de Databricks 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorador 5.1.1 distlib 0.3.8
puntos de entrada 0,4 Ejecutar 0.8.3 visión general de las facetas 1.1.1
bloqueo de archivos 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 Google Autenticación 2.31.0
google-cloud-core 2.4.1 Google Cloud Storage (almacenamiento en la nube de Google) 2.17.0 google-crc32c 1.5.0
google-resumable-media (medios reanudables de Google) 2.7.1 googleapis-common-protos 1.63.2 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 Jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 llavero 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empaquetado 23,2
Pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
chivo expiatorio 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Almohada 9.4.0 pepita 23.2.1 platformdirs 3.10.0
trazado 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.39
pyparsing 3.0.9 Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
solicitudes 2.31.0 RSA 4,9 s3transfer 0.10.2
scikit-learn 1.3.0 scipy 1.11.1 biblioteca de visualización de datos de Python llamada seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six (seis) 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels (paquete de Python para análisis estadístico) 0.14.0 tenacidad 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 actualizaciones desatendidas 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
rueda 0.38.4 zipp 3.11.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes de Posit el 2024-02-05: https://packagemanager.posit.co/cran/2024-02-05/.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
flecha 14.0.0.2 askpass 1.2.0 asegúrate de que 0.2.1
retroportaciones 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 poco 4.0.5 bit 64 4.0.5
bitops 1.0-7 mancha 1.2.4 bota 1.3-28
fermentar 1.0-10 Brio 1.1.4 escoba 1.0.5
bslib 0.6.1 cachemir 1.0.8 callr 3.7.3
cursor 6.0-94 cellranger (herramienta de análisis de datos celulares) 1.1.0 Chron 2.3-61
clase 7.3-22 Cli 3.6.2 clipr 0.8.0
reloj 0.7.0 conglomerado 2.1.4 codetools 0.2-19
espacio de colores 2.1-0 commonmark 1.9.1 compilador 4.3.2
configuración 0.3.2 en conflicto 1.2.0 cpp11 0.4.7
crayón 1.5.2 credenciales 2.0.1 rizo 5.2.0
tabla de datos 1.15.0 conjuntos de datos 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Descripción 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 digerir 0.6.34
iluminado hacia abajo 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 elipsis 0.3.2 evaluar 0,23
fans 1.0.6 colores 2.1.1 mapa rápido 1.1.1
fontawesome 0.5.2 convictos 1.0.0 foreach 1.5.2
extranjero 0.8-85 fragua 0.2.0 Fs 1.6.3
futuro 1.33.1 aplicación futura 1.11.1 hacer gárgaras 1.5.2
genéricos 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globales 0.16.2 pegamento 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
elementos gráficos 4.3.2 grDevices 4.3.2 rejilla 4.3.2
gridExtra 2.3 gsubfn 0,7 GT 0.10.1
gtable 0.3.4 Casco 1.3.1 refugio 2.5.4
más alto 0,10 HMS 1.1.3 herramientas de HTML 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Identificadores 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 r-juicyjuice 0.1.0
KernSmooth 2.23-21 tejido 1,45 etiquetado 0.4.3
más tarde 1.3.2 retícula 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Formato Markdown 1.12 MASA 7.3-60
Matriz 1.5-4.1 memorizar 2.0.1 métodos 4.3.2
mgcv 1.8-42 mimo 0,12 miniUI (Interfaz de Usuario) 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl (software de cifrado) 2.1.1 paralelo 4.3.2
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 elogio 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progreso 1.2.3
progressr 0.14.0 promesas 1.2.1 prototipo 1.0.0
intermediario 0.4-27 P.D 1.7.6 ronroneo 1.0.2
R6 2.5.1 ragg 1.2.7 Bosque Aleatorio (randomForest) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 r-reactable 0.4.4
r-reactr 0.5.0 readr 2.1.5 readxl 1.4.3
recetas 1.0.9 partido de revancha 2.0.0 segunda revancha 2.1.2
Telecontroles 2.4.2.1 ejemplo reproducible 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 Sass 0.4.8
balanzas 1.3.0 selectr 0.4-2 información de sesión 1.2.2
forma 1.4.6 brillante 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 espacial 7.3-15 Splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 Estadísticas 4.3.2
estadísticas4 4.3.2 stringi 1.8.3 stringr 1.5.1
supervivencia 3.5-5 bravura 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
Formateo de texto 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 cambio de hora 0.3.0
fechaHora 4032.109 tinytex 0,49 herramientas 4.3.2
tzdb 0.4.0 verificador de URL 1.0.1 usa esto 2.2.2
utf8 1.2.4 utilidades 4.3.2 Identificador Único Universal (UUID) 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 bigotes 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 cremallera 2.3.1

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws cliente de Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config (configuración del SDK de Java de AWS) 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs (registros del SDK de AWS para Java) 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws SDK de AWS para Java - Soporte 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo sombreado 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml compañero de clase 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 nativos
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1 nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 nativos
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1 nativos
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone anotaciones_propensas_a_errores 2.10.0
com.google.flatbuffers flatbuffers-java 23/05/26
com.google.guava guayaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger perfilador 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuración 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity analizadores de univocidad 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack (software de cálculo numérico) 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresor de aire 0,25
io.delta delta-sharing-client_2.12 1.1.1
io.dropwizard.metrics anotación de métricas 4.2.19
io.dropwizard.metrics núcleo de métricas 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métricas y verificaciones de salud 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus cliente_simple_común 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activación 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transacciones 1.1
javax.xml.bind jaxb-api 2.2.11
javolución javolución 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine escabeche 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combinado_todo 0,1
org.acplt.remotetea remotetea-oncrpc (servicio de comunicación remota) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr plantilla de cadenas 3.2.1
org.apache.ant hormiga 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant lanzador de aplicaciones Ant 1.10.11
org.apache.arrow formato de flecha 15.0.0
org.apache.arrow núcleo de memoria de flecha 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow vector de flecha 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator marco de trabajo para curadores 2.13.0
org.apache.curator curador-recetas 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derbi 10.14.2.0
org.apache.hadoop Entorno de ejecución del cliente de Hadoop 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API de almacenamiento de hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims planificador-de-adaptadores-hive 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hiedra 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc calzos de orco 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotaciones de audiencia 0.13.0
org.apache.zookeeper guardián de zoológico 3.6.3
org.apache.zookeeper Zookeeper-Jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilador común 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections colecciones de eclipse 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty Seguridad de Jetty 9.4.52.v20230823
org.eclipse.jetty servidor Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Aplicación web de Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket cliente de websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket servidor de websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers servlet de contenedor de Jersey 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey común 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator validador de hibernación 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotaciones 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Cuñas 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaz de prueba 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatible con ScalaTest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on