Compartir a través de

Databricks Runtime 15.1.

  • Artículo

En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 15.1, con tecnología de Apache Spark 3.5.0.

Databricks publicó esta versión en abril de 2024.

Sugerencia

Para ver las notas de la versión de las versiones de Databricks Runtime que han llegado a la finalización del soporte (EoS), vea las Notas de la versión de Databricks Runtime no compatibles. Las versiones de Databricks Runtime que han llegado a la finalización del soporte (EoS) se han retirado y es posible que no se actualicen.

Cambios importantes

La compatibilidad con Databricks Runtime 15.0 y Databricks Runtime 15.0 para Machine Learning finaliza el 31 de mayo de 2024 porque una actualización de la biblioteca de Pandas de 1.5.3 a 2.0.3 en la versión 15.0 provocó un cambio importante en varias API de Apache Spark. Para obtener más información sobre los cambios importantes, consulte La biblioteca de Python de Pandas ha cambiado a la versión anterior 1.5.3. Para resolver esta incompatibilidad, Databricks ha publicado Databricks Runtime 15.1 y Databricks Runtime 15.1 para Machine Learning. La funcionalidad admitida por estas versiones es la misma que las versiones 15.0, pero con la versión de Pandas cambiada a la versión anterior 1.5.3.

Los clústeres o trabajos existentes que usen versiones de Databricks Runtime 15.0 seguirán funcionando, pero no recibirán actualizaciones de producto o seguridad. Ya no puede configurar un nuevo proceso que use Databricks Runtime 15.0 o Databricks Runtime 15.0 ML en la interfaz de usuario de Databricks. Si no usa características o API que requieren Pandas 2.0 o versiones posteriores, Databricks recomienda cambiar esas cargas de trabajo a Databricks Runtime 15.1.

Si usa características o API disponibles solo en Pandas 2.0+ y no usa ninguna función afectada por esta versión, Databricks recomienda cambiar a Databricks Runtime 15.1 y actualizar el paquete de Pandas predeterminado mediante bibliotecas con ámbito de clúster ocuaderno. Por ejemplo, para actualizar la biblioteca de Pandas en un cuaderno de Databricks, use el siguiente comando:

%pip install pandas==2.0.3

La biblioteca de Python de Pandas ha cambiado a la versión anterior 1.5.3.

En esta versión, la biblioteca de Pandas cambia de la versión 2.0.3 a la 1.5.3. Este cambio a una versión anterior fue necesaria porque las incompatibilidades en la versión 2.0.3 de Pandas provocaron errores en algunas API de Pandas en las funciones de Spark. A continuación se enumeran las funciones afectadas por la versión 2.0.3 de Pandas:

  • pyspark.date_range: falta el parámetro closed, lo que provoca errores cuando el código existente llama a esta función.
  • Se cambia la funcionalidad de GroupBy con columnas MultiIndex, lo que provoca un comportamiento inesperado.
  • Algunos atributos datetime de DatetimeIndex (por ejemplo day, month, year, etc.) devuelven tipos de datos int32 en lugar de tipos de datos int64.

Ahora se produce un error en la función PySpark spark.sql() para los tipos de argumento no válidos

En Databricks Runtime 15.1 y versiones posteriores, el parámetro args para los parámetros con nombre o posicional pasados a la función spark.sql() debe ser un diccionario o lista. Si se pasa cualquier otro tipo de objeto, se produce el siguiente error: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

El almacenamiento de bibliotecas en la raíz de DBFS está en desuso y deshabilitado de forma predeterminada

Para mejorar la seguridad de las bibliotecas en un área de trabajo de Azure Databricks, el almacenamiento de archivos de biblioteca en la raíz de DBFS está en desuso y deshabilitado de forma predeterminada a partir de Databricks Runtime 15.1. Databricks recomienda cargar todas las bibliotecas, que incluyen las bibliotecas de Python, los archivos JAR y los conectores de Spark, en archivos de área de trabajo o volúmenes de Catálogo de Unity, o mediante repositorios de paquetes de biblioteca. Consulte Recomendaciones para cargar bibliotecas.

Para volver a habilitar el almacenamiento de bibliotecas en la raíz DBFS, establezca el siguiente parámetro de configuración de Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Actualización de la versión predeterminada de Python de la versión 3.10 a la versión 3.11

Con Databricks Runtime 15.1, la versión predeterminada de Python es 3.11.0. Para obtener la lista de bibliotecas de Python actualizadas, consulte Actualizaciones de bibliotecas.

Se ha quitado JDK 11

Como se anunció anteriormente, JDK 11 se quita de Databricks Runtime 15.1 y versiones posteriores. Databricks recomienda actualizar a JDK 17 al actualizar a Databricks Runtime 15.1 y versiones posteriores. Consulte SDK de Databricks para Java.

La REPL de Python ahora finaliza correctamente.

Con Databricks Runtime 15.1, el proceso de REPL de Python del cuaderno ahora finaliza correctamente al salir. Esto hace que se respeten los enlaces de atexit. Por ejemplo, en un flujo de trabajo con varias tareas de cuadernos de Python, los enlaces de atexit registrados en la primera tarea se ejecutan antes de que se ejecute la segunda tarea del cuaderno de Python.

Nuevas características y mejoras

La cláusula * (star) ahora se admite en la cláusula WHERE

Ahora puede usar la cláusula star (*) de la cláusula WHERE para hacer referencia a todas las columnas de la lista de SELECT. Por ejemplo, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

La spark.sql.json.enablePartialResults configuración ahora está habilitada de forma predeterminada

La configuración spark.sql.json.enablePartialResults de Spark ahora está habilitada de forma predeterminada, lo que permite que el analizador JSON controle correctamente los errores de análisis de tipos complejos, como struct, map y array sin quitar los campos restantes. Este cambio corrige un problema de coherencia para los orígenes de datos JSON con la eliminación de columnas.

Las bibliotecas de clústeres ahora admiten archivos requirements.txt

Ahora puede instalar bibliotecas de clústeres mediante un requirements.txt archivo almacenado en un archivo de área de trabajo o un volumen de catálogo de Unity. En los clusters de modo de usuario único y de acceso compartido, el archivo requirements.txt puede hacer referencia a otros archivos. En Clústeres de modo de acceso compartido sin aislamiento, solo se admiten paquetes PyPI. Consulte Bibliotecas del clúster.

La CLI de Databricks ya está disponible en el terminal web

Ahora puede usar la CLI de Databricks desde el terminal web en el cuaderno. El cuaderno debe estar conectado a un clúster en usuario único o No se ha compartido el aislamiento modo de acceso. Para más información, consulte Uso del terminal web y la CLIde Databricks.

Adición de repositorios de Python predeterminados a configuraciones de clúster

En Databricks Runtime 15.1 y versiones posteriores, puede configurar los parámetros globales pip index-url y extra-index-url para la instalación de la biblioteca con ámbito de clúster y cuaderno al configurar un clúster o definir una directiva de clúster. Si ha establecido las variables de entorno DATABRICKS_PIP_INDEX_URL y DATABRICKS_PIP_EXTRA_INDEX_URL.

Los controles de acceso a la tabla de metadatos de Hive y desuso de credenciales están en desuso

El acceso directo a credenciales y los controles de acceso de tabla del metastore de Hive son modelos de gobernanza de datos heredados. Actualice Unity Catalog para simplificar la seguridad y gobernanza de los datos proporcionando un lugar central para administrar y auditar el acceso a datos en varias áreas de trabajo de la cuenta. Consulte ¿Qué es Unity Catalog?

La compatibilidad con el acceso directo a credenciales y los controles de acceso de tabla del metastore de Hive se quitará en una próxima versión de DBR.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • black de 22.6.0 a 23.3.0
    • boto3 de 1.24.28 a 1.34.39
    • botocore de 1.27.96 a 1.34.39
    • certifi de 2022.12.7 a 2023.7.22
    • cryptography de 39.0.1 a 41.0.3
    • databricks-sdk de 0.1.6 a 0.20.0
    • distlib de 0.3.7 a 0.3.8
    • googleapis-common-protos de 1.62.0 a 1.63.0
    • grpcio de 1.48.2 a 1.60.0
    • grpcio-status de 1.48.1 a 1.60.0
    • importlib-metadata de 4.6.4 a 6.0.0
    • ipykernel de 6.25.0 a 6.25.1
    • ipython de 8.14.0 a 8.15.0
    • ipywidgets de 7.7.2 a 8.0.4
    • jupyter_core de 5.2.0 a 5.3.0
    • jupyterlab-widgets de 1.0.0 a 3.0.5
    • matplotlib de 3.7.0 a 3.7.2
    • pip de 22.3.1 a 23.2.1
    • platformdirs de 2.5.2 a 3.10.0
    • protobuf de 4.24.0 a 4.24.1
    • pyarrow: de 8.0.0 a 14.0.1
    • Pygments de 2.11.2 a 2.15.1
    • pyodbc de 4.0.32 a 4.0.38
    • solicitudes de 2.28.1 a 2.31.0
    • s3transfer de 0.6.2 a 0.10.0
    • scikit-learn de 1.1.1 a 1.3.0
    • scipy de 1.10.0 a 1.11.1
    • setuptools de 65.6.3 a 68.0.0
    • statsmodels de 0.13.5 a 0.14.0
    • tenacidad de 8.1.0 a 8.2.2
    • tornado de 6.1 a 6.3.2
    • typing_extensions de 4.4.0 a 4.7.1
    • urllib3 de 1.26.14 a 1.26.16
    • virtualenv de 20.16.7 a 20.24.2
    • widgetsnbextension de 3.6.1 a 4.0.5
    • zipp de 1.0.0 a 3.11.0
  • Bibliotecas de R actualizadas:
    • arrow de 12.0.1 a 14.0.0.2
    • askpass de 1.1 a 1.2.0
    • base de 4.3.1 a 4.3.2
    • brew de 1.0-8 a 1.0-10
    • brio de 1.1.3 a 1.1.4
    • bslib de 0.5.0 a 0.6.1
    • cli de 3.6.1 a 3.6.2
    • commonmark de 1.9.0 a 1.9.1
    • compilador de 4.3.1 a 4.3.2
    • config de 0.3.1 a 0.3.2
    • cpp11 de 0.4.4 a 0.4.7
    • credentials de 1.3.2 a 2.0.1
    • curl de 5.0.1 a 5.2.0
    • data.table de 1.14.8 a 1.15.0
    • conjuntos de datos de 4.3.1 a 4.3.2
    • DBI de 1.1.3 a 1.2.1
    • dbplyr de 2.3.3 a 2.4.0
    • desc de 1.4.2 a 1.4.3
    • digest de 0.6.33 a 0.6.34
    • dplyr de 1.1.2 a 1.1.4
    • e1071 de 1.7-13 a 1.7-14
    • evaluate de 0.21 a 0.23
    • fansi de 1.0.4 a 1.0.6
    • fontawesome de 0.5.1 a 0.5.2
    • fs de 1.6.2 a 1.6.3
    • future de 1.33.0 a 1.33.1
    • future.apply de 1.11.0 a 1.11.1
    • gargle de 1.5.1 a 1.5.2
    • gert de 1.9.2 a 2.0.1
    • ggplot2 de 3.4.2 a 3.4.4
    • glmnet de 4.1-7 a 4.1-8
    • glue: de 1.6.2 a 1.7.0
    • gráficos de 4.3.1 a 4.3.2
    • grDevices de 4.3.1 a 4.3.2
    • cuadrícula de 4.3.1 a 4.3.2
    • gtable de 0.3.3 a 0.3.4
    • hardhat de 1.3.0 a 1.3.1
    • haven de 2.5.3 a 2.5.4
    • htmltools de 0.5.5 a 0.5.7
    • htmlwidgets de 1.6.2 a 1.6.4
    • httpuv de 1.6.11 a 1.6.14
    • httr de 1.4.6 a 1.4.7
    • httr2 de 0.2.3 a 1.0.0
    • jsonlite de 1.8.7 a 1.8.8
    • knitr de 1.43 a 1.45
    • etiquetado de 0.4.2 a 0.4.3
    • posterior de 1.3.1 a 1.3.2
    • lava de 1.7.2.1 a 1.7.3
    • lifecycle de 1.0.3 a 1.0.4
    • listenv de 0.9.0 a 0.9.1
    • lubridate de 1.9.2 a 1.9.3
    • markdown de 1.7 a 1.12
    • métodos de 4.3.1 a 4.3.2
    • openssl de 2.0.6 a 2.1.1
    • paralelo de 4.3.1 a 4.3.2
    • pkgbuild de 1.4.2 a 1.4.3
    • pkgload de 1.3.2.1 a 1.3.4
    • plyr de 1.8.8 a 1.8.9
    • prettyunits de 1.1.1 a 1.2.0
    • pROC de 1.18.4 a 1.18.5
    • processx de 3.8.2 a 3.8.3
    • prodlim de 2023.03.31 a 2023.08.28
    • progreso de 1.2.2 a 1.2.3
    • progressr de 0.13.0 a 0.14.0
    • promesas de 1.2.0.1 a 1.2.1
    • ps de 1.7.5 a 1.7.6
    • purrr de 1.0.1 a 1.0.2
    • ragg de 1.2.5 a 1.2.7
    • Rcpp de 1.0.11 a 1.0.12
    • RcppEigen de 0.3.3.9.3 a 0.3.3.9.4
    • readr de 2.1.4 a 2.1.5
    • recipes de 1.0.6 a 1.0.9
    • rematch de 1.0.1 a 2.0.0
    • remotes: de 2.4.2 a 2.4.2.1
    • reprex: de 2.0.2 a 2.1.0
    • rlang de 1.1.1 a 1.1.3
    • rmarkdown de 2.23 a 2.25
    • RODBC de 1.3-20 a 1.3-23
    • roxygen2 de 7.2.3 a 7.3.1
    • rprojroot de 2.0.3 a 2.0.4
    • Rserve de 1.8-11 a 1.8-13
    • RSQLite de 2.3.1 a 2.3.5
    • sass de 0.4.6 a 0.4.8
    • scales: de 1.2.1 a 1.3.0
    • shiny de 1.7.4.1 a 1.8.0
    • sparklyr de 1.8.1 a 1.8.4
    • splines de 4.3.1 a 4.3.2
    • estadísticas de 4.3.1 a 4.3.2
    • stats4 de 4.3.1 a 4.3.2
    • stringi de 1.7.12 a 1.8.3
    • stringr de 1.5.0 a 1.5.1
    • systemfonts de 1.0.4 a 1.0.5
    • tcltk de 4.3.1 a 4.3.2
    • testthat de 3.1.10 a 3.2.1
    • textshaping de 0.3.6 a 0.3.7
    • tidyr de 1.3.0 a 1.3.1
    • timechange de 0.2.0 a 0.3.0
    • timeDate de 4022.108 a 4032.109
    • tinytex de 0.45 a 0.49
    • herramientas de 4.3.1 a 4.3.2
    • utf8 de 1.2.3 a 1.2.4
    • utils de 4.3.1 a 4.3.2
    • uuid de 1.1-0 a 1.2-0
    • vctrs de 0.6.3 a 0.6.5
    • vroom de 1.6.3 a 1.6.5
    • waldo de 0.5.1 a 0.5.2
    • withr: de 2.5.0 a 3.0.0
    • xfun de 0.39 a 0.41
    • xml2 de 1.3.5 a 1.3.6
    • yaml de 2.3.7 a 2.3.8
    • zip de 2.3.0 a 2.3.1
  • Bibliotecas de Java actualizadas:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.15.1 a 2.16.0
    • com.google.flatbuffers.flatbuffers-java de 1.12.0 a 23.5.26
    • com.typesafe.config de 1.2.1 a 1.4.3
    • org.apache.ant.ant de 1.9.16 a 1.10.11
    • org.apache.ant.ant-jsch de 1.9.16 a 1.10.11
    • org.apache.ant.ant-launcher de 1.9.16 a 1.10.11
    • org.apache.arrow.arrow-format de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-core de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-netty de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-vector de 12.0.1 a 15.0.0
    • org.apache.avro.avro de 1.11.2 a 1.11.3
    • org.apache.avro.avro-ipc de 1.11.2 a 1.11.3
    • org.apache.avro.avro-mapred de 1.11.2 a 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-core de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.20.0 a 2.22.1
    • org.postgresql.postgresql de 42.6.0 a 42.6.1

Apache Spark

Databricks Runtime 15.1 incluye Apache Spark 3.5.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 14.3 LTS, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • [SPARK-45527] [DBRRM-805][ES-1073714] Revert “[SC-151626][CORE] Uso de fracciones para realizar el cálculo de recursos"
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] Agregar la marca de configuración COLLATION_ENABLED
  • [SPARK-46973] [SC-158140] [DBRRM-777] [SQL] Omitir la búsqueda de tablas V2 cuando una tabla está en la caché de tablas V1
  • [SPARK-46808] [SC-154113] [PYTHON] Refinar las clases de error en Python con la función de ordenación automática
  • [SPARK-47251] [SC-158291] [PYTHON] Bloquear tipos no válidos del argumento para sql el args comando
  • [SPARK-47251] [SC-158121] [PYTHON] Bloquear tipos no válidos del argumento args para el comando sql
  • [SPARK-47108] [SC-157204] [CORE] Establecer derby.connection.requireAuthentication en false explícitamente en CLIs
  • [SPARK-45599] [SC-157537] [CORE] Uso de la igualdad de objetos en OpenHashSet
  • [SPARK-47099] [SC-157352] [SQL] Use ordinalNumber para establecer uniformemente el valor de paramIndex para la clase de error UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363] [CONNECT] Extracción de una función auxiliar para eliminar el código duplicado que se recupera MessageParameters de ErrorParams en GrpcExceptionConverter
  • [SPARK-43117] [SC-156177] [CONNECT] Hacer ProtoUtils.abbreviate que se admitan campos repetidos
  • [SPARK-46342] [SC-150283][SQL] Reemplazo de IllegalStateException por SparkException.internalError en catalyst
  • [SPARK-47123] [SC-157412] [CORE] JDBCRDD no controla correctamente los errores en getQueryOutputSchema
  • [SPARK-47189] [SC-157667] [SQL] Ajustar los nombres de error de columna y el texto
  • [SPARK-45789] [SC-157101] [SQL] Compatibilidad con DESCRIBE TABLE para las columnas de agrupación en clústeres
  • [SPARK-43256] [SC-157699] [SQL] Quitar _LEGACY_ERROR_TEMP_2021 de clase de error
  • [SPARK-47201] [SC-157782] [PYTHON] [CONNECT] sameSemantics comprueba los tipos de entrada
  • [SPARK-47183] [SC-157660] [PYTHON] Corrección de la clase de error para sameSemantics
  • [SPARK-47179] [SC-157663] [SQL] Mejora del mensaje de error de SparkThrowableSuite para mejorar la depuración
  • [SPARK-46965] [SC-155791] [CORE] Registrar logType en Utils.getLog
  • [SPARK-46832] [SC-156774] [SQL] Presentación de expresiones de intercalación y intercalación
  • [SPARK-46946] [SC-155721] [SQL] Compatibilidad con la difusión de varias claves de filtrado en DynamicPruning
  • [SPARK-47079] [VARIANT-22] [SC-157598] [PYTHON] [SQL] [CONNECT] Agregar información de tipo Variant a PySpark
  • [SPARK-47101] [SC-157360] [SQL] Permitir el uso de comas en nombres de columna de nivel superior y quitar la definición de tipo anidado de comprobación en HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571] [SS] [UI] Corrección de un error tipográfico en la explicación de la interfaz de usuario de streaming
  • [SPARK-47113] [SC-157348] [CORE] Revertir la lógica de corrección de puntos de conexión S3A de SPARK-35878
  • [SPARK-47130] [SC-157462] [CORE] Usar listStatus para omitir la información de ubicación de bloqueo al limpiar los registros de controladores
  • [SPARK-43259] [SC-157368][SQL] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355] [SQL] TakeOrderedAndProjectExec debe inicializar la proyección no segura
  • [SPARK-47137] [SC-157463] [PYTHON] [CONNECT] Adición de getAll a spark.conf para la paridad de características con Scala
  • [SPARK-46924] [SC-154905] [CORE] Botón Corregir Load New en Master/HistoryServer la interfaz de usuario de registro
  • [SPARK-47069] [SC-157370] [PYTHON] [CONNECT] Introducción spark.profile.show/dump a la generación de perfiles basada en SparkSession
  • [SPARK-46812] [SC-157075] [SQL] [PYTHON] Hacer que mapInPandas/mapInArrow admitan ResourceProfile
  • [SPARK-46833] [SC-155866] [SQL] Intercalaciones: introducción a CollationFactory, que proporciona reglas de comparación y hash para intercalaciones admitidas
  • [SPARK-47057] [SC-157036] [PYTHON] Re-habilitar prueba de datos de MyPy
  • [SPARK-46934] [SC-157084] [SQL] Ida y vuelta de lectura y escritura para el tipo de estructura con caracteres especiales con HMS
  • [SPARK-46727] [SC-153472] [SQL] Puerto classifyException() en dialectos JDBC en clases de error
  • [SPARK-46964] [SC-155740] [SQL] Cambie la firma del error de ejecución de la consulta hllInvalidLgK para tomar un entero como 4º argumento
  • [SPARK-46949] [SC-155719] [SQL] Compatibilidad con CHAR/VARCHAR mediante ResolveDefaultColumns
  • [SPARK-46972] [SC-155888] [SQL] Corrección del reemplazo asimétrico de char/varchar en V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778] [PYTHON] [CONNECT] Implementación de métodos dumpPerfProfiles y dumpMemoryProfiles de SparkSession
  • [SPARK-46689] [SC-156221] [SPARK-46690] [PYTHON] [CONNECT] Compatibilidad con la generación de perfiles v2 en applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773] [CONNECT] Permitir que el script del servidor de Spark Connect espere
  • [SPARK-46688] [SC-156113] [SPARK-46691] [PYTHON] [CONNECT] Compatibilidad con la generación de perfiles v2 en UDF de Pandas agregadas
  • [SPARK-47004] [SC-156499] [CONNECT] Se han agregado más pruebas a ClientStreamingQuerySuite para aumentar la cobertura de pruebas de cliente de Scala
  • [SPARK-46994] [SC-156169] [PYTHON] Refactorización de PythonWrite para prepararse para admitir la escritura de streaming de orígenes de datos de Python
  • [SPARK-46979] [SC-156587] [SS] Se ha agregado compatibilidad para especificar el codificador de clave y valor por separado y también para cada familia col en el proveedor del almacén de estado de RocksDB
  • [SPARK-46960] [SC-155940] [SS] Probar varias secuencias de entrada con el operador TransformWithState
  • [SPARK-46966] [SC-156112] [Python] Agregue la API UDTF para el método "analyze" para indicar el subconjunto de columnas de tabla de entrada que se van a seleccionar
  • [SPARK-46895] [SC-155950] [CORE] Reemplazo del temporizador por un ejecutor programado de subproceso único
  • [SPARK-46967] [SC-155815] [CORE] [UI] Ocultar Thread Dump y Heap Histogram de Dead ejecutores en la interfaz de usuario Executors
  • [SPARK-46512] [SC-155826] [CORE] Optimice la lectura aleatoria cuando se usen la ordenación y la combinación.
  • [SPARK-46958] [SC-155942] [SQL] Adición de la zona horaria que falta a los valores predeterminados de coerce
  • [SPARK-46754] [SC-153830] [SQL] [AVRO] Corrección de la resolución de código de compresión en las opciones de definición y escritura de la tabla avro
  • [SPARK-46728] [SC-154207] [PYTHON] Comprobación correcta de la instalación de Pandas
  • [SPARK-43403] [SC-154216] [UI] Asegúrese de que sparkUI anterior en HistoryServer se ha desasociado antes de cargar uno nuevo
  • [SPARK-39910] [SC-156203] [SQL] Delegación de la calificación de ruta de acceso al sistema de archivos durante la globbing de ruta de acceso del archivo DataSource
  • [SPARK-47000] [SC-156123] Revertir "[SC-156123][CORE] Usar getTotalMemorySize…
  • [SPARK-46819] [SC-154560] [CORE] Mover categorías y estados de error a JSON
  • [SPARK-46997] [SC-156175][CORE] Habilitación de spark.worker.cleanup.enabled forma predeterminada
  • [SPARK-46865] [SC-156168] [SS] Agregar compatibilidad con Batch para el operador TransformWithState
  • [SPARK-46987] [SC-156040] [CONNECT] ProtoUtils.abbreviate evitar operaciones innecesarias setField
  • [SPARK-46970] [SC-155816] [CORE] Reescritura OpenHashSet#hasher con pattern matching
  • [SPARK-46984] [SC-156024] [PYTHON] Quitar pyspark.copy_func
  • [SPARK-47000] [SC-156123][CORE] Uso de getTotalMemorySize en WorkerArguments
  • [SPARK-46980] [SC-155914] [SQL] [MINOR] Evitar el uso de API internas en pruebas de un extremo a otro de trama de datos
  • [SPARK-46931] Revertir "[SC-155661][PS] Implementar {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828] [SQL] Mejora de los mensajes de error para DATA_SOURCE_NOT_FOUND error
  • [SPARK-46849] [SC-154586] [SQL] Ejecución del optimizador en los valores predeterminados de columna CREATE TABLE
  • [SPARK-46911] [SC-155724] [SS] Adición del operador deleteIfExists a StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Compatibilidad con el códec de lz4raw compresión para Parquet
  • [SPARK-47002] [SC-156223] [Python] Devuelve un mensaje de error mejor si el campo "orderBy" de UDTF 'analyze' devuelve accidentalmente una lista de cadenas
  • [SPARK-46890] [SC-155802] [SQL] Corrección del error de análisis de CSV con valores predeterminados de existencia y eliminación de columnas
  • [SPARK-46977] [SC-155892] [CORE] Una solicitud con error para obtener un token de un NameNode no debe omitir las solicitudes de token posteriores
  • [SPARK-46608] [SC-151806] [SQL] Restaurar la compatibilidad con versiones anteriores de JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702] [SQL] Cláusula star de compatibilidad con la cláusula WHERE
  • [SPARK-46908] [SC-155702] [SQL] Cláusula star de compatibilidad con la cláusula WHERE
  • [SPARK-46852] [SC-155665] [SS] Quite el uso del codificador de claves explícito y páselo implícitamente al operador para el operador transformWithState
  • [SPARK-46864] [SC-155669] [SS] Incorporación de StateV2 arbitrario en el nuevo marco de clase de error
  • [SPARK-45807] [SC-155706] [SQL] Devolver vista después de llamar a replaceView(..)
  • [SPARK-46899] [SC-154651] [CORE] Eliminación POST de LAS API de MasterWebUI cuando spark.ui.killEnabled es false
  • [SPARK-46868] [SC-154539] [CORE] Compatibilidad con la interfaz de usuario del registro de trabajo de Spark
  • [SPARK-46931] [SC-155661] [PS] Implementar {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667] [CORE] Quitar sin usar updateSparkConfigFromProperties y isAbsoluteURI en o.a.s.u.Utils
  • [SPARK-46929] [SC-155659] [CORE] [CONNECT] [SS] Uso de ThreadUtils.shutdown para cerrar grupos de subprocesos
  • [SPARK-46400] [SC-155658] [CORE] [SQL] Cuando haya archivos dañados en el repositorio de Maven local, omita esta caché e inténtelo de nuevo
  • [SPARK-46932] [SC-155655] Limpieza de las importaciones en pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Escribir un generador de subconsultas que genere permutaciones de subconsultas para aumentar la cobertura de pruebas
  • [SPARK-46914] [SC-154776] [UI] Acortar el nombre de la aplicación en la tabla de resumen de la página Historial
  • [SPARK-46831] [SC-154699] [SQL] Intercalaciones: extensión de StringType y PhysicalStringType con el campo collationId
  • [SPARK-46816] [SC-154415] [SS] Se ha agregado compatibilidad base para el nuevo operador de administración de estado arbitrario, tipo valueState, varias variables de estado y compatibilidad subyacente para familias de columnas para RocksDBStateStoreProvider con o sin puntos de comprobación de registro de cambios
  • [SPARK-46925] [SC-154890] [PYTHON] [CONNECT] Agregue una advertencia que indique que instale memory_profiler para la generación de perfiles de memoria
  • [SPARK-46927] [SC-154904] [PYTHON] Hacer assertDataFrameEqual que funcione correctamente sin PyArrow
  • [SPARK-46021] [SC-148987] [CORE] Compatibilidad con la cancelación de trabajos futuros que pertenecen a un grupo de trabajos
  • [SPARK-46747] [SC-154789] [SQL] Evitar el examen en getTableExistsQuery para dialectos JDBC
  • [SPARK-46904] [SC-154704] [UI] Corrección del problema de visualización del resumen de la interfaz de usuario del historial
  • [SPARK-46870] [SC-154541] [CORE] Compatibilidad con la interfaz de usuario del registro maestro de Spark
  • [SPARK-46893] [SC-154780] [UI] Eliminación de scripts insertados de descripciones de la interfaz de usuario
  • [SPARK-46910] [SC-154760] [PYTHON] Eliminación del requisito de JDK en la instalación de PySpark
  • [SPARK-46907] [SC-154736] [CORE] Mostrar la ubicación del registro del controlador en el servidor de historial de Spark
  • [SPARK-46902] [SC-154661] [UI] Corrección de la interfaz de usuario del servidor de historial de Spark para usar setAppLimit sin exportar
  • [SPARK-46687] [SC-154725] [PYTHON] [CONNECT] soporte técnico Basic de Microsoft Azure con el generador de perfiles de memoria basado en SparkSession
  • [SPARK-46623] [SC-153831] [CORE] [MLLIB] [SQL] Reemplazar SimpleDateFormat por DateTimeFormatter
  • [SPARK-46875] [SC-154627] [SQL] Cuando el mode valor es NULL, se debe not producir un NullPointException
  • [SPARK-46872] [SC-154543] [CORE] Recuperación log-view.js para que no sea módulo
  • [SPARK-46883] [SC-154629][CORE] Compatibilidad con API /json/clusterutilization
  • [SPARK-46886] [SC-154630][CORE] Habilitación de spark.ui.prometheus.enabled forma predeterminada
  • [SPARK-46873] [SC-154638] [SS] No vuelva a crear el nuevo StreamingQueryManager para la misma sesión de Spark
  • [SPARK-46829] [SC-154419] [CORE] Eliminación de createExecutorEnv de SparkEnv
  • [SPARK-46827] [SC-154280] [CORE] Hacer RocksDBPersistenceEngine para admitir un vínculo simbólico
  • [SPARK-46903] [SC-154662] [CORE] Compatibilidad con la interfaz de usuario del registro del servidor de historial de Spark
  • [SPARK-46874] [SC-154646] [PYTHON] Quitar pyspark.pandas dependencia de assertDataFrameEqual
  • [SPARK-46889] [SC-154639] [CORE] Validar spark.master.ui.decommission.allow.mode la configuración
  • [SPARK-46850] [SC-154443][SQL] Convertir _LEGACY_ERROR_TEMP_2102 en UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323] [CORE] [UI] Corrección MasterPage para ordenar Running Drivers la tabla por Duration columna correctamente
  • [SPARK-46796] [SC-154279] [SS] Asegúrese de que los archivos remotos correctos (mencionados en metadata.zip) se usan en la carga de la versión de RocksDB
  • [SPARK-46888] [SC-154636] [CORE] Corrección Master para rechazar /workers/kill/ solicitudes si la retirada está deshabilitada
  • [SPARK-46818] [SC-154422] [SQL] Mejora de los mensajes de error para Range con entradas no plegables
  • [SPARK-46898] [SC-154649] [CONNECT] Simplificación de la transformación de la función protobuf en Planner
  • [SPARK-46828] [SC-154413] [SQL] Eliminación de la aserción no válida del modo remoto para spark sql Shell
  • [SPARK-46733] [SC-154274] [CORE] Simplifique BlockManager por la operación de salida solo dependerá del subproceso de interrupción.
  • [SPARK-46777] [SC-154016] [SS] Refactorización StreamingDataSourceV2Relation de la estructura del catalizador para ser más a la par con la versión por lotes
  • [SPARK-46515] [SC-151716] Agregar función MONTHNAME
  • [SPARK-46823] [SC-154276] [CONNECT] [PYTHON] LocalDataToArrowConversion debe comprobar la nulabilidad
  • [SPARK-46787] [SC-154404] [CONNECT] bloomFilter la función debe iniciarse AnalysisException para la entrada no válida
  • [SPARK-46779] [SC-154045] [SQL] InMemoryRelation Las instancias del mismo plan almacenado en caché deben ser semánticamente equivalentes
  • [SPARK-45827] [SC-153973] No permitir la creación de particiones en la columna Variant
  • [SPARK-46797] [SC-154085] [CORE] Cambiar el nombre spark.deploy.spreadOut a spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Compatibilidad con la generación de perfiles de JVM del ejecutor
  • [SPARK-46746] [SC-153557] [SQL] [AVRO] Asociación de la extensión de códec a archivos de origen de datos avro
  • [SPARK-46698] [SC-153288] [CORE] Reemplace Timer por el ejecutor programado de subproceso único para ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Corrección para el tipo STRUCT DDL que no recoge valores NULL y comentario
  • [SPARK-46750] [SC-153772] [CONNECT] [PYTHON] Limpieza del código de las API de DataFrame
  • [SPARK-46769] [SC-153979][SQL] Refinar la inferencia de esquema relacionada con la marca de tiempo
  • [SPARK-46765] [SC-153904] [PYTHON] [CONNECT] Hacer que shuffle especifique el tipo de datos de seed
  • [SPARK-46579] [SC-151481] [SQL] Censura de la dirección URL de JDBC en errores y registros
  • [SPARK-46686] [SC-153875] [PYTHON] [CONNECT] soporte técnico Basic de Microsoft Azure con el generador de perfiles de UDF de Python basado en SparkSession
  • [SPARK-46748] Revertir "[SC-153800][CORE] Quitar script *slav**.sh
  • [SPARK-46707] [SC-153833] [SQL] Se ha añadido un campo desechable a las expresiones para mejorar el empuje de predicados
  • [SPARK-46519] [SC-151278] [SQL] Borrar las clases de error sin usar del error-classes.json archivo
  • [SPARK-46677] [SC-153426] [SQL] [CONNECT] Corrección de dataframe["*"] la resolución
  • [SPARK-46317] [SC-150184][PYTHON][CONNECT] Coincidencia de comportamientos menores en SparkSession con cobertura total de pruebas
  • [SPARK-46748] [SC-153800][CORE] Quitar scripts *slav**.sh
  • [SPARK-46663] [SC-153490] [PYTHON] Deshabilitación del generador de perfiles de memoria para UDF de Pandas con iteradores
  • [SPARK-46410] [SC-150776] [SQL] Asignar clases de error o subclases a JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126] [PYTHON] Validar las direcciones URL de inicio con la configuración que se va a establecer
  • [SPARK-46612] [SC-153536] [SQL] No convertir la cadena de tipo de matriz recuperada del controlador jdbc
  • [SPARK-46254] [SC-149788] [PYTHON] Eliminación de la comprobación de versiones obsoletas de Python 3.8/3.7
  • [SPARK-46490] [SC-151335] [SQL] Requerir clases de error en SparkThrowable sub clases
  • [SPARK-46383] [SC-153274] [SC-147443] [WARMFIX] Reducir el uso del montón de controladores al reducir la duración de TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][SQL][CONNECT] Corrección de la referencia de columna ambigua en la combinación automática
  • [SPARK-46381] [SC-150495] [SQL] Migración de sub clases de a clases de AnalysisException error
  • [SPARK-46351] [SC-150335] [SQL] Requerir una clase de error en AnalysisException
  • [SPARK-46220] [SC-149689][SQL] Restricción de los juegos de caracteres en decode()
  • [SPARK-46369] [SC-150340] [CORE] Eliminación kill del vínculo de RELAUNCHING los controladores en MasterPage
  • [SPARK-46052] [SC-153284] [CORE] Quitar función TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164] [SQL] Compatibilidad con GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209] [SQL] Quitar inferTimestampNTZ sin usar en ParquetReadSupport
  • [SPARK-46717] [SC-153423] [CORE] Simplifique ReloadingX509TrustManager la operación de salida solo depende del subproceso de interrupción.
  • [SPARK-46722] [SC-153438] [CONNECT] Adición de una prueba con respecto a la comprobación de compatibilidad con versiones anteriores de StreamingQueryListener en Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] Alineación de la implementación de codegen y non-codegen de StringDecode
  • [SPARK-46258] [SC-149799] [CORE] Añadir RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676] [CORE] Mejora FileSystemPersistenceEngine para admitir compresión
  • [SPARK-46189] [SC-149567] [PS] [SQL] Realizar comparaciones y aritméticas entre los mismos tipos en varias funciones de agregado de Pandas para evitar errores de modo interpretados
  • [SPARK-46184] [SC-149563] [CORE] [SQL] [CONNECT] [MLLIB] Reducir la profundidad de la pila por replace Option.isDefined con Option.isEmpty
  • [SPARK-46700] [SC-153329] [CORE] Recuento del último desbordamiento de la métrica de bytes de desbordamiento de disco aleatorio
  • [SPARK-45642] [SC-150286] [CORE] [SQL] Arreglar FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272] [SQL] Corrección de RemoveRedundantAlias excluyendo atributos de subconsulta
  • [SPARK-46681] [SC-153287] [CORE] Refactorizar ExecutorFailureTracker#maxNumExecutorFailures para evitar calcular defaultMaxNumExecutorFailures cuándo se configura MAX_EXECUTOR_FAILURES
  • [SPARK-46695] [SC-153289] [SQL] [HIVE] Establecer siempre hive.execution.engine en mr
  • [SPARK-46325] [SC-150228] [CONNECT] Eliminación de funciones de invalidación innecesarias al construir WrappedCloseableIterator en ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][PYTHON] Migrar todos los ValueError restantes al marco de errores de PySpark.
  • [SPARK-46547] [SC-153174][SS] Ingestión de excepciones no fatales en la tarea de mantenimiento para evitar el bloqueo entre el hilo de mantenimiento y el operador de agregación de flujos
  • [SPARK-46169] [SC-149373] [PS] Asigne los números JIRA adecuados para los parámetros que faltan en la DataFrame API.
  • [SPARK-45857] [SC-148096] [SQL] Aplicar las clases de error en las sub clases de AnalysisException

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 criptografía 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empaquetado 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 requests 2.31.0
rsa 4,9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 six (seis) 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes de Posit el 2023-02-10.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
arrow 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
clase 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 en conflicto 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 conjuntos de datos 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
elementos gráficos 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0,10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 r-juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matriz 1.5-4.1 memoise 2.0.1 métodos 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progreso 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 r-reactable 0.4.4
r-reactr 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections colecciones de eclipse 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1