Compartir vía

Databricks Runtime 15.1 (EoS)

Nota

La compatibilidad con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soportetécnico. Para obtener todas las versiones admitidas de Databricks Runtime, vea Versiones de las notas de la versión y compatibilidad de Databricks Runtime.

En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 15.1, con tecnología de Apache Spark 3.5.0.

Databricks publicó esta versión en abril de 2024.

Cambios importantes

La compatibilidad con Databricks Runtime 15.0 y Databricks Runtime 15.0 para Machine Learning finaliza el 31 de mayo de 2024 porque una actualización de la biblioteca de Pandas de 1.5.3 a 2.0.3 en la versión 15.0 provocó un cambio importante en varias API de Apache Spark. Para obtener más información sobre los cambios importantes, consulte La biblioteca de Python de Pandas ha cambiado a la versión anterior 1.5.3. Para resolver esta incompatibilidad, Databricks ha publicado Databricks Runtime 15.1 y Databricks Runtime 15.1 para Machine Learning. La funcionalidad admitida por estas versiones es la misma que las versiones 15.0, pero con la versión de Pandas cambiada a la versión anterior 1.5.3.

Los clústeres o trabajos existentes que usen versiones de Databricks Runtime 15.0 seguirán funcionando, pero no recibirán actualizaciones de producto o seguridad. Ya no puede configurar un nuevo proceso que use Databricks Runtime 15.0 o Databricks Runtime 15.0 ML en la interfaz de usuario de Databricks. Si no usa características o API que requieren Pandas 2.0 o versiones posteriores, Databricks recomienda cambiar esas cargas de trabajo a Databricks Runtime 15.1.

Si usa características o API disponibles solo en Pandas 2.0+ y no usa ninguna función afectada por esta versión, Databricks recomienda cambiar a Databricks Runtime 15.1 y actualizar el paquete de Pandas predeterminado mediante bibliotecas con ámbito de clúster ocuaderno. Por ejemplo, para actualizar la biblioteca de Pandas en un cuaderno de Databricks, use el siguiente comando:

%pip install pandas==2.0.3

La biblioteca de Python de Pandas ha cambiado a la versión anterior 1.5.3.

En esta versión, la biblioteca de Pandas cambia de la versión 2.0.3 a la 1.5.3. Este cambio a una versión anterior fue necesaria porque las incompatibilidades en la versión 2.0.3 de Pandas provocaron errores en algunas API de Pandas en las funciones de Spark. A continuación se enumeran las funciones afectadas por la versión 2.0.3 de Pandas:

  • pyspark.date_range: falta el parámetro closed, lo que provoca errores cuando el código existente llama a esta función.
  • Se cambia la funcionalidad de GroupBy con columnas MultiIndex, lo que provoca un comportamiento inesperado.
  • Algunos atributos datetime de DatetimeIndex (por ejemplo day, month, year, etc.) devuelven tipos de datos int32 en lugar de tipos de datos int64.

Ahora se produce un error en la función PySpark spark.sql() para los tipos de argumento no válidos

En Databricks Runtime 15.1 y versiones posteriores, el args parámetro para los parámetros con nombre o posicional pasados a la spark.sql() función debe ser un diccionario o lista. Si se pasa cualquier otro tipo de objeto, se produce el siguiente error: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

El almacenamiento de bibliotecas en la raíz de DBFS está en desuso y deshabilitado de forma predeterminada

Para mejorar la seguridad de las bibliotecas en un área de trabajo de Azure Databricks, el almacenamiento de archivos de biblioteca en la raíz de DBFS está en desuso y deshabilitado de forma predeterminada a partir de Databricks Runtime 15.1. Databricks recomienda cargar todas las bibliotecas, que incluyen las bibliotecas de Python, los archivos JAR y los conectores de Spark, en archivos de área de trabajo o volúmenes de Catálogo de Unity, o mediante repositorios de paquetes de biblioteca. Consulte Recomendaciones para cargar bibliotecas.

Para volver a habilitar el almacenamiento de bibliotecas en la raíz DBFS, establezca el siguiente parámetro de configuración de Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Actualización de la versión predeterminada de Python de la versión 3.10 a la versión 3.11

Con Databricks Runtime 15.1, la versión predeterminada de Python es 3.11.0. Para obtener la lista de bibliotecas de Python actualizadas, consulte Actualizaciones de bibliotecas.

Se ha quitado JDK 11

Como se anunció anteriormente, JDK 11 se quita de Databricks Runtime 15.1 y versiones posteriores. Databricks recomienda actualizar a JDK 17 al actualizar a Databricks Runtime 15.1 y versiones posteriores. Consulte SDK de Databricks para Java.

La REPL de Python ahora finaliza correctamente.

Con Databricks Runtime 15.1, el proceso de REPL de Python del cuaderno ahora finaliza correctamente al salir. Esto hace que se respeten los enlaces de atexit. Por ejemplo, en un flujo de trabajo con varias tareas de cuadernos de Python, los enlaces de atexit registrados en la primera tarea se ejecutan antes de que se ejecute la segunda tarea del cuaderno de Python.

Nuevas características y mejoras

La cláusula * (estrella) ahora se admite en la cláusula WHERE

Ahora puede usar la cláusula star (*) de la cláusula WHERE para hacer referencia a todas las columnas de la lista de SELECT. Por ejemplo, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

La spark.sql.json.enablePartialResults configuración ahora está habilitada de forma predeterminada

La configuración spark.sql.json.enablePartialResults de Spark ahora está habilitada de forma predeterminada, lo que permite que el analizador JSON controle correctamente los errores de análisis de tipos complejos, como struct, map y array sin quitar los campos restantes. Este cambio corrige un problema de coherencia para los orígenes de datos JSON con la eliminación de columnas.

Las bibliotecas de clústeres ahora admiten archivos requirements.txt

Ahora puede instalar bibliotecas de clústeres mediante un requirements.txt archivo almacenado en un archivo de área de trabajo o un volumen de catálogo de Unity. En clústeres de modo de acceso dedicado y estándar , el requirements.txt archivo puede hacer referencia a otros archivos. En Clústeres de modo de acceso compartido sin aislamiento, solo se admiten paquetes PyPI. Consulte Bibliotecas con ámbito de proceso.

La CLI de Databricks ya está disponible en el terminal web

Ahora puede usar la CLI de Databricks desde el terminal web en el cuaderno. El cuaderno debe estar adjunto a un clúster en modo de acceso dedicado o sin aislamiento compartido. Para más información, consulte Uso del terminal web y la CLIde Databricks.

Adición de repositorios de Python predeterminados a configuraciones de clúster

En Databricks Runtime 15.1 y versiones posteriores, puede configurar parámetros globales pip index-url y extra-index-url para la instalación de la biblioteca con ámbito de clúster y cuaderno al configurar un clúster o definir una directiva de clúster. Si ha establecido las variables de entorno DATABRICKS_PIP_INDEX_URL y DATABRICKS_PIP_EXTRA_INDEX_URL.

Terminal web disponible en clústeres estándar

En Databricks Runtime 15.1 y versiones posteriores, puede usar el terminal web en clústeres con el modo de acceso estándar .

Los controles de acceso a la tabla de metadatos de Hive y desuso de credenciales están en desuso

El acceso directo a credenciales y los controles de acceso de tabla del metastore de Hive son modelos de gobernanza de datos heredados. Actualice Unity Catalog para simplificar la seguridad y gobernanza de los datos proporcionando un lugar central para administrar y auditar el acceso a datos en varias áreas de trabajo de la cuenta. Consulte ¿Qué es Unity Catalog?.

La compatibilidad con el acceso directo a credenciales y los controles de acceso de tabla del metastore de Hive se quitará en una próxima versión de DBR.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • black de 22.6.0 a 23.3.0
    • boto3 de 1.24.28 a 1.34.39
    • botocore de 1.27.96 a 1.34.39
    • certifi de 2022.12.7 a 2023.7.22
    • cryptography de 39.0.1 a 41.0.3
    • databricks-sdk de 0.1.6 a 0.20.0
    • distlib de 0.3.7 a 0.3.8
    • googleapis-common-protos de 1.62.0 a 1.63.0
    • grpcio de 1.48.2 a 1.60.0
    • grpcio-status de 1.48.1 a 1.60.0
    • importlib-metadata de 4.6.4 a 6.0.0
    • ipykernel de 6.25.0 a 6.25.1
    • ipython de 8.14.0 a 8.15.0
    • ipywidgets de 7.7.2 a 8.0.4
    • jupyter_core de 5.2.0 a 5.3.0
    • jupyterlab-widgets de 1.0.0 a 3.0.5
    • matplotlib de 3.7.0 a 3.7.2
    • pip de 22.3.1 a 23.2.1
    • platformdirs de 2.5.2 a 3.10.0
    • protobuf de 4.24.0 a 4.24.1
    • pyarrow: de 8.0.0 a 14.0.1
    • Pygments de 2.11.2 a 2.15.1
    • pyodbc de 4.0.32 a 4.0.38
    • solicitudes de 2.28.1 a 2.31.0
    • s3transfer de 0.6.2 a 0.10.0
    • scikit-learn de 1.1.1 a 1.3.0
    • scipy de 1.10.0 a 1.11.1
    • setuptools de 65.6.3 a 68.0.0
    • statsmodels de 0.13.5 a 0.14.0
    • tenacidad de 8.1.0 a 8.2.2
    • tornado de 6.1 a 6.3.2
    • typing_extensions de 4.4.0 a 4.7.1
    • urllib3 de 1.26.14 a 1.26.16
    • virtualenv de 20.16.7 a 20.24.2
    • widgetsnbextension de 3.6.1 a 4.0.5
    • zipp de 1.0.0 a 3.11.0
  • Bibliotecas de R actualizadas:
    • arrow de 12.0.1 a 14.0.0.2
    • askpass de 1.1 a 1.2.0
    • base de 4.3.1 a 4.3.2
    • brew de 1.0-8 a 1.0-10
    • brio de 1.1.3 a 1.1.4
    • bslib de 0.5.0 a 0.6.1
    • cli de 3.6.1 a 3.6.2
    • commonmark de 1.9.0 a 1.9.1
    • compilador de 4.3.1 a 4.3.2
    • config de 0.3.1 a 0.3.2
    • cpp11 de 0.4.4 a 0.4.7
    • credentials de 1.3.2 a 2.0.1
    • curl de 5.0.1 a 5.2.0
    • data.table de 1.14.8 a 1.15.0
    • conjuntos de datos de 4.3.1 a 4.3.2
    • DBI de 1.1.3 a 1.2.1
    • dbplyr de 2.3.3 a 2.4.0
    • desc de 1.4.2 a 1.4.3
    • digest de 0.6.33 a 0.6.34
    • dplyr de 1.1.2 a 1.1.4
    • e1071 de 1.7-13 a 1.7-14
    • evaluate de 0.21 a 0.23
    • fansi de 1.0.4 a 1.0.6
    • fontawesome de 0.5.1 a 0.5.2
    • fs de 1.6.2 a 1.6.3
    • future de 1.33.0 a 1.33.1
    • future.apply de 1.11.0 a 1.11.1
    • gargle de 1.5.1 a 1.5.2
    • gert de 1.9.2 a 2.0.1
    • ggplot2 de 3.4.2 a 3.4.4
    • glmnet de 4.1-7 a 4.1-8
    • glue: de 1.6.2 a 1.7.0
    • gráficos de 4.3.1 a 4.3.2
    • grDevices de 4.3.1 a 4.3.2
    • cuadrícula de 4.3.1 a 4.3.2
    • gtable de 0.3.3 a 0.3.4
    • hardhat de 1.3.0 a 1.3.1
    • haven de 2.5.3 a 2.5.4
    • htmltools de 0.5.5 a 0.5.7
    • htmlwidgets de 1.6.2 a 1.6.4
    • httpuv de 1.6.11 a 1.6.14
    • httr de 1.4.6 a 1.4.7
    • httr2 de 0.2.3 a 1.0.0
    • jsonlite de 1.8.7 a 1.8.8
    • knitr de 1.43 a 1.45
    • etiquetado de 0.4.2 a 0.4.3
    • posterior de 1.3.1 a 1.3.2
    • lava de 1.7.2.1 a 1.7.3
    • lifecycle de 1.0.3 a 1.0.4
    • listenv de 0.9.0 a 0.9.1
    • lubridate de 1.9.2 a 1.9.3
    • markdown de 1.7 a 1.12
    • métodos de 4.3.1 a 4.3.2
    • openssl de 2.0.6 a 2.1.1
    • paralelo de 4.3.1 a 4.3.2
    • pkgbuild de 1.4.2 a 1.4.3
    • pkgload de 1.3.2.1 a 1.3.4
    • plyr de 1.8.8 a 1.8.9
    • prettyunits de 1.1.1 a 1.2.0
    • pROC de 1.18.4 a 1.18.5
    • processx de 3.8.2 a 3.8.3
    • prodlim de 2023.03.31 a 2023.08.28
    • progreso de 1.2.2 a 1.2.3
    • progressr de 0.13.0 a 0.14.0
    • promesas de 1.2.0.1 a 1.2.1
    • ps de 1.7.5 a 1.7.6
    • purrr de 1.0.1 a 1.0.2
    • ragg de 1.2.5 a 1.2.7
    • Rcpp de 1.0.11 a 1.0.12
    • RcppEigen de 0.3.3.9.3 a 0.3.3.9.4
    • readr de 2.1.4 a 2.1.5
    • recipes de 1.0.6 a 1.0.9
    • rematch de 1.0.1 a 2.0.0
    • remotes: de 2.4.2 a 2.4.2.1
    • reprex: de 2.0.2 a 2.1.0
    • rlang de 1.1.1 a 1.1.3
    • rmarkdown de 2.23 a 2.25
    • RODBC de 1.3-20 a 1.3-23
    • roxygen2 de 7.2.3 a 7.3.1
    • rprojroot de 2.0.3 a 2.0.4
    • Rserve de 1.8-11 a 1.8-13
    • RSQLite de 2.3.1 a 2.3.5
    • sass de 0.4.6 a 0.4.8
    • scales: de 1.2.1 a 1.3.0
    • shiny de 1.7.4.1 a 1.8.0
    • sparklyr de 1.8.1 a 1.8.4
    • splines de 4.3.1 a 4.3.2
    • estadísticas de 4.3.1 a 4.3.2
    • stats4 de 4.3.1 a 4.3.2
    • stringi de 1.7.12 a 1.8.3
    • stringr de 1.5.0 a 1.5.1
    • systemfonts de 1.0.4 a 1.0.5
    • tcltk de 4.3.1 a 4.3.2
    • testthat de 3.1.10 a 3.2.1
    • textshaping de 0.3.6 a 0.3.7
    • tidyr de 1.3.0 a 1.3.1
    • timechange de 0.2.0 a 0.3.0
    • timeDate de 4022.108 a 4032.109
    • tinytex de 0.45 a 0.49
    • herramientas de 4.3.1 a 4.3.2
    • utf8 de 1.2.3 a 1.2.4
    • utils de 4.3.1 a 4.3.2
    • uuid de 1.1-0 a 1.2-0
    • vctrs de 0.6.3 a 0.6.5
    • vroom de 1.6.3 a 1.6.5
    • waldo de 0.5.1 a 0.5.2
    • withr: de 2.5.0 a 3.0.0
    • xfun de 0.39 a 0.41
    • xml2 de 1.3.5 a 1.3.6
    • yaml de 2.3.7 a 2.3.8
    • zip de 2.3.0 a 2.3.1
  • Bibliotecas de Java actualizadas:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.15.1 a 2.16.0
    • com.google.flatbuffers.flatbuffers-java de 1.12.0 a 23.5.26
    • com.typesafe.config de 1.2.1 a 1.4.3
    • org.apache.ant.ant de 1.9.16 a 1.10.11
    • org.apache.ant.ant-jsch de 1.9.16 a 1.10.11
    • org.apache.ant.ant-launcher de 1.9.16 a 1.10.11
    • org.apache.arrow.arrow-format de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-core de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-netty de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-vector de 12.0.1 a 15.0.0
    • org.apache.avro.avro de 1.11.2 a 1.11.3
    • org.apache.avro.avro-ipc de 1.11.2 a 1.11.3
    • org.apache.avro.avro-mapred de 1.11.2 a 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-core de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.20.0 a 2.22.1
    • org.postgresql.postgresql de 42.6.0 a 42.6.1

Spark de Apache

Databricks Runtime 15.1 incluye Apache Spark 3.5.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 14.3 LTS, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • [SPARK-45527] [DBRRM-805][es-1073714] Revertir "[SC-151626][core] Usar fracciones para realizar el cálculo de recursos"
  • [SPARK-47102] [DBRRM-803][sc-158253][SQL] Agregar la marca de configuración COLLATION_ENABLED
  • [SPARK-46973] [ SC-158140][dbrrm-777][SQL] Omitir la búsqueda de tablas V2 cuando una tabla está en la caché de tablas V1
  • [SPARK-46808] [SC-154113][python] Refinar clases de error en Python con función de ordenación automática
  • [SPARK-47251] [SC-158291][python] Bloquear tipos no válidos del argumento args para el comando sql
  • [SPARK-47251] [SC-158121][python] Bloquear tipos no válidos del argumento args para el comando sql
  • [SPARK-47108] [SC-157204][core] Establecer derby.connection.requireAuthentication en false explícitamente en CLIs
  • [SPARK-45599] [SC-157537][core] Usar la igualdad de objetos en OpenHashSet
  • [SPARK-47099] [ SC-157352][sql] Use ordinalNumber para establecer uniformemente el valor de paramIndex para la clase de error. UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][connect] Extraer una función auxiliar para eliminar el código duplicado que se recupera MessageParameters de ErrorParams en GrpcExceptionConverter
  • [SPARK-43117] [ SC-156177][connect] Permitir que ProtoUtils.abbreviate soporte campos repetidos
  • [SPARK-46342] [SC-150283][sql] Reemplazar IllegalStateException por SparkException.internalError en sql
  • [SPARK-47123] [ SC-157412][core] JDBCRDD no controla correctamente los errores en getQueryOutputSchema
  • [SPARK-47189] [SC-157667][sql] Ajustar nombres de error de columna y texto
  • [SPARK-45789] [SC-157101][sql] Compatibilidad con DESCRIBE TABLE columnas de clúster
  • [SPARK-43256] [SC-157699][sql] Quitar la clase de error _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics comprueba los tipos de entrada.
  • [SPARK-47183] [ SC-157660][python] Corrección de la clase de error para sameSemantics
  • [SPARK-47179] [SC-157663][sql] Mejorar el mensaje de error de SparkThrowableSuite para facilitar la depuración
  • [SPARK-46965] [SC-155791][core] Verificar logType en Utils.getLog
  • [SPARK-46832] [SC-156774][sql] Presentación de expresiones de intercalar e intercalación
  • [SPARK-46946] [SC-155721][sql] Compatibilidad con la difusión de varias claves de filtrado en DynamicPruning
  • [SPARK-47079] [VARIANT-22][sc-157598][PYTHON][sql][CONNECT] Agregar información de tipo Variant a PySpark
  • [SPARK-47101] [SC-157360][sql] Permitir que la coma se use en los nombres de columna de nivel superior y eliminar la comprobación de la definición de tipo anidado en HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [ SC-157571][ss][UI] Corrección de un error tipográfico en la explicación de la interfaz de usuario de streaming
  • [SPARK-47113] [SC-157348][core] Revertir la lógica de corrección de puntos de conexión S3A de SPARK-35878
  • [SPARK-47130] [SC-157462][core] Usar listStatus para evitar la información de ubicación de bloqueo al limpiar los registros del controlador
  • [SPARK-43259] [SC-157368][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [ SC-157355][sql] TakeOrderedAndProjectExec debe inicializar la proyección no segura
  • [SPARK-47137] [SC-157463][python][CONNECT] Agregar getAll a spark.conf para la paridad de características con Scala
  • [SPARK-46924] [SC-154905][core] Corregir el botón Load New en Master/HistoryServer la interfaz de usuario de registro.
  • [SPARK-47069] [ SC-157370][python][CONNECT] Introducción spark.profile.show/dump a la generación de perfiles basada en SparkSession
  • [SPARK-46812] [SC-157075][sql][PYTHON] Hacer que mapInPandas/mapInArrow admitan ResourceProfile
  • [SPARK-46833] [ SC-155866][sql] Intercalaciones: Presentación de CollationFactory que proporciona reglas de comparación y hash para intercalaciones admitidas
  • [SPARK-47057] [SC-157036][python] Prueba de datos de Reeanble MyPy
  • [SPARK-46934] [ SC-157084][sql] Ida y vuelta de lectura y escritura para el tipo de estructura con caracteres especiales con HMS
  • [SPARK-46727] [ SC-153472][sql] Puerto classifyException() en dialectos JDBC en clases de error
  • [SPARK-46964] [SC-155740][sql] Cambiar la firma del error de ejecución de la consulta hllInvalidLgK para tomar un entero como 4º argumento
  • [SPARK-46949] [SC-155719][sql] Compatibilidad con CHAR/VARCHAR a través de ResolveDefaultColumns
  • [SPARK-46972] [SC-155888][sql] Corregir el reemplazo asimétrico de char/varchar en V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][python][CONNECT] Implementación de métodos dumpPerfProfiles y dumpMemoryProfiles de SparkSession
  • [SPARK-46689] [SC-156221][spark-46690][PYTHON][connect] Compatibilidad con la generación de perfiles v2 en applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][connect] Permitir que el script del servidor de Spark Connect espere
  • [SPARK-46688] [SC-156113][spark-46691][PYTHON][connect] Compatibilidad con la generación de perfiles v2 en UDF de Pandas agregadas
  • [SPARK-47004] [SC-156499][connect] Se agregaron más pruebas a ClientStreamingQuerySuite para aumentar la cobertura de pruebas de cliente de Scala
  • [SPARK-46994] [SC-156169] [python] Refactorización de PythonWrite para prepararse para admitir la escritura de streaming de orígenes de datos de Python
  • [SPARK-46979] [SC-156587] [ss] Se ha agregado compatibilidad para especificar el codificador de clave y valor por separado y también para cada familia col en el proveedor del almacén de estado de RocksDB
  • [SPARK-46960] [ SC-155940][ss] Probar varias secuencias de entrada con el operador TransformWithState
  • [SPARK-46966] [SC-156112][python] Agregar la API UDTF para el método "analyze" para indicar un subconjunto de columnas de tabla de entrada para seleccionar
  • [SPARK-46895] [SC-155950][core] Reemplazar temporizador por ejecutor programado de subproceso único
  • [SPARK-46967] [SC-155815][core][UI] Ocultar Thread Dump y Heap Histogram ejecutores de Dead en la interfaz Executors
  • [SPARK-46512] [SC-155826][core] Optimizar la lectura de mezcla cuando se usan la ordenación y la combinación.
  • [SPARK-46958] [SC-155942][sql] Añadir la zona horaria que falta para ajustar los valores predeterminados
  • [SPARK-46754] [ SC-153830][sql][AVRO] Corrección de la resolución de código de compresión en las opciones de definición y escritura de tabla avro
  • [SPARK-46728] [SC-154207][python] Comprobación correcta de la instalación de Pandas
  • [SPARK-43403] [SC-154216][ui] Asegúrese de que la anterior interfaz de usuario SparkUI en el HistoryServer se ha desasociado antes de cargar una nueva.
  • [SPARK-39910] [ SC-156203][sql] Delegación de la calificación de ruta de acceso al sistema de archivos durante la globbing de la ruta de acceso del archivo DataSource
  • [SPARK-47000] [SC-156123] Revertir "[SC-156123][core] Usar getTotalMemorySize...
  • [SPARK-46819] [SC-154560][core] Mover categorías y estados de error a JSON
  • [SPARK-46997] [SC-156175][core] Habilitar spark.worker.cleanup.enabled de forma predeterminada
  • [SPARK-46865] [SC-156168][ss] Agregar compatibilidad con batch para el operador TransformWithState
  • [SPARK-46987] [SC-156040] [connect] ProtoUtils.abbreviate evitar operaciones innecesarias setField
  • [SPARK-46970] [SC-155816][core] Reescribir OpenHashSet#hasher con pattern matching
  • [SPARK-46984] [SC-156024][python] Eliminar pyspark.copy_func
  • [SPARK-47000] [SC-156123][core] Usar getTotalMemorySize en WorkerArguments
  • [SPARK-46980] [SC-155914][sql][MINOR] Evitar el uso de API internas en pruebas de un extremo a otro de dataframe
  • [SPARK-46931] Revertir "[SC-155661][ps] Implementar {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828][sql] Mejorar los mensajes de error para DATA_SOURCE_NOT_FOUND error
  • [SPARK-46849] [SC-154586][sql] Ejecutar optimizador en CREATE TABLE los valores predeterminados de columna
  • [SPARK-46911] [SC-155724] [ss] Adición del operador deleteIfExists a StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Compatibilidad con el códec de lz4raw compresión para Parquet
  • [SPARK-47002] [SC-156223][python] Devuelve un mensaje de error mejor si el método UDTF 'analyze' devuelve accidentalmente una lista de cadenas en el campo 'orderBy'.
  • [SPARK-46890] [SC-155802][sql] Corrección del error de análisis de CSV con valores predeterminados existentes y recorte de columnas
  • [SPARK-46977] [ SC-155892][core] Una solicitud errónea para obtener un token de un NameNode no debe omitir las solicitudes de token posteriores.
  • [SPARK-46608] [ SC-151806][sql] Restaurar la compatibilidad con versiones anteriores de JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][sql] Admitir cláusula estrella en WHERE cláusula
  • [SPARK-46908] [SC-155702][sql] Admitir cláusula estrella en WHERE cláusula
  • [SPARK-46852] [ SC-155665][ss] Quitar el uso del codificador de clave explícito y pasarlo implícitamente al operador para el operador transformWithState
  • [SPARK-46864] [SC-155669] [ss] Incorporación de StateV2 arbitrario en el nuevo marco de clase de error
  • [SPARK-45807] [SC-155706][sql] Devolver la vista tras llamar a replaceView(..)
  • [SPARK-46899] [ SC-154651][core] Quitar POST las API de MasterWebUI cuando spark.ui.killEnabled es false
  • [SPARK-46868] [ SC-154539][core] Compatibilidad con la interfaz de usuario del registro de trabajo de Spark
  • [SPARK-46931] [SC-155661][ps] Implementar {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][core] Quitar sin usar updateSparkConfigFromProperties y isAbsoluteURI en o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][core][CONNECT][ss] Usar ThreadUtils.shutdown para apagar grupos de subprocesos
  • [SPARK-46400] [ SC-155658][core][SQL] Cuando haya archivos dañados en el repositorio local de Maven, omita esta caché e inténtelo de nuevo.
  • [SPARK-46932] [SC-155655] Limpieza de las importaciones en pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Escribir un generador de subconsultas que genere permutaciones de subconsultas para aumentar la cobertura de pruebas
  • [SPARK-46914] [ SC-154776][ui] Acortar el nombre de la aplicación en la tabla de resumen de la página Historial
  • [SPARK-46831] [SC-154699][sql] Intercalaciones: extender StringType y PhysicalStringType con el campo collationId
  • [SPARK-46816] [SC-154415] [ss] Se ha agregado compatibilidad base para el nuevo operador de administración de estado arbitrario, tipo valueState, varias variables de estado y compatibilidad subyacente para familias de columnas para RocksDBStateStoreProvider con o sin puntos de comprobación de registro de cambios
  • [SPARK-46925] [ SC-154890][python][CONNECT] Agregue una advertencia que indique que instale memory_profiler para la generación de perfiles de memoria.
  • [SPARK-46927] [SC-154904][python] Hacer assertDataFrameEqual que funcione correctamente sin PyArrow
  • [SPARK-46021] [SC-148987][core] Compatibilidad con la cancelación de trabajos futuros pertenecientes a un grupo de trabajos
  • [SPARK-46747] [SC-154789][sql] Evitar un escaneo en getTableExistsQuery para dialectos JDBC
  • [SPARK-46904] [SC-154704][ui] Corrección del problema de visualización del resumen de la interfaz de usuario del historial
  • [SPARK-46870] [ SC-154541][core] Compatibilidad con la interfaz de usuario del registro maestro de Spark
  • [SPARK-46893] [SC-154780] [ui] Eliminación de scripts insertados de descripciones de la interfaz de usuario
  • [SPARK-46910] [ SC-154760][python] Eliminar el requisito de JDK en la instalación de PySpark
  • [SPARK-46907] [SC-154736][core] Mostrar la ubicación del registro del controlador en el servidor de historial de Spark
  • [SPARK-46902] [SC-154661][ui] Corregir la interfaz de usuario del servidor de historial de Spark para usar setAppLimit sin exportar
  • [SPARK-46687] [ SC-154725][python][CONNECT] Compatibilidad básica con el generador de perfiles de memoria basado en SparkSession
  • [SPARK-46623] [SC-153831][core][MLLIB][sql] Replace SimpleDateFormat with DateTimeFormatter
  • [SPARK-46875] [SC-154627][sql] Cuando mode es null, se debe NullPointException lanzar una excepción not.
  • [SPARK-46872] [ SC-154543][core] Recuperar log-view.js para que deje de ser un módulo
  • [SPARK-46883] [SC-154629][core] API de soporte técnico /json/clusterutilization
  • [SPARK-46886] [SC-154630][core] Habilitar spark.ui.prometheus.enabled de forma predeterminada
  • [SPARK-46873] [SC-154638][ss] No volver a crear streamingQueryManager nuevo para la misma sesión de Spark
  • [SPARK-46829] [SC-154419][core] Quitar createExecutorEnv de SparkEnv
  • [SPARK-46827] [SC-154280][core] Hacer RocksDBPersistenceEngine para admitir un vínculo simbólico
  • [SPARK-46903] [SC-154662][core] Soporte para la interfaz de usuario de registros del servidor de historial de Spark
  • [SPARK-46874] [SC-154646] [python] Quitar pyspark.pandas dependencia de assertDataFrameEqual
  • [SPARK-46889] [SC-154639][core] Validar la configuraciónspark.master.ui.decommission.allow.mode
  • [SPARK-46850] [SC-154443][sql] Convertir _LEGACY_ERROR_TEMP_2102 en UNSUPPORTED_DATATYPE
  • [SPARK-46704] [ SC-153323][core][UI] Corrección MasterPage para ordenar Running Drivers la tabla por Duration columna correctamente
  • [SPARK-46796] [ SC-154279][ss] Asegúrese de que los archivos remotos correctos (mencionados en metadata.zip) se usan en la carga de la versión de RocksDB.
  • [SPARK-46888] [SC-154636][core] Corregir Master para rechazar /workers/kill/ solicitudes si la retirada está deshabilitada
  • [SPARK-46818] [SC-154422][sql] Mejorar los mensajes de error para Range con entradas no plegables
  • [SPARK-46898] [SC-154649] [connect] Simplificación de la transformación de la función protobuf en Planner
  • [SPARK-46828] [SC-154413][sql] Quitar la afirmación no válida del modo remoto para spark sql shell
  • [SPARK-46733] [SC-154274][core] Simplifica el BlockManager haciendo que la operación de salida dependa solo del subproceso de interrupción.
  • [SPARK-46777] [ SC-154016][ss] Refactorizar StreamingDataSourceV2Relation la estructura del catalizador para ser más a la par con la versión por lotes
  • [SPARK-46515] [SC-151716] Agregar función MONTHNAME
  • [SPARK-46823] [SC-154276] [connect] [PYTHON] LocalDataToArrowConversion debe comprobar la nulabilidad
  • [SPARK-46787] [SC-154404][connect] bloomFilter la función debería lanzar AnalysisException para la entrada no válida.
  • [SPARK-46779] [ SC-154045][sql] InMemoryRelation las instancias del mismo plan en caché deben ser semánticamente equivalentes
  • [SPARK-45827] [SC-153973] No permitir la creación de particiones en la columna Variant
  • [SPARK-46797] [ SC-154085][core] Cambiar el nombre spark.deploy.spreadOut a spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Compatibilidad con la generación de perfiles de JVM del ejecutor
  • [SPARK-46746] [SC-153557][sql][AVRO] Adjuntar extensión de códec a archivos de origen de datos avro
  • [SPARK-46698] [ SC-153288][core] Reemplazar Timer por un ejecutor de un solo subproceso programado para ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Corrección para el tipo STRUCT DDL que no recoge valores NULL y comentario
  • [SPARK-46750] [SC-153772][connect][PYTHON] Limpieza de código de las APIs de DataFrame
  • [SPARK-46769] [SC-153979][sql] Refinar la inferencia de esquema relacionada con la marca de tiempo
  • [SPARK-46765] [SC-153904][python][CONNECT] Especifique shuffle el tipo de datos de seed
  • [SPARK-46579] [SC-151481][sql] Redacte la dirección URL de JDBC en errores y registros
  • [SPARK-46686] [SC-153875][python][CONNECT] Compatibilidad básica con el generador de perfiles de UDF de Python basado en SparkSession
  • [SPARK-46748] Revertir "[SC-153800][core] Quitar *slav**.sh scri...
  • [SPARK-46707] [SC-153833][sql] Se ha agregado un campo lanzable a las expresiones para mejorar la propagación de predicados.
  • [SPARK-46519] [SC-151278][sql] Borrar clases de error sin usar del error-classes.json archivo
  • [SPARK-46677] [SC-153426][sql][CONNECT] Corrección de dataframe["*"] resolución
  • [SPARK-46317] [SC-150184][python][CONNECT] Coincidencia de comportamientos menores en SparkSession con cobertura total de pruebas
  • [SPARK-46748] [SC-153800][core] Eliminar *slav**.sh scripts
  • [SPARK-46663] [SC-153490] [python] Deshabilitación del generador de perfiles de memoria para UDF de Pandas con iteradores
  • [SPARK-46410] [SC-150776][sql] Asignar clases de error o subclases a JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126] [python] Validar las direcciones URL de inicio con la configuración que se va a establecer
  • [SPARK-46612] [SC-153536][sql] No convertir la cadena de tipo array recuperada del controlador JDBC
  • [SPARK-46254] [SC-149788][python] Quitar la comprobación de versiones obsoletas de Python 3.8/3.7
  • [SPARK-46490] [SC-151335][sql] Exigir clases de error en SparkThrowable subclases
  • [SPARK-46383] [SC-153274] [sc-147443] [WARMFIX] Reducir el uso del montón de controladores al reducir la duración de TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][sql][CONNECT] Corrección de la referencia de columna ambigua en la auto unión
  • [SPARK-46381] [SC-150495][sql] Migración de sub-clases de AnalysisException a las clases de error
  • [SPARK-46351] [SC-150335][sql] Requerir una clase de error en AnalysisException
  • [SPARK-46220] [SC-149689][sql] Restringir los conjuntos de caracteres en decode()
  • [SPARK-46369] [ SC-150340][core] Quitar kill vínculo de RELAUNCHING controladores en MasterPage
  • [SPARK-46052] [SC-153284][core] Quitar función TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][sql] Compatibilidad con GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][sql] Eliminar inferTimestampNTZ no usado en ParquetReadSupport
  • [SPARK-46717] [SC-153423][core] Simplificar ReloadingX509TrustManager de modo que la operación de salida dependa únicamente del subproceso de interrupción.
  • [SPARK-46722] [ SC-153438][connect] Agregar una prueba con respecto a la comprobación de compatibilidad con versiones anteriores de StreamingQueryListener en Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] Alineación de la implementación de codegen y non-codegen de StringDecode
  • [SPARK-46258] [SC-149799][core] Agregar RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][core] Mejorar FileSystemPersistenceEngine para admitir compresiones
  • [SPARK-46189] [SC-149567] [PS] [SQL] Realizar comparaciones y aritméticas entre los mismos tipos en varias funciones de agregado de Pandas para evitar errores de modo interpretados
  • [SPARK-46184] [ SC-149563][core][SQL][connect][MLLIB] Reducir la profundidad de la pila al sustituir Option.isDefined con Option.isEmpty
  • [SPARK-46700] [ SC-153329][core] Contar el último desbordamiento para la métrica de bytes de desbordamiento de disco aleatorio
  • [SPARK-45642] [SC-150286][core][SQL] Corregir FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][sql] Corregir RemoveRedundantAlias excluyendo atributos de subconsulta
  • [SPARK-46681] [ SC-153287][core] Refactorizar ExecutorFailureTracker#maxNumExecutorFailures para evitar calcular defaultMaxNumExecutorFailures cuándo MAX_EXECUTOR_FAILURES está configurado
  • [SPARK-46695] [ SC-153289][sql][HIVE] Establecer siempre hive.execution.engine en mr
  • [SPARK-46325] [SC-150228] [connect] Eliminación de funciones de invalidación innecesarias al construir WrappedCloseableIterator en ResponseValidator#wrapIterator
  • [SPARK-46232] [ SC-149699][python] Migrar todos los ValueError restantes al marco de errores de PySpark.
  • [SPARK-46547] [SC-153174][ss] Ingestión de excepciones no fatales en la tarea de mantenimiento para evitar el bloqueo entre el hilo de mantenimiento y el operador de agregación de flujos
  • [SPARK-46169] [ SC-149373][ps] Asigne números JIRA adecuados para los parámetros que faltan de la DataFrame API.
  • [SPARK-45857] [SC-148096][sql] Exigir las clases de error en las sub clases de AnalysisException

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores recientemente publicados y actualícelos (descargar ODBC, descargar JDBC).

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 15.1.

Entorno del sistema

  • Sistema operativo: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
negro 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
Haz clic 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 cryptography 41.0.3 ciclista 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorador 5.1.1 distlib 0.3.8
puntos de entrada 0.4 executing 0.8.3 visión general de las facetas 1.1.1
bloqueo de archivos 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 Google Cloud Storage (almacenamiento en la nube de Google) 2.15.0 google-crc32c 1.5.0
google-resumable-media (medios reanudables de Google) 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
Jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empaquetado 23.2
Pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Almohada 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 solicitudes 2.31.0
rsa 4,9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 biblioteca de visualización de datos de Python llamada seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 six 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels (paquete de Python para análisis estadístico) 0.14.0 tenacidad 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes dePositiv en 2023-02-10.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
flecha 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 escoba 1.0.5
bslib 0.6.1 cachemir 1.0.8 callr 3.7.3
caret 6.0-94 cellranger (herramienta de análisis de datos celulares) 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
reloj 0.7.0 conglomerado 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compilador 4.3.2
config 0.3.2 en conflicto 1.2.0 cpp11 0.4.7
crayón 1.5.2 credenciales 2.0.1 curl 5.2.0
data.table 1.15.0 conjuntos de datos 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 digerir 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 puntos suspensivos 0.3.2 evaluate 0,23
fans 1.0.6 colores 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
extranjero 0.8-85 forge 0.2.0 fs 1.6.3
futuro 1.33.1 future.apply 1.11.1 gargle 1.5.2
genéricos 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 pegamento 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 refugio 2.5.4
highr 0,10 hms 1.1.3 herramientas de HTML 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 etiquetado 0.4.3
later 1.3.2 retícula 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 methods 4.3.2
mgcv 1.8-42 mime 0,12 miniUI (Interfaz de Usuario) 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl (software de cifrado) 2.1.1 parallel 4.3.2
parallelly 1.36.0 pilar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 elogio 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progreso 1.2.3
progressr 0.14.0 promesas 1.2.1 proto 1.0.0
intermediario 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 Bosque Aleatorio (randomForest) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 r-reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recetas 1.0.9 partido de revancha 2.0.0 segunda revancha 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
balanzas 1.3.0 selectr 0.4-2 información de sesión 1.2.2
forma 1.4.6 brillante 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 Estadísticas 4.3.2
estadísticas4 4.3.2 stringi 1.8.3 stringr 1.5.1
supervivencia 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
Formateo de texto 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 cambio de hora 0.3.0
timeDate 4032.109 tinytex 0,49 herramientas 4.3.2
tzdb 0.4.0 verificador de URL 1.0.1 usa esto 2.2.2
utf8 1.2.4 utils 4.3.2 Identificador Único Universal (UUID) 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliotecas Java y Scala instaladas (versión de clúster Scala 2.12)

Id. de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws cliente de Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (configuración del SDK de Java de AWS) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs (registros del SDK de AWS para Java) 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws SDK de AWS para Java - Soporte 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml compañero de clase 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone anotaciones_propensas_a_errores 2.10.0
com.google.flatbuffers flatbuffers-java 23/05/26
com.google.guava guayaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack (software de cálculo numérico) 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresor de aire 0,25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métricas y verificaciones de salud 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transacciones 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr plantilla de cadenas 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant lanzador de aplicaciones Ant 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator marco de trabajo para curadores 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop Entorno de ejecución del cliente de Hadoop 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper guardián de zoológico 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilador común 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections colecciones de eclipse 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty servidor Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Aplicación web de Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket cliente de websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket servidor de websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator validador de hibernación 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotaciones 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaz de prueba 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatible con ScalaTest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on