Compartir vía

Databricks Runtime 10.4 LTS (EoS)

Note

La compatibilidad con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de fin de soporte técnico y finalización del ciclo de vida. Para conocer todas las versiones de Databricks Runtime compatibles, consulte las notas de lanzamientos y compatibilidad de Databricks Runtime.

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 10.4 y Databricks Runtime 10.4 Photon, con tecnología de Apache Spark 3.2.1. Photon se encuentra en versión preliminar pública. Databricks publicó esta versión en marzo de 2022.

Nuevas características y mejoras

Convertidor de tablas Apache Iceberg a Delta (versión preliminar pública)

La conversión a Delta ahora admite la conversión de una tabla Apache Iceberg a una tabla Delta. Para ello, se usan los manifiestos de archivo y los metadatos nativos de Iceberg. Consulte Conversión a Delta Lake.

Las reversiones de compactación automática ahora están habilitadas de forma predeterminada

Esta versión mejora el comportamiento de las escrituras de Delta Lake que se confirman cuando hay transacciones concurrentes de compactación automática. Antes de esta versión, estas escrituras solían abortarse debido a modificaciones simultáneas en una tabla. Ahora los trabajos de escritura se realizarán correctamente incluso si hay transacciones simultáneas de compactación automática.

Low Shuffle Merge ahora está habilitado de forma predeterminada

El comando MERGE INTO usa siempre la nueva implementación de baja aleatoriedad. Este comportamiento mejora significativamente el rendimiento del comando MERGE INTO para la mayoría de las cargas de trabajo. Se ha quitado la configuración que se usaba anteriormente para habilitar esta característica. Consulte Combinación de orden aleatorio bajo en Azure Databricks.

Las etiquetas de orden de inserción ahora se conservan para UPDATE y DELETE

Los comandos UPDATE y DELETE ahora conservan la información de agrupación en clústeres existente (incluida la ordenación Z) para los archivos que se actualizan o eliminan. Este comportamiento es un enfoque de mejor esfuerzo, y este enfoque no se aplica a los casos en los que los archivos son tan pequeños que se combinan durante la actualización o eliminación.

HikariCP es ahora el grupo de conexiones del metastore de Hive predeterminado

HikariCP ofrece varias mejoras de estabilidad para el acceso al metastore de Hive, al tiempo que mantiene menos conexiones en comparación con la implementación anterior del grupo de conexiones de BoneCP. HikariCP está habilitado de forma predeterminada en cualquier clúster de Databricks Runtime que use el metastore de Hive de Databricks (por ejemplo, cuando spark.sql.hive.metastore.jars no está configurado). También puede cambiar explícitamente a otras implementaciones del grupo de conexiones, por ejemplo, BoneCP, estableciendo spark.databricks.hive.metastore.client.pool.type.

El conector de Azure Synapse ahora permite establecer el número máximo de filas de rechazo permitidas

El conector de Azure Synapse ahora admite una opción maxErrors de DataFrame. Esta actualización le permite configurar el número máximo de filas rechazadas que se permiten durante las lecturas y escrituras antes de que se cancele la operación de carga. Todas las filas rechazadas se omiten. Por ejemplo, si dos de cada diez registros tienen errores, solo se procesan ocho registros.

Esta opción se asigna directamente a la opción REJECT_VALUE de la instrucción CREATE EXTERNAL TABLE en PolyBase y a la opción MAXERRORS para el comando COPY del conector de Azure Synapse.

De forma predeterminada, el valor maxErrors se establece en 0: se espera que todos los registros sean válidos.

Los puntos de control de estado asincrónico ahora están disponibles en general

Puede habilitar puntos de control de estado asincrónico en consultas de streaming con estado que tengan grandes actualizaciones de estado. Esto puede reducir la latencia de microlote de un extremo a otro. Esta característica ya está disponible con carácter general. Vea Control de puntos de estado asincrónico para consultas con estado.

Ahora se pueden especificar valores predeterminados de parámetros para SQL funciones definidas por el usuario

Al crear una función definida por el usuario de SQL (UDF de SQL), ahora puede especificar expresiones predeterminadas para los parámetros de la UDF de SQL. A continuación, puede llamar al SQL UDF sin proporcionar argumentos para esos parámetros y Databricks rellenará los valores predeterminados para esos parámetros. Consulte CREATE FUNCTION (SQL y Python).

Nuevas características de Spark SQL

Las siguientes funciones Spark SQL pasan a estar disponibles en esta versión:

  • try_multiply: devuelve el resultado de la multiplicación de los elementos multiplier y multiplicand. Si ocurre un desbordamiento, devuelve el valor NULL.
  • try_subtract: devuelve la resta de expr2 de expr1, o NULL si ocurre un desbordamiento.

Nuevo directorio de trabajo para Clústeres de Alta Simultaneidad

En clústeres de alta concurrencia con el control de acceso de tablas o con el paso de credenciales habilitado, el directorio de trabajo actual de los notebooks ahora es el directorio principal del usuario. Anteriormente, el directorio de trabajo era /databricks/driver.

La compatibilidad con las columnas de identidad en las tablas Delta ya está disponible con carácter general

Delta Lake ahora admite columnas de identidad. Cuando se escribe en una tabla Delta que define una columna de identidad y no se proporcionan valores para esa columna, Delta ahora asigna automáticamente un valor único y estadísticamente creciente o decreciente. Consulte CREATE TABLE [USING].

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • filelock de 3.4.2 a 3.6.0
  • Bibliotecas de R actualizadas:
    • brew de 1.0-6 a 1.0-7
    • broom de 0.7.11 a 0.7.12
    • cli de 3.1.0 a 3.2.0
    • clipr de 0.7.1 a 0.8.0
    • espacio de color de 2.0-2 a 2.0-3
    • crayon desde 1.4.2 a 1.5.0
    • dplyr de 1.0.7 a 1.0.8
    • dtplyr de 1.2.0 a 1.2.1
    • evaluar de 0.14 a 0.15
    • foreach desde 1.5.1 hasta 1.5.2
    • Actualización de la versión de 1.23.0 a 1.24.0
    • generics de la versión 0.1.1 a la versión 0.1.2
    • glue de 1.6.0 a 1.6.1
    • gower de 0.2.2 a 1.0.0
    • los iteradores de la versión 1.0.13 a la 1.0.14
    • jsonlite de 1.7.3 a 1.8.0
    • magrittr de 2.0.1 a 2.0.2
    • mgcv de 1.8-38 a 1.8-39
    • pillar de 1.6.4 a 1.7.0
    • randomForest de 4.6-14 a 4.7-1
    • readr de 2.1.1 a 2.1.2
    • recetas desde 0.1.17 a 0.2.0
    • Actualización de rlang de la versión 0.4.12 a la 1.0.1
    • rpart de la versión 4.1-15 a la versión 4.1.16
    • RSQLite de 2.2.9 a 2.2.10
    • sparklyr de 1.7.4 a 1.7.5
    • Actualización de testthat de la versión 3.1.1 a la 3.1.2
    • tidyr de 1.1.4 a 1.2.0
    • Actualización de tidyselect de la versión 1.1.1 a la versión 1.1.2
    • tinytex de 0.36 a 0.37
    • yaml de 2.2.1 a 2.3.5
  • Bibliotecas de Java actualizadas:
    • io.delta.delta-sharing-spark_2.12 de 0.3.0 a 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS incluye Apache Spark 3.2.1. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 10.3 (EoL), así como las siguientes correcciones de errores adicionales y mejoras realizadas en Spark:

  • [SPARK-38322] [SQL] Soporte para la etapa de consulta que muestra estadísticas de tiempo de ejecución en modo de explicación formateado
  • [SPARK-38162] [SQL] Optimizar un plan de una sola fila en el optimizador normal y AQE
  • [SPARK-38229] [SQL] No debe comprobar temp/external/ifNotExists con visitReplaceTable cuando el analizador
  • [SPARK-34183] [SS] DataSource V2: Distribución y ordenación necesarias en la ejecución de microlotes
  • [SPARK-37932] [SQL] Esperar para resolver los atributos que faltan antes de aplicar DeduplicateRelations
  • [SPARK-37904] [SQL] Mejorar RebalancePartitions en las reglas del optimizador
  • [SPARK-38236] [SQL][3.2][3.1] Comprobar si la ubicación de la tabla es absoluta mediante "new Path(locationUri).isAbsolute" en la tabla create/alter
  • [SPARK-38035] [SQL] Adición de pruebas de Docker para el dialecto JDBC integrado
  • [SPARK-38042] [SQL] Garantizar que ScalaReflection.dataTypeFor funciona en tipos de matriz con alias
  • [SPARK-38273] [SQL] decodeUnsafeRowsLos iteradores deben cerrar los flujos de entrada subyacentes.
  • [SPARK-38311] [SQL] Corrección de DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite en modo ANSI
  • [SPARK-38305] [CORE] Comprobar explícitamente si el origen existe en unpack() antes de llamar a los métodos FileUtil
  • [SPARK-38275] [SS] Incluir el uso de memoria de writeBatch como el uso total de memoria del almacén de estado de RocksDB
  • [SPARK-38132] [SQL] Quitar regla NotPropagation
  • [SPARK-38286] [ SQL] Los maxRows y maxRowsPerPartition de la función Union pueden desbordarse
  • [SPARK-38306] [SQL] Corrección de ExplainSuite,StatisticsCollectionSuite y StringFunctionsSuite en modo ANSI
  • [SPARK-38281] [SQL][tests] Corregir AnalysisSuite en modo ANSI
  • [SPARK-38307] [SQL][tests] Corregir ExpressionTypeCheckingSuite y CollectionExpressionsSuite en modo ANSI
  • [SPARK-38300] [SQL] Uso de ByteStreams.toByteArray para simplificar fileToString y resourceToBytes en catalyst.util
  • [SPARK-38304] [SQL] Elt() debe devolver NULL si index es NULL en el modo ANSI
  • [SPARK-38271] PoissonSampler puede generar más filas que MaxRows
  • [SPARK-38297] [PYTHON] Conversión explícita del valor devuelto en DataFrame.to_numpy en POS
  • [SPARK-38295] [SQL][tests] Corregir AritmeticExpressionSuite en modo ANSI
  • [SPARK-38290] [SQL] Corrección de JsonSuite y ParquetIOSuite en el modo ANSI
  • [SPARK-38299] [SQL] Depuración del uso obsoleto de StringBuilder.newBuilder
  • [SPARK-38060] [SQL] Respetar allowNonNumericNumbers al analizar valores NaN e Infinity entre comillas en el lector JSON
  • [SPARK-38276] [SQL] Agregar planes TPCDS aprobados en el modo ANSI
  • [SPARK-38206] [SS] Ignorar la nulabilidad al comparar el tipo de dato de las claves de unión en la unión de streaming con streaming
  • [SPARK-37290] [SQL] - Tiempo de planeamiento exponencial en caso de función no determinista
  • [SPARK-38232] [SQL] EXPLAIN FORMATTED no recopila subconsultas en la fase de consulta en AQE
  • [SPARK-38283] [SQL] Prueba de análisis de fechas y horas no válidas en modo ANSI
  • [SPARK-38140] [SQL] Las estadísticas de columna de desc (min, max) para el tipo de marca de tiempo no son coherentes con los valores debido a la diferencia de zona horaria
  • [SPARK-38227] [SQL][ss] Aplicar una nulabilidad estricta de la columna anidada en la ventana de tiempo / ventana de sesión
  • [SPARK-38221] [SQL] Realización proactiva de iteraciones sobre groupingExpressions al mover expresiones de agrupación complejas fuera de un nodo Aggregate
  • [SPARK-38216] [SQL] Fallo inmediato si todas las columnas son columnas particionadas al crear una tabla de Hive
  • [SPARK-38214] [SS] No es necesario filtrar ventanas cuando windowDuration es múltiplo de slideDuration
  • [SPARK-38182] [SQL] Corrección de NoSuchElementException si el filtro insertado no contiene ninguna referencia
  • [SPARK-38159] [SQL] Adición de un nuevo FileSourceMetadataAttribute para los metadatos de archivos ocultos
  • [SPARK-38123] [SQL] Uso unificado de DataType como targetType de QueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [ SQL] En la cláusula, Func(tipo de datos incorrecto) debe producir un error de incompatibilidad de datos.
  • [SPARK-35173] [SQL][python] Agregar varias columnas que agreguen compatibilidad
  • [SPARK-38177] [SQL] Corrección de transformExpressions incorrectas en el optimizador
  • [SPARK-38228] [SQL] La asignación de almacenamiento heredado no debe fallar en caso de error en el modo ANSI
  • [SPARK-38173] [SQL] La columna entre comillas no se puede reconocer correctamente cuando quotedRegexColumnNa...
  • [SPARK-38130] [SQL] Quitar la comprobación de entradas ordenables en array_sort
  • [SPARK-38199] [SQL] Eliminar el objeto dataType no utilizado especificado en la definición de IntervalColumnAccessor
  • [SPARK-38203] [SQL] Corrección de SQLInsertTestSuite y SchemaPruningSuite en modo ANSI
  • [SPARK-38163] [SQL] Mantener la clase de error de SparkThrowable al construir el constructor de funciones
  • [SPARK-38157] [SQL] Establecer explícitamente ANSI en false en los test timestampNTZ/timestamp.sql y SQLQueryTestSuite para que coincidan con los resultados dorados esperados.
  • [SPARK-38069] [SQL][ss] Mejorar el cálculo del período de tiempo
  • [SPARK-38164] [SQL] Nuevas funciones SQL: try_subtract y try_multiply
  • [SPARK-38176] [SQL] Modo ANSI: permitir la conversión implícita de cadenas a otros tipos simples
  • [SPARK-37498] [PYTHON] Añadir eventualmente para test_reuse_worker_of_parallelize_range
  • [SPARK-38198] [SQL][3.2] Corregir el uso de QueryExecution.debug#toFile con el valor pasado de maxFields cuando el modo de explicación es CodegenMode.
  • [SPARK-38131] [SQL] Uso de clases de error solo en excepciones orientadas al usuario
  • [SPARK-37652] [SQL] Añadir prueba para optimizar una combinación sesgada mediante una unión
  • [SPARK-37585] [SQL] Actualización de InputMetric en DataSourceRDD con TaskCompletionListener
  • [SPARK-38113] [SQL] Uso de clases de error en los errores de ejecución de dinamización
  • [SPARK-38178] [SS] Corrección de la lógica para medir el uso de memoria de RocksDB
  • [SPARK-37969] [SQL] HiveFileFormat debe comprobar el nombre del campo
  • [SPARK-37652] Revertir "[SQL] Adición de prueba para optimizar la combinación sesgada a través de la unión"
  • [SPARK-38124] [SQL][ss] Introducir StatefulOpClusteredDistribution y aplicar a la unión de secuencias de flujo
  • [SPARK-38030] [SQL] La canonización no debe quitar la nulabilidad del tipo de datos AttributeReference
  • [SPARK-37907] [SQL] Compatibilidad de InvokeLike con ConstantFolding
  • [SPARK-37891] [CORE] Agregar comprobación de scalastyle para deshabilitar scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL] Actualización del comentario de RelationConversions
  • [SPARK-37943] [SQL] Utilización de clases de error en los errores de agrupación durante la compilación
  • [SPARK-37652] [SQL] Agregar prueba para optimizar el join sesgado mediante unión
  • [SPARK-38056] [Interfaz de usuario web][3.2] Corrección del problema de que el streaming estructurado no funciona en el servidor de historial al usar LevelDB
  • [SPARK-38144] [CORE] Quitar la configuración spark.storage.safetyFraction no usada
  • [SPARK-38120] [SQL] Corrección de HiveExternalCatalog.listPartitions cuando el nombre de la columna de partición está en mayúsculas y hay un punto en el valor de la partición
  • [SPARK-38122] [Docs] Actualización de la clave de aplicación de DocSearch
  • [SPARK-37479] [SQL] Migración de DROP NAMESPACE para usar el comando V2 de forma predeterminada
  • [SPARK-35703] [SQL] Relajación de restricción para la combinación de cubos y eliminación de HashClusteredDistribution
  • [SPARK-37983] [SQL] Eliminar las métricas de tiempo de construcción de agregación del agregado ordenado
  • [SPARK-37915] [SQL] Combinación de uniones si hay un proyecto entre ellas
  • [SPARK-38105] [SQL] Uso de clases de error en los errores de análisis de combinaciones
  • [SPARK-38073] [PYTHON] Actualización de la función atexit para evitar problemas con el enlace tardío
  • [SPARK-37941] [SQL] Utilizar clases de error en los errores de compilación de conversión
  • [SPARK-37937] [SQL] Uso de clases de error en los errores de análisis de combinación lateral
  • [SPARK-38100] [SQL] Quitar el método privado no usado en Decimal
  • [SPARK-37987] [SS] Arreglar la prueba inestable de cambio de esquema del estado en StreamingAggregationSuite al reiniciar la consulta.
  • [SPARK-38003] [SQL] La regla LookupFunctions solo debe buscar funciones del registro de funciones escalares
  • [SPARK-38075] [SQL] Arreglar hasNext en el iterador de salida del proceso de HiveScriptTransformationExec
  • [SPARK-37965] [SQL] Retirada del nombre del campo de comprobación al leer o escribir datos existentes en Orc
  • [SPARK-37922] [SQL] Combinación en una conversión si es posible convertir de forma segura dos conversiones (para dbr-branch-10.x)
  • [SPARK-37675] [SPARK-37793] Impedir la sobrescritura de archivos combinados de orden aleatorio de inserción una vez finalizado el orden aleatorio
  • [SPARK-38011] [SQL] Quitar la configuración duplicada e inútil en ParquetFileFormat
  • [SPARK-37929] [SQL] Compatibilidad con el modo en cascada para la API dropNamespace
  • [SPARK-37931] [SQL] Poner el nombre de columna entre comillas si es necesario
  • [SPARK-37990] [SQL] Compatibilidad con TimestampNTZ en RowToColumnConverter
  • [SPARK-38001] [SQL] Sustitución de las clases de error relacionadas con características no admitidas por UNSUPPORTED_FEATURE
  • [SPARK-37839] [SQL] DS V2 admite la proyección parcial de agregado hacia abajoAVG
  • [SPARK-37878] [SQL] Migración SHOW CREATE TABLE para usar el comando v2 de forma predeterminada
  • [SPARK-37731] [SQL] Refactorización y limpieza de la búsqueda de funciones en el analizador
  • [SPARK-37979] [SQL] Cambiar a clases de error más genéricas en funciones de AES
  • [SPARK-37867] [SQL] Compilación de funciones de agregado del dialecto JDBC integrado
  • [SPARK-38028] [SQL] Exponer el vector de flecha de ArrowColumnVector
  • [SPARK-30062] [SQL] Adición de la instrucción IMMEDIATE a la implementación de truncamiento del dialecto DB2
  • [SPARK-36649] [SQL] Compatibilidad con Trigger.AvailableNow en el origen de datos Kafka
  • [SPARK-38018] [SQL] Corrección de ColumnVectorUtils.populate para controlar CalendarIntervalType correctamente
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved debe gestionar ExecutorDecommission como finalizado
  • [SPARK-38019] [CORE] Convertir ExecutorMonitor.timedOutExecutors en determinista
  • [SPARK-37957] [SQL] Pasar correctamente el indicador determinista para las funciones escalares V2
  • [SPARK-37985] [SQL] Solucionar prueba inestable para SPARK-37578
  • [SPARK-37986] [SQL] Compatibilidad con TimestampNTZ en la ordenación por radix
  • [SPARK-37967] [SQL] Compatibilidad de Literal.create con ObjectType
  • [SPARK-37827] [SQL] Colocación de algunas propiedades de tabla integradas en V1Table.propertie para adaptarlas al comando V2.
  • [SPARK-37963] [SQL] Necesidad de actualizar el URI de partición después de cambiar el nombre de la tabla en InMemoryCatalog
  • [SPARK-35442] [SQL] Soporte para la propagación de relaciones vacías a través de agregado/unión
  • [SPARK-37933] [SQL] Cambiar el método de recorrido de las reglas de empuje hacia abajo V2ScanRelationPushDown
  • [SPARK-37917] [SQL] Imponer límite 1 en el lado derecho de la unión semi/anti izquierda si la condición de la unión está vacía
  • [SPARK-37959] [ML] Corrección de la UT de comprobación de la norma en KMeans & BiKMeans
  • [SPARK-37906] [SQL] spark-sql no debe pasar el último comentario al back-end
  • [SPARK-37627] [SQL] Adición de columna ordenada en BucketTransform

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 10.4 LTS.

Entorno del sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
    • Nota: Esta es la versión de Ubuntu que usan los contenedores de Databricks Runtime. Los contenedores de Databricks Runtime se ejecutan en las máquinas virtuales del proveedor de nube, que pueden usar una versión de Ubuntu o una distribución de Linux diferente.
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Bibliotecas de Python instaladas

Library Version Library Version Library Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
packaging 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de CRAN de Microsoft del 24-02-2022. La instantánea ya no está disponible.

Library Version Library Version Library Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.5.0 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.37 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
lifecycle 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-55
Matrix 1.4-0 memoise 2.0.1 methods 4.1.2
mgcv 1.8-39 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 progress 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 whisker 0.4 withr 2.4.3
xfun 0.29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.12)

Identificador de grupo Id. de artefacto Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collector 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on