Compartir a través de

Databricks Runtime 10.4 LTS

  • Artículo

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 10.4 LTS y Databricks Runtime 10.4 LTS Photon, con tecnología de Apache Spark 3.2.1. Photon se encuentra en versión preliminar pública. Databricks publicó esta versión en marzo de 2022.

Nota:

LTS significa que esta versión tiene soporte técnico a largo plazo. Consulte Ciclo de vida de la versión de Databricks Runtime LTS.

Sugerencia

Para ver las notas de la versión de las versiones de Databricks Runtime que han llegado a la finalización del soporte (EoS), vea las Notas de la versión de Databricks Runtime no compatibles. Las versiones de Databricks Runtime que han llegado a la finalización del soporte (EoS) se han retirado y es posible que no se actualicen.

Nuevas características y mejoras

Convertidor de tablas Iceberg a Delta (versión preliminar pública)

La conversión a Delta ahora admite la conversión de una tabla Iceberg en una tabla Delta en contexto. Para ello, se usan los manifiestos de archivo y los metadatos nativos de Iceberg. Consulte Conversión a Delta Lake.

Las reversiones de compactación automática ahora están habilitadas de forma predeterminada

Esta versión mejora el comportamiento de los trabajos de escritura de Delta Lake que se confirman cuando hay transacciones de compactación automática simultáneas. Antes de esta versión, estos trabajos de escritura solían anularse debido a modificaciones simultáneas en una tabla. Ahora los trabajos de escritura se realizarán correctamente incluso si hay transacciones simultáneas de compactación automática.

La combinación de orden aleatorio bajo ahora está habilitada de forma predeterminada

El comando MERGE INTO ahora usa siempre la nueva implementación de orden aleatorio bajo. Este comportamiento mejora significativamente el rendimiento del comando MERGE INTO para la mayoría de las cargas de trabajo. Se ha quitado la configuración que se usaba anteriormente para habilitar esta característica. Consulte Combinación de orden aleatorio bajo en Azure Databricks.

Las etiquetas de orden de inserción ahora se conservan para UPDATE y DELETE

Los comandos UPDATE y DELETE ahora conservan la información de agrupación en clústeres existente (incluida la ordenación Z) para los archivos que se actualizan o eliminan. Este comportamiento trata de un principio de máximo esfuerzo que no se aplica en los casos en los que los archivos son tan pequeños que se combinan durante la actualización o eliminación.

HikariCP es ahora el grupo de conexiones del metastore de Hive predeterminado

HikariCP ofrece varias mejoras de estabilidad para el acceso al metastore de Hive, al tiempo que mantiene menos conexiones en comparación con la implementación anterior del grupo de conexiones de BoneCP. HiikCP está habilitado de forma predeterminada en cualquier clúster de Databricks Runtime que use el metastore de Hive de Databricks (por ejemplo, cuando spark.sql.hive.metastore.jars no está establecido). También puede cambiar explícitamente a otras implementaciones del grupo de conexiones, por ejemplo, BoneCP, estableciendo spark.databricks.hive.metastore.client.pool.type.

El conector de Azure Synapse ahora permite establecer el número máximo de filas de rechazo permitidas

El conector de Azure Synapse ahora admite una opción maxErrors de DataFrame. Esta actualización le permite configurar el número máximo de filas rechazadas que se permiten durante las lecturas y escrituras antes de que se cancele la operación de carga. Todas las filas rechazadas se omiten. Por ejemplo, si dos de cada diez registros tienen errores, solo se procesan ocho registros.

Esta opción se asigna directamente a la opción REJECT_VALUE de la instrucción CREATE EXTERNAL TABLE en PolyBase y a la opción MAXERRORS del comando COPY del conector de Azure Synapse.

De forma predeterminada, el valor maxErrors se establece en 0: se espera que todos los registros sean válidos.

Los puntos de comprobación de estado asincrónico ahora están disponibles con carácter general

Puede habilitar puntos de comprobación de estado asincrónico en consultas de streaming con estado con actualizaciones de estado grandes. Esto puede reducir la latencia de microlote de un extremo a otro. Esta característica ya está disponible con carácter general. Consulte Puntos de comprobación de estado asincrónico para consultas con estado.

Ahora se pueden especificar valores predeterminados de parámetros para SQL funciones definidas por el usuario

Cuando se crea una función SQL definida por el usuario (SQL UDF), ahora se pueden especificar expresiones predeterminadas para los parámetros de SQL UDF. A continuación, puede llamar al SQL UDF sin proporcionar argumentos para esos parámetros y Databricks rellenará los valores predeterminados para esos parámetros. Consulte CREAR FUNCIONES (SQL y Python).

Nuevas características de Spark SQL

Las siguientes funciones Spark SQL pasan a estar disponibles en esta versión:

  • try_multiply: devuelve el resultado de la multiplicación de los elementos multiplier y multiplicand. Si ocurre un desbordamiento, devuelve el valor NULL.
  • try_subtract: devuelve la resta de los elementos expr2 y expr1. Si ocurre un desbordamiento, devuelve el valor NULL.

Nuevo directorio de trabajo para clústeres de alta simultaneidad

En clústeres de alta simultaneidad con control de acceso a tablas o acceso directo a credenciales habilitado, el directorio de trabajo actual de los cuadernos es ahora el directorio principal del usuario. Anteriormente, el directorio de trabajo era /databricks/driver.

La compatibilidad con las columnas de identidad en las tablas Delta ya está disponible con carácter general

Delta Lake ahora admite columnas de identidad. Cuando se escribe en una tabla Delta que define una columna de identidad y no se proporcionan valores para esa columna, Delta ahora asigna automáticamente un valor único y estadísticamente creciente o decreciente. Consulte CREATE TABLE [USING].

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • filelock de 3.4.2 a 3.6.0
  • Bibliotecas de R actualizadas:
    • brew de 1.0-6 a 1.0-7
    • broom de 0.7.11 a 0.7.12
    • cli de 3.1.0 a 3.2.0
    • clipr de 0.7.1 a 0.8.0
    • colorspace de 2.0-2 a 2.0-3
    • crayon de 1.4.2 a 1.5.0
    • dplyr de 1.0.7 a 1.0.8
    • dtplyr de 1.2.0 a 1.2.1
    • evaluate de 0.14 a 0.15
    • foreach de 1.5.1 a 1.5.2
    • future de 1.23.0 a 1.24.0
    • generics de 0.1.1 a 0.1.2
    • glue de 1.6.0 a 1.6.1
    • gower de 0.2.2 a 1.0.0
    • iterators de 1.0.13 a 1.0.14
    • jsonlite de 1.7.3 a 1.8.0
    • magrittr de 2.0.1 a 2.0.2
    • mgcv de 1.8-38 a 1.8-39
    • pillar de 1.6.4 a 1.7.0
    • randomForest de 4.6-14 a 4.7-1
    • readr de 2.1.1 a 2.1.2
    • recipes de 0.1.17 a 0.2.0
    • rlang de 0.4.12 a 1.0.1
    • rpart de 4.1-15 a 4.1.16
    • RSQLite de 2.2.9 a 2.2.10
    • sparklyr de 1.7.4 a 1.7.5
    • testthat de 3.1.1 a 3.1.2
    • tidyr de 1.1.4 a 1.2.0
    • tidyselect de 1.1.1 a 1.1.2
    • tinytex de 0.36 a 0.37
    • yaml de 2.2.1 a 2.3.5
  • Bibliotecas de Java actualizadas:
    • io.delta.delta-sharing-spark_2.12 de 0.3.0 a 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS incluye Apache Spark 3.2.1. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 10.3 (EoS), así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • [SPARK-38322] [SQL] La fase de consulta de soporte muestra estadísticas en tiempo de ejecución en modo de explicación con formato
  • [SPARK-38162] [SQL] Optimización de un plan de fila en el optimizador normal y AQE
  • [SPARK-38229] [SQL] No se debería comprobar temp/external/ifNotExists con visitReplaceTable con el analizador
  • [SPARK-34183] [SS] DataSource V2: Distribución y ordenación necesarias en la ejecución de microlotes
  • [SPARK-37932] [SQL] Esperar para resolver los atributos que faltan antes de aplicar DeduplicateRelations
  • [SPARK-37904] [SQL] Mejorar RebalancePartitions en las reglas del optimizador
  • [SPARK-38236] [SQL][3.2][3.1] Comprobar si la ubicación de la tabla es absoluta mediante "new Path(locationUri).isAbsolute" en la tabla create/alter
  • [SPARK-38035] [SQL] Adición de pruebas de Docker para el dialecto JDBC integrado
  • [SPARK-38042] [SQL] Garantizar que ScalaReflection.dataTypeFor funciona en tipos de matriz con alias
  • [SPARK-38273] [SQL] Los iteradores de decodeUnsafeRows deben cerrar los flujos de entrada subyacentes
  • [SPARK-38311] [SQL] Corrección de DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite en modo ANSI
  • [SPARK-38305] [CORE] Comprobar explícitamente si el origen existe en unpack() antes de llamar a los métodos FileUtil
  • [SPARK-38275] [SS] Incluir el uso de memoria de writeBatch como el uso total de memoria del almacén de estado de RocksDB
  • [SPARK-38132] [SQL] Quitar regla NotPropagation
  • [SPARK-38286] [SQL] maxRows y maxRowsPerPartition de Union pueden desbordarse
  • [SPARK-38306] [SQL] Corrección de ExplainSuite,StatisticsCollectionSuite y StringFunctionsSuite en modo ANSI
  • [SPARK-38281] [SQL][Tests] Corrección de AnalysisSuite en modo ANSI
  • [SPARK-38307] [SQL][Tests] Corrección de ExpressionTypeCheckingSuite y CollectionExpressionsSuite en el modo ANSI
  • [SPARK-38300] [SQL] Uso de ByteStreams.toByteArray para simplificar fileToString y resourceToBytes en catalyst.util
  • [SPARK-38304] [SQL] Elt() debe devolver NULL si index es NULL en el modo ANSI
  • [SPARK-38271] PoissonSampler puede generar más filas que MaxRows
  • [SPARK-38297] [PYTHON] Conversión explícita del valor devuelto en DataFrame.to_numpy en POS
  • [SPARK-38295] [SQL][Tests] Corrección de ArithmeticExpressionSuite en el modo ANSI
  • [SPARK-38290] [SQL] Corrección de JsonSuite y ParquetIOSuite en el modo ANSI
  • [SPARK-38299] [SQL] Limpieza del uso en desuso de StringBuilder.newBuilder
  • [SPARK-38060] [SQL] Respetar allowNonNumericNumbers al analizar valores NaN e Infinity entre comillas en el lector JSON
  • [SPARK-38276] [SQL] Adición de planes TPCDS aprobados en el modo ANSI
  • [SPARK-38206] [SS] Omisión de la nulabilidad al comparar el tipo de datos de las claves de combinación en la combinación de streming con streaming
  • [SPARK-37290] [SQL] - Tiempo de planeamiento exponencial en caso de función no determinista
  • [SPARK-38232] [SQL] EXPLAIN FORMATTED no recopila subconsultas en la fase de consulta en AQE
  • [SPARK-38283] [SQL] Prueba del análisis de fecha y hora no válido en modo ANSI
  • [SPARK-38140] [SQL] Las estadísticas de columna de desc (min, max) para el tipo de marca de tiempo no son coherentes con los valores debido a la diferencia de zona horaria
  • [SPARK-38227] [SQL][SS] Aplicación de nulabilidad estricta de la columna anidada en la ventana de tiempo o la ventana de sesión
  • [SPARK-38221] [SQL] Iteración diligente sobre groupingExpressions al mover expresiones de agrupación complejas fuera de un nodo Agregado
  • [SPARK-38216] [SQL] Error temprano si todas las columnas tienen particiones al crear una tabla de Hive
  • [SPARK-38214] [SS] No es necesario filtrar ventanas cuando windowDuration es múltiplo de slideDuration
  • [SPARK-38182] [SQL] Corrección de NoSuchElementException si el filtro insertado no contiene ninguna referencia
  • [SPARK-38159] [SQL] Adición de un nuevo FileSourceMetadataAttribute para los metadatos de archivos ocultos
  • [SPARK-38123] [SQL] Uso unificado de DataType como targetType de QueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [SQL] Func(tipo de datos incorrecto) en la cláusula HAVING debería producir un error de coincidencia de datos
  • [SPARK-35173] [SQL][PYTHON] Adición de varias columnas que agregan compatibilidad
  • [SPARK-38177] [SQL] Corrección de transformExpressions incorrectas en el optimizador
  • [SPARK-38228] [SQL] La asignación del almacén heredado no debe producir un error en el modo ANSI
  • [SPARK-38173] [SQL] La columna entre comillas no se puede reconocer correctamente cuando quotedRegexColumnNa...
  • [SPARK-38130] [SQL] Quitar la comprobación de entradas ordenables array_sort
  • [SPARK-38199] [SQL] Eliminar el objeto dataType no utilizado especificado en la definición de IntervalColumnAccessor
  • [SPARK-38203] [SQL] Corrección de SQLInsertTestSuite y SchemaPruningSuite en modo ANSI
  • [SPARK-38163] [SQL] Mantener la clase de error de SparkThrowable al construir con el generador de funciones
  • [SPARK-38157] [SQL] Establecer explícitamente ANSI en false en la timestampNTZ/timestamp.sql y SQLQueryTestSuite de prueba para que coincida con los resultados para comercialización esperados.
  • [SPARK-38069] [SQL][SS] Mejora del cálculo del período de tiempo
  • [SPARK-38164] [SQL] Nuevas funciones SQL: try_subtract y try_multiply
  • [SPARK-38176] [SQL] Modo ANSI: permitir la conversión implícita de cadenas a otros tipos simples
  • [SPARK-37498] [PYTHON] Agregar finalmente para test_reuse_worker_of_parallelize_range
  • [SPARK-38198] [SQL][3.2] Corrección del uso de QueryExecution.debug#toFile del valor maxFields pasado cuando explainMode es CodegenMode
  • [SPARK-38131] [SQL] Uso de clases de error solo en excepciones orientadas al usuario
  • [SPARK-37652] [SQL] Adición de prueba para optimizar la combinación sesgada a través de la unión
  • [SPARK-37585] [SQL] Actualización de InputMetric en DataSourceRDD con TaskCompletionListener
  • [SPARK-38113] [SQL] Uso de clases de error en los errores de ejecución de dinamización
  • [SPARK-38178] [SS] Corrección de la lógica para medir el uso de memoria de RocksDB
  • [SPARK-37969] [SQL] HiveFileFormat debe comprobar el nombre del campo
  • [SPARK-37652] Revertir "[SQL] Adición de prueba para optimizar la combinación sesgada a través de la unión"
  • [SPARK-38124] [SQL][SS] Introducción de StatefulOpClusteredDistribution y aplicación a la combinación de streaming a streaming
  • [SPARK-38030] [SQL] La canonización no debe quitar la nulabilidad del tipo de datos AttributeReference
  • [SPARK-37907] [SQL] Compatibilidad de InvokeLike con ConstantFolding
  • [SPARK-37891] [CORE] Adición de la comprobación escalar para deshabilitar scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL] Actualización del comentario de RelationConversions
  • [SPARK-37943] [SQL] Uso de clases de error en los errores de compilación de agrupación
  • [SPARK-37652] [SQL] Adición de prueba para optimizar la combinación sesgada a través de la unión
  • [SPARK-38056] [Interfaz de usuario web][3.2] Corrección del problema de que el streaming estructurado no funciona en el servidor de historial al usar LevelDB
  • [SPARK-38144] [CORE] Quitar la configuración spark.storage.safetyFraction no usada
  • [SPARK-38120] [SQL] Corrección de HiveExternalCatalog.listPartitions cuando el nombre de la columna de partición es mayúscula y hay un punto en el valor de partición
  • [SPARK-38122] [Docs] Actualización de la clave de aplicación de DocSearch
  • [SPARK-37479] [SQL] Migración de DROP NAMESPACE para usar el comando V2 de forma predeterminada
  • [SPARK-35703] [SQL] Relajación de restricción para la combinación de cubos y eliminación de HashClusteredDistribution
  • [SPARK-37983] [SQL] Retroceso de las métricas de tiempo de compilación agregada a partir de la agregación de ordenación
  • [SPARK-37915] [SQL] Combinación de uniones si hay un proyecto entre ellas
  • [SPARK-38105] [SQL] Uso de clases de error en los errores de análisis de combinaciones
  • [SPARK-38073] [PYTHON] Actualización de la función atexit para evitar problemas con el enlace en tiempo de ejecución
  • [SPARK-37941] [SQL] Uso de clases de error en los errores de compilación de coerción
  • [SPARK-37937] [SQL] Uso de clases de error en los errores de análisis de combinación lateral
  • [SPARK-38100] [SQL] Quitar el método privado no usado en Decimal
  • [SPARK-37987] [SS] Corrección del esquema de estado streamingAggregationSuite.changing de prueba no confiable al reiniciar la consulta
  • [SPARK-38003] [SQL] La regla LookupFunctions solo debe buscar funciones del registro de funciones escalares
  • [SPARK-38075] [SQL] Corrección de hasNext en el iterador de salida del proceso de HiveScriptTransformationExec
  • [SPARK-37965] [SQL] Retirada del nombre del campo de comprobación al leer o escribir datos existentes en Orc
  • [SPARK-37922] [SQL] Combinación en una conversión si es posible convertir de forma segura dos conversiones (para dbr-branch-10.x)
  • [SPARK-37675] [SPARK-37793] Impedir la sobrescritura de archivos combinados de orden aleatorio de inserción una vez finalizado el orden aleatorio
  • [SPARK-38011] [SQL] Quitar la configuración duplicada e inútil en ParquetFileFormat
  • [SPARK-37929] [SQL] Compatibilidad con el modo en cascada para la API dropNamespace
  • [SPARK-37931] [SQL] Poner el nombre de columna entre comillas si es necesario
  • [SPARK-37990] [SQL] Compatibilidad con TimestampNTZ en RowToColumnConverter
  • [SPARK-38001] [SQL] Sustitución de las clases de error relacionadas con características no admitidas por UNSUPPORTED_FEATURE
  • [SPARK-37839] [SQL] DS V2 admite la inserción de agregados parcial AVG
  • [SPARK-37878] [SQL] Migración de SHOW CREATE TABLE para usar el comando v2 de forma predeterminada
  • [SPARK-37731] [SQL] Refactorización y limpieza de la búsqueda de funciones en el analizador
  • [SPARK-37979] [SQL] Cambiar a clases de error más genéricas en funciones de AES
  • [SPARK-37867] [SQL] Compilación de funciones de agregado del dialecto JDBC integrado
  • [SPARK-38028] [SQL] Exponer el vector de flecha de ArrowColumnVector
  • [SPARK-30062] [SQL] Adición de la instrucción IMMEDIATE a la implementación de truncamiento del dialecto DB2
  • [SPARK-36649] [SQL] Compatibilidad con Trigger.AvailableNow en el origen de datos Kafka
  • [SPARK-38018] [SQL] Corrección de ColumnVectorUtils.populate para controlar CalendarIntervalType correctamente
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved debe controlar ExecutorDecommission como finalizado
  • [SPARK-38019] [CORE] Convertir ExecutorMonitor.timedOutExecutors en determinista
  • [SPARK-37957] [SQL] Pasar correctamente la marca determinista para las funciones escalares del comando V2
  • [SPARK-37985] [SQL] Corrección de la prueba no confiable para SPARK-37578
  • [SPARK-37986] [SQL] Compatibilidad con TimestampNTZ en la ordenación de base
  • [SPARK-37967] [SQL] Compatibilidad de Literal.create con ObjectType
  • [SPARK-37827] [SQL] Colocación de algunas propiedades de tabla integradas en V1Table.propertie para adaptarlas al comando V2.
  • [SPARK-37963] [SQL] Necesidad de actualizar el URI de partición después de cambiar el nombre de la tabla en InMemoryCatalog
  • [SPARK-35442] [SQL] Compatibilidad con la propagación de relaciones vacías a través de agregado/combinación
  • [SPARK-37933] [SQL] Cambio del método transversal de las reglas de inserción V2ScanRelationPushDown
  • [SPARK-37917] [SQL] Aplicación del límite 1 para el lado derecho de la semi/anti combinación izquierda si la condición de combinación está vacía
  • [SPARK-37959] [ML] Corrección de la UT de comprobación de la norma en KMeans & BiKMeans
  • [SPARK-37906] [SQL] spark-sql no debe pasar el último comentario al back-end
  • [SPARK-37627] [SQL] Adición de columna ordenada en BucketTransform

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 10.4 LTS.

Entorno del sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0,3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
empaquetado 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 Python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
Solicitudes 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six (seis) 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 24-02-2022.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
clase 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.5.0 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 conjuntos de datos 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0,15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 elementos gráficos 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.37 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
ciclo de vida 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-55
Matriz 1.4-0 memoise 2.0.1 methods 4.1.2
mgcv 1.8-39 mime 0,12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 progreso 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2,11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2,10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 whisker 0,4 withr 2.4.3
xfun 0,29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1