Compartir a través de


Databricks Runtime 10.5 (sin soporte)

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 10.5, con tecnología de Apache Spark 3.2.1. Databricks publicó estas imágenes en mayo de 2022.

Nuevas características y mejoras

SQL: Nuevas funcionesto_number y try_to_number

La función to_number y la función try_to_number permiten convertir representaciones de caracteres de números en varios formatos a DECIMAL.

SQL: nueva funcióntry_sum

A diferencia de sum, la función de agregado de try_sum devuelve NULL en lugar de un error cuando se produce un desbordamiento.

SQL: actualización a las funciones ceil, ceiling y floor

La función ceil, la función ceiling y la función floor ahora admiten un segundo argumento opcional para especificar una escala de destino.

SQL: nuevas funciones de agregado regr_avgx y regr_avgy

Las nuevas función de agregado regr_avgx y función de agregado regr_avgy admiten regresiones lineales.

SQL: actualización a las funciones contains, startswith y endswith

La función contains, la función startswith y la función endswith ahora admiten tipos de datos binarios como entrada además de cadenas.

SQL: nueva funciónarray_size

La nueva función array_size calcula el tamaño de una matriz.

Catálogo de Unity: la salida de LIST de SQL quita la columna is_directory y agrega el carácter / final de las rutas de acceso de directorio (versión preliminar pública).

La salida de la instrucción LIST de SQL para enumerar las rutas de acceso reguladas por Unity Catalog ha cambiado. Ya no se muestra la columna is_directory. En su lugar, las rutas de acceso que representan directorios ahora terminan con una barra diagonal final (/) para las columnas path y name. Este cambio es por coherencia con la salida del comando dbutils.fs.ls.

Auto Loader: nueva función CLOUD_FILES_STATE de SQL

Puede usar la nueva función CLOUD_FILES_STATE para consultar el estado interno de un flujo de Auto Loader; ver Consultar archivos detectados por Auto Loader.

Cargador automático: la compatibilidad con notificaciones de archivos ahora está disponible

La compatibilidad con notificaciones de archivos para ¿Qué es el cargador automático? en Google Cloud ya está disponible con carácter general.

Delta Lake: nueva opción maxRecordsPerFile para los registros máximos escritos en un único archivo

Al usar las API de dataframe para escribir en una tabla Delta, puede usar la opción maxRecordsPerFile para especificar el número máximo de registros que se van a escribir en un único archivo. Especificar un valor de cero o un valor negativo no representa ningún límite. Consulte Configuración de Delta Lake para controlar el tamaño del archivo de datos.

Entrada en desuso de Koalas

Koalas está ahora en desuso. Koalas proporciona las API de Pandas sobre Apache Spark. Koalas ha sido una contribución de la comunidad y ha estado disponible como API de pandas en Spark a partir de Apache Spark 3.2. Koalas sigue preinstalado para Databricks Runtime 10.5, pero Koalas ya no estará preinstalado a partir de la siguiente versión de Databricks Runtime.

Para más información sobre las API de pandas en Spark, consulte:

Nueva columna _metadata para todos los formatos de archivo

Puede obtener información de metadatos para los archivos de entrada con la columna _metadata. La columna _metadata está oculta. Esta columna está disponible para todos los formatos de archivo de entrada. Para incluir la columna _metadata en un DataFrame devuelto, debe hacer referencia explícita a esta columna en la consulta. Consulte Columna de metadatos de archivo.

Pruebe la canalización de Delta Live Tables con Databricks Runtime 10.5

Databricks Runtime 10.5 ahora es la versión compatible preview con Delta Live Tables. Para probar la canalización con Databricks Runtime 10.5, establezca la configuración channel en preview en la configuración de la canalización.

Corrección de errores

  • Se ha corregido la presentación de los resultados de métricas numUpdatedRows y numCopiedRows para las operaciones de actualización en tablas Delta que tienen habilitada la captura de datos modificados (CDC).

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • plotly: de 5.5.0 a 5.6.0
  • Bibliotecas de R actualizadas:
    • base: de 4.1.2 a 4.1.3
    • caret: de 6.0-90 a 6.0-91
    • cluster: de 2.1.2 a 2.1.3
    • commonmark: de 1.7 a 1.8.0
    • compiler: de 4.1.2 a 4.1.3
    • crayon: de 1.5.0 a 1.5.1
    • datasets: de 4.1.2 a 4.1.3
    • desc: de 1.4.0 a 1.4.1
    • fansi: de 1.0.2 a 1.0.3
    • glue: de 1.6.1 a 1.6.2
    • graphics: de 4.1.2 a 4.1.3
    • grDevices: de 4.1.2 a 4.1.3
    • grid: de 4.1.2 a 4.1.3
    • knitr: de 1.37 a 1.38
    • MASS: de 7.3-55 a 7.3-56
    • Matrix: de 1.4-0 a 1.4-1
    • methods: de 4.1.2 a 4.1.3
    • mgcv: de 1.8-39 a 1.8-40
    • nlme: de 3.1-155 a 3.1-157
    • openssl: de 1.4.6 a 2.0.0
    • parallel: de 4.1.2 a 4.1.3
    • plyr: de 1.8.6 a 1.8.7
    • processx: de 3.5.2 a 3.5.3
    • r2d3: de 0.2.5 a 0.2.6
    • Rcpp: de 1.0.8 a 1.0.8.3
    • rlang: de 1.0.1 a 1.0.2
    • rmarkdown: de 2.11 a 2.13
    • RSQLite: de 2.2.10 a 2.2.11
    • sass: de 0.4.0 a 0.4.1
    • splines: de 4.1.2 a 4.1.3
    • stats: de 4.1.2 a 4.1.3
    • stats4: de 4.1.2 a 4.1.3
    • tcltk: de 4.1.2 a 4.1.3
    • tools: de 4.1.2 a 4.1.3
    • utils: de 4.1.2 a 4.1.3
    • uuid: de 1.0-3 a 1.0-4
    • waldo: de 0.3.1 a 0.4.0
    • withr: de 2.4.3 a 2.5.0
    • xfun: de 0.29 a 0.30
  • Bibliotecas de Java actualizadas:
    • com.h2database.h2: de 1.4.195 a 2.1.210
    • org.apache.hadoop.hadoop-client-api: de 3.3.1-databricks a 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime: de 3.3.1 a 3.3.2
    • org.rocksdb.rocksdbjni de 6.24.2 a 6.20.3

Apache Spark

Databricks Runtime 10.5 incluye Apache Spark 3.2.1. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 10.4 LTS, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

  • [SPARK-38354] [SC-97886] Reversión de "[SQL] Agregar métrica de sondeos hash para la combinación de hash aleatoria"
  • [SPARK-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] Instrumentación del módulo PySpark SQL con el registrador de uso general
  • [SPARK-38333] [SQL] La expresión PlanExpression debe omitir la función addExprTree en el ejecutor.
  • [SPARK-38646] [PYTHON][10.x] Extracción de un rasgo para las funciones de Python
  • [SPARK-38674] [PHOTON] Se ha agregado una métrica a PhotonSubqueryBroadcastExec.
  • [SPARK-38787] [SS] Se ha reemplazado el valor encontrado con un elemento distinto de NULL en la lista restante para la clave y se han quitado los elementos NULL restantes de los valores del almacén keyWithIndexToValue para las combinaciones de flujo a flujo.
  • [SPARK-38446] [Core] Se ha corregido el interbloqueo entre ExecutorClassLoader y FileDownloadCallback causado por Log4j.
  • [SPARK-38705] [SQL] Uso del identificador de función en el comando create y drop function
  • [SPARK-38684] [SS] Se ha solucionado el problema de corrección en la combinación externa de flujo a flujo con el proveedor del almacén de estado de RocksDB.
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase no encuentra la fila de desplazamiento cuya entrada no es NULL.
  • [SPARK-38204] [SS] Se utiliza StatefulOpClusteredDistribution para los operadores con estado respetando la compatibilidad con versiones anteriores.
  • [SPARK-38616] [SQL] Se realiza un seguimiento del texto de la consulta SQL en el nodo de árbol de Catalyst.
  • [SPARK-38600] [SQL] Se ha incluido unit en la cadena SQL deTIMESTAMPADD/DIFF.
  • [SPARK-34805] [SQL] Propagación de los metadatos de las columnas anidadas en alias
  • [SPARK-38535] [SQL] Se ha agregado la enumeración datetimeUnit y se utiliza en TIMESTAMPADD/DIFF.
  • [SPARK-38415] [SQL] Se ha actualizado el tipo del resultado de histogram_numeric(x, y) para que x == el tipo de entrada.
  • [SPARK-38148] [SQL] No se agrega la eliminación de particiones dinámicas si existe la eliminación de particiones estáticas.
  • [SPARK-37527] [SQL] Se han compilado COVAR_POP, COVAR_SAMP y CORR en H2Dialet.
  • [SPARK-38510] [SQL] Se reintenta ClassSymbol.selfType para solucionar las referencias cíclicas.
  • [SPARK-38509] [SQL] Se ha anulado el registro de las funciones TIMESTAMPADD/DIFF y se ha quitado DATE_ADD/DIFF.
  • [SPARK-38504] [SQL] No se puede leer TimestampNTZ como TimestampLTZ.
  • [SPARK-38526] [SQL] Se ha corregido el nombre engañoso del alias de función para RuntimeReplaceable.
  • [SPARK-38335] [SQL] Implementación de la compatibilidad del analizador con valores de columna DEFAULT
  • [SPARK-38593] [SS] Transporte de la métrica del número de eventos tardíos eliminados en SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] Se ha agregado numRowsDroppedByWatermark a SessionWindowStateStoreRestoreExec.
  • [SPARK-38583] [SQL] Se ha restaurado el comportamiento de to_timestamp que permite tipos numéricos.
  • [SPARK-38481] [SQL] Se ha reemplazado la excepción de desbordamiento de Java de TIMESTAMPADD por la excepción de Spark.
  • [SPARK-37753] [SQL] Se ha ajustado la lógica para disminuir la combinación hash de difusión en DynamicJoinSelection.
  • [SPARK-37582] [SPARK-37583][SQL] CONTAINS, STARTSWITH y ENDSWITH deben admitir tipos binarios y de cadena.
  • [SPARK-38345] [SQL] Se presenta la función ARRAY_SIZE de SQL.
  • [SPARK-38385] [SQL] Mejora de los mensajes de error de instrucción vacía y <EOF> en ParseException
  • [SPARK-37614] [SQL] Compatibilidad con la función de agregado ANSI: regr_avgx y regr_avgy
  • [SPARK-38560] [SQL] Si Sum, Count o Any vienen acompañados de distinct, no se puede realizar una inserción de agregado.
  • [SPARK-38360] [SQL][SS][PYTHON] Se presenta la función exists para TreeNode para eliminar patrones de código duplicados.
  • [SPARK-38385] [SQL] Mejora de los mensajes de error de casos de "entrada no coincidente" de ANTLR
  • [SPARK-38240] [SQL] Se ha mejorado RuntimeReplaceable y se ha agregado una guía para agregar nuevas funciones.
  • [SPARK-38542] [SQL] UnsafeHashedRelation debe serializar numKeys.
  • [SPARK-38521] [SQL] Se ha cambiado partitionOverwriteMode de cadena a variable en Scala.
  • [SPARK-38558] [SQL] Se han quitado conversiones innecesarias entre IntegerType e IntDecimal.
  • [SPARK-38489] [SQL] Aggregate.groupOnly admite expresiones plegables.
  • [SPARK-38410] [SQL] Compatibilidad con la especificación del número de partición inicial para el reequilibrio
  • [SPARK-38107] [SQL] Uso de clases de error en los errores de compilación de las UDF de Python y pandas
  • [SPARK-38354] [SQL] Se ha agregado una métrica de sondeos hash para la combinación de hash aleatoria.
  • [SPARK-38112] [SQL] Uso de clases de error en los errores de ejecución del control de tipos date y timestamp
  • [SPARK-38361] [SQL] Se ha agregado el Factory Method getConnection a JDBCDialect.
  • [SPARK-37865] [SQL] Se ha solucionado el error de corrección de la desduplicación de la unión.
  • [SPARK-38298] [SQL][Tests] Corrección de DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite y CastSuite en modo ANSI
  • [SPARK-38407] [SQL] Conversión ANSI: se ha suavizado la limitación de la conversión de tipos complejos que no son NULL.
  • [SPARK-38352] [SQL] Corrección de DataFrameAggregateSuite, DataFrameSetOperationsSuite y DataFrameWindowFunctionsSuite en modo ANSI
  • [SPARK-38054] [SQL] Se admiten espacios de nombres de lista en el dialecto de MySQL de JDBC v2.
  • [SPARK-37960] [SQL] Nuevo marco para representar expresiones de catalyst en las API de DS v2
  • [SPARK-38103] [SQL] Migración del análisis de los errores de transformación al nuevo marco de errores
  • [SPARK-38519] [SQL] La excepción de inicio de AQE debe respetar SparkFatalException.
  • [SPARK-38528] [SQL] Iteración diligente sobre una secuencia de agregado al crear la lista de proyectos en ExtractGenerator
  • [SPARK-38320] [SS] Se ha corregido el tiempo de espera de flatMapGroupsWithState del lote con datos para la clave.
  • [SPARK-38442] [SQL] Corrección de ConstantFoldingSuite, ColumnExpressionSuite/DataFrameSuite y AdaptiveQueryExecSuite en modo ANSI
  • [SPARK-38268] [SQL] Se ha ocultado el campo "failOnError" en el método toString de Abs y CheckOverflow.
  • [SPARK-37949] [SQL] Mejora de la estimación de las estadísticas de reequilibrio
  • [SPARK-38450] [SQL] Corrección de HiveQuerySuite, PushFoldableIntoBranchesSuite y TransposeWindowSuite en modo ANSI
  • [SPARK-38501] [SQL] Corrección de los errores de prueba de thriftserver en modo ANSI
  • [SPARK-37895] [SQL] Filtrado de la columna de inserción con columnas entre comillas
  • [SPARK-38449] [SQL] Se evita llamar a createTable cuando ignoreIfExists=true y la tabla existe.
  • [SPARK-38406] [SQL] Mejora del rendimiento de ShufflePartitionsUtil y createSkewPartitionSpecs
  • [SPARK-37947] [SQL] Se extrae el generador de la expresión GeneratorOuter contenida en un operador Generate.
  • [SPARK-38309] [CORE] Corrección de las métricas de percentil shuffleTotalReads y shuffleTotalBlocks de SHS
  • [SPARK-38412] [SS] Corrección de la secuencia intercambiada de from y to en StateSchemaCompatibilityChecker
  • [SPARK-38267] [CORE][SQL][SS] Se han reemplazado las coincidencias de patrón en expresiones booleanas con instrucciones condicionales.
  • [SPARK-38104] [SQL] Migración del análisis de los errores de ventana al nuevo marco de errores
  • [SPARK-38434] [SQL] Se ha corregido la semántica del método CheckAnalysis.getDataTypesAreCompatibleFn.
  • [SPARK-38033] [SS] No se puede iniciar el procesamiento de SS porque com...
  • [SPARK-38378] [SQL] Refactorización de la definición de gramática de ANTLR en archivos analizadores y lexer independientes
  • [SPARK-37475] [SQL] Se ha agregado el parámetro de escala a las funciones floor y ceil.
  • [SPARK-38411] [CORE] Uso de UTF-8 cuando doMergeApplicationListingInternal lee los registros de eventos
  • [SPARK-36553] [ML] KMeans evita calcular las estadísticas auxiliares para un valor de K grande.
  • [SPARK-38393] [SQL] Se ha limpiado el uso obsoleto de GenSeq/GenMap.
  • [SPARK-38389] [SQL] Se han agregado los alias DATEDIFF() y DATE_DIFF() para TIMESTAMPDIFF().
  • [SPARK-33206] [CORE][3.2] Corrección del cálculo de la ponderación de la memoria caché de índices aleatorios para archivos de índice pequeños
  • [SPARK-38353] [PYTHON] Instrumentación de los métodos magic enter y exit para la API de Pandas en Spark
  • [SPARK-38323] [SQL][Streaming] Se admiten los metadatos de archivo ocultos en streaming.
  • [SPARK-38138] [SQL] Se han materializado las consultas secundarias del plan de consultas.
  • [SPARK-38094] Habilitación de los nombres de columna de esquema coincidentes por identificadores de campo
  • [SPARK-37923] [SQL] Generación de transformaciones de partición para BucketSpec dentro del analizador
  • [SPARK-38363] [SQL] Se evita el error en tiempo de ejecución en Dataset.summary() y Dataset.describe() cuando el modo ANSI está activado.
  • [SPARK-38284] [SQL] Se ha agregado la función TIMESTAMPDIFF().
  • [SPARK-38251] [SQL] Se ha cambiado Cast.toString como "cast" en lugar de "ansi_cast" en modo ANSI.
  • [SPARK-38314] [SQL] Se ha corregido el error de lectura de archivos Parquet después de escribir los metadatos de archivo ocultos.

Consulte las actualizaciones de mantenimiento de Databricks Runtime 10.5.

Entorno del sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Delta Lake: 1.2.1

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0,3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
empaquetado 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 Python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
Solicitudes 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six (seis) 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 28-03-2022.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-91 cellranger 1.1.0 chron 2.3-56
clase 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 conjuntos de datos 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0,15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 elementos gráficos 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.38 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
ciclo de vida 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-56
Matriz 1.4-1 memoise 2.0.1 methods 4.1.3
mgcv 1.8-40 mime 0,12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallel 4.1.3 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.3
prodlim 2019.11.13 progreso 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown 2,13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.1
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.3 TeachingDemos 2,10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 whisker 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1