Compartir a través de


Databricks Runtime 10.3 (EoS)

Nota:

El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 10.3 y Databricks Runtime 10.3 Photon, con tecnología de Apache Spark 3.2.1. Photon se encuentra en versión preliminar pública. Databricks publicó esta versión en febrero de 2022.

Nuevas características y mejoras

Los escritores de Parquet y Avro ahora usan la zona horaria de sesión al cambiar la base de las marcas de tiempo de los orígenes de datos de Parquet

Los escritores de Parquet y Avro ahora usan la zona horaria de sesión al cambiar la base de las marcas de tiempo en modo legacy en lugar de usar la zona horaria de JVM predeterminada. La zona horaria de sesión se establece en la zona horaria de JVM de forma predeterminada.

Nuevas funciones de Spark SQL

Las siguientes funciones de Spark SQL ahora se admiten en esta versión:

  • aes_decrypt: descifra la entrada mediante AES.
  • aes_encrypt: cifra la entrada mediante AES.
  • contains: determina si una expresión contiene otra expresión.
  • endswith: determina si una expresión termina con otra expresión.
  • percentile_cont: devuelve un valor de percentil.
  • startswith: determina si una expresión comienza con otra expresión.

La combinación de orden aleatorio bajo ya está disponible con carácter general

El comando Delta MERGE INTO usa una técnica denominada combinación de orden aleatorio bajo, que reduce el orden aleatorio de las filas sin modificar. Esta técnica mejora el rendimiento del comando y ayuda a conservar la agrupación en clústeres existente en la tabla, como la ordenación Z. Esta funcionalidad se introdujo en Databricks Runtime 9.0 en la versión preliminar pública y ahora ha alcanzado la disponibilidad general. Para habilitar la combinación de orden aleatorio bajo, establezca spark.databricks.delta.merge.enableLowShuffle en true. Consulte Combinación de orden aleatorio bajo en Azure Databricks.

Nuevas características de COPY INTO: modo de validación y evolución del esquema

Modo de validación: COPY INTO ahora admite un modo VALIDATE en el que los datos que se van a cargar en una tabla se validan pero no se escriben en la tabla. Estas validaciones incluyen lo siguiente:

  • Si se pueden analizar los datos.
  • Si el esquema coincide con el de la tabla o si el esquema debe evolucionar.
  • Si se cumplen todas las restricciones de comprobación y nulabilidad.

Ejemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

El valor predeterminado es validar todos los datos que se van a cargar. Puede proporcionar una serie de filas para que se validen con la palabra clave ROWS, como VALIDATE 15 ROWS. La instrucción COPY INTO devuelve una vista previa de los datos de 50 filas o menos, cuando se usa un número menor que 50 con la palabra clave ROWS.

Evolución del esquema: COPY INTO ahora admite la evolución del esquema con la opción mergeSchema en COPY_OPTIONS. Para desarrollar el esquema de una tabla, debe tener permisos OWN sobre la tabla.

Ejemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Consulte COPY INTO.

Ahora se admiten las columnas de identidad en las tablas Delta (versión preliminar pública)

Delta Lake ahora admite columnas de identidad. Cuando se escribe en una tabla Delta que define una columna de identidad y no se proporcionan valores para esa columna, Delta ahora asigna automáticamente un valor único y estadísticamente creciente o decreciente. Consulte CREATE TABLE [USING].

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • distlib de 0.3.3 a 0.3.4
    • filelock de 3.4.0 a 3.4.2
    • numpy de 1.19.2 a 1.20.1
    • plotly de 5.3.1 a 5.5.0
  • Bibliotecas de R actualizadas:
    • backports de 1.4.0 a 1.4.1
    • brio de 1.1.2 a 1.1.3
    • escoba de 0.7.10 a 0.7.11
    • class de 7.3-19 a 7.3-20
    • cpp11 de 0.4.1 a 0.4.2
    • DBI de 1.1.1 a 1.1.2
    • devtools de 2.4.2 a 2.4.3
    • digest de 0.6.28 a 0.6.29
    • dtplyr de 1.1.0 a 1.2.0
    • fansi de 0.5.0 a 1.0.2
    • foreign de 0.8-81 a 0.8-82
    • fs de 1.5.0 a 1.5.2
    • gert de 1.4.3 a 1.5.0
    • glue de 1.5.0 a 1.6.0
    • httpuv de 1.6.3 a 1.6.5
    • jsonlite de 1.7.2 a 1.7.3
    • knitr de 1.36 a 1.37
    • MASS de 7.3-54 a 7.3-55
    • Matrix de 1.3-4 a 1.4-0
    • nlme de 3.1-152 a 3.1-155
    • nnet frm de 7.3-16 a 7.3-17
    • openssl de 1.4.5 a 1.4.6
    • parallelly de 1.29.0 a 1.30.0
    • pkgbuild de 1.2.0 a 1.3.1
    • pkgload de 1.2.3 a 1.2.4
    • progressr de 0.9.0 a 0.10.0
    • Rcpp de 1.0.7 a 1.0.8
    • readr de 2.1.0 a 2.1.1
    • remotes de 2.4.1 a 2.4.2
    • RSQLite de 2.2.8 a 2.2.9
    • sessioninfo de 1.2.1 a 1.2.2
    • sparklyr de 1.7.2 a 1.7.4
    • testque de 3.1.0 a 3.1.1
    • tinytex de 0.35 a 0.36
    • usethis de 2.1.3 a 2.1.5
    • vroom de 1.5.6 a 1.5.7
    • withr de 2.4.2 a 2.4.3
    • xfun de 0.28 a 0.29
    • xml2 de 1.3.2 a 1.3.3
  • Bibliotecas de Java actualizadas:
    • dev.ludovic.netlib.arpack de 1.3.2 a 2.2.1
    • dev.ludovic.netlib.blas de 1.3.2 a 2.2.1
    • dev.ludovic.netlib.lapack de 1.3.2 a 2.2.1
    • io.delta.delta-sharing-spark_2.12 de 0.2.0 a 0.3.0

Apache Spark

Databricks Runtime 10.3 incluye Apache Spark 3.2.1. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 10.2 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

  • [SPARK-37896] [SQL] Implementación de ConstantColumnVector y mejora del rendimiento de los metadatos de archivos ocultos
  • [SPARK-37924] [SQL] Orden de las propiedades de tabla por clave en SHOW CREATE TABLE en VIEW (v1)
  • [SPARK-37636] [SQL] Migración de CREATE NAMESPACE para usar el comando V2 de forma predeterminada
  • [SPARK-37381] [SQL] Unificación de pruebas de SHOW CREATE TABLE de v1 y v2
  • [SPARK-37876] [CORE][SQL] Migración de SpecificParquetRecordReaderBase.listDirectory a TestUtils
  • [SPARK-37854] [CORE] Reemplazo de la comprobación de tipos con la coincidencia de patrones en el código de Spark
  • [SPARK-36967] [CORE] Informe del tamaño preciso del bloque de orden aleatorio si está sesgado
  • [SPARK-37864] [SQL] Compatibilidad con valores booleanos de lectura vectorizados que usan la codificación RLE con Parquet DataPage V2
  • [SPARK-37862] [SQL] RecordBinaryComparator debe omitir rápidamente la comprobación de alineación con la plataforma no alineada
  • [SPARK-37855] [SQL] Excepción IllegalStateException al transformar una matriz dentro de una estructura anidada
  • [SPARK-37858] [SQL] Inicio de SparkRuntimeException con clases de error desde funciones AES
  • [SPARK-37841] [SQL] BasicWriteTaskStatsTracker no debe intentar obtener el estado de un archivo omitido
  • [SPARK-37860] [UI] Corrección de taskindex en la escala de tiempo del evento de tarea de la página de fase
  • [SPARK-36879] [SQL] Compatibilidad con la codificación de páginas de datos de Parquet v2 (DELTA_BINARY_PACKED) para la ruta de acceso vectorizada
  • [SPARK-37828] [SQL] Delegación de filtros mediante RebalancePartitions
  • [SPARK-37802] [SQL][3.2] El nombre del campo compuesto debe funcionar con la delegación del agregado
  • [SPARK-37826] [SQL] Uso del nombre de códec zstd en los nombres de archivo ORC para hive orc impl
  • [SPARK-37820] [SQL] Reemplazo de ApacheCommonBase64 por JavaBase64 para funciones de cadena
  • [SPARK-37832] [SQL] El convertidor de estructuras ORC debe usar una matriz para buscar convertidores de campos en lugar de una lista vinculada
  • [SPARK-37786] [SQL] La compatibilidad con StreamingQueryListener usa SQLConf.get para obtener el objeto SQLConf de SessionState correspondiente
  • [SPARK-37527] [SQL] Traducción de más funciones de agregado estándar para la delegación
  • [SPARK-37777] [SQL] Actualización de la sintaxis SQL de SHOW FUNCTIONS
  • [SPARK-8582] [CORE] Punto de control diligente cuando se le pide que lo haga de forma real
  • [SPARK-37822] [SQL] StringSplit debe devolver una matriz en elementos que no son NULL
  • [SPARK-37812] [SQL] Al deserializar una estructura ORC, se reutiliza la fila de resultado cuando es posible
  • [SPARK-37367] [SQL] Nueva habilitación de pruebas de excepción en la vista de DDLParserSuite.create: básica
  • [SPARK-37796] [SQL] ByteArrayMethods arrayEquals debe omitir rápidamente la comprobación de alineación con la plataforma no alineada
  • [SPARK-37817] [SQL][Secundaria] Eliminación del código inaccesible en complexTypeExtractors.scala
  • [SPARK-37807] [SQL] Corrección de errores tipográficos en mensajes de HttpAuthenticationException
  • [SPARK-37750] [SQL] Modo ANSI: opcionalmente, se devuelve un resultado NULL si el elemento no existe en la matriz o el mapa.
  • [SPARK-37789] [SQL] Adición de una clase para representar funciones de agregado generales en DS V2
  • [SPARK-37785] [SQL][CORE] Adición de Utils.isInRunningSparkTask
  • [SPARK-37780] [SQL] Uso de la compatibilidad con QueryExecutionListener SQLConf.get para obtener el elemento SQLConf de SessionState correspondiente
  • [SPARK-37783] [SS][SQL][CORE] Habilitación de tail-recursion siempre que sea posible
  • [SPARK-37726] [SQL] Adición de métricas de tamaño de volcado para sort merge join
  • [SPARK-37800] [SQL] TreeNode.argString aplica un formato incorrecto a argumentos de tipo Set[_]
  • [SPARK-37716] [SQL] Mejora de los mensajes de error cuando LateralJoin tiene expresiones no deterministas
  • [SPARK-37779] [SQL] Convertir el plan de ColumnarToRowExec en canonizable después de la (de)serialización
  • [SPARK-37578] [SQL] Actualización de métricas de tareas a partir de métricas personalizadas de ds v2
  • [SPARK-37676] [SQL] Compatibilidad con la función de agregación ANSI: percentile_cont
  • [SPARK-37724] [SQL] Modo ANSI: deshabilitación de palabras clave reservadas ANSI de forma predeterminada
  • [SPARK-37705] [SQL][3.2] Fusión mediante cambio de base de marcas de tiempo en la zona horaria de sesión guardada en los metadatos de Parquet/Avro
  • [SPARK-34755] [SQL] Compatibilidad con las utilidades para transformar el formato de número
  • [SPARK-36703] [SQL] Eliminación de la ordenación si es el elemento secundario de RepartitionByExpression
  • [SPARK-37369] [SQL] Evitar la transición redundante de ColumnarToRow en InMemoryTableScan
  • [SPARK-37450] [SQL] Eliminación de campos innecesarios de Generate
  • [SPARK-37728] [SQL] La lectura de columnas anidadas con el lector vectorizado de ORC puede provocar la excepción ArrayIndexOutOfBoundsException
  • [SPARK-37564] [SQL] Adición de code-gen para sort aggregate sin agrupar las claves
  • [SPARK-37659] [UI][3.2] Corrección de la condición de carrera de FsHistoryProvider entre la información de enumeración y eliminación de registros
  • [SPARK-37727] [SQL] Mostrar las configuraciones omitidas y las advertencias ocultas para la configuración ya establecida en SparkSession.builder.getOrCreate
  • [SPARK-37391] [SQL]JdbcConnectionProvider indica si se modifica el contexto de seguridad
  • [SPARK-37273] [SQL] Compatibilidad con columnas de metadatos de archivo ocultos en Spark SQL
  • [SPARK-36876] [SQL] Compatibilidad con la eliminación de particiones dinámicas para HiveTableScanExec
  • [SPARK-37546] [SQL] El comando V2 ReplaceTableAsSelect debe calificar la ubicación
  • [SPARK-37545] [SQL] El comando V2 CreateTableAsSelect debe calificar la ubicación
  • [SPARK-37707] [SQL] Permitir la asignación de almacén y la conversión implícita entre tipos datetime
  • [SPARK-37644] [SQL] Compatibilidad con la delegación de agregado completa del origen de datos v2
  • [SPARK-37695] [CORE][SHUFFLE] Omisión de diagnóstico de bloques ob combinados del orden aleatorio basado en inserción
  • [SPARK-35295] [ML] Reemplazo completo de com.github.fommil.netlib por dev.mente.netlib:2.0
  • [SPARK-37694] [SQL] No permitir la eliminación de recursos en la CLI de Spark SQL
  • [SPARK-37330] [SQL] Migración de ReplaceTableStatement al comando v2
  • [SPARK-27974] [SQL] Compatibilidad con la función de agregado ANSI: array_agg
  • [SPARK-36902] [SQL] Migración de CreateTableAsSelectStatement al comando v2
  • [SPARK-37678] [PYTHON] Corrección de la firma _cleanup_and_return
  • [SPARK-37613] [SQL] Compatibilidad con la función de agregado ANSI: regr_count
  • [SPARK-37689] [SQL] Se debe admitir la expansión en PropagateEmptyRelation
  • [SPARK-37654] [SQL] Corrección de NPE en Row.getSeq cuando el campo es Null
  • [SPARK-37496] [SQL] Migración de ReplaceTableAsSelectStatement al comando v2
  • [SPARK-37483] [SQL] Compatibilidad con la delegación de sentencias Top-N en el origen de datos JDBC V2
  • [SPARK-37577] [SQL] Corrección de ClassCastException: ArrayType no se puede convertir en StructType para generar la eliminación
  • [SPARK-37310] [SQL] Migración de ALTER NAMESPACE … SET PROPERTIES para usar el comando V2 de forma predeterminada
  • [SPARK-37501] [SQL] CREATE/REPLACE TABLE debe calificar la ubicación para el comando v2
  • [SPARK-37343] [SQL] Implementación de createIndex, IndexExists y dropIndex en JDBC (dialecto de Postgres)
  • [SPARK-37060] [CORE][3.2] Control de la respuesta de estado del controlador de los maestros de copia de seguridad
  • [SPARK-37629] [SQL] Aceleración de Expression.canonicalized
  • [SPARK-37633] [SQL] La conversión de desencapsulado debe omitirse si se ha generado un error en la conversión hacia abajo con un...
  • [SPARK-37631] [SQL] Limpieza del código al promover cadenas a tipo doble en funciones matemáticas
  • [SPARK-37569] [SQL] No marcar los campos de vista anidada como que aceptan valores NULL
  • [SPARK-37557] [SQL] Reemplazo del valor hash de objeto por el agregado de ordenación si el elemento secundario ya está ordenado
  • [SPARK-36850] [SQL] Migración de CreateTableStatement a la plataforma de comandos v2
  • [SPARK-37592] [SQL] Mejora del rendimiento deJoinSelection
  • [SPARK-37217] [SQL] El número de particiones dinámicas debe realizar una comprobación temprana al escribir en tablas externas
  • [SPARK-37584] [SQL] Nueva función SQL: map_contains_key
  • [SPARK-37455] [SQL] Reemplazo del valor hash por el agregado de ordenación si el elemento secundario ya está ordenado
  • [SPARK-34735] [SQL][UI] Adición de configuraciones modificadas para la ejecución de SQL en la interfaz de usuario
  • [SPARK-37540] [SQL] Detección de más viajes en el tiempo no admitidos
  • [SPARK-37376] [SQL] Introducción de un nuevo elemento HasPartitionKey de la interfaz de DataSource V2
  • [SPARK-37666] [SQL] Establecimiento de GCMaes_encrypt() como modo predeterminado en /aes_decrypt()
  • [SPARK-37573] [SQL] IsolatedClientLoader debe retroceder a la versión relacionada, no siempre Hadoop-2.7.4
  • [SPARK-37561] [SQL] Evitar cargar todas las funciones al obtener el token de delegación de Hive
  • [SPARK-37370] [SQL] Adición de configuraciones de SQL para controlar code-gen de combinación recién agregado en 3.3
  • [SPARK-37311] [SQL] Migración de ALTER NAMESPACE … SET LOCATION para usar el comando V2 de forma predeterminada
  • [SPARK-37192] [SQL] Migración de SHOW TBLPROPERTIES para usar el comando V2 de forma predeterminada
  • [SPARK-37219] [SQL] Adición de compatibilidad con la sintaxis AS OF
  • [SPARK-37316] [SQL] Adición de code-gen para existence sort merge join
  • [SPARK-37591] [SQL] Compatibilidad con el modo GCM mediante aes_encrypt()/aes_decrypt()
  • [SPARK-37586] [SQL] Adición de los argumentos modepadding y aes_encrypt() a /aes_decrypt()
  • [SPARK-12567] [SQL] Adición de las funciones integradas aes_encrypt y aes_decrypt
  • [SPARK-37392] [SQL] Corrección del error de rendimiento al inferir restricciones para Generate
  • [SPARK-37481] [Core][WebUI] Corrección de la desaparición de fases omitida después de reintentar
  • [SPARK-37533] [SQL] Nueva función SQL: try_element_at
  • [SPARK-37451] [SQL] Corrección del tipo de cadena de conversión al tipo decimal si spark.sql.legacy.allowNegativeScaleOfDecimal está habilitado
  • [SPARK-37062] [SS] Introducción de un nuevo origen de datos para proporcionar un conjunto coherente de filas por microlote
  • [SPARK-37552] [SQL] Adición de la función convert_timezone()
  • [SPARK-37555] [SQL] spark-sql debe pasar el último comentario sin cerrar al back-end
  • [SPARK-37286] [SQL] Migración de compileAggregates de JDBCRDD a JdbcDialect
  • [SPARK-37485] [CORE][SQL] Reemplazo de map por expresiones que no producen resultados con foreach
  • [SPARK-37556] [SQL] Error de la clase Desert Void con la serialización de Java
  • [SPARK-37520] [SQL] Adición de las funciones de cadena startswith() y endswith()
  • [SPARK-37471] [SQL] Compatibilidad con spark-sql ; en el comentario entre corchetes anidado
  • [SPARK-37360] [SQL] Compatibilidad con TimestampNTZ en el origen de datos JSON
  • [SPARK-37508] [SQL] Adición de la función de cadena CONTAINS()
  • [SPARK-37494] [SQL] Unificación de la salida del comando SHOW CREATE TABLE de las opciones v1 y v2
  • [SPARK-37524] [SQL] Se deben quitar todas las tablas después de probar la eliminación de particiones dinámicas
  • [SPARK-37389] [SQL] Comprobación de comentarios entre corchetes
  • [SPARK-37220] [SQL] No dividir el archivo de entrada para el lector de Parquet con delegación de agregado
  • [SPARK-37326] [SQL] Compatibilidad con TimestampNTZ en el origen de datos CSV
  • [SPARK-35867] [SQL] Habilitación de la lectura vectorizada para VectorizedPlainValuesReader.readBooleans
  • [SPARK-37484] [CORE][SQL] Reemplazo de get y getOrElse por getOrElse
  • [SPARK-37492] [SQL] Optimización del código de prueba de ORC con withAllNativeOrcReaders
  • [SPARK-37458] [SS] Eliminación del elemento SerializeFromObject innecesario del plan de foreachBatch

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 10.3.

Entorno del sistema

  • Sistema operativo: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0,3
facets-overview 1.0.0 filelock 3.4.2 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
empaquetado 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 Python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
Solicitudes 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six (seis) 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN el 19-01-2022.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.3 broom 0.7.11
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
clase 7.3-20 cli 3.1.0 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.4.2 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 conjuntos de datos 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.14 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.23.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.1
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 elementos gráficos 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
knitr 1.37 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 ciclo de vida 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-55 Matriz 1.4-0
memoise 2.0.1 methods 4.1.2 mgcv 1.8-38
mime 0,12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 parallel 4.1.2
parallelly 1.30.0 pillar 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
progreso 1.2.2 progressr 0.10.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
readr 2.1.1 readxl 1.3.1 recipes 0.1.17
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2,11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0,13 rversions 2.1.1
rvest 1.0.2 sass 0.4.0 scales 1.1.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 spatial 7.3-11 splines 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.1.2
stats4 4.1.2 stringi 1.7.6 stringr 1.4.0
survival 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2,10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
timeDate 3043.102 tinytex 0,36 tools 4.1.2
tzdb 0.2.0 usethis 2.1.5 utf8 1.2.2
utils 4.1.2 uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 vroom 1.5.7 waldo 0.3.1
whisker 0,4 withr 2.4.3 xfun 0,29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 zip 2.2.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1