Compartir a través de

Databricks Runtime 4.1 (EoS)

  • Artículo

Nota:

El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.

Databricks publicó esta versión en mayo de 2018.

Importante

Esta versión quedó en desuso el 17 de enero de 2019. Para más información sobre la directiva y el programa de desuso de Databricks Runtime, consulte Ciclos de vida del soporte técnico de Databricks Runtime.

En las siguientes notas de la versión se proporciona información sobre Databricks Runtime 4.1, con tecnología de Apache Spark.

Delta Lake

Databricks Runtime, versión 4.1, agrega importantes mejoras de calidad y funcionalidad a Delta Lake. Databricks recomienda encarecidamente que todos los clientes de Delta Lake actualicen al nuevo entorno de ejecución. Esta versión permanece en versión preliminar privada, pero representa una versión candidata en previsión de la próxima versión de disponibilidad general (GA).

Delta Lake ahora también está disponible en versión preliminar privada para usuarios de Azure Databricks. Póngase en contacto con el administrador de cuentas o regístrese en https://databricks.com/product/databricks-delta.

Últimos cambios

  • Databricks Runtime 4.1 incluye cambios en el protocolo de transacción para habilitar nuevas características, como la validación. Las tablas creadas Databricks Runtime 4.1 usan automáticamente la nueva versión y no se pueden escribir en las versiones anteriores de Databricks Runtime. Debe actualizar las tablas existentes para aprovechar estas mejoras. Para actualizar una tabla existente, primero actualice todos los trabajos que escriben en la tabla. A continuación, ejecute:

    com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")

    Consulte ¿Cómo administra Azure Databricks la compatibilidad de características de Delta Lake? para obtener más información.

  • Las escrituras ahora se validan con el esquema actual de la tabla en lugar de agregar automáticamente las columnas que faltan en la tabla de destino, como se hacía antes. Para habilitar el comportamiento anterior, establezca la opción mergeSchema en true.

  • Si ejecuta versiones anteriores de Databricks Delta, tiene que actualizar todos los trabajos antes de usar Databricks Runtime 4.1. Si ve cualquiera de estos errores, actualice a Databricks Runtime 4.1:

    java.lang.NumberFormatException: For input string: "00000000000000....crc"
scala.MatchError

  • Las tablas ya no pueden tener columnas que solo difieren por mayúsculas y minúsculas.

  • Las configuraciones de tabla específicas de Delta ahora deben tener el prefijo delta.

Nuevas características

  • Administración de esquemas: Databricks Delta ahora valida los anexos y sobrescrituras en una tabla existente para asegurarse de que el esquema que se escribe coincida con el esquema.

    • Databricks Delta sigue siendo compatible con la evolución automática de esquemas.
    • Databricks Delta ahora admite el DDL siguiente para modificar el esquema explícitamente:
      • ALTER TABLE ADD COLUMN para agregar columnas a una tabla
      • ALTER TABLE CHANGE COLUMNS para cambiar el orden de columnas
      • ALTER TABLE [SET|UNSET] TBLPROPERTIES

    Para obtener más información, consulte Aplicación de esquemas.

  • Compatibilidad mejorada con DDL y tablas

    • Compatibilidad total con DDL de tablas y saveAsTable(). save() y saveAsTable() ahora tienen semántica idéntica.
    • Todos los comandos DE DDL y DML admiten tanto el nombre de tabla como delta.`<path-to-table>`.
    • SHOW PARTITIONS
    • SHOW COLUMNS
    • DESC TABLE
    • Información detallada de la tabla: Puede ver las versiones actuales del lector y del escritor de una tabla mediante la ejecución de DESCRIBE DETAIL. Consulte ¿Cómo administra Azure Databricks la compatibilidad de características de Delta Lake?.
    • Detalles de la tabla: La información de origen ahora está disponible para cada escritura en una tabla. La barra lateral Datos también muestra información detallada de la tabla y el historial de las tablas de Databricks Delta. Consulte Revisión de los detalles de la tabla de Delta Lake con los detalles descritos.
    • Tablas de streaming: Los dataframes de streaming se pueden crear mediante spark.readStream.format("delta").table("<table-name>").
    • Tablas de solo anexar: Databricks Delta ahora admite la gobernanza de datos básica. Para bloquear las eliminaciones y modificaciones de una tabla, establezca la propiedad tabledelta.appendOnly=true.
    • MERGE INTO origen: Agrega compatibilidad más completa a la especificación de consulta de origen de MERGE. Por ejemplo, puede especificar LIMIT, ORDER BY y INLINE TABLE en el origen.
    • Compatibilidad total con ACL de tablas.

Mejoras en el rendimiento

  • Reducción de la sobrecarga de recopilación de estadísticas: Se ha mejorado la eficacia de la recopilación de estadísticas y ahora solo se recopilan estadísticas para un número configurable de columnas, establecido en 32 de manera predeterminada. El rendimiento de escritura de Databricks Delta se ha mejorado hasta dos veces debido a la reducción de la sobrecarga de recopilación de estadísticas. Para configurar el número de columnas, establezca la propiedad table delta.dataSkippingNumIndexedCols=<number-of-columns>.
  • Compatibilidad con la inserción de límites: Las estadísticas se usan para limitar el número de archivos examinados en busca de consultas que tienen LIMIT y predicados sobre columnas de partición. Esto se aplica a las consultas en cuadernos debido a limit=1000 implícito en vigencia para todos los comandos del cuaderno.
  • Descenso (pushdown) de filtros en el origen de streaming: Las consultas de streaming ahora usan la creación de particiones al iniciar una nueva secuencia para omitir datos irrelevantes.
  • Ahora el paralelismo mejorado con OPTIMIZE - OPTIMIZE se ejecuta como una sola tarea de Spark y usará todo el paralelismo disponible en el clúster (anteriormente se limitaba a 100 archivos compactados a la vez).
  • La omisión de datos en DML: UPDATE, DELETE y MERGE ahora usan estadísticas al buscar archivos que deben reescribirse.
  • Retención de puntos de control reducida: Los puntos de control ahora se conservan durante dos días (el historial todavía se conserva durante 30) para reducir los costos de almacenamiento del registro de transacciones.

Comportamiento de las API

  • El comportamiento de insertInto(<table-name>) en Databricks Delta es el mismo que el de otros orígenes de datos.
    • Si no se especifica ningún modo o si modees ErrorIfExists, Ignore o Append, anexa los datos de DataFrame a la tabla de Databricks Delta.
    • Si mode es Overwrite, elimina todos los datos de la tabla existente e inserta los datos de DataFrame en la tabla de Databricks Delta.
  • Si se almacena en caché, la tabla de destino de MERGE debe quitar de la caché manualmente.

Mejoras de la facilidad de uso

  • Validaciones de migración de cargas de trabajo: Los errores comunes que se cometen al migrar cargas de trabajo a Databricks Delta ahora inician una excepción en lugar de errores:
    • Usar format("parquet") para leer o escribir una tabla.
    • Leer o escribir directamente en una partición (es decir, /path/to/delta/part=1).
    • Vaciar subdirectorios de una tabla.
    • INSERT OVERWRITE DIRECTORY mediante Parquet en una tabla.
  • Configuración que no tiene en cuenta las mayúsculas y minúsculas: Las opciones de lector/escritor de DataFrame y de las propiedades de tabla ahora no distinguen entre mayúsculas y minúsculas (incluida la ruta de lectura y la ruta de escritura).
  • Nombres de columna: Los nombres de columna de las tablas ahora pueden incluir puntos.

Problemas conocidos

  • Las inserciones de instrucciones de inserción múltiple se encuentran en unidades de trabajo diferentes, en lugar de en la misma transacción.

Corrección de errores

  • Se ha corregido un bucle infinito al iniciar una nueva secuencia en una tabla de actualización rápida.

En desuso

Structured Streaming no controla la entrada que no es un anexo y produce una excepción si se producen modificaciones en la tabla que se usa como origen. Anteriormente se podía invalidar este comportamiento mediante la marca ignoreFileDeletion, pero ahora está en desuso. En su lugar, use ignoreDeletes o ignoreChanges. Consulte Tabla de Delta como origen.

Otros cambios y mejoras

  • El control de consultas está habilitado para todos los clústeres de uso general creados mediante la interfaz de usuario.
  • Se ha mejorado el rendimiento del lado del controlador para la caché de DBIO.
  • Se ha mejorado el rendimiento para la descodificación de Parquet a través de un nuevo descodificador nativo de Parquet.
  • Se ha mejorado el rendimiento para la eliminación común de subexpresiones.
  • Se ha mejorado el rendimiento de la omisión de datos para tablas grandes que se unen a tablas pequeñas (combinaciones de tablas de dimensiones de hechos).
  • display() ahora representa las columnas que contienen tipos de datos de imagen como HTML enriquecido.
  • Mejora de los procesos de registro, carga e implementación de modelos de MLflow
    • Se ha actualizado dbml-local a la versión más reciente 0.4.1.
    • Se ha corregido un error de los modelos exportados con el parámetro threshold especificado.
    • Se ha agregado compatibilidad para exportar OneVsRestModel, GBTClassificationModel.
  • Se han actualizado algunas bibliotecas de Python instaladas:
    • pip: de 9.0.1 a 10.0.0b2
    • setuptools: de 38.5.1 a 39.0.1
    • tornado: de 4.5.3 a 5.0.1
    • wheel: de 0.30.0 a 0.31.0
  • Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.
  • Se ha actualizado el SDK de Azure Data Lake Storage de 2.0.11 a 2.2.8.
  • Se han actualizado CUDA a 9.0 de 8.0 y CUDNN a 7.0 de 6.0 para clústeres de GPU.

Spark de Apache

Databricks Runtime 4.1 incluye Apache Spark 2.3.0. Esta versión incluye todas las correcciones y mejoras que se han incorporado en Databricks Runtime 4.0 (EoS), junto con las siguientes correcciones de errores y mejoras adicionales de Spark:

  • [SPARK-24007][SQL] EqualNullSafe para FloatType y DoubleType podrían generar un resultado incorrecto por codegen.
  • [SPARK-23942][PYTHON][SQL] Hace que recopilar en PySpark como acción para un agente de escucha del ejecutor de consultas
  • [SPARK-23815][CORE] El modo de sobrescritura de particiones dinámicas del escritor de Spark puede no escribir la salida en la partición de varios niveles
  • [SPARK-23748][SS] La corrección del proceso continuo de SS no admite el problema SubqueryAlias
  • [SPARK-23963][SQL] Control correcto de un gran número de columnas en la consulta en una tabla de Hive basada en texto
  • [SPARK-23867][SCHEDULER] Uso de droppedCount en logWarning
  • [SPARK-23816][CORE] Las tareas terminadas deben omitir FetchFailures
  • [SPARK-23809][SQL] getOrCreate debe establecer la SparkSession activa
  • [SPARK-23966][SS] Refactorización de toda la lógica de escritura de archivos de punto de comprobación en una interfaz CheckpointFileManager común
  • [SPARK-21351][SQL] Actualización de la nulabilidad en función de la salida de los elementos secundarios
  • [SPARK-23847][PYTHON][SQL] Adición de asc_nulls_first, asc_nulls_last a PySpark
  • [SPARK-23822][SQL] Mejorar el mensaje de error para discrepancias de esquema de Parquet
  • [SPARK-23823][SQL] Mantener el origen en transformExpression.
  • [SPARK-23838][WEBUI] La consulta SQL en ejecución se muestra como "completada" en la pestaña SQL
  • [SPARK-23802][SQL] PropagateEmptyRelation puede dejar el plan de consulta en estado sin resolver
  • [SPARK-23727][SQL] Compatibilidad con el descenso de filtros para DateType en Parquet
  • [SPARK-23574][SQL] Informe SinglePartition en DataSourceV2ScanExec cuando hay exactamente una factoría de lector de datos
  • [SPARK-23533][SS] Adición de compatibilidad para cambiar startOffset de ContinuousDataReader
  • [SPARK-23491][SS] Eliminación de la cancelación explícita de trabajos de la reconfiguración de ContinuousExecution
  • [SPARK-23040][CORE] Devuelve el iterador interrumpible para el lector de orden aleatorio
  • [SPARK-23827][SS] StreamingJoinExec debe garantizar que los datos de entrada se dividan en un número específico de particiones
  • [SPARK-23639][SQL] Obtener el token antes que el cliente metastore de inicialización en la CLI de SparkSQL
  • [SPARK-23806]Broadcast.unpersist puede provocar una excepción grave cuando se usa…
  • [SPARK-23599][SQL] Usar RandomUUIDGenerator en la expresión de Uuid
  • [SPARK-23599][SQL] Agregar un generador de UUID de números pseudoaleatorios
  • [SPARK-23759][UI] No se puede enlazar la interfaz de usuario de Spark al nombre de host o IP específico
  • [SPARK-23769][CORE] Quitar los comentarios que deshabilitan innecesariamente la comprobación de Scalastyle
  • [SPARK-23614][SQL] Corregir el intercambio de reutilización incorrecto cuando se usa el almacenamiento en caché
  • [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs debe guardar o restaurar el estado CSE correctamente
  • [SPARK-23729][CORE] Respetar fragmento de URI al resolver globs
  • [SPARK-23550][CORE] Limpiar Utils
  • [SPARK-23288][SS] Corregir las métricas de salida con el receptor de Parquet
  • [SPARK-23264][SQL] Corregir scala.MatchError en literals.sql.out
  • [SPARK-23649][SQL] La omisión de caracteres no se permite en UTF-8
  • [SPARK-23691][PYTHON] Usar la utilidad sql_conf en pruebas de PySpark siempre que sea posible
  • [SPARK-23644][CORE][UI] Usar ruta de acceso absoluta para la llamada de REST en SHS
  • [SPARK-23706][PYTHON] spark.conf.get(value, default=None) debería producir None en PySpark
  • [SPARK-23623][SS] Evitar el uso simultáneo de consumidores en caché en CachedKafkaConsumer
  • [SPARK-23670][SQL] Corregir fuga de memoria en SparkPlanGraphWrapper
  • [SPARK-23608][CORE][WEBUI] Agregar sincronización en SHS entre las funciones attachSparkUI y detachSparkUI para evitar el problema de modificación simultánea a los controladores de Jetty
  • [SPARK-23671][CORE] Corregir condición para habilitar el grupo de subprocesos SHS
  • [SPARK-23658][LAUNCHER] InProcessAppHandle usa una clase incorrecta en getLogger
  • [SPARK-23642][DOCS] corrección de la subclase de AccumulatorV2 isZero scaladoc
  • [SPARK-22915][MLLIB] pruebas de streaming para spark.ml.feature, de la N a la Z
  • [SPARK-23598][SQL] Hacer que los métodos en BufferedRowIterator sean públicos para evitar errores en tiempo de ejecución para una consulta de gran tamaño
  • [SPARK-23546][SQL] Refactorización de métodos y valores sin estado en CodegenContext
  • [SPARK-23523][SQL] Corrección del resultado incorrecto causado por la regla OptimizeMetadataOnlyQuery
  • [SPARK-23462][SQL] Mejorar el mensaje de error de campo que falta en StructType
  • [SPARK-23624][SQL] Revisar documento del método pushFilters en Datasource V2
  • [SPARK-23173][SQL] Evitar la creación de archivos Parquet dañados al cargar datos de JSON
  • [SPARK-23436][SQL] Inferir la partición como fecha solo si se puede convertir a fecha
  • [SPARK-23406][SS] Habilitar autocombinaciones de secuencia a secuencia
  • [SPARK-23490][SQL] Comprobar storage.locationUri con la tabla existente en CreateTable
  • [SPARK-23524]No se debe comprobar la corrupción de los bloques grandes de orden aleatorio locales
  • [SPARK-23525][SQL] Compatibilidad de ALTER TABLE CHANGE COLUMN COMMENT para tabla externa de Hive
  • [SPARK-23434][SQL] Spark no debería advertir al directorio de metadatos de una ruta de acceso de archivo HDFS
  • [SPARK-23457][SQL] Registrar los agentes de escucha de finalización de tarea en primer lugar en ParquetFileFormat
  • [SPARK-23329][SQL] Corregir la documentación de funciones trigonométricas
  • [SPARK-23569][PYTHON] Permitir pandas_udf para trabajar con funciones de tipo anotado de estilo python3
  • [SPARK-23570][SQL] Agregar Spark 2.3.0 en HiveExternalCatalogVersionsSuite
  • [SPARK-23517][PYTHON] Hacer que _pyspark.util.exception_message genere el seguimiento desde Java por Py4JJavaError
  • [SPARK-23508][CORE] Corrección de BlockmanagerId en caso de que blockManagerIdCache cause oom
  • [SPARK-23448][SQL] Aclarar el comportamiento del analizador JSON y CSV en un documento
  • [SPARK-23365][CORE] No ajustar el número de ejecutores al terminar los ejecutores inactivos
  • [SPARK-23438][DSTREAMS] Corrección de la pérdida de datos de DStreams con WAL cuando el controlador se bloquea
  • [SPARK-23475][UI] Mostrar también las fases omitidas
  • [SPARK-23518][SQL] Evitar el acceso al metastore cuando los usuarios solo quieran leer y escribir tramas de datos
  • [SPARK-23406][SS] Habilitar autocombinaciones de secuencia a secuencia
  • [SPARK-23541][SS] Permitir que el origen de Kafka lea datos con mayor paralelismo que el número de particiones de artículo
  • [SPARK-23097][SQL][SS] Migración del origen del socket de texto a V2
  • [SPARK-23362][SS] Migración del origen de microlote de Kafka a v2
  • [SPARK-23445] Refactorización de ColumnStat
  • [SPARK-23092][SQL] Migración de MemoryStream a las API de DataSourceV2
  • [SPARK-23447][SQL] Limpiar la plantilla de codegen para Literal
  • [SPARK-23366] Mejora de la ruta de acceso de lectura en ReadAheadInputStream
  • [SPARK-22624][PYSPARK] Exponer el orden aleatorio de particiones de intervalo

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 4.1.

Entorno del sistema

  • Sistema operativo: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 para clústeres de Python 2 y 3.5.2 para clústeres de Python 3.
  • R: versión de R 3.4.4 (15-03-2018)
  • Clústeres de GPU: están instaladas las siguientes bibliotecas de GPU de NVIDIA:
    • Controlador Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
criptografía 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futuros 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.0b2 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
Python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
Solicitudes 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0,32 seaborn 0.7.1
setuptools 39.0.1 simplejson 3.8.2 simples3 1,0
singledispatch 3.4.0.3 six (seis) 1.10.0 statsmodels 0.6.1
tornado 5.0.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.0
wsgiref 0.1.2

Bibliotecas de R instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 automóvil 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 clase 7.3-14 cli 1.0.0
cluster 2.0.7 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
conjuntos de datos 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1,0 - 8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-69
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
elementos gráficos 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0,3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 maps 3.3.0 maptools 0.9-2
MASS 7.3-49 Matriz 1.2-13 MatrixModels 0.4-1
memoise 1.1.0 methods 3.4.4 mgcv 1.8-23
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.0 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.41-3 tcltk 3.4.4 TeachingDemos 2,10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics flujo 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx recopilador 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4,7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-encoding 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4.
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1,0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52