Compartir a través de

Databricks Runtime 4.0 (EoS)

  • Artículo

Nota:

El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.

Databricks publicó esta versión en marzo de 2018.

Importante

Esta versión quedó en desuso el 1 de noviembre de 2018. Para más información sobre la directiva y el programa de desuso de Databricks Runtime, consulte Ciclos de vida del soporte técnico de Databricks Runtime.

En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 4.0, con tecnología de Apache Spark.

Cambios y mejoras

  • El origen de datos JSON ahora intenta detectar automáticamente la codificación en lugar de suponer que es UTF-8. En los casos en los que se produce un error en la detección automática, los usuarios pueden especificar la opción de juego de caracteres para aplicar una codificación determinada. Consulte Detección automática del juego de caracteres.
  • La puntuación y la predicción mediante canalizaciones de Spark MLlib en el streaming estructurado son totalmente compatibles.
  • La exportación de modelos de Machine Learning de Databricks es totalmente compatible. Con esta característica, puede entrenar un modelo de Spark MLlib en Databricks, exportarlo con una llamada de función y usar una biblioteca de Databricks en el sistema que prefiera para importar el modelo y puntuar nuevos datos.
  • Una nueva implementación del origen de datos de Spark ofrece acceso de lectura y escritura escalable a Azure Synapse Analytics. Consulte Azure Synapse Analytics.
  • El esquema de la función from_json ahora siempre se convierte en uno que acepte valores NULL. En otras palabras, todos los campos, incluidos los anidados, aceptan valores NULL. Esto garantiza que los datos sean compatibles con el esquema, lo que evita daños después de escribir los datos en Parquet cuando falta un campo en los datos y el esquema proporcionado por el usuario declara el campo como que no acepta valores NULL.
  • Se han actualizado algunas bibliotecas de Python instaladas:
    • futures: de 3.1.1 a 3.2.0
    • pandas: de 0.18.1 a 0.19.2
    • pyarrow: de 0.4.1 a 0.8.0
    • setuptools: de 38.2.3 a 38.5.1
    • tornado: de 4.5.2 a 4.5.3
  • Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.
  • Se ha actualizado el SDK de AWS para Java de la versión 1.11.126 a la 1.11.253.
  • Se ha actualizado el controlador JDBC de SQL Server de 6.1.0.jre8 a 6.2.2.jre8.
  • Se ha actualizado el controlador JDBC de PostgreSQL de 9.4-1204-jdbc41 a 42.1.4.

Spark de Apache

Databricks Runtime 4.0 incluye Apache Spark 2.3.0.

Core, PySpark y Spark SQL

Características principales

  • Lector ORC vectorizado: [SPARK-16060]: agrega compatibilidad con el nuevo lector ORC, que mejora considerablemente el rendimiento del examen de ORC mediante vectorización (2-5x). Para habilitar el lector, los usuarios pueden establecer spark.sql.orc.impl en native.
  • Servidor de historial de Spark V2: [SPARK-18085]: un nuevo back-end del servidor de historial de Spark (SHS) que proporciona una mejor escalabilidad para aplicaciones a gran escala con un mecanismo de almacenamiento de eventos más eficaz.
  • API de origen de datos V2: [SPARK-15689][SPARK-22386]: una API experimental para conectar nuevos orígenes de datos en Spark. La nueva API intenta abordar varias limitaciones de la API V1 y pretende facilitar el desarrollo de orígenes de datos externos de alto rendimiento, fáciles de mantener y extensibles. Esta API sigue experimentando un desarrollo activo y se deben esperar cambios importantes.
  • Mejoras de rendimiento de PySpark: [SPARK-22216][SPARK-21187]: mejoras significativas en el rendimiento y la interoperabilidad de Python mediante la serialización rápida de datos y la ejecución vectorizada.

Rendimiento y estabilidad

Otros cambios importantes

Structured Streaming

Procesamiento continuo

  • Un nuevo motor de ejecución que puede ejecutar consultas de streaming con una latencia completa por debajo de milisegundos cambiando solo una sola línea de código de usuario. Para más información, consulte la guía de programación.

Combinaciones de streaming con streaming

  • Capacidad de combinar dos flujos de datos, almacenando en búfer las filas hasta que lleguen las tuplas coincidentes del otro flujo. Se pueden usar predicados en columnas de tiempo de eventos para enlazar la cantidad de estado que se debe conservar.

API de streaming V2

  • Una API experimental para conectar nuevos orígenes y receptores que funciona para lotes, microlotes y la ejecución continua. Esta API sigue experimentando un desarrollo activo y se deben esperar cambios importantes.

MLlib

Aspectos destacados

  • La predicción de ML ahora funciona con streaming estructurado, mediante las API actualizadas. A continuación, se indican los detalles.

API nuevas y mejoradas

  • [SPARK-21866]: compatibilidad integrada para leer imágenes en un dataframe (Scala, Java y Python).
  • [SPARK-19634]: funciones de DataFrame para estadísticas de resumen descriptivas sobre columnas vectoriales (Scala y Java).
  • [SPARK-14516]: ClusteringEvaluator para optimizar los algoritmos de agrupación en clústeres y admitir las métricas de silueta de coseno y de silueta euclídea cuadrada (Scala, Java y Python).
  • [SPARK-3181]: regresión lineal sólida con pérdida de Huber (Scala, Java y Python).
  • [SPARK-13969]: transformador FeatureHasher (Scala, Java y Python).
  • Compatibilidad con varias columnas para varios transformadores de características:
  • [SPARK-21633] y [SPARK-21542]: compatibilidad mejorada con componentes de canalización personalizados en Python.

Nuevas características:

  • [SPARK-21087]: CrossValidator y TrainValidationSplit pueden recopilar todos los modelos al ajustar (Scala y Java). Esto le permite inspeccionar o guardar todos los modelos ajustados.
  • [SPARK-19357]: los metaalgoritmos CrossValidator, TrainValidationSplit y OneVsRest, admiten un parámetro de paralelismo para ajustar varios modelos secundarios en trabajos de Spark paralelos.
  • [SPARK-17139]: resumen del modelo para la regresión logística multinómica (Scala, Java y Python)
  • [SPARK-18710]: se ha agregado un desplazamiento en GLM.
  • [SPARK-20199]: se ha agregado el parámetro featureSubsetStrategy a GBTClassifier y GBTRegressor. El uso de esto para el muestreo secundario de características puede mejorar significativamente la velocidad de entrenamiento; esta opción ha sido una de las principales mejoras de xgboost.

Otros cambios importantes

  • [SPARK-22156]: se ha corregido el escalado de la velocidad de aprendizaje de Word2Vec con num iteraciones. La nueva velocidad de aprendizaje se establece para que coincida con el código C original de Word2Vec y debe proporcionar mejores resultados del entrenamiento.
  • [SPARK-22289]: se ha agregado compatibilidad con JSON para los parámetros de matriz (esto ha corregido un error de persistencia de ML con LogisticRegressionModel al usar límites en los coeficientes).
  • [SPARK-22700]: Bucketizer.transform quita incorrectamente una fila que contenga NaN. Cuando el parámetro handleInvalid se ha establecido en "skip", Bucketizer quitaría una fila con un valor válido en la columna de entrada si otra columna (irrelevante) tuviera un valor NaN.
  • [SPARK-22446]: el optimizador de Catalyst a veces provocaba que StringIndexerModel produjese una excepción "Etiqueta no vista" incorrecta cuando handleInvalid se ha establecido en "error". Esto podría ocurrir para los datos filtrados, debido a la delegación de predicados, lo que provoca errores incluso después de que las filas no válidas ya se hubieran filtrado del conjunto de datos de entrada.
  • [SPARK-21681]: se ha corregido un error de caso perimetral en la regresión logística multinómica que provocaba coeficientes incorrectos cuando algunas características tenían varianza cero.
  • Optimizaciones principales:
    • [SPARK-22707]: se ha reducido el consumo de memoria para CrossValidator.
    • [SPARK-22949]: se ha reducido el consumo de memoria para TrainValidationSplit.
    • [SPARK-21690]: Imputer debe entrenar con un solo paso sobre los datos.
    • [SPARK-14371]: OnlineLDAOptimizer evita recopilar estadísticas en el controlador para cada minilote.

SparkR

El enfoque principal de SparkR en la versión 2.3.0 era mejorar la estabilidad de las UDF y agregar varios nuevos contenedores de SparkR en torno a las API existentes:

Características principales

GraphX

Optimizaciones

  • [SPARK-5484]: Pregel ahora realiza puntos de control periódicamente para evitar errores StackOverflowErrors.
  • [SPARK-21491]: pequeñas mejoras del rendimiento en varios lugares.

En desuso

Python

  • [SPARK-23122]: entrada en desuso de register* para las UDF en SQLContext y Catalog en PySpark

MLlib

  • [SPARK-13030]: OneHotEncoder ha entrado en desuso y se quitará en la versión 3.0. Ha sido sustituido por el nuevo OneHotEncoderEstimator. OneHotEncoderEstimator cambiará el nombre a OneHotEncoder en la versión 3.0 (pero se mantendrá OneHotEncoderEstimator como un alias).

Cambios de comportamiento

SparkSQL

  • [SPARK-22036]: de manera predeterminada, las operaciones aritméticas entre decimales devuelven un valor redondeado si no es posible una representación exacta (en lugar de devolver NULL como en las versiones anteriores).
  • [SPARK-22937]: cuando todas las entradas son binarias, la función elt() de SQL devuelve una salida como binaria. De lo contrario, devuelve una cadena. En versiones anteriores, siempre se devolvía una cadena, independientemente de los tipos de entrada.
  • [SPARK-22895]: los predicados deterministas de join y filter que están después de los primeros predicados no deterministas también se delegan mediante los operadores secundarios, si es posible. En las versiones anteriores, estos filtros no eran aptos para la delegación de predicados.
  • [SPARK-22771]: cuando todas las entradas son binarias, functions.concat() devuelve una salida como binaria. De lo contrario, devuelve una cadena. En las versiones anteriores, siempre se devolvía una cadena, independientemente de los tipos de entrada.
  • [SPARK-22489]: cuando cualquiera de los lados de una combinación se puede difundir, preferimos difundir la tabla que se especifica explícitamente en una sugerencia de difusión.
  • [SPARK-22165]: la inferencia de la columna de partición antes encontraba un tipo común incorrecto para distintos tipos inferidos. Por ejemplo, anteriormente terminaba con el tipo double como tipo común para el tipo double y el tipo date. Ahora encuentra el tipo común correcto para estos conflictos. Para más información, consulte la guía de migración.
  • [SPARK-22100]: la función percentile_approx antes aceptaba una entrada de tipo numeric y generaba resultados de tipo double. Ahora admite el tipo date, el tipo timestamp y los tipos numeric como tipos de entrada. También se ha cambiado el tipo del resultado para que sea el mismo que el tipo de entrada, que es más razonable para los percentiles.
  • [SPARK-21610]: las consultas de archivos JSON o CSV sin formato no están permitidas cuando las columnas a las que se hace referencia incluyen solo la columna interna de registros incorrectos (llamada _corrupt_record de manera predeterminada). En su lugar, puede almacenar en caché o guardar los resultados analizados y, a continuación, enviar la misma consulta.
  • [SPARK-23421]: desde Spark 2.2.1 y 2.3.0, el esquema siempre se infiere en tiempo de ejecución cuando las tablas del origen de datos tienen las columnas que existen tanto en el esquema de particiones como en el esquema de datos. El esquema inferido no tiene las columnas con particiones. Al leer la tabla, Spark respeta los valores de partición de estas columnas superpuestas en lugar de los valores almacenados en los archivos del origen de datos. En las versiones 2.2.0 y 2.1.x, el esquema inferido tiene particiones, pero los datos de la tabla son invisibles para los usuarios (es decir, el conjunto de resultados está vacío).

PySpark

  • [SPARK-19732]: na.fill() o fillna también acepta valores booleanos y reemplaza los valores NULL por valores booleanos. En versiones anteriores de Spark, PySpark simplemente lo omite y devuelve el conjunto de datos o el dataframe original.
  • [SPARK-22395]: se requiere pandas 0.19.2 o superior para usar las funcionalidades relacionadas con pandas, como toPandas, createDataFrame a partir de un DataFrame de Pandas, etc.
  • [SPARK-22395]: se ha cambiado el comportamiento de los valores de marca de tiempo para las funcionalidades relacionadas con pandas para respetar la zona horaria de la sesión, que se omitía en las versiones anteriores.
  • [SPARK-23328]: df.replace no permite omitir value cuando to_replace no es un diccionario. Anteriormente, se podía omitir value en los otros casos y tenía None de manera predeterminada, lo que no es intuitivo y es propenso a errores.

MLlib

  • Cambios importantes en la API: se ha cambiado la jerarquía de clases y rasgos para los resúmenes del modelo de regresión logística para que sea más limpia y adaptarse mejor a la adición del resumen de varias clases. Se trata de un cambio importante para el código de usuario que convierte un elemento LogisticRegressionTrainingSummary en un elemento BinaryLogisticRegressionTrainingSummary. En su lugar, los usuarios deben usar el método model.binarySummary. Consulte [SPARK-17139] para más detalles (tenga en cuenta que se trata de una API @Experimental). Esto no afecta al método de resumen de Python, que seguirá funcionando correctamente para los casos multinómicos y binarios.
  • [SPARK-21806]: BinaryClassificationMetrics.pr(): el primer punto (0,0, 1,0) es engañoso y se ha reemplazado por (0,0, p), donde la precisión p coincide con el punto de coincidencia más bajo.
  • [SPARK-16957]: los árboles de decisión ahora usan puntos medios ponderados al elegir valores divididos. Esto puede cambiar los resultados del entrenamiento del modelo.
  • [SPARK-14657]: RFormula sin una interceptación ahora genera la categoría de referencia al codificar términos de cadena, con el fin de coincidir con el comportamiento nativo de R. Esto puede cambiar los resultados del entrenamiento del modelo.
  • [SPARK-21027]: el paralelismo predeterminado que se usa en OneVsRest ahora está establecido en 1 (es decir, serie). En la versión 2.2 y versiones anteriores, el nivel de paralelismo se establecía en el tamaño predeterminado del grupo de subprocesos en Scala. Esto puede cambiar el rendimiento.
  • [SPARK-21523]: se ha actualizado Breeze a la versión 0.13.2. Esto incluía una corrección de errores importante en la búsqueda de línea segura de Wolfe para L-BFGS.
  • [SPARK-15526]: la dependencia JPMML ahora está sombreada.
  • Consulte también la sección "Correcciones de errores" para ver los cambios de comportamiento resultantes de corregir los errores.

Problemas conocidos

  • [SPARK-23523][SQL]: resultado incorrecto causado por la regla OptimizeMetadataOnlyQuery.
  • [SPARK-23406]: errores en las autocombinaciones secuencia-secuencia.

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 4.0.

Entorno del sistema

  • Sistema operativo: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_151
  • Scala: 2.11.8
  • Python: 2.7.12 (o 3.5.2 si se usa Python 3)
  • R: R, versión 3.4.3 (2017-11-30)
  • Clústeres de GPU: están instaladas las siguientes bibliotecas de GPU de NVIDIA:
    • Controlador Tesla 375.66
    • CUDA 8.0
    • CUDNN 6.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
criptografía 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futuros 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 9.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
Python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
Solicitudes 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0,32 seaborn 0.7.1
setuptools 38.5.1 simplejson 3.8.2 simples3 1,0
singledispatch 3.4.0.3 six (seis) 1.10.0 statsmodels 0.6.1
tornado 4.5.3 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.30.0
wsgiref 0.1.2

Bibliotecas de R instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
abind 1.4-5 assertthat 0.2.0 backports 1.1.1
base 3.4.3 BH 1.65.0-1 bindr 0,1
bindrcpp 0,2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.0 boot 1.3-20
brew 1.0-6 broom 0.4.3 automóvil 2.1-6
caret 6.0-77 chron 2.3-51 clase 7.3-14
cluster 2.0.6 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.3 crayon 1.3.4
curl 3.0 CVST 0.2-1 data.table 1.10.4-3
conjuntos de datos 3.4.3 DBI 0.7 ddalpha 1.3.1
DEoptimR 1,0 - 8 desc 1.1.1 devtools 1.13.4
dichromat 2.0-0 digest 0.6.12 dimRed 0.1.0
doMC 1.3.4 dplyr 0.7.4 DRR 0.0.2
foreach 1.4.3 foreign 0.8-69 gbm 2.1.3
ggplot2 2.2.1 git2r 0.19.0 glmnet 2.0-13
glue 1.2.0 gower 0.1.2 elementos gráficos 3.4.3
grDevices 3.4.3 grid 3.4.3 gsubfn 0.6-6
gtable 0.2.0 h2o 3.16.0.1 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.8 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0,3 lattice 0.20-35
lava 1.5.1 lazyeval 0.2.1 littler 0.3.2
lme4 1.1-14 lubridate 1.7.1 magrittr 1.5
mapproj 1.2-5 maps 3.2.0 MASS 7.3-48
Matriz 1.2-11 MatrixModels 0.4-1 memoise 1.1.0
methods 3.4.3 mgcv 1.8-23 mime 0.5
minqa 1.2.4 mnormt 1.5-5 ModelMetrics 1.1.0
munsell 0.4.3 mvtnorm 1.0-6 nlme 3.1-131
nloptr 1.0.4 nnet 7.3-12 numDeriv 2016.8-1
openssl 0.9.9 parallel 3.4.3 pbkrtest 0.4-7
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.1-1
plyr 1.8.4 praise 1.0.0 pROC 1.10.0
prodlim 1.6.1 proto 1.0.0 psych 1.7.8
purrr 0.2.4 quantreg 5.34 R.methodsS3 1.7.1
R.oo 1.21.0 R.utils 2.6.0 R6 2.2.2
randomForest 4.6-12 RColorBrewer 1.1-2 Rcpp 0.12.14
RcppEigen 0.3.3.3.1 RcppRoll 0.2.2 RCurl 1.95-4.8
recipes 0.1.1 reshape2 1.4.2 rlang 0.1.4
robustbase 0.92-8 RODBC 1.3-15 roxygen2 6.0.1
rpart 4.1-12 rprojroot 1.2 Rserve 1.7-3
RSQLite 2.0 rstudioapi 0.7 scales 0.5.0
sfsmisc 1.1-1 sp 1.2-5 SparkR 2.3.0
SparseM 1.77 spatial 7.3-11 splines 3.4.3
sqldf 0.4-11 statmod 1.4.30 stats 3.4.3
stats4 3.4.3 stringi 1.1.6 stringr 1.2.0
survival 2.41-3 tcltk 3.4.3 TeachingDemos 2,10
testthat 1.0.2 tibble 1.3.4 tidyr 0.7.2
tidyselect 0.2.3 timeDate 3042.101 tools 3.4.3
utils 3.4.3 viridisLite 0.2.0 whisker 0.3-2
withr 2.1.0 xml2 1.1.1

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.253
com.amazonaws aws-java-sdk-cloudformation 1.11.253
com.amazonaws aws-java-sdk-cloudfront 1.11.253
com.amazonaws aws-java-sdk-cloudhsm 1.11.253
com.amazonaws aws-java-sdk-cloudsearch 1.11.253
com.amazonaws aws-java-sdk-cloudtrail 1.11.253
com.amazonaws aws-java-sdk-cloudwatch 1.11.253
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.253
com.amazonaws aws-java-sdk-codedeploy 1.11.253
com.amazonaws aws-java-sdk-cognitoidentity 1.11.253
com.amazonaws aws-java-sdk-cognitosync 1.11.253
com.amazonaws aws-java-sdk-config 1.11.253
com.amazonaws aws-java-sdk-core 1.11.253
com.amazonaws aws-java-sdk-datapipeline 1.11.253
com.amazonaws aws-java-sdk-directconnect 1.11.253
com.amazonaws aws-java-sdk-directory 1.11.253
com.amazonaws aws-java-sdk-dynamodb 1.11.253
com.amazonaws aws-java-sdk-ec2 1.11.253
com.amazonaws aws-java-sdk-ecs 1.11.253
com.amazonaws aws-java-sdk-efs 1.11.253
com.amazonaws aws-java-sdk-elasticache 1.11.253
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.253
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.253
com.amazonaws aws-java-sdk-elastictranscoder 1.11.253
com.amazonaws aws-java-sdk-emr 1.11.253
com.amazonaws aws-java-sdk-glacier 1.11.253
com.amazonaws aws-java-sdk-iam 1.11.253
com.amazonaws aws-java-sdk-importexport 1.11.253
com.amazonaws aws-java-sdk-kinesis 1.11.253
com.amazonaws aws-java-sdk-kms 1.11.253
com.amazonaws aws-java-sdk-lambda 1.11.253
com.amazonaws aws-java-sdk-logs 1.11.253
com.amazonaws aws-java-sdk-machinelearning 1.11.253
com.amazonaws aws-java-sdk-opsworks 1.11.253
com.amazonaws aws-java-sdk-rds 1.11.253
com.amazonaws aws-java-sdk-redshift 1.11.253
com.amazonaws aws-java-sdk-route53 1.11.253
com.amazonaws aws-java-sdk-s3 1.11.253
com.amazonaws aws-java-sdk-ses 1.11.253
com.amazonaws aws-java-sdk-simpledb 1.11.253
com.amazonaws aws-java-sdk-simpleworkflow 1.11.253
com.amazonaws aws-java-sdk-sns 1.11.253
com.amazonaws aws-java-sdk-sqs 1.11.253
com.amazonaws aws-java-sdk-ssm 1.11.253
com.amazonaws aws-java-sdk-storagegateway 1.11.253
com.amazonaws aws-java-sdk-sts 1.11.253
com.amazonaws aws-java-sdk-support 1.11.253
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.253
com.amazonaws jmespath-java 1.11.253
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics flujo 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.3.0-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.3.0-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.0.11
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx recopilador 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4,7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-encoding 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4.
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1,0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52