Compartilhar via

Databricks Runtime 4.3 (EoS)

  • Artigo

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões compatíveis do Databricks Runtime, consulte Versões e compatibilidade de notas sobre a versão do Databricks Runtime.

O Databricks lançou essa versão em agosto de 2018.

Importante

Esta versão foi preterida em 9 de abril de 2019. Para obter mais informações sobre a política de desativação e agendamento do Databricks Runtime, confira Ciclos de vida do suporte do Databricks.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 4.3 da plataforma Apache Spark.

Novos recursos

  • Delta Lake
    • comando TRUNCATE TABLE: Excluir todas as linhas de uma tabela. Ao contrário de sua contraparte para tabelas do Spark, as tabelas Delta não dão suporte à exclusão de partições específicas.
    • comando ALTER TABLE REPLACE COLUMNS: substituir colunas em uma tabela Delta. Ele dá suporte à alteração do comentário de uma coluna e à reordenação de várias colunas.
    • Comando FSCK REPAIR TABLE: Remove as entradas de arquivo do log de transações de uma tabela do Delta que não é possível mais ser encontrada no sistema de arquivos subjacente. Isso pode acontecer quando esses arquivos são excluídos manualmente.
    • Suporte para consultas em tabelas Delta obsoletas para melhorar a experiência de consulta interativa: as consultas em tabelas Delta agora podem ser executadas em uma versão obsoleta da tabela, quando os resultados atualizados não são necessários. Esse recurso reduz a latência de consultas, especialmente quando as tabelas Delta subjacentes são atualizadas continuamente por meio de streams.
  • Streaming estruturado
    • Suporte a gravação escalonável de streaming para o Conector do Azure Synapse Analytics.
    • Suporte para foreachBatch() no Python (já disponível no Scala). Confira a documentação sobre foreach e foreachBatch para obter mais detalhes.
    • Suporte para escolher a marca d'água mínima ou máxima quando há vários fluxos de entrada em uma consulta. Anteriormente, o carimbo de data/hora mínimo era sempre usado. Consulte a política de marca d' água múltipla para obter mais detalhes.
    • Suporte para o operador LIMIT para fluxos nos modos de saída Append e Complete. Para minimizar erros de OOM no driver, LIMIT é aplicado automaticamente quando você usa display() em fluxos não associados.

Aprimoramentos

  • Delta Lake

    • Visualização privada da nova implementação escalonável do comando MERGE INTO que não tem o limite de inserção de linha 10000. Contate o suporte se você quiser experimentar isso.
    • Melhor desempenho e escalabilidade do comando OPTIMIZE, especialmente em clusters maiores.
    • O comando OPTIMIZE agora confirma a tabela de forma incremental, o que significa que, se o comando falhar, uma nova tentativa não precisará processar todo o conjunto de dados.
    • Reduziu o número de RPCs do sistema de arquivos necessários para descobrir novos dados ao usar o Delta Lake como fonte de fluxo.
    • Adicionado suporte para df.writeStream.table(table-name) no Python para criar uma tabela Delta de um fluxo.

  • Desempenho aprimorado para consultas com várias junções, agregações ou janelas.

  • Maior eficiência para a remoção em nível de partição em consultas com junções de hash de difusão.

  • Melhorias na geração de código de fase completo para detectar expressões duplicadas, reduzir a quantidade de código gerada e melhorar o desempenho para determinados tipos de expressão.

  • Os clusters de alta simultaneidade agora dão suporte à execução %fs nos notebooks.

  • Py4J atualizado usado pelo PySpark para 0.10.7.

  • Desempenho aprimorado do armazenamento em cache do disco em instâncias da série Ls do Azure. O cache agora está habilitado por padrão nessas instâncias, acelerando as cargas de trabalho que lêem repetidamente os arquivos parquet.

Recursos preteridos

  • Os dados ignorados fora do Delta do Databricks são preteridos. Uma versão aprimorada dos dados que estão sendo ignorados continuará a ser disponibilizada como parte do Delta Lake. Recomendamos que você alterne para o usando o Delta Lake para continuar a aproveitar esse recurso. Consulte Ignorar dados Delta do Databricks para obter detalhes.

Correções de bug

  • Corrigida a instrução de pushdown de predicado MERGE INTO incorreta para Delta quando a condição ON tinha predicados que referenciavam apenas a tabela de destino.

  • Corrigido o erro em mapGroupsWithState e flatMapGroupsWithState que impedia a configuração de tempos limite quando o estado era removido (SPARK-22187).

  • Correção do bug o impedimento da marca d'água para funcionar corretamente com Trigger.Once (SPARK-24699).

  • O comando Update agora valida as colunas na cláusula SET para certificar-se de que todas as colunas realmente existem e que nenhuma coluna está definida mais de uma vez.

  • Correção de uma possível condição de corrida que poderia causar deadlocks para confirmação de diretório.

  • Correção de um bug que faz com que uma versão preterida do cliente DBFS seja usada durante a atualização de montagens.

Problemas conhecidos

  • As opções de configuração do Delta Lake para uma tabela entram em vigor somente no primeiro notebook que carrega a tabela.

Apache Spark

O Databricks Runtime 4.3 inclui o Apache Spark 2.3.1. Esta versão inclui todas as correções e aprimoramentos incluídos no Databricks Runtime 4.2 (EoS), bem como as seguintes correções de bugs e aprimoramentos adicionais feitos no Spark:

  • [SPARK-24934][SQL] Permite explicitamente tipos com suporte em limites superiores/inferiores para remoção de partição na memória
    • Quando tipos de dados complexos são usados em filtros de consulta em dados armazenados em cache, o Spark sempre retorna um conjunto de resultados vazio. A remoção baseada em estatísticas em memória gera resultados incorretos, porque NULL está definido para limites superiores/inferiores para tipos complexos. A correção é não usar a remoção baseada em estatísticas em memória para tipos complexos.
  • [SPARK-24957][SQL] A média com decimais seguido por agregação retorna resultado incorreto
    • Pode retornar resultados incorretos de AVERAGE. O CAST adicionado no operador Average será ignorado se o resultado de Divide for do mesmo tipo em que é convertido.
  • [SPARK-24867][SQL] Adiciona AnalysisBarrier a DataFrameWriter
    • O cache do SQL não está sendo utilizado ao usar o DataFrameWriter para gravar um DataFrame com UDF. Essa é uma regressão causada pelas alterações que fizemos no AnalysisBarrier, já que nem todas as regras do analisador são idempotentes.
  • [SPARK-24790][SQL] Permite expressões de agregação complexas em dinâmicos
    • Relaxa a verificação para permitir expressões de agregação complexas, como ceil (Sum (Col1)) ou Sum (Col1) + 1, o que significa, aproximadamente, qualquer expressão de agregação que possa aparecer em um plano agregado, exceto o UDF pandas.
  • [SPARK-24870][SQL] O cache não funcionará normalmente se houver letras maiúsculas e minúsculas no SQL
    • Corrige um problema de canonicalização de plano.
  • [Spark-24852] Faça com que o treinamento de spark.ml use APIs de Instrumentação atualizadas.
  • [SPARK-24891][SQL] corrige regra HandleNullInputsForUDF
    • Torna a regra HandleNullInputsForUDF idempotente, para evitar incompatibilidade de plano no gerenciador de cache quando um plano é analisado mais de uma vez.
  • [SPARK-24878][SQL] Corrige a função reversa para o tipo matriz do tipo primitivo que contém nulos.
  • [SPARK-24871][SQL] refatorar Concat e MapConcat para evitar a criação de objeto concatenador para cada linha.
  • [SPARK-24802][SQL] Adiciona uma nova configuração para a exclusão da regra de otimização
    • Fornece uma configuração aos usuários para excluir algumas regras do otimizador.
  • [SPARK-24879][SQL] Corrige o NPE no pushdown do filtro de remoção da partição do Hive aplicação
    • Quando o predicado de partição for algo como Col em (1, NULL), um NPE será gerado. Esse patch o corrige.
  • [SPARK-23731][SQL] torna FileSourceScanExec canonicalizável após ser (de)serializado
  • [Spark-24755][núcleo] A perda do executor pode fazer com que a tarefa não seja reenviada
    • Corrige um bug em que o Spark não pode reenviar tarefas com falha por perda do executor. Esse bug foi introduzido no Spark 2.3.
  • [Spark-24677][núcleo] Evita NoSuchElementException de MedianHeap
    • Corrige um bug relacionado a tarefas especulativas ao coletar métricas de duração da tarefa.
  • [Spark-24868][Python] Adiciona função de sequência no Python
  • [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] Corrige coerções de tipo e nulidades.
  • [Spark-24699][SS] Faz com que as marcas d'água funcionem com o gatilho. Uma vez salvando a marca d'água atualizada para confirmar o log
  • [SPARK-24537][R] Adiciona array_remove/array_zip/map_from_arrays/array_distinct
  • [Spark-22187][SS] Atualiza o formato unsaferow para o estado salvo em flatMapGroupsWithState e permite tempos limite com estado excluído (4.x)
  • [SPARK-24681][SQL] Verifica nomes de colunas aninhadas em metastore do Hive
    • Certifique-se de que os nomes das colunas aninhadas não incluam ',', ':' e ';' no metastore do Hive
  • [SPARK-23486] Armazena em cache o nome da função do catálogo externo para lookupFunctions
    • Para acelerar as pesquisas de função.
  • [SPARK-24781][SQL] Usar uma referência do dataset em Filtrar/Classificar pode não funcionar
  • [SPARK-24208][SQL] Corrige a redução de atributo para FlatMapGroupsInPandas
    • Corrigir falha de autojunção em um conjuntos de dados que contém um FlatMapGroupsInPandas devido a atributos duplicados
  • [SPARK-24530][PYTHON] Adiciona um controle para forçar a versão do Python no Sphinx por meio da variável de ambiente, SPHINXPYTHON
  • [SPARK-24250]Dá suporte ao acesso ao SQLConf dentro de tarefas
    • Salve todas as configurações de SQL nas propriedades do trabalho quando uma execução de SQL for acionada. No lado do executor, recriamos o SQLConf nas propriedades do trabalho.
  • [SPARK-23936][SQL] Implementa map_concat
  • [SPARK-23914][SQL] Adiciona array_union function
  • [SPARK-24732][SQL] Coerção de tipo entre MapTypes.
    • Adiciona suporte para coerção de tipo entre MapTypes em que os tipos de chave e os tipos de valor são compatíveis. Por exemplo, os tipos MapType(IntegerType, FloatType) e MapType(LongType, DoubleType) podem sofrer coerção para o tipo MapType(LongType, DoubleType)
  • [SPARK-24662][SQL][SS] Limite Suporte ao limite de streaming estruturado
  • [SPARK-24730][SS] Adicionar política para escolher max como marca-d'água global quando a consulta de streaming tiver várias marcas-d'água (branch-4.x)
  • [SPARK-24596][SQL] Invalidação de cache não em cascata
    • Ao remover o cache ou descartar a visualização temporária, não é necessário remover o cache em cascata de todos os planos que dependem da exibição, pois os dados subjacentes não são alterados.
  • [SPARK-23927][SQL] Adiciona expressão de “sequência”
  • [SPARK-24636][SQL] Coerção de tipos de matrizes para array_join função
  • [SPARK-22384][SQL] Refina a remoção de partição quando o atributo for encapsulado em Cast
    • Melhore a remoção de partição, capaz de efetuar pushdown de predicados de partição com a cast de tipo seguro (int para long, não long to int).
  • [SPARK-24385][SQL] Resolve a ambiguidade da condição de autojunção para EqualNullSafe
    • Implementa EqualNullSafe para resolução de ambiguidade de condição de autojunção.
  • [SPARK-24696][SQL] A regra ColumnPruning falha ao remover o projeto extra
    • Corrige um bug na regra ColumnPruning que causou um erro de loop infinito no otimizador.
  • [SPARK-24603][SQL] Correção da referência findEmonestCommonType nos comentários
  • [SPARK-24613][SQL] O cache com UDF não pôde ser encontrado com caches dependentes subsequentes
    • Encapsula o plano lógico com um AnalysisBarrier para compilação do plano de execução no CacheManager, a fim de evitar o plano que está sendo analisado novamente. Isso também é uma regressão do Spark 2.3.
  • [SPARK-24017][SQL] Refatora ExternalCatalog para ser uma interface
  • [SPARK-24324][PYTHON] O UDF do mapa agrupado de pandas deve atribuir colunas de resultados por nome
    • Atribui colunas de resultado por nome de esquema se o usuário é rotulado com cadeias de caracteres, caso contrário, usa a posição.
  • [SPARK-23778][CORE] Evite embaralhamento não necessário quando a união obtém um RDD vazio
    • Ignora RDDs vazios de entrada no método de união para evitar um embaralhamento extra não necessário, quando todos os outros RDDs têm o mesmo particionamento.
  • [SPARK-24552][CORE][SQL] Use id exclusiva em vez de número de tentativa para gravações.
    • Passa a ID de tentativa de tarefa exclusiva, em vez de número de tentativa para fontes de dados v2 porque o número da tentativa é reutilizado quando há novas tentativas de fases. Isso afeta as APIs de fonte de dados V1 e V2, mas as APIs de formato de arquivo não serão afetadas porque o DBR usa um protocolo de confirmação diferente.
  • [SPARK-24588][SS] A junção de fluxo deve exigir HashClusteredPartitioning de filhos.
  • [SPARK-24589][CORE] Identifica corretamente as tarefas no coordenador de commit de saída.
    • Adiciona mais informações ao estado de estágio rastreado pelo coordenador, de modo que apenas uma tarefa tem permissão para confirmar a saída. Essa correção também remove as alterações de código inúteis introduzidas pelo SPARK-18113.
  • [SPARK-23933][SQL] Adiciona map_from_arrays function
  • [SPARK-24583][SQL] Tipo de esquema errado em InsertIntoDataSourceCommand
    • Ao criar uma tabela Delta com restrições NOT NULL, podemos remover a nulidade e inserir os valores NULL sem verificar a violação.
  • [SPARK-24542][SQL] UDF série UDFXPathXXXX permite que os usuários passem XML cuidadosamente criado para acessar arquivos arbitrários
    • Esse é um patch de segurança relatado pela comunidade. UDF série UDFXPathXXXX permite que os usuários passem XML cuidadosamente criado para acessar arquivos arbitrários. Quando os usuários usam a biblioteca de controle de acesso externo, os usuários podem ignorar e acessar o conteúdo do arquivo.
  • [SPARK-23934][SQL] Adição da função map_from_entries
  • [SPARK-23912][SQL] Adiciona array_distinct
  • [SPARK-24574][SQL] funções array_contains, array_position, array_remove e element_at functions lidam com o tipo Coluna

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 4.3.

Ambiente do sistema

  • Sistema operacional: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 para os clusters do Python 2 e 3.5.2 para os clusters do Python 3.
  • R: R versão 3.4.4 (15-03-2018)
  • Clusters da GPU: as seguintes bibliotecas GPU da NVIDIA estão instaladas:
    • Driver Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
criptografia 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1,2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
solicitações 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0,32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1,0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

Bibliotecas R instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 carro 3.0-0
carData 3.0-1 sinal de interpolação 6.0-79 cellranger 1.1.0
chron 2.3-52 classe 7.3-14 cli 1.0.0
cluster 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
conjuntos de dados 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1.0-8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
elemento gráfico 3.4.4 grDevices 3.4.4 grade 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 mapas 3.3.0 maptools 0.9-2
MASS 7.3-50 Matriz 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 methods 3.4.4 mgcv 1.8-24
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.42-3 tcltk 3.4.4 TeachingDemos 2,10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Instaladas as bibliotecas do Java e Scala (versão de cluster do Scala 2.11)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics fluxo 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1,1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-app_2.11 6.23.0
com.twitter util-app_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1,2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty Netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx coletor 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1,2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet-encoding 1.8.3-databricks2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1,0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52