Tempo de execução do Databricks 6.3 (EoS)
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em janeiro de 2020.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 6.3, desenvolvido pelo Apache Spark.
Novas funcionalidades
Delta Lake
Esta versão introduz uma simultaneidade melhorada. As principais características são:
Simultaneidade aprimorada para todas as operações do Delta Lake - Agora você pode executar mais operações do Delta Lake simultaneamente. O controle de simultaneidade otimista do Delta Lake foi melhorado, tornando a deteção de conflitos mais refinada. Isso facilita a execução de fluxos de trabalho complexos em tabelas Delta. Por exemplo:
- Executar exclusões (por exemplo, para conformidade com o GDPR) simultaneamente em partições mais antigas enquanto partições mais recentes estão sendo acrescentadas.
- Executando atualizações e mesclagens simultaneamente em conjuntos separados de partições.
- Executando compactações de arquivos simultaneamente com acréscimos.
Consulte Níveis de isolamento e conflitos de gravação no Azure Databricks.
Suporte melhorado para compactação de ficheiros - Agora pode compactar ficheiros reescrevendo-os com a
DataFrameWriteropçãodataChangedefinida comofalse. Esta opção permite que uma operação de compactação seja executada simultaneamente com outras operações de lote e streaming. Consulte Compactar arquivos para obter detalhes.Desempenho aprimorado para mesclagem somente inserção - o Delta Lake agora oferece um desempenho mais otimizado para operações de mesclagem que têm apenas cláusulas de inserção e nenhuma cláusula de atualização. Além disso, o Delta Lake garante que as gravações dessas mesclagens somente de inserção apenas acrescentem novos dados à tabela. Portanto, agora você pode usar o Streaming estruturado e mesclagens somente de inserção para fazer a desduplicação contínua de dados (por exemplo, logs). Consulte Eliminação de duplicação de dados ao gravar em tabelas Delta para obter detalhes.
Adicionar portas adicionais à lista de permissões quando o isolamento do processo estiver ativado
Nota
Este artigo contém referências ao termo whitelist, um termo que o Azure Databricks não usa. Quando o termo for removido do software, iremos removê-lo deste artigo.
Ao habilitar recursos de segurança, como ACLs de tabela ou passagem de credenciais no cluster, agora você pode especificar portas de saída adicionais que deseja que os processos Python possam acessar definindo a configuração spark.databricks.pyspark.iptable.outbound.whitelisted.ports do Spark para as portas a serem permitidas. O formato suportado do valor de configuração é [port[:port][,port[:port]]...], por exemplo: 21,22,9000:9999. A porta deve estar dentro do intervalo válido, ou seja, 0-65535.
Desabilitar a saída de trabalhos para trabalhos do Scala
A saída do trabalho, como a saída de log emitida para stdout, está sujeita a um limite de tamanho de 20MB.
Você pode impedir que o stdout seja retornado do driver para o Azure Databricks definindo a configuração do spark.databricks.driver.disableScalaOutput Spark como true. O sinalizador controla a saída da célula para trabalhos JAR Scala e notebooks Scala. Consulte Limites de tamanho de saída para trabalhos JAR.
Figuras Matplotlib em linha agora suportadas nos blocos de notas do Azure Databricks (Pré-visualização Pública)
Agora você pode exibir automaticamente figuras Matplotlib sem precisar passar a figura para o display método. Para obter detalhes, consulte Matplotlib.
Novo parâmetro adicionado ao Azure Synapse Analytics
O parâmetro applicationName é definido por padrão como Databricks-User-Query. O valor padrão impede que a ferramenta de Monitoramento do Banco de Dados do Azure gere alertas de injeção de SQL espúrios contra consultas. Se não for especificado ou se o valor for uma cadeia de caracteres vazia, o valor padrão da tag será adicionado à URL JDBC. Consulte Referência de opções do conector Synapse do Azure Databricks.
Melhorias
shutil.copytreeagora trabalhe para/dbfsa .- Ao executar trabalhos de produção de Streaming Estruturado em clusters de modo de Alta Simultaneidade, as reinicializações de um trabalho ocasionalmente falhariam, porque o trabalho em execução anterior não foi encerrado corretamente. Para garantir que a execução anterior pare, defina a configuração
spark.sql.streaming.stopActiveRunOnRestart trueSQL no cluster. Caso o fluxo não possa ser interrompido corretamente, uma exceção de tempo limite será lançada em 15 segundos. Nesse caso, recomendamos reiniciar o cluster. - Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
Apache Spark
O Databricks Runtime 6.3 inclui o Apache Spark 2.4.4. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 6.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-30198][CORE] BytesToBytesMap não cresce matriz longa interna como esperado
- [FAÍSCA-29918][SQL] RecordBinaryComparator deve verificar endianness quando comparado por long
- [FAÍSCA-30274][CORE] Evite que a pesquisa BytesToBytesMap trave para sempre ao segurar as chaves que atingem a capacidade máxima
- [FAÍSCA-25392][CORE] [WEBUI] Impedir página de erro ao acessar a página de pools a partir do servidor de histórico
- [FAÍSCA-30263][CORE] Não registre valores potencialmente confidenciais de propriedades que não sejam do Spark ignoradas no spark-submit
- [FAÍSCA-28637][SQL] Tipo de intervalo de suporte Thriftserver
- [FAÍSCA-30238]A remoção de partição de hive [SQL] só pode suportar tipos de cadeia de caracteres e integrais
- [FAÍSCA-30198][CORE] BytesToBytesMap não cresce matriz longa interna como esperado
- [FAÍSCA-24666][ML] Corrigir vetores infinitos produzidos pelo Word2Vec quando numIterations são grandes
- [FAÍSCA-30129][CORE] Definir o ID do cliente em TransportClient após a autenticação bem-sucedida
- [FAÍSCA-30050][SQL] analisar tabela e renomear tabela não deve apagar informações de bucketing de tabela hive
- [FAÍSCA-28152][SQL] Mapeado ShortType para SMALLINT e FloatType para REAL para MsSqlServerDialect
- [FAÍSCA-29971][CORE] Corrigir vazamentos de buffer em
TransportFrameDecoder/TransportCipher - [FAÍSCA-29970][WEBUI] Estado de abertura/fechamento do servidor do Timelineview
- [FAÍSCA-29949][SQL] Corrigir a formatação de carimbos de data/hora por fontes de dados JSON/CSV
- [FAÍSCA-27558][CORE] Tarefa de limpeza normal quando falha com exceção OOM
- [FAÍSCA-29758][SQL] Corrigir truncamento de campos de cadeia de caracteres solicitados em
json_tuple - [FAÍSCA-29949][SQL] Corrigir a formatação de carimbos de data/hora por fontes de dados JSON/CSV
- [FAÍSCA-29936][R] Corrija erros de fiapos do SparkR e adicione ação do GitHub do lint-r
- [FAÍSCA-29904][SQL] Analise carimbos de data/hora com precisão de microssegundos por fontes de dados JSON/CSV
- [FAÍSCA-29904][SQL] Analise carimbos de data/hora com precisão de microssegundos por fontes de dados JSON/CSV
- [FAÍSCA-26499][SQL] JdbcUtils.makeGetter não manipula ByteType
- [FAÍSCA-29682][SQL] Resolver atributos conflitantes em Expandir corretamente
- [FAÍSCA-29875][PYTHON] [SQL] Evite usar a API pyarrow.open_stream preterida no Spark 2.4.x
- [FAÍSCA-29850][SQL] sort-merge-join uma tabela vazia não deve vazamento de memória
- [FAÍSCA-28939][SQL] Propagar SQLConf para planos executados por toRdd
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 6.3.
Ambiente do sistema
- Sistema Operacional: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Escala: 2.11.12
- Píton: 3.7.3
- R: R versão 3.6.2 (2019-12-12)
- Lago Delta: 0.5.0
Nota
Embora o Scala 2.12 esteja disponível como um recurso experimental no Apache Spark 2.4, ele não é suportado no Databricks Runtime 6.3.
Nesta secção:
- Bibliotecas Python instaladas
- Bibliotecas R instaladas
- Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | Backcall | 0.1.0 | boto | 2.49.0 |
| boto3 | 1.9.162 | botocore | 1.12.163 | certifi | 2019.3.9 |
| cffi | 1.12.2 | chardet | 3.0.4 | criptografia | 2.6.1 |
| cycler | 0.10.0 | Quisto | 0.29.6 | decorador | 4.4.0 |
| docutils | 0.14 | idna | 2.8 | Ipykernel | 5.1.0 |
| ipython | 7.4.0 | ipython-genutils | 0.2.0 | Jedi | 0.13.3 |
| jmespath | 0.9.4 | jupyter-cliente | 5.2.4 | Jupyter-core | 4.4.0 |
| Kiwisolver | 1.1.0 | matplotlib | 3.0.3 | numpy | 1.16.2 |
| pandas | 0.24.2 | Parso | 0.3.4 | patsy | 0.5.1 |
| pexpect | 4.6.0 | pickleshare | 0.7.5 | pip | 19.0.3 |
| prompt-toolkit | 2.0.9 | psycopg2 | 2.7.6.1 | ptyprocess | 0.6.0 |
| pyarrow | 0.13.0 | pycparser | 2.19 | Pycurl | 7.43.0 |
| Pygments | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL | 19.0.0 |
| pyparsing | 2.4.6 | Meias PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.5 |
| python-dateutil | 2.8.0 | pytz | 2018.9 | Pyzmq | 18.0.0 |
| pedidos | 2.21.0 | s3transferir | 0.2.1 | scikit-learn | 0.20.3 |
| scipy | 1.2.1 | seaborn | 0.9.0 | setuptools | 40.8.0 |
| seis | 1.12.0 | ssh-import-id | 5,5 | statsmodels | 0.9.0 |
| tornado | 6.0.2 | traços | 4.3.2 | Upgrades autônomos | 0.1 |
| urllib3 | 1.24.1 | virtualenv | 16.4.1 | largura de wc | 0.1.7 |
| roda | 0.33.1 |
Bibliotecas R instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| abind | 1.4-5 | AskPass | 1.1 | asserçãoat | 0.2.1 |
| backports | 1.1.5 | base | 3.6.2 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.2.0 | arranque | 1.3-23 |
| brew | 1.0-6 | Chamador | 3.3.2 | carro | 3.0-4 |
| carData | 3.0-2 | acento circunflexo | 6.0-84 | Cellranger | 1.1.0 |
| crono | 2.3-54 | classe | 7.3-15 | cli | 1.1.0 |
| Clipr | 0.7.0 | clisímbolos | 1.2.0 | cluster | 2.1.0 |
| codetools | 0.2-16 | espaço em cores | 1.4-1 | marca comum | 1.7 |
| compilador | 3.6.2 | configuração | 0.3 | CoVR | 3.3.2 |
| lápis de cor | 1.3.4 | conversa cruzada | 1.0.0 | curl | 4.2 |
| data.table | 1.12.6 | conjuntos de dados | 3.6.2 | DBI | 1.0.0 |
| DBPlyr | 1.4.2 | desc | 1.2.0 | devtools | 2.2.1 |
| resumo | 0.6.22 | doMC | 1.3.6 | dplyr | 0.8.3 |
| DT | 0,9 | reticências | 0.3.0 | evaluate | 0.14 |
| Fãsi | 0.4.0 | mapa rápido | 1.0.1 | FORCATS | 0.4.0 |
| foreach | 1.4.7 | externa | 0.8-74 | forjar | 0.2.0 |
| FS | 1.3.1 | gbm | 2.1.5 | Genéricos | 0.0.2 |
| ggplot2 | 3.2.1 | GH | 1.0.1 | git2r | 0.26.1 |
| glmnet | 2.0-18 | colar | 1.3.1 | gower | 0.2.1 |
| gráficos | 3.6.2 | grDevices | 3.6.2 | grelha | 3.6.2 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.0 |
| h2o | 3.26.0.2 | Refúgio | 2.1.1 | HMS | 0.5.1 |
| htmltools | 0.4.0 | htmlwidgets | 1.5.1 | httpuv | 1.5.2 |
| httr | 1.4.1 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-9 | iteradores | 1.0.12 |
| jsonlite | 1.6 | KernSmooth | 2.23-16 | etiquetagem | 0.3 |
| mais tarde | 1.0.0 | lattice | 0.20-38 | lava | 1.6.6 |
| lazyeval | 0.2.2 | ciclo de vida | 0.1.0 | littler | 0.3.9 |
| lme4 | 1.1-21 | lubridate | 1.7.4 | magrittr | 1.5 |
| mapproj | 1.2.6 | mapas | 3.3.0 | Ferramentas de mapa | 0.9-8 |
| MASSA | 7.3-51.5 | Matriz | 1.2-18 | MatrizModels | 0.4-1 |
| memoise | 1.1.0 | métodos | 3.6.2 | mgcv | 1.8-31 |
| mime | 0.7 | minqa | 1.2.4 | ModelMetrics | 1.2.2 |
| munsell | 0.5.0 | mvtnorm | 1.0-11 | nlme | 3.1-143 |
| nloptr | 1.2.1 | nnet | 7.3-12 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.1 | OpenXLSX | 4.1.2 | paralelo | 3.6.2 |
| pbkrtest | 0.4-7 | pilar | 1.4.2 | pkgbuild | 1.0.6 |
| pkgconfig | 2.0.3 | pkgKitten | 0.1.5 | pkgload | 1.0.2 |
| plogr | 0.2.0 | plyr | 1.8.4 | elogiar | 1.0.0 |
| unidades bonitas | 1.0.2 | pROC | 1.15.3 | processx | 3.4.1 |
| prodlim | 2018.04.18 | Progresso | 1.2.2 | promessas | 1.1.0 |
| proto | 1.0.0 | PS | 1.3.0 | purrr | 0.3.3 |
| quantreg | 5.51 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.9.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.3 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.2 | RcppEigen | 0.3.3.5.0 |
| RCurl | 1.95-4.12 | Leitor | 1.3.1 | ReadXL | 1.3.1 |
| receitas | 0.1.7 | revanche | 1.0.1 | Controles remotos | 2.1.0 |
| remodelar2 | 1.4.3 | Rex | 1.1.2 | Rio | 0.5.16 |
| rlang | 0.4.1 | RODBC | 1.3-16 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.2 | rstudioapi | 0.10 | rversões | 2.0.0 |
| escalas | 1.0.0 | sessioninfo | 1.1.1 | brilhante | 1.4.0 |
| ferramentas de origem | 0.1.7 | sp | 1.3-1 | sparklyr | 1.0.4 |
| SparkR | 2.4.5 | Disperso | 1.77 | espacial | 7.3-11 |
| splines | 3.6.2 | sqldf | 0.4-11 | QUADRADO | 2017.10-1 |
| estatmod | 1.4.32 | estatísticas | 3.6.2 | stats4 | 3.6.2 |
| stringi | 1.4.3 | stringr | 1.4.0 | sobrevivência | 2.44-1.1 |
| sys | 3.3 | tcltk | 3.6.2 | TeachingDemos | 2.10 |
| testeatat | 2.2.1 | tibble | 2.1.3 | tidyr | 1.0.0 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | ferramentas | 3.6.2 |
| usethis | 1.5.1 | UTF8 | 1.1.4 | utilitários | 3.6.2 |
| VCTRS | 0.2.0 | viridisLite | 0.3.0 | whisker | 0.4 |
| withr | 2.1.2 | xml2 | 1.2.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.0 | Zeallot | 0.1.0 |
| zip | 2.0.4 |
Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config | 1.11.595 |
| com.amazonaws | aws-java-sdk-core | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue | 1.11.595 |
| com.amazonaws | aws-java-sdk-iam | 1.11.595 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs | 1.11.595 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | aws-java-sdk-support | 1.11.595 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | transmissão em fluxo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-faísca2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-faísca2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.0.0 |
| com.fasterxml.jackson.core | jackson-anotações | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | ZSTD-JNI | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | armazenamento-do-azure | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.JRE8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.42.Final |
| javax.activation | ativação | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| JUNIT | JUNIT | 4.12 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pirolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.0 |
| net.floco de neve | faísca-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 0.10.0 |
| org.apache.arrow | seta-memória | 0.10.0 |
| org.apache.arrow | vetor de seta | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0 incubação |
| org.apache.calcite | calcite-core | 1.2.0 incubação |
| org.apache.calcite | calcite-linq4j | 1.2.0 incubação |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| org.apache.orc | Orc-calços | 1.5.5 |
| org.apache.parquet | parquet-column | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-common | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-encoding | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-DATABRICKS4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-sombreado | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-continuation | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-http | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-plus | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-security | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-server | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlets | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-webapp | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | localizador hk2 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | servidor de jersey | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hamcrest | núcleo de hamcreste | 1.3 |
| org.hamcrest | hamcrest-biblioteca | 1.3 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | JSON4S-scalap_2.11 | 3.5.3 |
| org.lz4 | LZ4-Java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-núcleo | 1.10.19 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |