Databricks Runtime 6.2 (sem suporte)
A Databricks divulgou esta imagem em dezembro de 2019.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 6.2, desenvolvido pelo Apache Spark.
Novas funcionalidades
A mesclagem somente inserção do Delta Lake é otimizada
O desempenho das operações de mesclagem do Delta Lake que não têm cláusulas de atualização foi otimizado. As gravações feitas por essas operações de mesclagem somente inserção agora apenas acrescentam dados e não modificam dados existentes, permitindo assim que consultas de streaming downstream leiam continuamente os dados anexados. Isso suporta melhor a desduplicação baseada em mesclagem: trabalhos ETL em lote ou streaming podem gravar dados desduplicados em tabelas usando mesclagem somente inserção, e consultas de streaming downstream podem ler continuamente esses dados desduplicados.
Melhorias
display()dasBinaryTypecolunas são automaticamente truncadas para a codificação base64 dos primeiros 128 bytes, em vez de todos os bytes. Se o campo estiver truncado, você verá"(truncated)"no final.- Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
Preterições
display() dos spark.mllib modelos foi preterido e será removido na próxima versão principal. O Azure Databricks recomenda o uso de spark.ml modelos.
Apache Spark
O Databricks Runtime 6.2 inclui o Apache Spark 2.4.4. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 6.1 (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-29875][PYTHON] [SQL] Evite usar a API pyarrow.open_stream preterida no Spark 2.4.x
- [FAÍSCA-29001][CORE] Imprimir eventos que demoram demasiado tempo a processar
- [FAÍSCA-29850][SQL] sort-merge-join uma tabela vazia não deve vazamento de memória
- [FAÍSCA-29790][DOC] Observe a porta necessária para a API do Kube
- [FAÍSCA-29743]O exemplo [SQL] deve definir needCopyResult como true se seu filho for
- [FAÍSCA-29651][SQL] Corrigir a análise da fração de segundos de intervalo
- [FAÍSCA-29604][SQL] Forçar a inicialização do SessionState antes de inicializar o HiveClient no SparkSQLEnv
- [FAÍSCA-29637][CORE] Adicionar descrição à API Web do Job SHS
- [FAÍSCA-26985][CORE] Corrigir "acessar apenas algumas colunas de todas as colunas" para arquitetura big endian
- [FAÍSCA-29498][SQL] CatalogTable para HiveTable não deve alterar a propriedade da tabela
- [FAÍSCA-29530][SQL] Tornar o SQLConf no thread de processo de análise SQL seguro
- [FAÍSCA-21287][SQL] Remover o requisito de fetch_size>=0 do JDBCOptions
- [FAÍSCA-29081]Substitua chamadas para SerializationUtils.clone em propriedades por uma implementação mais rápida
- [FAÍSCA-21492][SQL] [ACOMPANHE] Reimplementar UnsafeExternalRowSorter no iterador de estilo de banco de dados
- [FAÍSCA-21492][SQL] Corrigir fuga de memória no SortMergeJoin
- [FAÍSCA-29556][CORE] Evite colocar o caminho da solicitação na resposta de erro no ErrorServlet
- [FAÍSCA-29494][SQL] Correção para ArrayOutofBoundsException ao converter cadeia de caracteres em carimbo de data/hora
- [FAÍSCA-27259][CORE] Permitir a configuração de -1 como comprimento para FileBlock
- [FAÍSCA-29445][CORE] Bump netty-all de 4.1.39.Final a 4.1.42.Final
- [FAÍSCA-29410] Atualize commons-beanutils para 1.9.4
- [FAÍSCA-28917][CORE] Sincronizar o acesso ao estado mutável RDD
- [FAÍSCA-28476][SQL] Suporte ALTER DATABASE SET LOCATION
- [FAÍSCA-29048] Melhorar o desempenho em Column.isInCollection() com uma coleção de tamanho grande
- [FAÍSCA-28962][SQL] Fornecer argumento de índice para filtrar funções lambda
- [FAÍSCA-25753][CORE] Corrigir a leitura de pequenos arquivos via BinaryFileRDD
- [FAÍSCA-28140][MLLIB] [PYTHON] Aceitar DataFrames em RowMatrix e IndexedRowMatrix construtores
- [FAÍSCA-29244][CORE] Impedir página liberada em BytesToBytesMap livre novamente
- [FAÍSCA-29055][CORE] Atualize a memória de armazenamento de drivers/executores quando o bloco for removido do BlockManager
- [FAÍSCA-29186][SQL] AliasIdentifier deve ser convertido para Json em prettyJson
- [FAÍSCA-29186][SQL] AliasIdentifier deve ser convertido para Json em prettyJson
- [FAÍSCA-29247][SQL] Redigir informações confidenciais ao construir HiveClientHive.state
- [FAÍSCA-29263][AGENDADOR] Atualize availableSlots em resourceOffers() antes de verificar os slots disponíveis para o conjunto de tarefas de barreira
- [FAÍSCA-29240][PYTHON] Passe a instância da coluna Py4J para suportar a coluna PySpark na função element_at
- [FAÍSCA-29213][SQL] Gerar predicado IsNotNull extra no FilterExec
- [FAÍSCA-29229][SQL] Altere o repositório remoto adicional em IsolatedClientLoader para google minor
- [FAÍSCA-28599][SQL] Corrigir a classificação da coluna Duração para ThriftServerSessionPage
- [FAÍSCA-25903][CORE] TimerTask deve ser sincronizado em ContextBarrierState
- [FAÍSCA-29053][WEBUI] Classificar não funciona em algumas colunas
- [FAÍSCA-29177][CORE] corrigir tarefas zumbis após o estágio abortar
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 6.2.
Ambiente do sistema
- Sistema Operacional: Ubuntu 16.04.6 LTS
- Java: 1.8.0_232
- Escala: 2.11.12
- Píton: 3.7.3
- R: R versão 3.6.1 (2019-07-05)
- Lago Delta: 0.4.0
Nota
Embora o Scala 2.12 esteja disponível como um recurso experimental no Apache Spark 2.4, ele não é suportado no Databricks Runtime 6.2.
Nesta secção:
- Bibliotecas Python instaladas
- Bibliotecas R instaladas
- Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | Backcall | 0.1.0 | boto | 2.49.0 |
| boto3 | 1.9.162 | botocore | 1.12.163 | certifi | 2019.3.9 |
| cffi | 1.12.2 | chardet | 3.0.4 | criptografia | 2.6.1 |
| cycler | 0.10.0 | Quisto | 0.29.6 | decorador | 4.4.0 |
| docutils | 0.14 | idna | 2.8 | ipython | 7.4.0 |
| ipython-genutils | 0.2.0 | Jedi | 0.13.3 | jmespath | 0.9.4 |
| Kiwisolver | 1.1.0 | matplotlib | 3.0.3 | numpy | 1.16.2 |
| pandas | 0.24.2 | Parso | 0.3.4 | patsy | 0.5.1 |
| pexpect | 4.6.0 | pickleshare | 0.7.5 | pip | 19.0.3 |
| prompt-toolkit | 2.0.9 | psycopg2 | 2.7.6.1 | ptyprocess | 0.6.0 |
| pyarrow | 0.13.0 | pycparser | 2.19 | Pycurl | 7.43.0 |
| Pygments | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL | 19.0.0 |
| pyparsing | 2.4.2 | Meias PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.5 |
| python-dateutil | 2.8.0 | pytz | 2018.9 | pedidos | 2.21.0 |
| s3transferir | 0.2.1 | scikit-learn | 0.20.3 | scipy | 1.2.1 |
| seaborn | 0.9.0 | setuptools | 40.8.0 | seis | 1.12.0 |
| ssh-import-id | 5,5 | statsmodels | 0.9.0 | traços | 4.3.2 |
| atualizações autônomas | 0.1 | urllib3 | 1.24.1 | virtualenv | 16.4.1 |
| largura de wc | 0.1.7 | roda | 0.33.1 |
Bibliotecas R instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| abind | 1.4-5 | AskPass | 1.1 | asserçãoat | 0.2.1 |
| backports | 1.1.5 | base | 3.6.1 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.2.0 | arranque | 1.3-23 |
| brew | 1.0-6 | Chamador | 3.3.2 | carro | 3.0-4 |
| carData | 3.0-2 | acento circunflexo | 6.0-84 | Cellranger | 1.1.0 |
| crono | 2.3-54 | classe | 7.3-15 | cli | 1.1.0 |
| Clipr | 0.7.0 | clisímbolos | 1.2.0 | cluster | 2.1.0 |
| codetools | 0.2-16 | espaço em cores | 1.4-1 | marca comum | 1.7 |
| compilador | 3.6.1 | configuração | 0.3 | CoVR | 3.3.2 |
| lápis de cor | 1.3.4 | conversa cruzada | 1.0.0 | curl | 4.2 |
| data.table | 1.12.6 | conjuntos de dados | 3.6.1 | DBI | 1.0.0 |
| DBPlyr | 1.4.2 | desc | 1.2.0 | devtools | 2.2.1 |
| resumo | 0.6.22 | doMC | 1.3.6 | dplyr | 0.8.3 |
| DT | 0,9 | ellipsis | 0.3.0 | evaluate | 0.14 |
| Fãsi | 0.4.0 | mapa rápido | 1.0.1 | FORCATS | 0.4.0 |
| foreach | 1.4.7 | externa | 0.8-72 | forjar | 0.2.0 |
| FS | 1.3.1 | gbm | 2.1.5 | Genéricos | 0.0.2 |
| ggplot2 | 3.2.1 | GH | 1.0.1 | git2r | 0.26.1 |
| glmnet | 2.0-18 | colar | 1.3.1 | gower | 0.2.1 |
| gráficos | 3.6.1 | grDevices | 3.6.1 | grelha | 3.6.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.0 |
| h2o | 3.26.0.2 | Refúgio | 2.1.1 | HMS | 0.5.1 |
| htmltools | 0.4.0 | htmlwidgets | 1.5.1 | httpuv | 1.5.2 |
| httr | 1.4.1 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-9 | iteradores | 1.0.12 |
| jsonlite | 1.6 | KernSmooth | 2.23-16 | etiquetagem | 0.3 |
| mais tarde | 1.0.0 | lattice | 0.20-38 | lava | 1.6.6 |
| lazyeval | 0.2.2 | ciclo de vida | 0.1.0 | littler | 0.3.9 |
| lme4 | 1.1-21 | lubridate | 1.7.4 | magrittr | 1.5 |
| mapproj | 1.2.6 | mapas | 3.3.0 | Ferramentas de mapa | 0.9-8 |
| MASSA | 7.3-51.4 | Matriz | 1.2-17 | MatrizModels | 0.4-1 |
| memoise | 1.1.0 | métodos | 3.6.1 | mgcv | 1.8-30 |
| mime | 0.7 | minqa | 1.2.4 | ModelMetrics | 1.2.2 |
| munsell | 0.5.0 | mvtnorm | 1.0-11 | nlme | 3.1-141 |
| nloptr | 1.2.1 | nnet | 7.3-12 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.1 | OpenXLSX | 4.1.2 | paralelo | 3.6.1 |
| pbkrtest | 0.4-7 | pilar | 1.4.2 | pkgbuild | 1.0.6 |
| pkgconfig | 2.0.3 | pkgKitten | 0.1.5 | pkgload | 1.0.2 |
| plogr | 0.2.0 | plyr | 1.8.4 | elogiar | 1.0.0 |
| unidades bonitas | 1.0.2 | pROC | 1.15.3 | processx | 3.4.1 |
| prodlim | 2018.04.18 | Progresso | 1.2.2 | promessas | 1.1.0 |
| proto | 1.0.0 | PS | 1.3.0 | purrr | 0.3.3 |
| quantreg | 5.51 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.9.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.3 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.2 | RcppEigen | 0.3.3.5.0 |
| RCurl | 1.95-4.12 | Leitor | 1.3.1 | ReadXL | 1.3.1 |
| receitas | 0.1.7 | revanche | 1.0.1 | Controles remotos | 2.1.0 |
| remodelar2 | 1.4.3 | Rex | 1.1.2 | Rio | 0.5.16 |
| rlang | 0.4.1 | RODBC | 1.3-16 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.2 | rstudioapi | 0.10 | rversões | 2.0.0 |
| escalas | 1.0.0 | sessioninfo | 1.1.1 | brilhante | 1.4.0 |
| ferramentas de origem | 0.1.7 | sp | 1.3-1 | sparklyr | 1.0.4 |
| SparkR | 2.4.5 | Disperso | 1.77 | espacial | 7.3-11 |
| splines | 3.6.1 | sqldf | 0.4-11 | QUADRADO | 2017.10-1 |
| estatmod | 1.4.32 | estatísticas | 3.6.1 | stats4 | 3.6.1 |
| stringi | 1.4.3 | stringr | 1.4.0 | sobrevivência | 2.44-1.1 |
| sys | 3.3 | tcltk | 3.6.1 | TeachingDemos | 2.10 |
| testeatat | 2.2.1 | tibble | 2.1.3 | tidyr | 1.0.0 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | ferramentas | 3.6.1 |
| usethis | 1.5.1 | UTF8 | 1.1.4 | utilitários | 3.6.1 |
| VCTRS | 0.2.0 | viridisLite | 0.3.0 | whisker | 0.4 |
| withr | 2.1.2 | xml2 | 1.2.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.0 | Zeallot | 0.1.0 |
| zip | 2.0.4 |
Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config | 1.11.595 |
| com.amazonaws | aws-java-sdk-core | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue | 1.11.595 |
| com.amazonaws | aws-java-sdk-iam | 1.11.595 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs | 1.11.595 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | aws-java-sdk-support | 1.11.595 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | transmissão em fluxo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-faísca2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-faísca2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.0.0 |
| com.fasterxml.jackson.core | jackson-anotações | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | ZSTD-JNI | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | armazenamento-do-azure | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.JRE8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.42.Final |
| javax.activation | ativação | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| JUNIT | JUNIT | 4.12 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pirolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.0 |
| net.floco de neve | faísca-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 0.10.0 |
| org.apache.arrow | seta-memória | 0.10.0 |
| org.apache.arrow | vetor de seta | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0 incubação |
| org.apache.calcite | calcite-core | 1.2.0 incubação |
| org.apache.calcite | calcite-linq4j | 1.2.0 incubação |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| org.apache.orc | Orc-calços | 1.5.5 |
| org.apache.parquet | parquet-column | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-common | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-encoding | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-DATABRICKS4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-sombreado | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-continuation | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-http | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-plus | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-security | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-server | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlets | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-webapp | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | localizador hk2 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | servidor de jersey | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hamcrest | núcleo de hamcreste | 1.3 |
| org.hamcrest | hamcrest-biblioteca | 1.3 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | JSON4S-scalap_2.11 | 3.5.3 |
| org.lz4 | LZ4-Java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-núcleo | 1.10.19 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |