Databricks Runtime 7.5 (sem suporte)
A Databricks divulgou esta imagem em dezembro de 2020.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 7.5, alimentado pelo Apache Spark 3.0.
Novas funcionalidades
Recursos e melhorias do Delta Lake
Esta versão fornece os seguintes recursos e melhorias do Delta Lake:
- O ponto de verificação assíncrono elimina picos de duração de microlotes de streaming
- As informações mais recentes da tabela agora são propagadas para catálogos
MERGE INTOoperação agora suporta evolução de esquema de colunas aninhadasMERGE INTOoperação agora usa automaticamente gravações otimizadasMERGE INTOeUPDATEas operações agora resolvem colunas struct aninhadas pelo nomeCLONEé GA e agora você pode substituir as propriedades da tabelaRESTOREé GA- O Scala simplifica implicitamente as APIs de leitura e gravação do Spark
- Melhore a taxa de transferência de streaming com
fetchParallelisma opção de conector - Acompanhe o progresso do fluxo com as novas métricas do Auto Loader
O ponto de verificação assíncrono elimina picos de duração de microlotes de streaming
O Delta Lake executa pontos de verificação a cada 10 confirmações por padrão. Em cargas de trabalho de streaming, o ponto de verificação pode causar pequenos picos na duração do microlote a cada 10 confirmações. O ponto de verificação assíncrono elimina esses picos.
O ponto de verificação assíncrono é habilitado por padrão para todas as cargas de trabalho de streaming que não são do Trigger Once. Com pontos de verificação assíncronos, os gravadores de streaming também gravam pontos de verificação aprimorados para que você não precise optar explicitamente por pontos de verificação aprimorados.
Para desativar o ponto de verificação assíncrono, defina a configuração spark.databricks.delta.checkpoint.async.enabled falseSQL .
As cargas de trabalho em lote continuam a gravar pontos de verificação de forma síncrona e recomendamos não habilitar o ponto de verificação assíncrono para cargas de trabalho em lote.
As informações mais recentes da tabela agora são propagadas para catálogos
O Delta Lake agora propaga as informações mais recentes da tabela, como propriedades de esquema e tabela, para catálogos como o metastore do Hive, com base no melhor esforço. Essas informações podem ajudá-lo a aproveitar as ferramentas de catalogação para entender o esquema de suas tabelas Delta.
A Delta Lake não depende internamente dessas informações, mas tenta mantê-las atualizadas. Além disso, o Delta Lake armazena as propriedades delta.lastUpdateVersion da tabela e para indicar a versão e delta.lastCommitTimestamp o carimbo de data/hora da confirmação que enviou uma alteração para o metastore. O metastore é atualizado somente quando o esquema da tabela ou as propriedades na tabela não correspondem.
Portanto, as propriedades da tabela acima mencionadas não refletem necessariamente a versão mais recente da tabela.
Se as informações da tabela e as informações do metastore estiverem fora de sincronia, você poderá executar um comando como DESCRIBE <table> atualizar o metastore.
Nota
Como o Hive não permite a alteração de colunas de partição, mas as tabelas Delta podem alterar seu particionamento, as tabelas Delta não aparecem como particionadas no Hive.
MERGE INTO operação agora suporta evolução de esquema de colunas aninhadas
A evolução do esquema das colunas aninhadas agora tem a mesma semântica das colunas de nível superior. Por exemplo, novas colunas aninhadas podem ser adicionadas automaticamente a uma StructType coluna. Consulte Evolução automática do esquema em Mesclar para obter detalhes.
MERGE INTO operação agora usa automaticamente gravações otimizadas
As gravações otimizadas podem fornecer um desempenho muito melhor para ambientes prontos para MERGE INTO uso, especialmente para MERGE INTO tabelas particionadas. Para desativar as Gravações otimizadas, defina a configuração spark.databricks.delta.optimizeWrite.enabled do Spark como false.
MERGE INTO e UPDATE as operações agora resolvem colunas struct aninhadas pelo nome
UPDATE Operações e MERGE INTO comandos de atualização agora resolvem colunas struct aninhadas pelo nome. Ou seja, ao comparar ou atribuir colunas do tipo StructType, a ordem das colunas aninhadas não importa (exatamente da mesma forma que a ordem das colunas de nível superior). Para reverter a resolução por posição, defina a configuração spark.databricks.delta.resolveMergeUpdateStructsByName.enabled do Spark como false.
CLONE é GA e agora você pode substituir as propriedades da tabela
O CLONE comando agora está disponível para o público em geral. Consulte CREATE TABLE CLONE. Além disso, agora você pode especificar substituições de propriedade de tabela ao usar CLONEo . Para obter exemplos, consulte Clonar uma tabela no Azure Databricks.
RESTORE é GA
O RESTORE comando agora está disponível para o público em geral. Consulte RESTAURAR.
O Scala simplifica implicitamente as APIs de leitura e gravação do Spark
Você pode importar io.delta.implicits._ para usar o método com APIs de delta leitura e gravação do Spark.
import io.delta.implicits._
spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")
Melhore a taxa de transferência de streaming com fetchParallelism a opção de conector
O conector AQS agora suporta uma nova opção fetchParallelism para especificar o paralelismo para buscar mensagens do serviço de fila.
Acompanhe o progresso do fluxo com as novas métricas do Auto Loader
O Auto Loader agora informa quantos arquivos existem na lista de pendências e qual é o tamanho da lista de pendências após cada lote. Você pode usar essas métricas para acompanhar o progresso do fluxo. Para obter detalhes sobre como visualizar as métricas, consulte O que é o Auto Loader?.
Melhorias
Suporte mais amplo para bibliotecas com escopo de notebook usando %pip e %conda comandos mágicos
Agora você pode instalar bibliotecas com escopo de notebook usando %pip comandos e %conda magic em clusters de alta simultaneidade com ACLs de tabela ou passagem de credenciais habilitadas.
Exibição precisa do Spark SQL DECIMAL
O tipo de dados Spark SQL DECIMAL agora é exibido em tabelas sem perda de precisão e escala.
Conector de armazenamento ADLS Gen 2 baseado no Hadoop 3.3 para ABFS
Uma versão atualizada do conector de armazenamento ADLS Gen 2 é baseada no Hadoop 3.3 para ABFS. O conector atualizado contém muitas melhorias de estabilidade (consulte Estabilidade do Hadoop) e inclui suporte para autenticação de token SAS.
Outras correções
O conector Databricks Kafka para Spark Streaming foi removido. Use o conector Apache Spark.
Atualizações da biblioteca
- Bibliotecas Python atualizadas:
- Koalas atualizado de 1.3.0 para 1.4.0.
- Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
- Compilação do OpenJDK 8 atualizada para Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01).
Faísca Apache
O Databricks Runtime 7.5 inclui o Apache Spark 3.0.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.4 (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-33611] [UI] Evite codificar duas vezes no parâmetro de consulta da URL de proxy reescrita
- [FAÍSCA-33587] [CORE] Matar o executor em erros fatais aninhados (7.x)
- [FAÍSCA-33140] [SQL] Reverta o código que não usa SparkSession passado para obter SQLConf.
- [FAÍSCA-33472] [SQL] Ajustar a ordem da regra RemoveRedundantSorts
- [FAÍSCA-33422] [DOC] Corrigir a exibição correta do item de menu esquerdo
- [FAÍSCA-27421] [SQL] Corrigir filtro para coluna int e classe de valor java.lang.String ao remover coluna de partição
- [FAÍSCA-33483] [INFRA] [TESTES] Corrigir padrões de exclusão de ratos e adicionar uma LICENÇA
- [FAÍSCA-33464] [INFRA] Adicionar/remover cache (des)necessário e reestruturar ações do GitHub yaml
- [FAÍSCA-33407] [PYTHON] [7.X] Simplifique a mensagem de exceção de UDFs Python (desativado por padrão)
- [FAÍSCA-33435] [SQL] DSv2: REFRESH TABLE deve invalidar caches que fazem referência à tabela
- [FAÍSCA-33358] [SQL] Código de retorno quando o processo de comando falhou
- [FAÍSCA-33183] [DBCONNECT] Adicionar RemoveRedundantSorts.scala a ALLOW_LIST.txt
- [FAÍSCA-33290] [SQL] REFRESH TABLE deve invalidar o cache, mesmo que a tabela em si não esteja armazenada em cache
- [FAÍSCA-33140] [SQL] Corrigir compilação delta
- [FAÍSCA-33316] [SQL] Adicione testes de unidade para from_avro e to_avro com o Registro de Esquema e o esquema Avro anulável fornecido pelo usuário
- [FAÍSCA-33404] [SQL] Corrigir resultados incorretos na
date_truncexpressão - [FAÍSCA-33339] [PYTHON] O aplicativo Pyspark travará devido a um erro não Exception
- [FAÍSCA-33412] [SQL] OverwriteByExpression deve resolver sua condição de exclusão com base na relação da tabela e não na consulta de entrada
- [FAÍSCA-33391] [SQL] element_at com CreateArray não respeitam um índice baseado.
- [FAÍSCA-33316] [SQL] O usuário de suporte forneceu esquema Avro anulável para esquema de catalisador não anulável na gravação Avro
- [FAÍSCA-33372] [SQL] Corrigir poda de balde InSet
- [FAÍSCA-33371] [PYTHON] Atualização setup.py e testes para Python 3.9
- [FAÍSCA-33140] [SQL] remover SQLConf e SparkSession em todas as subclasses de Rule[QueryPlan]
- [FAÍSCA-33338] [SQL] GRUPO USANDO mapa literal não deve falhar
- [FAÍSCA-33306] [SQL] O fuso horário é necessário quando a data de conversão para a cadeia de caracteres
- [FAÍSCA-33284] [WEB-UI] Na página Interface do usuário de armazenamento, clicar em qualquer campo para classificar a tabela fará com que o conteúdo do cabeçalho seja perdido
- [FAÍSCA-33362] [SQL] skipSchemaResolution ainda deve exigir que a consulta seja resolvida
- [FAÍSCA-32257] [SQL] Relata erros explícitos para uso inválido do comando SET/RESET
- [FAÍSCA-32406] [SQL] Tornar o suporte à sintaxe RESET uma única redefinição de configuração
- [FAÍSCA-32376] [SQL] Fazer com que o comportamento de preenchimento nulo unionByName funcione com colunas struct
- [FAÍSCA-32308] [SQL] Mover a lógica de resolução por nome de unionByName do código da API para a fase de análise
- [FAÍSCA-20044] [UI] Suporte Spark UI atrás de proxy reverso front-end usando um prefixo de caminho Reverter url proxy
- [FAÍSCA-33268] [SQL] [PYTHON] Corrigir bugs para transmitir dados de/para PythonUserDefinedType
- [FAÍSCA-33292] [SQL] Tornar a representação de cadeia de caracteres Literal ArrayBasedMapData inequívoca
- [FAÍSCA-33183] [SQL] Corrigir a regra do otimizador EliminateSorts e adicionar uma regra física para remover classificações redundantes
- [FAÍSCA-33272] [SQL] eliminar o mapeamento de atributos em QueryPlan.transformUpWithNewOutput
- [FAÍSCA-32090] [SQL] Melhore UserDefinedType.equal() para torná-lo simétrico
- [FAÍSCA-33267] [SQL] Corrigir problema NPE no filtro 'In' quando um dos valores contém null
- [FAÍSCA-33208] [SQL] Atualizar o documento do SparkSession#sql
- [FAÍSCA-33260] [SQL] Corrigir resultados incorretos de SortExec quando sortOrder é Stream
- [FAÍSCA-33230] [SQL] Os committers do Hadoop obterão um ID de trabalho exclusivo em "spark.sql.sources.writeJobUUID"
- [FAÍSCA-33197] [SQL] Fazer alterações no spark.sql.analyzer.maxIterations entrarem em vigor no tempo de execução
- [FAÍSCA-33228] [SQL] Não remova o cache de dados ao substituir um modo de exibição com o mesmo plano lógico
- [FAÍSCA-32557] [CORE] Registrando e engolindo a exceção por entrada no servidor de histórico
- [FAÍSCA-32436] [CORE] Inicialize numNonEmptyBlocks em HighlyCompressedMapStatus.readExternal
- [FAÍSCA-33131] [SQL] Corrigir conjuntos de agrupamento com cláusula de ter não pode resolver o nome col qualificado
- [FAÍSCA-32761] [SQL] Permitir a agregação de várias expressões distintas dobráveis
- [FAÍSCA-33094] [SQL] Faça com que o formato ORC propague a configuração do Hadoop das opções do DS para o sistema de arquivos HDFS subjacente
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 7.5.
Ambiente do sistema
- Sistema Operacional: Ubuntu 18.04.5 LTS
- Java: Zulu 8.50.0.51-CA-linux64 (compilação 1.8.0_275-b01)
- Escala: 2.12.10
- Píton: 3.7.5
- R: R versão 3.6.3 (2020-02-29)
- Lago Delta 0.7.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | Backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | criptografia | 2.8 | cycler | 0.10.0 |
| Quisto | 0.29.15 | decorador | 4.4.1 | docutils | 0.15.2 |
| pontos de entrada | 0.3 | idna | 2.8 | Ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.17.2 |
| jmespath | 0.10.0 | Joblib | 0.14.1 | jupyter-cliente | 5.3.4 |
| Jupyter-core | 4.6.1 | Kiwisolver | 1.1.0 | coalas | 1.4.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | pandas | 1.0.1 |
| Parso | 0.7.0 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | Meias PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| Pyzmq | 18.1.1 | pedidos | 2.22.0 | s3transferir | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | seis | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | tornado | 6.0.3 | traços | 4.3.3 |
| Upgrades autônomos | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| largura de wc | 0.1.8 | roda | 0.34.2 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| AskPass | 1.1 | asserçãoat | 0.2.1 | backports | 1.1.10 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| arranque | 1.3-25 | brew | 1.0-6 | Brio | 1.1.0 |
| vassoura | 0.7.2 | Chamador | 3.5.1 | acento circunflexo | 6.0-86 |
| Cellranger | 1.1.0 | crono | 2.3-56 | classe | 7.3-17 |
| cli | 2.1.0 | Clipr | 0.7.1 | cluster | 2.1.0 |
| codetools | 0.2-18 | espaço em cores | 1.4-1 | marca comum | 1.7 |
| compilador | 3.6.3 | configuração | 0.3 | CoVR | 3.5.1 |
| CPP11 | 0.2.3 | lápis de cor | 1.3.4 | conversa cruzada | 1.1.0.1 |
| curl | 4.3 | data.table | 1.13.2 | conjuntos de dados | 3.6.3 |
| DBI | 1.1.0 | DBPlyr | 1.4.4 | desc | 1.2.0 |
| devtools | 2.3.2 | diffobj | 0.3.2 | resumo | 0.6.27 |
| dplyr | 0.8.5 | DT | 0,16 | ellipsis | 0.3.1 |
| evaluate | 0.14 | Fãsi | 0.4.1 | Farver | 2.0.3 |
| mapa rápido | 1.0.1 | FORCATS | 0.5.0 | foreach | 1.5.1 |
| externa | 0.8-76 | forjar | 0.2.0 | FS | 1.5.0 |
| Genéricos | 0.1.0 | ggplot2 | 3.3.2 | GH | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | Globais | 0.13.1 |
| colar | 1.4.2 | gower | 0.2.2 | gráficos | 3.6.3 |
| grDevices | 3.6.3 | grelha | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | Refúgio | 2.3.1 |
| mais alto | 0.8 | HMS | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.2 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | Isoband | 0.2.2 | iteradores | 1.0.13 |
| jsonlite | 1.7.1 | KernSmooth | 2.23-18 | Knitr | 1.30 |
| etiquetagem | 0.4.2 | mais tarde | 1.1.0.1 | lattice | 0.20-41 |
| lava | 1.6.8 | lazyeval | 0.2.2 | ciclo de vida | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | Marcação | 1.1 |
| MASSA | 7.3-53 | Matriz | 1.2-18 | memoise | 1.1.0 |
| métodos | 3.6.3 | mgcv | 1.8-33 | mime | 0,9 |
| ModelMetrics | 1.2.2.2 | Modelador | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-150 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.3 | paralelo | 3.6.3 | pilar | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | elogiar | 1.0.0 |
| unidades bonitas | 1.1.1 | pROC | 1.16.2 | processx | 3.4.4 |
| prodlim | 2019.11.13 | Progresso | 1.2.2 | promessas | 1.1.1 |
| proto | 1.0.0 | PS | 1.4.0 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.5.0 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | Leitor | 1.4.0 | ReadXL | 1.3.1 |
| receitas | 0.1.14 | revanche | 1.0.1 | revanche2 | 2.1.2 |
| Controles remotos | 2.2.0 | Reprex | 0.3.0 | remodelar2 | 1.4.4 |
| Rex | 1.2.0 | RJSON | 0.2.20 | rlang | 0.4.8 |
| rmarkdown | 2.5 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.1 | rstudioapi | 0,11 | rversões | 2.0.2 |
| Rvest | 0.3.6 | escalas | 1.1.1 | seletor | 0.4-2 |
| sessioninfo | 1.1.1 | forma | 1.4.4 | brilhante | 1.5.0 |
| ferramentas de origem | 0.1.7 | sparklyr | 1.4.0 | SparkR | 3.0.0 |
| espacial | 7.3-11 | splines | 3.6.3 | sqldf | 0.4-11 |
| QUADRADO | 2020.5 | estatísticas | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.5.3 | stringr | 1.4.0 | sobrevivência | 3.2-7 |
| sys | 3.4 | tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testeatat | 3.0.0 | tibble | 3.0.4 | tidyr | 1.1.2 |
| tidyselect | 1.1.0 | Tidyverse | 1.3.0 | timeDate | 3043.102 |
| Tinytex | 0.27 | ferramentas | 3.6.3 | usethis | 1.6.3 |
| UTF8 | 1.1.4 | utilitários | 3.6.3 | uuid | 0.1-4 |
| VCTRS | 0.3.4 | viridisLite | 0.3.0 | Waldo | 0.2.2 |
| whisker | 0.4 | withr | 2.3.0 | xfun | 0.19 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | transmissão em fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anotações | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | ZSTD-JNI | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | criador de perfil | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | Escala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | métricas-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recoletor | 0.12.0 |
| jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
| jacarta.validação | Jacarta.validation-api | 2.0.2 |
| jakarta.ws.rs | Jacarta.ws.rs-api | 2.1.6 |
| javax.activation | ativação | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.8 |
| net.floco de neve | faísca-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 0.15.1 |
| org.apache.arrow | seta-memória | 0.15.1 |
| org.apache.arrow | vetor de seta | 0.15.1 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-texto | 1.6 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | colmeia-comum | 2.3.7 |
| org.apache.hive | colmeia-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-cliente | 2.3.7 |
| org.apache.hive | colmeia-lamp-comum | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | Colmeia-Serde | 2.3.7 |
| org.apache.hive | colmeias-calços | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-0,23 | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-comum | 2.3.7 |
| org.apache.hive.shims | colmeia-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.mesos | mesos-sombreado-protobuf | 1.4.0 |
| org.apache.orc | orc-núcleo | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | Orc-calços | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-common | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-encoding | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-jackson | 1.10.1-DATABRICKS6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | velocidade | 1.5 |
| org.apache.xbean | xbean-asm7-sombreado | 4.15 |
| org.apache.yetus | anotações de audiência | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-continuation | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | localizador hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jacarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | servidor de jersey | 2.30 |
| org.glassfish.jersey.inject | Jersey-HK2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | JSON4S-ast_2.12 | 3.6.6 |
| org.json4s | JSON4S-core_2.12 | 3.6.6 |
| org.json4s | JSON4S-jackson_2,12 | 3.6.6 |
| org.json4s | JSON4S-scalap_2.12 | 3.6.6 |
| org.lz4 | LZ4-Java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2.12 | 2.12.10 |
| org.scala-lang | Escala-library_2.12 | 2.12.10 |
| org.scala-lang | Escala-reflect_2,12 | 2.12.10 |
| org.scala-lang.modules | scala-coleção-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | Escala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | Brisa-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.threeten | trêsdez-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | gatos-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | torre-macros_2.12 | 0,17,0-m1 |
| org.typelevel | torre-platform_2.12 | 0,17,0-m1 |
| org.typelevel | torre-util_2.12 | 0,17,0-m1 |
| org.typelevel | spire_2.12 | 0,17,0-m1 |
| org.wildfly.openssl | mosca-selvagem-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |