Partilhar via

Databricks Runtime 8.0 (sem suporte)

  • Artigo

A Databricks divulgou esta imagem em março de 2021.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 8.0, alimentado pelo Apache Spark 3.1.1.

Novas funcionalidades

O Databricks Runtime 8.0 inclui o Apache Spark 3.1.1. Para obter detalhes, consulte Apache Spark.

Melhorias

Delta é agora o formato padrão quando um formato não é especificado

O Databricks Runtime 8.0 altera o formato padrão para delta simplificar a criação de uma tabela Delta. Quando você cria uma tabela usando comandos SQL, ou {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} APIs, e não especifica um formato, o formato padrão é delta.

Com o Delta Lake, você obtém melhor desempenho em relação ao Parquet, melhor confiabilidade de dados com validação de esquema avançada, restrições de qualidade e garantias transacionais. Com o Delta Lake, você pode simplificar seus pipelines de dados com streaming estruturado unificado e processamento em lote em uma única fonte de dados.

Embora o Databricks recomende o uso do Delta Lake para armazenar seus dados, você pode ter fluxos de trabalho herdados que exigem migração para o Delta Lake. Para obter informações sobre como migrar fluxos de trabalho existentes, consulte O que é Delta Lake?.

Novo intervalo de gatilho padrão do Streaming Estruturado reduz custos

Se você não definir um intervalo de gatilho usando Trigger.ProcessingTime sua consulta de streaming, o intervalo será definido como 500 ms. Anteriormente, o intervalo padrão era 0 ms. Essa alteração deve reduzir o número de gatilhos vazios e reduzir os custos de armazenamento em nuvem, como listagem.

Usar a função de transformação LDA com passagem de credenciais (Visualização pública)

Agora você pode usar a função de transformação LDA em um cluster configurado para usar passagem de credenciais para autenticação.

Clusters de usuário único configurados com passagem de credenciais não exigem mais sistemas de arquivos confiáveis (Visualização pública)

Você não precisa mais configurar sistemas de arquivos locais como sistemas de arquivos confiáveis ao usar um cluster padrão ou de trabalho configurado para passagem de credenciais com um único usuário. Essa alteração remove restrições desnecessárias do sistema de arquivos ao executar trabalhos em um único cluster de usuário.

Atualizações da biblioteca

Faísca Apache

O Databricks Runtime 8.0 inclui o Apache Spark 3.1.1.

Nesta secção:

Core e Spark SQL

Realce

Aprimoramentos de compatibilidade com ANSI SQL

  • Suporte char/varchar tipo de dados (SPARK-33480)
  • Modo ANSI: erros de tempo de execução em vez de retornar null (SPARK-33275)
  • Modo ANSI: novas regras de sintaxe de transmissão explícita (SPARK-33354)
  • Adicionar comando SET TIME ZONE padrão SQL (SPARK-32272)
  • Unificar a sintaxe SQL da tabela de criação (SPARK-31257)
  • Unificar a visualização temporária e os comportamentos de exibição permanente (SPARK-33138)
  • Lista de colunas de suporte na INSERT instrução (SPARK-32976)
  • Suporte ANSI aninhado comentários entre colchetes (SPARK-28880)

Melhorias de desempenho

  • Leitura de dados aleatórios host-local sem serviço de shuffle (SPARK-32077)
  • Remover classificações redundantes antes de reparticionar nós (SPARK-32276)
  • Empurre parcialmente os predicados (SPARK-32302, SPARK-32352)
  • Empurre os filtros para baixo através da expansão (SPARK-33302)
  • Empurre mais predicados possíveis através da conversão Join via CNF (SPARK-31705)
  • Remover a aleatorização ao preservar a criação de partições de saída da associação hash de difusão (SPARK-31869)
  • Remova o shuffle melhorando a reordenação das chaves de junção (SPARK-32282)
  • Remova o shuffle normalizando o particionamento de saída e a ordem de classificação (SPARK-33399)
  • Melhoria da junção de hash embaralhada (SPARK-32461)
    • Preservar a criação de partições do lado da compilação da associação hash aleatorizada (SPARK-32330)
    • Preservar a ordenação do lado da transmissão da associação hash (BHJ e SHJ) (SPARK-32383)
    • Coalesce bucketed tables for sort merge join (SPARK-32286)
    • Adicionar o code-gen para associação hash aleatorizada (SPARK-32421)
    • Suportar a associação externa completa na associação hash aleatorizada (SPARK-32399)
  • Suporte a eliminação de subexpressão em projeto com codegen de estágio completo (SPARK-33092)
  • Suporte à eliminação de subexpressões em expressões condicionais (SPARK-33337)
  • Apoiar a eliminação de subexpressões para avaliação de expressões interpretadas (SPARK-33427)
  • Suporte a eliminação de subexpressão para predicado interpretado (SPARK-33540)
  • Outras regras do otimizador
    • Regra ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Regra EliminateNullAwareAntiJoin (SPARK-32573)
    • Regra EliminateAggregateFilter (SPARK-32540)
    • Regra UnwrapCastInBinaryComparison (SPARK-32858)
    • Regra DisableUnnecessaryBucketedScan (SPARK-32859)
    • Regra CoalesceBucketsInJoin (SPARK-31350)
    • Remover campos aninhados desnecessários de gerar sem projeto (SPARK-29721)
    • Remover campos aninhados desnecessários de agregar e expandir (SPARK-27217)
    • Remover campos aninhados desnecessários da repartição por expressão e unir (SPARK-31736)
    • Remover campos aninhados desnecessários sobre variações cosméticas (SPARK-32163)
    • Remover campos aninhados desnecessários da janela e classificar (SPARK-32059)
    • Otimizar o tamanho de CreateArray/CreateMap para ser o tamanho de seus filhos (SPARK-33544)

Aprimoramentos de extensibilidade

  • Adicionar SupportsPartitions APIs no DataSourceV2 (SPARK-31694)
  • Adicionar SupportsMetadataColumns API no DataSourceV2 (SPARK-31255)
  • Tornar a serialização de cache SQL conectável (SPARK-32274)
  • Introduza a purge opção no TableCatalog.dropTable catálogo v2 (SPARK-33364)

Aprimoramentos do conector

  • Melhoria do pushdown do filtro de partição do Hive Metastore (SPARK-33537)
    • O suporte contém, começa com e termina com filtros (SPARK-33458)
    • Filtro de suporte por tipo de data (SPARK-33477)
    • Filtro de suporte por não-iguais (SPARK-33582)
  • Parquet
    • Permitir tipo complexo no tipo de chave do mapa no Parquet (SPARK-32639)
    • Permitir salvar e carregar INT96 em Parquet sem rebasing (SPARK-33160)
  • ORC
    • Pushdown de predicado de coluna aninhada para ORC (SPARK-25557)
    • Atualize o Apache ORC para 1.5.12 (SPARK-33050)
  • CSV
    • Aproveite a fonte de dados de texto SQL durante a inferência de esquema CSV (SPARK-32270)
  • JSON
    • Suporte a pushdown de filtros na fonte de dados JSON (SPARK-30648)
  • JDBC
  • Avro
    • Suporte a pushdown de filtros na fonte de dados Avro (SPARK-32346)

Aprimoramentos de recursos

Outras mudanças notáveis

  • Fornecer função de pesquisa no site de documentos do Spark (SPARK-33166)
  • Atualize a seta Apache para 2.0.0 (SPARK-33213)
  • Ativar Java 8 time API no thrift server (SPARK-31910)
  • Ativar Java 8 time API em UDFs (SPARK-32154)
  • Verificação de estouro para soma agregada com decimais (SPARK-28067)
  • Corrigir colisão de confirmação no modo de substituição de partição dinâmica (SPARK-27194, SPARK-29302)
  • Removidas as referências a escravo, lista negra e lista branca (SPARK-32004, SPARK-32036, SPARK-32037)
  • Remover a verificação do tamanho do resultado da tarefa para o estágio do mapa aleatório (SPARK-32470)
  • Generalizar ExecutorSource para expor esquemas de sistema de arquivos fornecidos pelo usuário (SPARK-33476)
  • Adicionar StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Expor métricas de memória do executor na interface do usuário da Web para executores (SPARK-23432)
  • Expor métricas de memória do executor no nível do estágio, na guia Estágios (SPARK-26341)
  • Corrigir explicitamente o conjunto de no modo de cluster YARN spark.ui.port (SPARK-29465)
  • Adicionar spark.submit.waitForCompletion configuração para controlar a saída de envio de faísca no modo de cluster autônomo (SPARK-31486)
  • yarn.Client Configurar para imprimir links diretos para driver stdout/stderr (SPARK-33185)
  • Corrigir vazamento de memória quando não for possível armazenar partes da transmissão (SPARK-32715)
  • Torne BlockManagerMaster o tempo limite de pulsação do driver configurável (SPARK-34278)
  • Unificar e concluir comportamentos de cache (SPARK-33507)

Mudanças de comportamento

Consulte os guias de migração para cada componente: Spark Core e Spark SQL.

PySpark

Projeto Zen

  • Projeto Zen: Melhorando a usabilidade do Python (SPARK-32082)
  • Suporte a dicas do tipo PySpark (SPARK-32681)
  • Redesenhar a documentação do PySpark (SPARK-31851)
  • Migrar para o estilo de documentação do NumPy (SPARK-32085)
  • Opção de instalação para usuários PyPI (SPARK-32017)
  • Un-deprecate inferindo esquema DataFrame da lista de dict (SPARK-32686)
  • Simplifique a mensagem de exceção de UDFs Python (SPARK-33407)

Outras mudanças notáveis

  • Desduplicar chamadas determinísticas PythonUDF (SPARK-33303)
  • Suporte a funções de ordem superior em funções PySpark (SPARK-30681)
  • Suporte a APIs de gravação v2x da fonte de dados (SPARK-29157)
  • Suporte percentile_approx em funções PySpark (SPARK-30569)
  • Suporte inputFiles em PySpark DataFrame (SPARK-31763)
  • Suporte withField na coluna PySpark (SPARK-32835)
  • Suporte dropFields na coluna PySpark (SPARK-32511)
  • Suporte nth_value em funções PySpark (SPARK-33020)
  • Suporte acosh, asinh e atanh (SPARK-33563)
  • Método de suporte getCheckpointDir em PySpark SparkContext (SPARK-33017)
  • Suporte para preencher nulos para colunas ausentes em unionByName (SPARK-32798)
  • Atualização cloudpickle para v1.5.0 (SPARK-32094)
  • Adicionar MapType suporte para PySpark com seta (SPARK-24554)
  • DataStreamReader.table e DataStreamWriter.toTable (SPARK-33836)

Mudanças de comportamento

Consulte os guias de migração do PySpark.

Transmissão em Fluxo Estruturada

Melhorias de desempenho

  • Lista de arquivos buscados em cache além de maxFilesPerTrigger como arquivo não lido (SPARK-30866)
  • Simplifique a lógica na origem do fluxo de arquivos e no log de metadados do coletor (SPARK-30462)
  • Evite ler o log de metadados compacto duas vezes se a consulta for reiniciada a partir do lote compacto (SPARK-30900)

Aprimoramentos de recursos

  • Adicionar DataStreamReader.table API (SPARK-32885)
  • Adicionar DataStreamWriter.toTable API (SPARK-32896)
  • Junção semi-fluxo esquerda (SPARK-32862)
  • Junção de fluxo externo completo (SPARK-32863)
  • Fornecer uma nova opção para ter retenção em arquivos de saída (SPARK-27188)
  • Adicionar suporte ao Spark Structured Streaming History Server (SPARK-31953)
  • Introduzir a validação do esquema de estado entre a reinicialização da consulta (SPARK-27237)

Outras mudanças notáveis

  • Introduzir a validação de esquema para armazenamento de estado de streaming (SPARK-31894)
  • Suporte para usar um codec de compressão diferente no armazenamento de estado (SPARK-33263)
  • Espera infinita do conector Kafka porque os metadados nunca foram atualizados (SPARK-28367)
  • Atualize Kafka para 2.6.0 (SPARK-32568)
  • Suporte de paginação para páginas de interface do usuário de streaming estruturado (SPARK-31642, SPARK-30119)
  • Informações de estado na interface do usuário de streaming estruturado (SPARK-33223)
  • Informações de lacuna de marca d'água na interface do usuário de streaming estruturado (SPARK-33224)
  • Expor informações de métricas personalizadas de estado na interface do usuário do SS (SPARK-33287)
  • Adicionar uma nova métrica em relação ao número de linhas posteriores à marca d'água (SPARK-24634)

Mudanças de comportamento

Consulte os guias de migração para Streaming estruturado.

MLlib

Destaques

  • LinearSVC bloqueia vetores de entrada (SPARK-30642)
  • LogisticRegression bloqueia vetores de entrada (SPARK-30659)
  • LinearRegression bloqueia vetores de entrada (SPARK-30660)
  • AFT bloqueia vetores de entrada (SPARK-31656)
  • Adicionar suporte para regras de associação em ML (SPARK-19939)
  • Adicionar resumo de treinamento para LinearSVCModel (SPARK-20249)
  • Adicionar resumo a RandomForestClassificationModel (SPARK-23631)
  • Adicionar resumo de treinamento ao FMClassificationModel (SPARK-32140)
  • Adicionar resumo a MultilayerPerceptronClassificationModel (SPARK-32449)
  • Adicionar FMClassifier ao SparkR (SPARK-30820)
  • Adicionar wrapper SparkR LinearRegression (SPARK-30818)
  • Adicionar invólucro FMRegressor ao SparkR (SPARK-30819)
  • Adicionar invólucro SparkR para vector_to_array (SPARK-33040)
  • instâncias de bloqueio adaptativo - LinearSVC (SPARK-32907)
  • fazer CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer suportar estimador/avaliador de back-end Python (SPARK-33520)
  • Melhorar o desempenho do ML ALS recommendForAll by GEMV (SPARK-33518)
  • Adicionar UnivariateFeatureSelector (SPARK-34080)

Outras mudanças notáveis

  • Resumo de computação do GMM e distribuições de atualização em um trabalho (SPARK-31032)
  • Remova a dependência do ChiSqSelector no mllib. ChiSqSelectorModel (SPARK-31077)
  • Nivelar o dataframe de resultados de testes no testChiSquare (SPARK-31301)
  • Otimização de MinHash keyDistance (SPARK-31436)
  • Otimização de KMeans baseada na desigualdade triangular (SPARK-31007)
  • Adicionar suporte de peso no ClusteringEvaluator (SPARK-31734)
  • Adicionar getMetrics em avaliadores (SPARK-31768)
  • Adicionar suporte de peso de instância em LinearRegressionSummary (SPARK-31944)
  • Adicionar coluna de dobra especificada pelo usuário ao CrossValidator (SPARK-31777)
  • Paridade de valor padrão de parâmetros de ML em recurso e ajuste (SPARK-32310)
  • Corrigir cache duplo em KMeans/BiKMeans (SPARK-32676)
  • Otimização da transformação de popa (SPARK-33111)
  • Otimização da transformação FeatureHasher (SPARK-32974)
  • Adicionar função array_to_vetor para coluna de dataframe (SPARK-33556)
  • ML params paridade de valor padrão na classificação, regressão, clustering e fpm (SPARK-32310)
  • Summary.totalIterations maior que maxIters (SPARK-31925)
  • otimização da previsão de modelos de árvore (SPARK-32298)

Mudanças de comportamento

Consulte os guias de migração para MLlib.

SparkR

  • Adicionar interface SparkR para funções de ordem superior (SPARK-30682)
  • Suporte para preencher nulos para colunas ausentes em unionByName (SPARK-32798)
  • Suporte comColumn em funções SparkR (SPARK-32946)
  • Suporte timestamp_seconds em funções SparkR (SPARK-32949)
  • Suporte nth_value em funções SparkR (SPARK-33030)
  • Versão mínima de seta aumentada para 1.0.0 (SPARK-32452)
  • Suporte array_to_vetor em funções SparkR (SPARK-33622)
  • Suporte acosh, asinh e atanh (SPARK-33563)
  • Suporte from_avro e to_avro (SPARK-33304)

Mudanças de comportamento

Consulte os guias de migração para SparkR (R on Spark).

GraphX

Guia de programação: Guia de programação GraphX.

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 8.0.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (compilação 1.8.0_275-b01)
  • Escala: 2.12.10
  • Python: 3.8.8 (atualizado de 3.8.6 em 26 de maio de 2021 atualização de manutenção)
  • R: R versão 4.0.3 (2020-10-10)
  • Lago Delta 0.8.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Appdirs 1.4.4 asn1crypto 1.4.0 Backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 Brotlipia 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
criptografia 3.1.1 cycler 0.10.0 Quisto 0.29.21
decorador 4.4.2 Distlib 0.3.1 docutils 0.15.2
pontos de entrada 0.3 filelock 3.0.12 idna 2.10
Ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
Jedi 0.17.2 jmespath 0.10.0 Joblib 0.17.0
jupyter-cliente 6.1.7 Jupyter-core 4.6.3 Kiwisolver 1.3.0
coalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 Parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 Meias PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 Pyzmq 19.0.2
pedidos 2.24.0 s3transferir 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
seis 1.15.0 statsmodels 0.12.0 ThreadPoolCtl 2.1.0
tornado 6.0.4 traços 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 largura de wc 0.2.5 roda 0.35.1

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1.1 asserçãoat 0.2.1 backports 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
arranque 1.3-25 brew 1.0-6 Brio 1.1.0
vassoura 0.7.2 Chamador 3.5.1 acento circunflexo 6.0-86
Cellranger 1.1.0 crono 2.3-56 classe 7.3-17
cli 2.2.0 Clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 espaço em cores 2.0-0 marca comum 1.7
compilador 4.0.3 configuração 0.3 CoVR 3.5.1
CPP11 0.2.4 lápis de cor 1.3.4 credenciais 1.3.0
conversa cruzada 1.1.0.1 curl 4.3 data.table 1.13.4
conjuntos de dados 4.0.3 DBI 1.1.0 DBPlyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
resumo 0.6.27 dplyr 1.0.2 DT 0,16
reticências 0.3.1 evaluate 0.14 Fãsi 0.4.1
Farver 2.0.3 mapa rápido 1.0.1 FORCATS 0.5.0
foreach 1.5.1 externa 0.8-79 forjar 0.2.0
FS 1.5.0 Futuro 1.21.0 Genéricos 0.1.0
Gert 1.0.2 ggplot2 3.3.2 GH 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globais 0.14.0
colar 1.4.2 gower 0.2.2 gráficos 4.0.3
grDevices 4.0.3 grelha 4.0.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 Refúgio 2.3.1
mais alto 0.8 HMS 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 Isoband 0.2.3 iteradores 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 Knitr 1.30
etiquetagem 0.4.2 mais tarde 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 ciclo de vida 0.2.0
ouvirv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Marcação 1.1 MASSA 7.3-53 Matriz 1.2-18
memoise 1.1.0 métodos 4.0.3 mgcv 1.8-33
mime 0,9 ModelMetrics 1.2.2.2 Modelador 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 paralelo 4.0.3
Paralelamente 1.22.0 pilar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 elogiar 1.0.0 unidades bonitas 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
Progresso 1.2.2 promessas 1.1.1 proto 1.0.0
PS 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
Leitor 1.4.0 ReadXL 1.3.1 receitas 0.1.15
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.2.0
Reprex 0.3.0 remodelar2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversões 2.0.2 Rvest 0.3.6 escalas 1.1.1
seletor 0.4-2 sessioninfo 1.1.1 forma 1.4.5
brilhante 1.5.0 ferramentas de origem 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 espacial 7.3-11 splines 4.0.3
sqldf 0.4-11 QUADRADO 2020.5 estatísticas 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
sobrevivência 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2.10 testeatat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 Tidyverse 1.3.0
timeDate 3043.102 Tinytex 0.28 ferramentas 4.0.3
usethis 2.0.0 UTF8 1.1.4 utilitários 4.0.3
uuid 0.1-4 VCTRS 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.10.0
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben ZSTD-JNI 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.12.8
net.floco de neve faísca-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato de seta 2.0.0
org.apache.arrow seta-memória-núcleo 2.0.0
org.apache.arrow seta-memória-netty 2.0.0
org.apache.arrow vetor de seta 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-texto 1.6
org.apache.curator curador-cliente 2.7.1
org.apache.curator curador-framework 2.7.1
org.apache.curator curador-receitas 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive colmeia-comum 2.3.7
org.apache.hive colmeia-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-cliente 2.3.7
org.apache.hive colmeia-lamp-comum 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive Colmeia-Serde 2.3.7
org.apache.hive colmeias-calços 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims colmeia-calços-0,23 2.3.7
org.apache.hive.shims colmeia-calços-comum 2.3.7
org.apache.hive.shims colmeia-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 incubação
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.4.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-núcleo 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc Orc-calços 1.5.12
org.apache.parquet parquet-column 1.10.1-DATABRICKS6
org.apache.parquet parquet-common 1.10.1-DATABRICKS6
org.apache.parquet parquet-encoding 1.10.1-DATABRICKS6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-DATABRICKS6
org.apache.parquet parquet-jackson 1.10.1-DATABRICKS6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocidade 1.5
org.apache.xbean xbean-asm7-sombreado 4.15
org.apache.yetus anotações de audiência 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core servidor de jersey 2.30
org.glassfish.jersey.inject Jersey-HK2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M5
org.json4s JSON4S-core_2.12 3.7.0-M5
org.json4s JSON4S-jackson_2,12 3.7.0-M5
org.json4s JSON4S-scalap_2.12 3.7.0-M5
org.lz4 LZ4-Java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap calços 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.10
org.scala-lang Escala-library_2.12 2.12.10
org.scala-lang Escala-reflect_2,12 2.12.10
org.scala-lang.modules scala-coleção-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework teste de primavera 4.1.4.RELEASE
org.threeten trêsdez-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel gatos-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel torre-macros_2.12 0,17,0-m1
org.typelevel torre-platform_2.12 0,17,0-m1
org.typelevel torre-util_2.12 0,17,0-m1
org.typelevel spire_2.12 0,17,0-m1
org.wildfly.openssl mosca-selvagem-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52