Partilhar via

Tempo de execução do Databricks 5.3 (EoS)

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

A Databricks lançou esta versão em abril de 2019.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 5.3, desenvolvido pelo Apache Spark.

Novos recursos

Databricks Delta

Viagem no tempo GA

A viagem no tempo Delta está agora em disponibilidade geral. Ele adiciona a capacidade de consultar um instantâneo de uma tabela usando uma cadeia de caracteres de carimbo de data/hora ou uma versão, usando sintaxe SQL, bem como DataFrameReader opções para expressões de carimbo de data/hora.

SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version

A viagem no tempo tem muitos casos de uso, incluindo:

  • Recriar análises, relatórios ou saídas (por exemplo, a saída de um modelo de aprendizado de máquina), o que é útil para depuração ou auditoria, especialmente em setores regulamentados.
  • Escrever consultas temporais complexas.
  • Corrigir erros nos seus dados.
  • Proporcionar isolamento ao nível de instantâneo para um conjunto de consultas em tabelas de rápida mutação.

Viagem no tempo Delta

Ver Trabalho com histórico de tabelas.

Replicação de tabelas MySQL para Delta Public Preview

Transmita dados de uma tabela MySQL diretamente para o Delta para consumo downstream em fluxos de trabalho de análise ou ciência de dados do Spark. Aproveitando a mesma estratégia que o MySQL usa para replicação para outras instâncias, o binlog é usado para identificar atualizações que são processadas e transmitidas para o Databricks da seguinte maneira:

  • Lê eventos de alteração do log do banco de dados.
  • Transmite os eventos para o Databricks.
  • Grava pela mesma ordem numa tabela Delta.
  • Mantém o estado em caso de desconexões da fonte.

Funcionalidades de pré-visualização privada

Esta versão contém os seguintes recursos de visualização privada para Delta Lake:

  • Adicionado um comando experimental que permite ao Presto consultar diretamente tabelas Delta.
  • A Otimização Automática otimiza o layout de arquivos durante gravações individuais em uma tabela Delta e impede que pequenos arquivos se acumulem em suas tabelas Delta para manter o desempenho de consultas extremamente rápidas. Além disso, as gravações e operações de inserção/atualização em tabelas Delta particionadas podem desfrutar de significativas melhorias de desempenho graças a uma redistribuição adaptativa introduzida durante as escritas.

Se pretender participar em qualquer uma das pré-visualizações, entre em contato com a sua equipa de conta Databricks.

Pasta DBFS FUSE otimizada para cargas de trabalho de aprendizagem profunda

O Azure Databricks agora oferece uma montagem FUSE otimizada. Você pode ter acesso a dados de alto desempenho durante o treinamento e a inferência sem aplicar scripts init. Os dados armazenados sob dbfs:/ml e acessíveis localmente em file:/dbfs/ml agora são suportados por esta montagem FUSE otimizada. Consulte Carregar dados para aprendizado de máquina e aprendizado profundo.

Melhorias

  • Bibliotecas restritas ao notebook
    • Suporte para Extras em dbutils.library.installPyPI.
    • Suporte para instalação de bibliotecas com escopo de notebook no sistema de arquivos do Azure, incluindo wasbs, adls e abfss.
    • Mensagens de erro melhoradas para bibliotecas com escopo de bloco de anotações em destinos sem suporte. Por exemplo: "Os utilitários de biblioteca não estão disponíveis no Databricks Runtime for Machine Learning."
  • Conecte-se ao Azure Data Lake Storage (ADLS) sem precisar conceder uma função RBAC de "Colaborador de Dados de Blob do Armazenamento" em toda a conta para o Principal de Serviço.
  • O Databricks Advisor tem dicas adicionais para melhorar o desempenho das consultas:
    • Quando há muitos arquivos pequenos por partição -> Converter tabela para Delta e executar OPTIMIZE.
    • Quando houver um filtro altamente seletivo -> Converta para Delta e use ZORDER BY.
    • Quando as buscas de metadados do Hive se tornarem um gargalo -> Converta sua tabela em Delta.
  • Ubuntu atualizado de 16.04.5 LTS para 16.04.6 LTS.
  • Atualizado Scala 2.11 de 2.11.8 para 2.11.12.
  • Atualizado algumas bibliotecas Python instaladas:
    • pip: 18.1 a 19.0.3.
    • setuptools: 40.6.3 a 40.8.0
    • roda: 0.32.3 a 0.33.1
  • R atualizado de 3.4.4 para 3.5.2.
  • Foram atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.

Preterição

  • O conector Apache Kafka 0.8 para Streaming Estruturado não é mais suportado. Ele está incluído no Databricks Runtime 5.3, mas será removido de uma versão futura do Databricks Runtime.
  • O Databricks ML Model Export foi preterido e será removido no Databricks Runtime 6.0. Em vez disso, use MLeap para importar e exportar modelos.
  • Removido spark.databricks.pyspark.enableExecutorFsPerms como uma opção de configuração.

Correções de erros

  • Instalação fixa da biblioteca Python Egg em todo o cluster para clusters habilitados para ACLs de tabela.
  • Melhoria do cancelamento de comando Python ao corrigir a situação em que o cancelamento é chamado antes da execução do comando.
  • Corrigido um bug em ACLs de tabela: agora, quando você lista objetos em um banco de dados ou catálogo, você vê apenas os objetos que você tem permissão para ver.

Apache Spark

O Databricks Runtime 5.3 inclui o Apache Spark 2.4.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 5.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [SPARK-27134][SQL] função array_distinct não funciona corretamente com colunas contendo array de arrays
  • [SPARK-24669][SQL] Invalidar tabelas em caso de DROP DATABASE CASCADE
  • [SPARK-26572][SQL] corrigir a avaliação do resultado do codegen de agregação
  • [SPARK-27046][DSTREAMS] Remover referências relacionadas às SPARK-19185 da documentação
  • [FAÍSCA-26449][PYTHON] Adicionar método transform ao DataFrame API
  • [SPARK-26740][SQL] Ler estatísticas de coluna de timestamp escritas pelo Spark 3.0
  • [SPARK-26909][SQL] utilizar unsafeRow.hashCode() como valor hash em HashAggregate
  • [SPARK-26990][SQL] FileIndex: use nomes de campo especificados pelo utilizador, se possível
  • [SPARK-26851][SQL] Corrigir o mecanismo de bloqueio duplamente verificado no CachedRDDBuilder
  • [SPARK-26864][SQL] A consulta pode retornar um resultado incorreto quando a Python UDF é usada como uma condição de junção à esquerda semiequi
  • [SPARK-26887][SQL][PYTHON] Criar datetime.date diretamente em vez de criar datetime64 como dados intermédios.
  • [SPARK-26859][SQL] Corrigir bug do índice do gravador no desserializador ORC não vetorizado
  • [FAÍSCA-26864][SQL] A consulta pode retornar um resultado incorreto quando o UDF em Python é usado como uma condição de junção e o UDF utiliza atributos de ambos os lados da semijunção à esquerda
  • [SPARK-24360][SPARK-26091][BACKPORT][SQL] Suporte para metastore do Hive 3.1
  • [SPARK-26873][SQL] Usar um timestamp consistente para criar IDs de Job do Hadoop.
  • [SPARK-26734][STREAMING] Corrigir StackOverflowError com uma grande fila de blocos
  • [SPARK-26758][CORE] Executores ociosos não estão a ser terminados após o valor spark.dynamicAllocation.executorIdleTimeout
  • [FAÍSCA-26751][SQL] Corrigir vazamento de memória quando a instrução é executada em segundo plano e lançar exceção que não é HiveSQLException
  • [SPARK-26806][SS] EventTimeStats.merge deve lidar com zeros corretamente
  • [SPARK-26745][SPARK-24959][SQL] Reverter a otimização da contagem na fonte de dados JSON
  • [SPARK-26757][GRAPHX] Retornar 0 para contagem nos RDDs de Edge/Vertex vazios
  • [SPARK-26726] Sincronizar a quantidade de memória usada pela variável de broadcast com a exibição da IU
  • [FAÍSCA-26718][SS] Corrigido estouro de inteiro no cálculo SS kafka rateLimit
  • [SPARK-26708][SQL] Resultado incorreto causado por inconsistência entre o RDD armazenado em cache de um cache SQL e seu plano físico
  • [SPARK-26735][SQL] Verificar a integridade do plano para expressões especiais
  • [SPARK-26619][SQL] Remover os serializadores que não são utilizados de SerializeFromObject
  • [SPARK-26379][SS] Utilizar um TimeZoneId fictício para evitar UnresolvedException em CurrentBatchTimestamp
  • [SPARK-26495][SQL] Simplifique o extractor SelectedField
  • [SPARK-26379][SS] Corrigir problema ao adicionar current_timestamp/current_date à consulta de streaming
  • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery não lida com registos vazios corretamente
  • [SPARK-26680][SQL] Gerar inputVars antecipadamente quando as condições forem apropriadas
  • [SPARK-26682][SQL] Use taskAttemptID em vez de attemptNumber para Hadoop.
  • [SPARK-26706][SQL] Corrigir illegalNumericPrecedence para ByteType
  • [SPARK-26228][MLLIB] Problema de falta de memória encontrado ao calcular a matriz Gramian
  • [SPARK-26665][CORE] Corrigir um erro onde BlockTransferService.fetchBlockSync pode ficar pendurado indefinidamente.
  • [FAÍSCA-26549][PYSPARK] Correção para a reutilização do trabalhador python não ter efeito para paralelizar intervalo iterável preguiçoso
  • [FAÍSCA-26351][MLLIB] Atualizar a documentação e pequena correção nas métricas de avaliação do MLlib
  • [SPARK-26450]Evite reconstruir o mapa do esquema para cada coluna numa projeção
  • [SPARK-26638][PYSPARK][ML] As classes de vetor do Pyspark retornam sempre erro ao aplicar a negação unária
  • [SPARK-26633][REPL] Adicionar o método ExecutorClassLoader.getResourceAsStream
  • [SPARK-26629][SS] Corrigido erro com fluxo de múltiplos ficheiros numa consulta + reinício num lote sem dados para um fluxo de ficheiros
  • [SPARK-25992][PYTHON] Documentar que SparkContext não pode ser partilhado para multiprocessamento
  • [SPARK-26615][CORE] Corrigindo vazamentos de recursos do servidor/cliente de transporte nos testes de unidade do núcleo
  • [FAÍSCA-26350][SS] Permitir substituir o ID de grupo do consumidor Kafka
  • [SPARK-26538][SQL] Definir precisão e escala padrão para elementos de uma matriz numérica Postgres
  • [SPARK-26586][SS] Corrigir a condição de corrida que faz com que os fluxos sejam executados com configurações inesperadas.
  • [FAÍSCA-26551][SQL] Corrigir erro de remoção de esquema ao selecionar um campo complexo e quando há um predicado 'is not null' em outro.
  • [SPARK-26576][SQL] Hint de broadcast não aplicado à tabela particionada
  • [SPARK-26571][SQL] Atualizar o mapeamento do Hive Serde com o nome canônico de Parquet e Orc Formato de Ficheiro
  • [SPARK-26267][SS] Repetir ao detetar offsets incorretos de Kafka (2.4)
  • [SPARK-26559][ML][PYSPARK] A imagem ML não pode funcionar com versões numpy anteriores à 1.9
  • [FAÍSCA-26078][SQL] Atributos de associação automática do Dedup em subconsultas IN

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 5.3.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 16.04.6 LTS
  • Java: 1.8.0_191
  • Scala: 2.11.12
  • Python: 2.7.12 para clusters Python 2 e 3.5.2 para clusters Python 3.
  • R: R versão 3.5.2 (2018-12-20)
  • Clusters de GPU: As seguintes bibliotecas de GPU NVIDIA estão instaladas:
    • Piloto da Tesla 375.66
    • CUDA 9,0
    • cuDNN 7,0

Nota

Embora o Scala 2.12 seja suportado no Apache Spark 2.4, ele não é suportado no Databricks Runtime 5.3.

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ansi2html 1.1.1 Argparse 1.2.1 backports-abc 0,5
botão 2.42.0 Boto3 1.4.1 Botocore 1.4.70
cervejeiro2mpl 1.4.1 certifi 2016.2.28 CFFI 1.7.0
Chardet 2.3.0 Colorama 0.3.7 configobj 5.0.6
criptografia 1.5 ciclista 0.10.0 Cython 0.24.1
decorador 4.0.10 Docutils 0.14 ENUM34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futuros 3.2.0 ggplot 0.6.8
html5lib 0.999 IDNA 2.1 endereço IP 1.0.16
IPython 2.2.0 ipython-genutils 0.1.0 JDCAL 1.2
Jinja2 2.8 JmesPath 0.9.0 LLVMLITE 0.13.0
LXML 3.6.4 MarkupSafe 0.23 Matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
Dormência 0.28.1 numpy 1.11.1 openpyxl (biblioteca para manipular ficheiros Excel em Python) 2.3.2
pandas 0.19.2 Pathlib2 2.1.0 vítima 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Travesseiro 3.3.1
pip (o gestor de pacotes do Python) 19.0.3 camada 3.9 kit de ferramentas de prompt 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
Pyarrow 0.8.0 Piasn1 0.1.9 Pycparser 2.14
Pigmentos 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
Pyparsing 2.2.0 PYPNG 0.0.18 Python 2.7.12
python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.5.3 Python-Geohash 0.8.5 Pytz 1.6.2016
pedidos 2.11.1 s3transfer 0.1.9 scikit-learn (biblioteca de aprendizado de máquina em Python) 0.18.1
SciPy 0.18.1 vasculhar 0.32 nascido no mar 0.7.1
Ferramentas de configuração 40.8.0 simplejson 3.8.2 simples3 1.0
despacho único 3.4.0.3 seis 1.10.0 statsmodels (uma biblioteca de Python para modelos estatísticos) 0.6.1
tornado 5.1.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 16.1.0 wcwidth 0.1.7 wheel 0.33.1
WSGIREF 0.1.2

Bibliotecas R instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Abind 1.4-5 AskPass 1.1 asserçãoat 0.2.0
Retroportagens 1.1.3 base 3.5.2 base64enc 0.1-3
Belo Horizonte 1.69.0-1 pouco 1.1-14 bit64 0.9-7
Bitops 1.0-6 blob 1.1.1 arranque 1.3-20
fabricação de cerveja 1.0-6 Chamador 3.1.1 carro 3.0-2
dadosDoCarro 3.0-2 cursor de texto 6.0-81 Cellranger 1.1.0
crono 2.3-53 classe 7.3-15 CLI 1.0.1
Clipr 0.5.0 símbolos CLI 1.2.0 cluster 2.0.7-1
CodeTools 0,2-16 espaço em cores 1.4-0 marca comum 1.7
compilador 3.5.2 configuração 0,3 lápis de cor 1.3.4
encaracolar 3.3 tabela de dados 1.12.0 conjuntos de dados 3.5.2
DBI 1.0.0 DBPlyr 1.3.0 descrição 1.2.0
DevTools 2.0.1 resumo 0.6.18 doMC 1.3.5
DPLYR 0.8.0.1 reticências 0.1.0 Fansi 0.4.0
FORCATS 0.4.0 para cada 1.4.4 estrangeiro 0,8-71
forjar 0.2.0 FS 1.2.6 GBM 2.1.5
genérico 0.0.2 GGPLOT2 3.1.0 GH 1.0.1
Git2R 0.24.0 glmnet 2.0-16 cola 1.3.0
Gower 0.1.2 gráficos 3.5.2 grDispositivos 3.5.2
grelha 3.5.2 gridExtra 2.3 gsubfn 0,7
tabela g 0.2.0 H2O 3.22.1.1 Refúgio 2.1.0
HMS 0.4.2 htmltools 0.3.6 htmlwidgets (componentes HTML interativos) 1.3
HTTR 1.4.0 Hwriter 1.3.2 hwriterPlus 1.0-3
ini 0.3.1 ipred 0.9-8 iteradores 1.0.10
jsonlite 1.6 KernSmooth 2.23-15 etiquetagem 0,3
treliça 0.20-38 lave 1.6.5 lazyeval 0.2.1
menor 0.3.6 lme4 1.1-20 lubridato 1.7.4
Magrittr 1.5 Mapproj 1.2.6 mapas 3.3.0
Ferramentas de mapa 0.9-5 MASSA 7.3-51.1 Matriz 1.2-15
MatrixModels 0.4-1 memorização 1.1.0 métodos 3.5.2
MGCV 1.8-27 mímica 0,6 Minqa 1.2.4
ModelMetrics 1.2.2 Munsell 0.5.0 MVTnorm 1.0-9
NLME 3.1-137 NLOPTR 1.2.1 NNET 7.3-12
numDeriv 2016.8-1 openssl (conjunto de ferramentas para criptografia) 1.2.2 OpenXLSX 4.1.0
paralelo 3.5.2 pbkrtest 0.4-7 pilar 1.3.1
pkgbuild 1.0.2 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.2 plogr 0.2.0 Plyr 1.8.4
elogiar 1.0.0 unidades bonitas 1.0.2 pROC 1.13.0
processx 3.2.1 Prodlim 2018.04.18 Progresso 1.2.0
prototipo 1.0.0 PS 1.3.0 ronronar 0.3.0
Quantreg 5,38 R.métodosS3 1.7.1 R.oo 1.22.0
R.utils 2.8.0 r2d3 0.2.3 R6 2.4.0
Floresta Aleatória 4.6-14 rappdirs 0.3.1 rcmdcheck 1.3.2
RColorBrewer 1.1-2 Rcpp 1.0.0 RcppEigen 0.3.3.5.0
RcppRoll 0.3.0 RCurl 1.95-4.11 Leitor 1.3.1
readxl 1.3.0 receitas 0.1.4 revanche 1.0.1
Dispositivos remotos 2.0.2 remodelar2 1.4.3 Rio 0.5.16
Rlang 0.3.1 RODBC 1.3-15 oxigénio2 6.1.1
rpart (função de partição recursiva em R) 4.1-13 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.1.1 rstudioapi 0.9.0 escalas 1.0.0
Informação da sessão 1.1.1 SP 1.3-1 sparklyr 1.0.0
SparkR 2.4.2 SparseM 1.77 espacial 7.3-11
estrias 3.5.2 sqldf 0.4-11 SQUAREM 2017.10-1
statmod 1.4.30 estatísticas 3.5.2 estatísticas4 3.5.2
string 1.3.1 stringr 1.4.0 sobrevivência 2.43-3
Sistema 3.0 tcltk (uma linguagem de programação) 3.5.2 Demonstrações de Ensino 2.10
testthat 2.0.1 Tibble 2.0.1 Tidyr 0.8.3
tidyselect 0.2.5 data e hora 3043.102 ferramentas 3.5.2
usethis 1.4.0 UTF8 1.1.4 utilitários 3.5.2
viridisLite 0.3.0 vibrissas 0.3-2 murchar 2.1.2
XML2 1.2.0 xopen 1.0.0 yaml 2.2.0
ZIP 2.0.0

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)

ID do Grupo ID do Artefacto Versão
Antlr Antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.8.10
com.amazonaws aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) 1.11.313
com.amazonaws AWS-Java-SDK-CloudFormation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws AWS Java SDK para CloudSearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config (configuração do AWS Java SDK) 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-aprendizado de máquina 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws AWS Java SDK para SES 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) 1.11.313
com.amazonaws AWS-Java-SDK-STS 1.11.313
com.amazonaws aws-java-sdk-suporte 1.11.313
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch HPPC 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics fluxo 2.7.0
com.databricks Rserve 1.8-3
com.databricks DBML-local_2,11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-testes 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml colega de turma 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core Jackson-Core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-módulo-scala_2.11 2.6.7.1
com.github.fommil Jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-Java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib sistema_nativo-Java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-nativos 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-nativos 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl Jtransforms 2.4.0
com.google.code.findbugs JSR305 2.0.1
com.google.code.gson Gson 2.2.4
com.google.guava Goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2banco de dados h2 1.3.174
com.jcraft JSCH 0.1.50
com.jolbox BoneCP 0.8.0.LANÇAMENTO
com.microsoft.azure azure-data-lake-store-sdk (SDK para Azure Data Lake Store) 2.2.8
com.microsoft.azure Azure Storage 5.2.0
com.microsoft.sqlserver MSSQL-JDBC 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter Chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity analisadores de univocidade 2.7.3
com.vlkan flatbuffers 1.2.0-3F79E055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
Commons Collections Commons Collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift compressor de ar 0.10
io.dropwizard.metrics métricas-base 3.1.5
io.dropwizard.metrics métricas-Ganglia 3.1.5
io.dropwizard.metrics métricas-grafite 3.1.5
io.dropwizard.metrics métricas e verificações de saúde 3.1.5
io.dropwizard.metrics métricas-jetty9 3.1.5
io.dropwizard.metrics métricas-json 3.1.5
io.dropwizard.metrics métricas do JVM 3.1.5
io.dropwizard.metrics métricas-log4j 3.1.5
io.dropwizard.metrics Métricas-Servlets 3.1.5
io.netty biblioteca Netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometeu cliente simples 0.0.16
io.prometeu simpleclient_comum 0.0.16
io.prometeu simpleclient_dropwizard 0.0.16
io.prometeu simpleclient_servlet 0.0.16
io.prometheus.jmx recoletor 0,7
javax.ativação ativação 1.1.1
javax.anotação javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo JDO-API 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp JSP-API 2.1
javax.transaction JTA 1.1
javax.validation API de validação 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind JAXB-API 2.2.2
javax.xml.stream Stax-API 1.0-2
Javolution Javolution 5.5.1
Jline Jline 2.14.6
Joda-Time Joda-Time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-propriedades 1.1.5
net.razorvine pirolite 4.13
net.sf.jpam JPAM 1.1
net.sf.opencsv OpenCSV 2.3
net.sf.supercsv Super-CSV 2.2.0
net.floco de neve Snowflake Ingest SDK 0.9.5
net.floco de neve Flocos de Neve-JDBC 3.6.15
net.floco de neve faísca-snowflake_2.11 2.4.10-spark_2.4
net.sourceforge.f2j arpack_combinado_tudo 0.1
org.acplt ONCRPC 1.0.7
org.antlr ST4 4.0.4
org.antlr ANTLR Runtime 3.4
org.antlr antlr4-tempo de execução 4.7
org.antlr StringTemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ANT-JSCH 1.9.2
org.apache.ant lançador de formigas 1.9.2
org.apache.arrow formato de seta 0.10.0
org.apache.arrow seta-memória 0.10.0
org.apache.arrow vetor gráfico de seta 0.10.0
org.apache.avro Avro 1.8.2
org.apache.avro AVRO-IPC 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0 incubação
org.apache.calcite núcleo de calcita 1.2.0 incubação
org.apache.calcite calcite-linq4j 1.2.0 incubação
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-cripto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curador curador-cliente 2.7.1
org.apache.curador curador-framework 2.7.1
org.apache.curador organizador de receitas 2.7.1
org.apache.derby Dérbi 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api API-Util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations (anotações do hadoop) 2.7.3
org.apache.hadoop autenticação do Hadoop 2.7.3
org.apache.hadoop Cliente Hadoop 2.7.3
org.apache.hadoop hadoop-comum 2.7.3
org.apache.hadoop Hadoop-HDFS 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app (aplicação cliente do hadoop-mapreduce) 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common (Cliente comum do Hadoop MapReduce) 2.7.3
org.apache.hadoop hadoop-mapreduce-cliente-core 2.7.3
org.apache.hadoop Cliente de Trabalho Hadoop MapReduce 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-cliente 2.7.3
org.apache.hadoop hadoop-yarn-comum 2.7.3
org.apache.hadoop hadoop-yarn-server-common (componente do servidor comum do Hadoop YARN) 2.7.3
org.apache.htrace htrace-core 3.1.0 incubação
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy hera 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc Orc-calços 1.5.2
org.apache.parquet coluna de parquet 1.10.1.1-databricks3
org.apache.parquet parquet-comum 1.10.1.1-databricks3
org.apache.parquet codificação-parquet 1.10.1.1-databricks3
org.apache.parquet formato parquet 2.4.0
org.apache.parquet Parquet-Hadoop 1.10.1.1-databricks3
org.apache.parquet Parquet-Jackson 1.10.1.1-databricks3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-sombreado 4.8
org.apache.zookeeper cuidador de zoológico 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson Jackson-Jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.jackson Jackson-XC 1.9.13
org.codehaus.janino compilador comum 3.0.10
org.codehaus.janino Janino 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus DataNucleus Core 3.2.10
org.datanucleus Datanucleus-RDBMS 3.2.9
org.eclipse.jetty Jetty-Cliente 9.3.20.v20170531
org.eclipse.jetty jetty-continuation (componente de software do Jetty) 9.3.20.v20170531
org.eclipse.jetty Jetty-HTTP 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty Cais-Plus 9.3.20.v20170531
org.eclipse.jetty Jetty-Proxy 9.3.20.v20170531
org.eclipse.jetty Segurança do Jetty 9.3.20.v20170531
org.eclipse.jetty servidor jetty 9.3.20.v20170531
org.eclipse.jetty Jetty-servlet 9.3.20.v20170531
org.eclipse.jetty Jetty-servlets 9.3.20.v20170531
org.eclipse.jetty Jetty-util 9.3.20.v20170531
org.eclipse.jetty Aplicação web Jetty 9.3.20.v20170531
org.eclipse.jetty Jetty-XML 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-B34
org.glassfish.hk2 localizador hk2 2.4.0-B34
org.glassfish.hk2 HK2-Utils 2.4.0-B34
org.glassfish.hk2 localizador de recursos OSGi 1.0.1
org.glassfish.hk2.external aopalliance-reembalado 2.4.0-B34
org.glassfish.hk2.external javax.injet 2.4.0-B34
org.glassfish.jersey.bundles.reembalado Jersey-Goiaba 2.22.2
org.glassfish.jersey.containers jersey-container-servlet (serviço de contêiner Jersey) 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-cliente 2.22.2
org.glassfish.jersey.core Jersey comum 2.22.2
org.glassfish.jersey.core servidor de jersey 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator (ferramenta de validação de dados de Java) 5.1.1.Final
org.iq80.snappy rápido 0.2
org.javassist Javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi JDBI 2.63.1
org.joda joda-converter 1.7
org.jodd JODD-CORE 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s JSON4S-core_2.11 3.5.3
org.json4s JSON4S-jackson_2.11 3.5.3
org.json4s JSON4S-scalap_2.11 3.5.3
org.lz4 LZ4-Java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql PostgreSQL 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2,11 2.11.12
org.scala-lang Escala-library_2,11 2.11.12
org.scala-lang scala-reflect_2.11 2.11.12
org.scala-lang.modules scala-parser-combinators_2,11 1.1.0
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-compatível-com-slf4j 1.7.16
org.slf4j jul-para-slf4j 1.7.16
org.slf4j SLF4J-API 1.7.16
org.slf4j SLF4J-Log4J12 1.7.16
org.spark-project.hive colmeia-abelha 1.2.1.spark2
org.spark-project.hive Hive-CLI 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive Hive-JDBC 1.2.1.spark2
org.spark-project.hive sistema de metadados do Hive 1.2.1.spark2
org.spark-project.spark não utilizado 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core (núcleo do Spring) 4.1.4.VERSÃO
org.springframework teste de primavera 4.1.4.VERSÃO
org.tukaani XZ 1.5
org.typelevel mecânico_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial SQLITE-JDBC 3.8.11.2
org.xerial.snappy Snappy-java 1.1.7.1
org.yaml Snakeyaml 1.16
ouro ouro 2.0.8
software.amazon.ion íon-java 1.0.2
Stax Stax-API 1.0.1
xmlenc xmlenc 0.52
  • Last updated on