Partilhar via


Databricks Runtime 10.3 (sem suporte)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 10.3 e o Databricks Runtime 10.3 Photon, alimentado pelo Apache Spark 3.2.1. Photon está em Visualização Pública. A Databricks divulgou essas imagens em fevereiro de 2022.

Novos recursos e melhorias

Os escritores do Parquet e do Avro agora usam o fuso horário da sessão ao rebasear carimbos de data/hora em fontes de dados do Parquet

Os gravadores Parquet e Avro agora usam o fuso horário da sessão enquanto o carimbo de data/hora é rebaseado no legacy modo em vez de usar o fuso horário padrão da JVM. O fuso horário da sessão é definido como o fuso horário da JVM por padrão.

Novas funções no Spark SQL

As seguintes funções do Spark SQL agora são suportadas nesta versão:

  • aes_decrypt: desencripta a entrada usando AES.
  • aes_encrypt: criptografa a entrada usando AES.
  • contém: determina se uma expressão contém outra expressão.
  • Terminacom: Determina se uma expressão termina com outra expressão.
  • percentile_cont: Devolve um valor percentil.
  • startswith: determina se uma expressão começa com outra expressão.

A mesclagem de baixa shuffle agora está disponível para o público em geral

O comando Delta MERGE INTO usa uma técnica chamada low shuffle merge, que reduz o embaralhamento de linhas não modificadas. Isso melhora o desempenho do comando e ajuda a preservar o clustering existente na tabela, como a ordem Z. Essa funcionalidade foi introduzida no Databricks Runtime 9.0 for Public Preview e agora atingiu a disponibilidade geral. Para habilitar a mesclagem de baixa shuffle, defina spark.databricks.delta.merge.enableLowShuffle como true. Consulte Mesclagem de baixa shuffle no Azure Databricks.

Novos recursos COPY INTO: modo de validação e evolução do esquema

Modo de validação: agora suporta um VALIDATE modo em que os dados a serem carregados em uma tabela são validados, COPY INTO mas não gravados na tabela. Essas validações incluem:

  • Se os dados podem ser analisados.
  • Se o esquema corresponde ao da tabela ou se o esquema precisa ser evoluído.
  • Se todas as restrições de anulabilidade e verificação são atendidas.

Exemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

O padrão é validar todos os dados que serão carregados. Você pode fornecer várias linhas a serem validadas com a ROWS palavra-chave, como VALIDATE 15 ROWS. A COPY INTO instrução retorna uma visualização dos dados de 50 linhas ou menos, quando um número menor que 50 é usado com a ROWS palavra-chave).

Evolução do esquema: COPY INTO agora suporta a evolução do esquema com a mergeSchema opção em COPY_OPTIONS. Para evoluir o esquema de uma tabela, você deve ter OWN permissões na tabela.

Exemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Consulte COPY INTO.

As colunas de identidade agora são suportadas em tabelas Delta (Visualização Pública)

Delta Lake agora suporta colunas de identidade. Quando você grava em uma tabela Delta que define uma coluna de identidade e não fornece valores para essa coluna, a Delta agora atribui automaticamente um valor exclusivo e estatisticamente crescente ou decrescente. Consulte CREATE TABLE [USING].

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • distlib de 0.3.3 a 0.3.4
    • filelock de 3.4.0 a 3.4.2
    • numpy de 1.19.2 a 1.20.1
    • plotly de 5.3.1 a 5.5.0
  • Bibliotecas R atualizadas:
    • backports de 1.4.0 a 1.4.1
    • brio de 1.1.2 a 1.1.3
    • vassoura de 0.7.10 a 0.7.11
    • classe de 7.3-19 a 7.3-20
    • CPP11 de 0.4.1 a 0.4.2
    • DBI de 1.1.1 a 1.1.2
    • DevTools de 2.4.2 a 2.4.3
    • digest de 0.6.28 a 0.6.29
    • dtplyr de 1.1.0 a 1.2.0
    • fansi de 0.5.0 a 1.0.2
    • estrangeiro de 0,8-81 a 0,8-82
    • fs de 1.5.0 a 1.5.2
    • Gert de 1.4.3 a 1.5.0
    • cola de 1.5.0 a 1.6.0
    • httpuv de 1.6.3 a 1.6.5
    • jsonlite de 1.7.2 a 1.7.3
    • knitr de 1,36 a 1,37
    • MASSA de 7,3-54 a 7,3-55
    • Matriz de 1,3-4 a 1,4-0
    • NLME de 3.1-152 a 3.1-155
    • NNET FRM 7.3-16 a 7.3-17
    • openssl de 1.4.5 a 1.4.6
    • paralelamente de 1.29.0 a 1.30.0
    • pkgbuild de 1.2.0 a 1.3.1
    • pkgload de 1.2.3 a 1.2.4
    • progressor de 0.9.0 a 0.10.0
    • Rcpp de 1.0.7 a 1.0.8
    • Readr de 2.1.0 a 2.1.1
    • Controles remotos de 2.4.1 a 2.4.2
    • RSQLite de 2.2.8 a 2.2.9
    • sessioninfo de 1.2.1 a 1.2.2
    • Sparklyr de 1.7.2 a 1.7.4
    • testisso de 3.1.0 a 3.1.1
    • tinytex de 0,35 a 0,36
    • usethis de 2.1.3 a 2.1.5
    • vroom de 1.5.6 a 1.5.7
    • murchar de 2.4.2 a 2.4.3
    • xfun de 0,28 a 0,29
    • xml2 de 1.3.2 a 1.3.3
  • Bibliotecas Java atualizadas:
    • dev.ludovic.netlib.arpack de 1.3.2 a 2.2.1
    • dev.ludovic.netlib.blas de 1.3.2 a 2.2.1
    • dev.ludovic.netlib.lapack de 1.3.2 a 2.2.1
    • io.delta.delta-sharing-spark_2.12 de 0.2.0 a 0.3.0

Faísca Apache

O Databricks Runtime 10.3 inclui o Apache Spark 3.2.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.2 (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-37896] [SQL] Implementar um ConstantColumnVector e melhorar o desempenho dos metadados de arquivo oculto
  • [FAÍSCA-37924] [SQL] Ordenar as propriedades da tabela por chave em SHOW CREATE TABLE on VIEW (v1)
  • [FAÍSCA-37636] [SQL] Migrar CREATE NAMESPACE para usar o comando V2 por padrão
  • [FAÍSCA-37381] [SQL] Unificar v1 e v2 SHOW CREATE TABLE testes
  • [FAÍSCA-37876] [CORE] [SQL] Mover SpecificParquetRecordReaderBase.listDirectory para TestUtils
  • [FAÍSCA-37854] [CORE] Substitua a verificação de tipo pela correspondência de padrões no código Spark
  • [FAÍSCA-36967] [CORE] Informe o tamanho preciso do bloco aleatório se estiver distorcido
  • [FAÍSCA-37864] [SQL] Suporte a valores booleanos de leitura vetorizados usar codificação RLE com Parquet DataPage V2
  • [FAÍSCA-37862] [SQL] RecordBinaryComparator deve pular rapidamente a verificação de alinhamento com a plataforma não alinhada
  • [FAÍSCA-37855] [SQL] IllegalStateException ao transformar uma matriz dentro de uma estrutura aninhada
  • [FAÍSCA-37858] [SQL] Lançar SparkRuntimeException com classes de erro de funções AES
  • [FAÍSCA-37841] [SQL] BasicWriteTaskStatsTracker não deve tentar obter o status de um arquivo ignorado
  • [FAÍSCA-37860] [UI] Corrigir taskindex na linha do tempo do evento da tarefa da página do estágio
  • [FAÍSCA-36879] [SQL] Suporte a codificação de página de dados do Parquet v2 (DELTA_BINARY_PACKED) para o caminho vetorizado
  • [FAÍSCA-37828] [SQL] Empurre os filtros para baixo através de RebalancePartitions
  • [FAÍSCA-37802] [SQL] [3.2] O nome do campo composto deve funcionar com Aggregate push down
  • [FAÍSCA-37826] [SQL] Use o nome do codec zstd em nomes de arquivo ORC para hive orc impl
  • [FAÍSCA-37820] [SQL] Substitua ApacheCommonBase64 por JavaBase64 para strings funcs
  • [FAÍSCA-37832] [SQL] Orc struct converter deve usar uma matriz para procurar conversores de campo em vez de uma lista vinculada
  • [FAÍSCA-37786] [SQL] Suporte a StreamingQueryListener use SQLConf.get para obter SQLConf correspondente do SessionState
  • [FAÍSCA-37527] [SQL] Traduzir mais funções de agregação padrão para pushdown
  • [FAÍSCA-37777] [SQL] Atualizar a sintaxe SQL de SHOW FUNCTIONS
  • [FAÍSCA-8582] [CORE] Checkpoint ansiosamente quando solicitado a fazê-lo para valer
  • [FAÍSCA-37822] [SQL] StringSplit deve retornar uma matriz em elementos não nulos
  • [FAÍSCA-37812] [SQL] Ao desserializar uma estrutura Orc, reutilize a linha de resultados quando possível
  • [FAÍSCA-37367] [SQL] Reativar teste de exceção na visualização DDLParserSuite.create – básico
  • [FAÍSCA-37796] [SQL] ByteArrayMethods arrayEquals deve ignorar rapidamente a verificação de alinhamento com a plataforma não alinhada
  • [FAÍSCA-37817] [SQL] [Menor] Remova o código inacessível em complexTypeExtractors.scala
  • [FAÍSCA-37807] [SQL] Corrigir um erro de digitação na mensagem HttpAuthenticationException
  • [FAÍSCA-37750] [SQL] Modo ANSI: opcionalmente retorna resultado nulo se o elemento não existir na matriz/mapa
  • [FAÍSCA-37789] [SQL] Adicionar uma classe para representar funções agregadas gerais no DS V2
  • [FAÍSCA-37785] [SQL] [CORE] Adicionar Utils.isInRunningSparkTask
  • [FAÍSCA-37780] [SQL] Suporte a QueryExecutionListener use SQLConf.get para obter SQLConf correspondente do SessionState
  • [FAÍSCA-37783] [SS] [SQL] [CORE] Habilite a recursão de cauda sempre que possível
  • [FAÍSCA-37726] [SQL] Adicionar métricas de tamanho de derramamento para junção de mesclagem de classificação
  • [FAÍSCA-37800] [SQL] TreeNode.argString formata incorretamente argumentos do tipo set[_]
  • [FAÍSCA-37716] [SQL] Melhorar mensagens de erro quando um LateralJoin tem expressões não determinísticas
  • [FAÍSCA-37779] [SQL] Tornar o plano ColumnarToRowExec canonizável após a (des)serialização
  • [FAÍSCA-37578] [SQL] Atualizar métricas de tarefas a partir de métricas personalizadas do ds v2
  • [FAÍSCA-37676] [SQL] Função de agregação ANSI de suporte: percentile_cont
  • [FAÍSCA-37724] [SQL] Modo ANSI: desativar palavras-chave reservadas ANSI por padrão
  • [FAÍSCA-37705] [SQL] [3.2] Rebasear carimbos de data/hora no fuso horário da sessão guardados nos metadados Parquet/Avro
  • [FAÍSCA-34755] [SQL] Suporta os utils para o formato de número de transformação
  • [FAÍSCA-36703] [SQL] Remova o Sort se for filho de RepartitionByExpression
  • [FAÍSCA-37369] [SQL] Evite a transição redundante de ColumnarToRow no InMemoryTableScan
  • [FAÍSCA-37450] [SQL] Remover campos desnecessários de Gerar
  • [FAÍSCA-37728] [SQL] A leitura de colunas aninhadas com leitor vetorizado ORC pode causar ArrayIndexOutOfBoundsException
  • [FAÍSCA-37564] [SQL] Adicionar geração de código para agregação de classificação sem chaves de agrupamento
  • [FAÍSCA-37659] [UI] [3.2] Corrigir condição de corrida FsHistoryProvider entre informações de log de lista e delet
  • [FAÍSCA-37727] [SQL] Mostrar confs ignorados & ocultar avisos para conf já definidos em SparkSession.builder.getOrCreate
  • [FAÍSCA-37391] [SQL] JdbcConnectionProvider informa se modifica o contexto de segurança
  • [FAÍSCA-37273] [SQL] Suporte a colunas de metadados de arquivos ocultos no Spark SQL
  • [FAÍSCA-36876] [SQL] Suporte a poda de partição dinâmica para HiveTableScanExec
  • [FAÍSCA-37546] [SQL] O comando V2 ReplaceTableAsSelect deve qualificar o local
  • [FAÍSCA-37545] [SQL] O comando V2 CreateTableAsSelect deve qualificar o local
  • [FAÍSCA-37707] [SQL] Permitir atribuição de armazenamento e conversão implícita entre tipos de data/hora
  • [FAÍSCA-37644] [SQL] Suporte a fonte de dados v2 pushdown agregado completo
  • [FAÍSCA-37695] [CORE] [BARALHAR] Ignorar o diagnóstico ob blocos mesclados do shuffle baseado em push
  • [FAÍSCA-35295] [ML] Substitua totalmente com.github.fommil.netlib por dev.ludovic.netlib:2.0
  • [FAÍSCA-37694] [SQL] Não permitir excluir recursos na cli do spark sql
  • [FAÍSCA-37330] [SQL] Comando Migrar ReplaceTableStatement para v2
  • [FAÍSCA-27974] [SQL] Suporte ANSI Aggregate Função: array_agg
  • [FAÍSCA-36902] [SQL] Comando Migrar CreateTableAsSelectStatement para v2
  • [FAÍSCA-37678] [PYTHON] Corrigir _cleanup_and_return assinatura
  • [FAÍSCA-37613] [SQL] Suporte ANSI Aggregate Função: regr_count
  • [FAÍSCA-37689] [SQL] Expand deve ser suportado em PropagateEmptyRelation
  • [FAÍSCA-37654] [SQL] Corrigir NPE em Row.getSeq quando o campo é Nulo
  • [FAÍSCA-37496] [SQL] Comando Migrar ReplaceTableAsSelectStatement para v2
  • [FAÍSCA-37483] [SQL] Suporte push down superior N para JDBC fonte de dados V2
  • [FAÍSCA-37577] [SQL] Fix ClassCastException: ArrayType não pode ser convertido para StructType para gerar poda
  • [FAÍSCA-37310] [SQL] Migrar ALTER NAMESPACE ... SET PROPERTIES para usar o comando V2 por padrão
  • [FAÍSCA-37501] [SQL] CREATE/REPLACE TABLE deve qualificar o local para o comando v2
  • [FAÍSCA-37343] [SQL] Implementar createIndex, IndexExists e dropIndex em JDBC (dialeto Postgres)
  • [FAÍSCA-37060] [CORE] [3.2] Manipular a resposta de status do driver de mestres de backup
  • [FAÍSCA-37629] [SQL] Acelere o Expression.canonicalized
  • [FAÍSCA-37633] [SQL] Unwrap cast deve pular se o downcast falhou com um...
  • [FAÍSCA-37631] [SQL] Limpeza de código na promoção de strings para tipo duplo em funções matemáticas
  • [FAÍSCA-37569] [SQL] Não marcar campos de exibição aninhados como anuláveis
  • [FAÍSCA-37557] [SQL] Substitua o hash do objeto pela agregação de classificação se o filho já estiver classificado
  • [FAÍSCA-36850] [SQL] Migrar CreateTableStatement para a estrutura de comando v2
  • [FAÍSCA-37592] [SQL] Melhorar o desempenho de JoinSelection
  • [FAÍSCA-37217] [SQL] O número de partições dinâmicas deve ser verificado com antecedência ao escrever em tabelas externas
  • [FAÍSCA-37584] [SQL] Nova função SQL: map_contains_key
  • [FAÍSCA-37455] [SQL] Substitua hash por sort aggregate se o filho já estiver classificado
  • [FAÍSCA-34735] [SQL] [UI] Adicionar configurações modificadas para execução de SQL na interface do usuário
  • [FAÍSCA-37540] [SQL] Detetar mais viagens no tempo sem suporte
  • [FAÍSCA-37376] [SQL] Introduza uma nova interface DataSource V2 HasPartitionKey
  • [FAÍSCA-37666] [SQL] Definir GCM como o modo padrão em aes_encrypt()/aes_decrypt()
  • [FAÍSCA-37573] [SQL] IsolatedClientLoader deve fallback para a versão relacionada, nem sempre hadoop-2.7.4
  • [FAÍSCA-37561] [SQL] Evite carregar todas as funções ao obter o DelegationToken da colmeia
  • [FAÍSCA-37370] [SQL] Adicionar configurações SQL para controlar o code-gen de junção recém-adicionado no 3.3
  • [FAÍSCA-37311] [SQL] Migrar ALTER NAMESPACE ... SET LOCATION para usar o comando V2 por padrão
  • [FAÍSCA-37192] [SQL] Migrar SHOW TBLPROPERTIES para usar o comando V2 por padrão
  • [FAÍSCA-37219] [SQL] Adicionar suporte de sintaxe AS OF
  • [FAÍSCA-37316] [SQL] Adicionar geração de código para existência ordenar mesclagem junção
  • [FAÍSCA-37591] [SQL] Apoie o modo GCM por aes_encrypt()/aes_decrypt()
  • [FAÍSCA-37586] [SQL] Adicione o e padding args mode aaes_encrypt()/aes_decrypt()
  • [FAÍSCA-12567] [SQL] Adicionar aes_encrypt e aes_decrypt funções incorporadas
  • [FAÍSCA-37392] [SQL] Corrigir o bug de desempenho ao inferir restrições para Gerar
  • [FAÍSCA-37481] [Núcleo] [WebUI] Corrigir o desaparecimento de estágios ignorados depois que eles tentarem novamente
  • [FAÍSCA-37533] [SQL] Nova função SQL: try_element_at
  • [FAÍSCA-37451] [SQL] Corrija o tipo de cadeia de caracteres de conversão para o tipo decimal se spark.sql.legacy.allowNegativeScaleOfDecimal estiver habilitado
  • [FAÍSCA-37062] [SS] Introduzir uma nova fonte de dados para fornecer um conjunto consistente de linhas por microlote
  • [FAÍSCA-37552] [SQL] Adicionar a convert_timezone() função
  • [FAÍSCA-37555] [SQL] spark-sql deve passar o último comentário não fechado para back-end
  • [FAÍSCA-37286] [SQL] Mover compileAggregates de JDBCRDD para JdbcDialect
  • [FAÍSCA-37485] [CORE] [SQL] Substitua map por expressões que não produzem resultados por foreach
  • [FAÍSCA-37556] [SQL] A classe Deser void falha com a serialização Java
  • [FAÍSCA-37520] [SQL] Adicionar as startswith() funções e endswith() string
  • [FAÍSCA-37471] Suporte a [SQL] spark-sql ; em comentário aninhado entre colchetes
  • [FAÍSCA-37360] [SQL] Suporte TimestampNTZ na fonte de dados JSON
  • [FAÍSCA-37508] [SQL] Adicionar função de cadeia de caracteres CONTAINS()
  • [FAÍSCA-37494] [SQL] Unificar a saída de comando das SHOW CREATE TABLE opções v1 e v2
  • [FAÍSCA-37524] [SQL] Devemos descartar todas as tabelas depois de testar a remoção dinâmica de partições.
  • [FAÍSCA-37389] [SQL] Verificar comentários entre parênteses não fechados
  • [FAÍSCA-37220] [SQL] Não divida o arquivo de entrada para o leitor Parquet com pressão agregada para baixo
  • [FAÍSCA-37326] [SQL] Suporte TimestampNTZ na fonte de dados CSV
  • [FAÍSCA-35867] [SQL] Habilitar leitura vetorizada para VectorizedPlainValuesReader.readBooleans
  • [FAÍSCA-37484] [CORE] [SQL] Substitua get e getOrElse por getOrElse
  • [FAÍSCA-37492] [SQL] Otimize o código de teste Orc com withAllNativeOrcReaders
  • [FAÍSCA-37458] [SS] Remova SerializeFromObject desnecessário do plano de foreachBatch

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 10.3.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Escala: 2.12.14
  • Píton: 3.8.10
  • R: 4.1.2
  • Lago Delta: 1.1.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (Laminação ISO) Appdirs 1.4.4 Argônio2-CFFI 20.1.0
gerador assíncrono 1.10 ATRs 20.3.0 Backcall 0.2.0
Bidico 0.21.4 lixívia 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Quisto 0.29.23
dbus-python 1.2.16 decorador 5.0.6 DeUsedXML 0.7.1
Distlib 0.3.4 distro-info 0,23ubuntu1 pontos de entrada 0.3
facetas-visão geral 1.0.0 filelock 3.4.2 idna 2.10
Ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 Joblib 1.0.1 jsonschema 3.2.0
jupyter-cliente 6.1.12 Jupyter-core 4.7.1 Jupyterlab-Pygments 0.1.2
jupyterlab-widgets 1.0.0 Kiwisolver 1.3.1 coalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 Mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
Ninho-Asyncio 1.5.1 bloco de notas 6.3.0 numpy 1.20.1
embalagem 20.9 pandas 1.2.4 PandocFilters 1.4.3
Parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Travesseiro 8.2.0 pip 21.0.1
enredo 5.5.0 Prometheus-cliente 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pirsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 Python-Engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 Pyzmq 20.0.0
pedidos 2.25.1 pedidos-unixsocket 0.2.0 s3transferir 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Enviar2Lixo 1.5.0 setuptools 52.0.0 seis 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacidade 8.0.1
terminado 0.9.4 caminho de teste 0.4.4 ThreadPoolCtl 2.1.0
tornado 6.1 traços 5.0.5 Upgrades autônomos 0.1
urllib3 1.25.11 virtualenv 20.4.1 largura de wc 0.2.5
WebEncodings 0.5.1 roda 0.36.2 widgetsnbextension 3.5.1

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2022-01-19.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1.1 asserçãoat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 arranque 1.3-28
brew 1.0-6 Brio 1.1.3 vassoura 0.7.11
BSLIB 0.3.1 cachem 1.0.6 Chamador 3.7.0
acento circunflexo 6.0-90 Cellranger 1.1.0 crono 2.3-56
classe 7.3-20 cli 3.1.0 Clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 espaço em cores 2.0-2
marca comum 1.7 compilador 4.1.2 configuração 0.3.1
CPP11 0.4.2 lápis de cor 1.4.2 credenciais 1.3.2
curl 4.3.2 data.table 1.14.2 conjuntos de dados 4.1.2
DBI 1.1.2 DBPlyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 resumo 0.6.29
dplyr 1.0.7 DTPlyr 1.2.0 E1071 1.7-9
ellipsis 0.3.2 evaluate 0.14 Fãsi 1.0.2
Farver 2.1.0 mapa rápido 1.1.0 fontawesome 0.2.2
FORCATS 0.5.1 foreach 1.5.1 externa 0.8-82
forjar 0.2.0 FS 1.5.2 Futuro 1.23.0
future.apply 1.8.1 gargarejo 1.2.0 Genéricos 0.1.1
Gert 1.5.0 ggplot2 3.3.5 GH 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 Globais 0.14.0
colar 1.6.0 GoogleDrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 gráficos 4.1.2 grDevices 4.1.2
grelha 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 Refúgio 2.4.3 mais alto 0,9
HMS 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 IDs 1.0.1 ini 0.3.1
ipred 0.9-12 Isoband 0.2.5 iteradores 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
Knitr 1.37 etiquetagem 0.4.2 mais tarde 1.3.0
lattice 0.20-45 lava 1.6.10 ciclo de vida 1.0.1
ouvirv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
Marcação 1.1 MASSA 7.3-55 Matriz 1.4-0
memoise 2.0.1 métodos 4.1.2 mgcv 1.8-38
mime 0,12 ModelMetrics 1.2.2.2 Modelador 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 paralelo 4.1.2
Paralelamente 1.30.0 pilar 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 elogiar 1.0.0 unidades bonitas 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
Progresso 1.2.2 progressor 0.10.0 promessas 1.2.0.1
proto 1.0.0 procuração 0.4-26 PS 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
Leitor 2.1.1 ReadXL 1.3.1 receitas 0.1.17
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.4.2
Reprex 2.0.1 remodelar2 1.4.4 rlang 0.4.12
rmarkdown 2.11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0,13 rversões 2.1.1
Rvest 1.0.2 Sass 0.4.0 escalas 1.1.1
seletor 0.4-2 sessioninfo 1.2.2 forma 1.4.6
brilhante 1.7.1 ferramentas de origem 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 espacial 7.3-11 splines 4.1.2
sqldf 0.4-11 QUADRADO 2021.1 estatísticas 4.1.2
stats4 4.1.2 stringi 1.7.6 stringr 1.4.0
sobrevivência 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2.10 testeatat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 Tidyverse 1.3.1
timeDate 3043.102 Tinytex 0.36 ferramentas 4.1.2
TZDB 0.2.0 usethis 2.1.5 UTF8 1.2.2
utilitários 4.1.2 uuid 1.0-3 VCTRS 0.3.8
viridisLite 0.4.0 vroom 1.5.7 Waldo 0.3.1
whisker 0.4 withr 2.4.3 xfun 0,29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 zip 2.2.0

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.12.3
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben ZSTD-JNI 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-tempo de execução 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib Lapack | 2.2.1
colmeia-2.3__hadoop-3.2 JETS3T-0,7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.21
IO.Delta delta-compartilhamento-spark_2.12 0.3.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-árvores colmeia-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna JNA 5.8.0
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.3
net.floco de neve faísca-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato de seta 2.0.0
org.apache.arrow seta-memória-núcleo 2.0.0
org.apache.arrow seta-memória-netty 2.0.0
org.apache.arrow vetor de seta 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapeado 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-texto 1.6
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-Databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubação
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.5.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-núcleo 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc Orc-calços 1.6.12
org.apache.parquet parquet-column 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-common 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-encoding 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-formato-estruturas 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-hadoop 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-jackson 1.12.0-DATABRICKS-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.20
org.apache.yetus anotações de audiência 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-juta 3.6.2
org.checkerframework verificador-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty cais-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket API WebSocket 9.4.43.v20210629
org.eclipse.jetty.websocket Websocket-cliente 9.4.43.v20210629
org.eclipse.jetty.websocket Websocket-Comum 9.4.43.v20210629
org.eclipse.jetty.websocket servidor websocket 9.4.43.v20210629
org.eclipse.jetty.websocket Websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jaxb jaxb-tempo de execução 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core servidor de jersey 2.34
org.glassfish.jersey.inject Jersey-HK2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap calços 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.14
org.scala-lang Escala-library_2.12 2.12.14
org.scala-lang Escala-reflect_2,12 2.12.14
org.scala-lang.modules scala-coleção-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework teste de primavera 4.1.4.RELEASE
org.threeten trêsdez-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1