Compartilhar via


Databricks Runtime 10.3 (EoS)

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões compatíveis do Databricks Runtime, consulte Versões e compatibilidade de notas sobre a versão do Databricks Runtime.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 10.3 e o Databricks Runtime 10.3 Photon, da plataforma Apache Spark 3.2.1. O Photon está em Visualização Pública. A Databricks lançou essa versão em fevereiro de 2022.

Novos recursos e aprimoramentos

Os autores Parquet e Avro agora usam o fuso horário da sessão ao rebasear os carimbos de data/hora em fontes de dados Parquet

Os gravadores do Parquet e Avro agora usam o fuso horário da sessão enquanto trocam a base do carimbo de data/hora no modo legacy em vez de usar o fuso horário JVM padrão. O fuso horário da sessão é definido como o fuso horário JVM por padrão.

Novas funções no Spark SQL

Agora há suporte para as seguintes funções do Spark SQL nesta versão:

  • aes_decrypt: descriptografa a entrada usando AES.
  • aes_encrypt: criptografa a entrada usando AES.
  • contains: determina se uma expressão contém outra expressão.
  • endswith: determina se uma expressão termina com outra expressão.
  • percentile_cont: retorna um valor de percentil.
  • startswith: determina se uma expressão começa com outra expressão.

A mesclagem aleatória baixa agora está em disponibilidade geral

O comando Delta MERGE INTO usa uma técnica chamada mesclagem aleatória baixa, que reduz o embaralhamento de linhas não modificadas. Isso melhora o desempenho do comando e ajuda a preservar o clustering existente na tabela, como a ordenação Z. Essa funcionalidade foi introduzida no Databricks Runtime 9.0 para Visualização Pública e agora atingiu a disponibilidade geral. Para habilitar a mesclagem aleatória baixa, de definido spark.databricks.delta.merge.enableLowShuffle como true. Veja Mesclagem baixa de ordem aleatória no Azure Databricks.

Novos recursos COPY INTO: modo de validação e evolução do esquema

Modo de validação: COPY INTO agora dá suporte a um modo VALIDATE, em que os dados que devem ser carregados em uma tabela são validados, mas não gravados na tabela. Essas validações incluem:

  • Se os dados podem ser analisados.
  • Se o esquema corresponde ao da tabela ou se o esquema precisa ser desenvolvido.
  • Se todas as restrições de nulidade e verificação são atendidas.

Exemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

O padrão é validar todos os dados que devem ser carregados. Você pode fornecer um número de linhas a serem validadas com a palavra-chave ROWS, como VALIDATE 15 ROWS. A instrução COPY INTO retorna uma visualização dos dados de 50 linhas ou menos, quando um número menor que 50 é usado com a palavra-chave ROWS).

Evolução do esquema: COPY INTO agora dá suporte à evolução do esquema com a opção mergeSchema em COPY_OPTIONS. Para desenvolver o esquema de uma tabela, você deverá ter permissões OWN na tabela.

Exemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Confira COPY INTO.

Agora há suporte para colunas de identidade em tabelas Delta (Visualização Pública)

O Delta Lake agora dá suporte a colunas de identidade. Quando você escreve em uma tabela Delta que define uma coluna de identidade e não fornece valores para ela, o Delta agora atribui automaticamente um valor exclusivo e estatisticamente crescente ou decrescente. Confira CREATE TABLE [USING].

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • distlib de 0.3.3 para 0.3.4
    • filelock de 3.4.0 para 3.4.2
    • numpy de 1.19.2 para 1.20.1
    • plotly de 5.3.1 para 5.5.0
  • Bibliotecas do R atualizadas:
    • backports de 1.4.0 para 1.4.1
    • brio de 1.1.2 para 1.1.3
    • broom de 0.7.10 para 0.7.11
    • class de 7.3-19 para 7.3-20
    • cpp11 de 0.4.1 para 0.4.2
    • DBI de 1.1.1 para 1.1.2
    • devtools de 2.4.2 para 2.4.3
    • digest de 0.6.28 para 0.6.29
    • dtplyr de 1.1.0 para 1.2.0
    • fansi de 0.5.0 para 1.0.2
    • foreign de 0.8-81 para 0.8-82
    • fs de 1.5.0 para 1.5.2
    • gert de 1.4.3 para 1.5.0
    • glue de 1.5.0 para 1.6.0
    • httpuv de 1.6.3 para 1.6.5
    • jsonlite de 1.7.2 para 1.7.3
    • knitr de 1.36 para 1.37
    • MASS de 7.3-54 para 7.3-55
    • Matriz de 1.3-4 para 1.4-0
    • nlme de 3.1-152 a 3.1-155
    • nnet de 7.3-16 para 7.3-17
    • openssl de 1.4.5 para 1.4.6
    • parallelly de 1.29.0 para 1.30.0
    • pholduild de 1.2.0 para 1.3.1
    • pkgload de 1.2.3 para 1.2.4
    • progressr de 0.9.0 para 0.10.0
    • Rcpp de 1.0.7 para 1.0.8
    • readr de 2.1.0 para 2.1.1
    • remotes de 2.4.1 para 2.4.2
    • RSQLite de 2.2.8 para 2.2.9
    • sessioninfo de 1.2.1 para 1.2.2
    • sparklyr de 1.7.2 para 1.7.4
    • testthat de 3.1.0 para 3.1.1
    • tinytex de 0.35 para 0.36
    • usethis de 2.1.3 para 2.1.5
    • vroom de 1.5.6 para 1.5.7
    • withr de 2.4.2 para 2.4.3
    • xfun de 0.28 para 0.29
    • xml2 de 1.3.2 para 1.3.3
  • Bibliotecas do Java atualizadas:
    • dev.ludovic.netlib.arpack de 1.3.2 para 2.2.1
    • dev.ludovic.netlib.blas de 1.3.2 para 2.2.1
    • dev.ludovic.netlib.lapack de 1.3.2 para 2.2.1
    • io.delta.delta-sharing-spark_2.12 de 0.2.0 para 0.3.0

Apache Spark

O Databricks Runtime 10.3 inclui o Apache Spark 3.2.1. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados aoDatabricks Runtime 10.2 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-37896] [SQL] Implementa um ConstantColumnVector e melhora o desempenho dos metadados de arquivo ocultos
  • [SPARK-37924] [SQL] Classifica propriedades da tabela por chave em SHOW CREATE TABLE on VIEW (v1)
  • [SPARK-37636] [SQL] Migra CREATE NAMESPACE para usar o comando V2 por padrão
  • [SPARK-37381] [SQL] Unifica os tests SHOW CREATE TABLE v1 e v2
  • [SPARK-37876] [CORE][SQL] Mover SpecificParquetRecordReaderBase.listDirectory para TestUtils
  • [SPARK-37854] [CORE] Substitui a verificação de tipo pela correspondência de padrões no código do Spark
  • [SPARK-36967] [CORE] Relata tamanho de bloco de embaralhamento preciso se estiver distorcido
  • [SPARK-37864] [SQL] Da suporte a valores boolianos de leitura vetorizados usam a codificação RLE com Parquet DataPage V2
  • [SPARK-37862] [SQL] RecordBinaryComparator deve ignorar rapidamente a verificação de alinhamento com a plataforma não qualificada
  • [SPARK-37855] [SQL] IllegalStateException ao transformar uma matriz dentro de um struct aninhado
  • [SPARK-37858] [SQL] Lança SparkRuntimeException com classes de erro de funções AES
  • [SPARK-37841] [SQL] BasicWriteTaskStatsTracker não deve tentar obter o status de um arquivo ignorado
  • [SPARK-37860] [UI] Corrige taskid na linha do tempo do evento da tarefa da página de fase
  • [SPARK-36879] [SQL] Suporte à codificação de página de dados Parquet v2 (DELTA_BINARY_PACKED) para o caminho vetorizado
  • [SPARK-37828] [SQL] Pushdown de filtros por meio de RebalancePartitions
  • [SPARK-37802] [SQL][3.2] O nome do campo composto deve funcionar com pushdown agregado
  • [SPARK-37826] [SQL] Usar o nome do codec zstd em nomes de arquivo ORC para hive orc impl
  • [SPARK-37820] [SQL] Substitui ApacheCommonBase64 por JavaBase64 para funcs de cadeia de caracteres
  • [SPARK-37832] [SQL] O conversor de struct orc deve usar uma matriz para procurar conversores de campo em vez de uma lista vinculada
  • [SPARK-37786] [SQL] O suporte a StreamingQueryListener usa SQLConf.get para obter o SQLConf de SessionState correspondente
  • [SPARK-37527] [SQL] Move mais funções de agregação padrão para pushdown
  • [SPARK-37777] [SQL] Atualiza a sintaxe SQL de SHOW FUNCTIONS
  • [SPARK-8582] [CORE] Verificação intensa quando houver solicitação real para isso
  • [SPARK-37822] [SQL] StringSplit deve retornar uma matriz em elementos não nulos
  • [SPARK-37812] [SQL] Ao remover a serialização de um Orc struct, reutiliza a linha de resultado quando possível
  • [SPARK-37367] [SQL] Teste de exceção reabilitável na exibição DDLParserSuite.create – básica
  • [SPARK-37796] [SQL] ByteArrayMethods arrayEquals deve ignorar rapidamente a verificação de alinhamento com a plataforma não qualificada
  • [SPARK-37817] [SQL][Minor] Remove código inacessível em complexTypeExtractors.scala
  • [SPARK-37807] [SQL] Corrige um erro de digitação na mensagem HttpAuthenticationException
  • [SPARK-37750] [SQL] Modo ANSI: opcionalmente, retornará o resultado nulo se o elemento não existir na matriz/mapa
  • [SPARK-37789] [SQL] Adiciona uma classe para representar funções de agregação gerais no DS V2
  • [SPARK-37785] [SQL][CORE] Adiciona Utils.isInRunningSparkTask
  • [SPARK-37780] [SQL] O suporte a StreamingQueryListener usa SQLConf.get para obter o SQLConf de SessionState correspondente
  • [SPARK-37783] [SS][SQL][CORE] Habilita a recursão da parte final sempre que possível
  • [SPARK-37726] [SQL] Adiciona métricas de tamanho de despejo para a junção de mesclagem de classificação
  • [SPARK-37800] [SQL] TreeNode.argString formata incorretamente argumentos do tipo Set[_]
  • [SPARK-37716] [SQL] Melhora mensagens de erro quando um LateralJoin tem expressões não determinísticas
  • [SPARK-37779] [SQL] Torna o plano ColumnarToRowExec canonicalizável após (de)serialização
  • [SPARK-37578] [SQL] Atualiza métricas de tarefa nas métricas personalizadas ds v2
  • [SPARK-37676] [SQL] Suporte à função de agregação ANSI: percentile_cont
  • [SPARK-37724] [SQL] Modo ANSI: desabilita palavras-chave reservadas ANSI por padrão
  • [SPARK-37705] [SQL][3.2] Baseia novamente os tempos de data/hora no fuso horário da sessão salvos nos metadados Parquet/Avro
  • [SPARK-34755] [SQL] Suporte aos utils para o formato de número de transformação
  • [SPARK-36703] [SQL] Remove a classificação se for o filho de RepartitionByExpression
  • [SPARK-37369] [SQL] Evitar a transição redundante ColumnarToRow no InMemoryTableScan
  • [SPARK-37450] [SQL] Remove campos desnecessários de Gerar
  • [SPARK-37728] [SQL] Ler colunas aninhadas com o leitor vetorizado ORC pode causar ArrayIndexOutOfBoundsException
  • [SPARK-37564] [SQL] Adiciona geração de código para agregação de classificação sem chaves de grupo
  • [SPARK-37659] [UI][3.2] Corrige condição de corrida FsHistoryProvider entre list e delet log info
  • [SPARK-37727] [SQL] Mostrar configurações ignoradas e ocultar avisos de configurações já definidas em SparkSession.builder.getOrCreate
  • [SPARK-37391] [SQL]JdbcConnectionProvider Informa se modifica o contexto de segurança
  • [SPARK-37273] [SQL] Dá suporte a colunas de metadados de arquivo ocultos no Spark SQL
  • [SPARK-36876] [SQL] Dá suporte à remoção de partição dinâmica para HiveTableScanExec
  • [SPARK-37546] [SQL] O comando ReplaceTableAsSelect V2 deve qualificar o local
  • [SPARK-37545] [SQL] O comando CreateTableAsSelect V2 deve qualificar o local
  • [SPARK-37707] [SQL] Permite atribuição de armazenamento e conversão implícita entre tipos de datetime
  • [SPARK-37644] [SQL] Dá suporte ao pushdown de agregação completa da fonte de dados v2
  • [SPARK-37695] [CORE][SHUFFLE] Ignora blocos de diagnóstico mesclados do embaralhamento baseado em push
  • [SPARK-35295] [ML] Substitui totalmente com.github.fommil.netlib por dev.ludovic.netlib:2.0
  • [SPARK-37694] [SQL] Não permite a exclusão de recursos em spark sql cli
  • [SPARK-37330] [SQL] Migra o comando ReplaceTableStatement para v2
  • [SPARK-27974] [SQL] Suporte à função de agregação ANSI: array_agg
  • [SPARK-36902] [SQL] Migra o comando CreateTableAsSelectStatement para v2
  • [SPARK-37678] [PYTHON] Corrige a assinatura _cleanup_and_return
  • [SPARK-37613] [SQL] Dá suporte à função de agregação ANSI: regr_count
  • [SPARK-37689] [SQL] A expansão deve ter suporte em PropagateEmptyRelation
  • [SPARK-37654] [SQL] Corrige NPE em Row.getSeq quando o campo for Nulo
  • [SPARK-37496] [SQL] Migra o comando ReplaceTableAsSelectStatement para v2
  • [SPARK-37483] [SQL] Dá suporte ao pushdown do N superior para a fonte de dados JDBC V2
  • [SPARK-37577] [SQL] Corrige o ClassCastException: ArrayType não pode ser convertido para StructType para gerar remoção
  • [SPARK-37310] [SQL] Migra ALTER NAMESPACE … SET PROPERTIES para usar o comando V2 por padrão
  • [SPARK-37501] [SQL] CREATE/REPLACE TABLE deve qualificar o local para o comando v2
  • [SPARK-37343] [SQL] Implementa createIndex, IndexExists e dropIndex no JDBC (dialeto Postgres)
  • [SPARK-37060] [CORE][3.2] Manipula a resposta de status do driver de mestres de backup
  • [SPARK-37629] [SQL] Acelera Expression.canonicalized
  • [SPARK-37633] [SQL] Uma conversão de decodificação deverá ignorar se o downcast falhar com um...
  • [SPARK-37631] [SQL] Limpeza de código na promoção de cadeias de caracteres para o tipo duplo em funções matemáticas
  • [SPARK-37569] [SQL] Não marque campos de exibição aninhados como anulados
  • [SPARK-37557] [SQL] Substituir o hash do objeto por um agregado de ordenação se o subordinado já estiver ordenado
  • [SPARK-36850] [SQL] Migrar CreateTableStatement para a estrutura de comando v2
  • [SPARK-37592] [SQL] Melhorar o desempenho deJoinSelection
  • [SPARK-37217] [SQL] O número de partições dinâmicas deve verificar com antecedência ao gravar em tabelas externas
  • [SPARK-37584] [SQL] Nova função SQL: map_contains_key
  • [SPARK-37455] [SQL] Substituir o hash por um agregado de ordenação se o subordinado já estiver ordenado
  • [SPARK-34735] [SQL][UI] Adiciona configurações modificadas para SQL execução na interface do usuário
  • [SPARK-37540] [SQL] Detecta mais viagem no tempo sem suporte
  • [SPARK-37376] [SQL] Introduz uma nova interface HasPartitionKey do DataSource V2
  • [SPARK-37666] [SQL] Define GCM como o modo padrão em aes_encrypt()/aes_decrypt()
  • [SPARK-37573] [SQL] IsolatedClientLoader deve fazer fallback para a versão relacionada, nem sempre hadoop-2.7.4
  • [SPARK-37561] [SQL] Evita carregar todas as funções ao obter o DelegationToken do hive
  • [SPARK-37370] [SQL] Adiciona as configurações de SQL para controlar a geração de código de junção recém-adicionada em 3.3
  • [SPARK-37311] [SQL] Migra ALTER NAMESPACE … SET LOCATION para usar o comando V2 por padrão
  • [SPARK-37192] [SQL] Migra SHOW TBLPROPERTIES para usar o comando V2 por padrão
  • [SPARK-37219] [SQL] Adiciona suporte à sintaxe AS OF
  • [SPARK-37316] [SQL] Adicionar code-gen para a junção de mesclagem de classificação de existência
  • [SPARK-37591] [SQL] Suporte ao modo GCM poraes_encrypt()/aes_decrypt()
  • [SPARK-37586] [SQL] Adiciona args mode e padding a aes_encrypt()/aes_decrypt()
  • [SPARK-12567] [SQL] Adiciona as funções inseridas aes_encrypt e aes_decrypt
  • [SPARK-37392] [SQL] Corrige o bug de desempenho ao inferir restrições para Gerar
  • [SPARK-37481] [Core][WebUI] Corrige a falta de fases ignoradas após tentar novamente
  • [SPARK-37533] [SQL] Nova função SQL: try_element_at
  • [SPARK-37451] [SQL] Corrige o tipo de cadeia de caracteres de cast para o tipo decimal se spark.sql.legacy.allowNegativeScaleOfDecimal estiver habilitado
  • [SPARK-37062] [SS] Introduz uma nova fonte de dados para fornecer um conjunto consistente de linhas por microlote
  • [SPARK-37552] [SQL] Adiciona a função convert_timezone()
  • [SPARK-37555] [SQL] spark-sql não deve passar o último comentário não fechado para o back-end
  • [SPARK-37286] [SQL] Move compileAggregates do JDBCRDD para o JdbcDialect
  • [SPARK-37485] [CORE][SQL] Substitui map por expressões que não produzem nenhum resultado com foreach
  • [SPARK-37556] [SQL] A classe void do Deser falha com a serialização Java
  • [SPARK-37520] [SQL] Adiciona as funções de cadeia de caracteres startswith() e endswith()
  • [SPARK-37471] [SQL] Dá suporte a spark-sql ; no comentário entre colchetes aninhado
  • [SPARK-37360] [SQL] Dá suporte a TimestampNTZ na fonte de dados JSON
  • [SPARK-37508] [SQL] Adiciona a função de cadeia de caracteres CONTAINS()
  • [SPARK-37494] [SQL] Unifica a saída de opções v1 e v2 do comando SHOW CREATE TABLE
  • [SPARK-37524] [SQL] Devemos remover todas as tabelas após testar a remoção de partições dinâmicas.
  • [SPARK-37389] [SQL] Verifica comentários sem colchetes
  • [SPARK-37220] [SQL] Não divide o arquivo de entrada para o leitor parquet com pushdown agregado
  • [SPARK-37326] [SQL] Dá suporte a TimestampNTZ na fonte de dados CSV
  • [SPARK-35867] [SQL] Habilita leitura vetorizada para VectorizedPlainValuesReader.readBooleans
  • [SPARK-37484] [CORE][SQL] Substitui get e getOrElse por getOrElse
  • [SPARK-37492] [SQL] Otimiza o código de teste do Orc com withAllNativeOrcReaders
  • [SPARK-37458] [SS] Remove SerializeFromObject desnecessário do plano de foreachBatch

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 10.3.

Ambiente do sistema

  • Sistema operacional: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (atualização cumulativa de ISO) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.4.2 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
empacotando 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
solicitações 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliotecas R instaladas

As bibliotecas do R foram instaladas por meio do instantâneo do Microsoft CRAN em 2022-01-19.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
askpass 1,1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.3 broom 0.7.11
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
sinal de interpolação 6.0-90 cellranger 1.1.0 chron 2.3-56
classe 7.3-20 cli 3.1.0 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1,7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.4.2 credenciais 1.3.2
curl 4.3.2 data.table 1.14.2 conjuntos de dados 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
ellipsis 0.3.2 evaluate 0,14 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.23.0
future.apply 1.8.1 gargle 1.2.0 Genéricos 0.1.1
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 elemento gráfico 4.1.2 grDevices 4.1.2
grade 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0,9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
knitr 1,37 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 ciclo de vida 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1,1 MASS 7.3-55 Matriz 1.4-0
memoise 2.0.1 methods 4.1.2 mgcv 1.8-38
mime 0,12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 parallel 4.1.2
parallelly 1.30.0 pillar 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
progress 1.2.2 progressr 0.10.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
readr 2.1.1 readxl 1.3.1 recipes 0.1.17
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2,11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0.13 rversions 2.1.1
rvest 1.0.2 sass 0.4.0 scales 1.1.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 spatial 7.3-11 splines 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.1.2
stats4 4.1.2 stringi 1.7.6 stringr 1.4.0
survival 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2,10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
timeDate 3043.102 tinytex 0,36 tools 4.1.2
tzdb 0.2.0 usethis 2.1.5 utf8 1.2.2
utils 4.1.2 uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 vroom 1.5.7 waldo 0.3.1
whisker 0,4 withr 2.4.3 xfun 0.29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 zip 2.2.0

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1,2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1