Databricks Runtime 10.4 LTS

  • Artigo

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 10.4 LTS e o Databricks Runtime 10.4 LTS Photon, da plataforma Apache Spark 3.2.1. O Photon está em Visualização Pública. O Databricks lançou essas imagens em março de 2022.

Observação

LTS significa que essa versão possui suporte de longo prazo. Consulte Ciclo de vida da versão de LTS do Databricks Runtime.

Novos recursos e aprimoramentos

Conversor de tabelas do Iceberg para o Delta (visualização pública)

Converter em Delta agora dá suporte à conversão de uma tabela do Iceberg em uma tabela do Delta no local. Ele faz isso usando metadados nativos do Iceberg e manifestos de arquivo. Confira Conversão no Delta Lake.

Reversões de compactação automática agora estão habilitadas por padrão

Esta versão melhora o comportamento das gravações do Delta Lake que são confirmadas quando há transações simultâneas de compactação automática. Antes desta versão, essas gravações costumavam ser encerradas, devido a modificações simultâneas em uma tabela. As gravações agora serão bem sucedidas mesmo se houver transações de compactação automática simultâneas.

Mesclagem baixa de ordem aleatória agora está habilitada por padrão

O comando MERGE INTO agora sempre usa a nova implementação de ordem aleatória. Esse comportamento aprimora significativamente o desempenho do comando MERGE INTO para a maioria das cargas de trabalho. O parâmetro de configuração que foi usado anteriormente para habilitar esse recurso foi removido. Veja Mesclagem baixa de ordem aleatória no Azure Databricks.

Marcas de ordem de inserção agora são preservadas para UPDATEs e DELETEs

Os comandos UPDATE e DELETE agora preservam as informações de clustering existentes (incluindo a ordenação Z) para arquivos que são atualizados ou excluídos. Esse comportamento é uma abordagem de melhor esforço, e essa abordagem não se aplica a casos em que os arquivos são tão pequenos que são combinados durante a atualização ou exclusão.

HikariCP agora é o pool de conexões padrão metastore do Hive

O HikariCP oferece muitas melhorias de estabilidade para acesso metastore do Hive, mantendo menos conexões em comparação com a implementação do pool de conexões do BoneCP anterior. O HikariCP é habilitado por padrão em todo cluster do Databricks Runtime que usa o metastore do Hive do Databricks (por exemplo, quando spark.sql.hive.metastore.jars não está definido). Você também pode alternar explicitamente para outras implementações de pool de conexões, por exemplo, BoneCP, definindo spark.databricks.hive.metastore.client.pool.type.

O conector do Azure Synapse agora permite que o número máximo de linhas de rejeição permitidas sejam definidas

O conector do Azure Synapse agora dá suporte a uma opção de dataframe do maxErrors. Essa atualização permite configurar o número máximo de linhas rejeitadas permitidas durante leituras e gravações antes que a operação de carregamento seja cancelada. Todas as linhas rejeitadas são ignoradas. Por exemplo, se dois registros de dez estão com erros, apenas oito registros são processados.

Essa opção mapeia diretamente a opção REJECT_VALUE para a instrução CREATE EXTERNAL TABLE no PolyBase e para a opção MAXERRORS para o comando COPY do conector do Azure Synapse.

Por padrão, o valor maxErrors é definido como 0: todos os registros devem ser válidos.

O ponto de verificação de estado assíncrono agora conta com disponibilidade geral

Você pode habilitar o ponto de verificação de estado assíncrono em consultas de streaming com estado com grandes atualizações de estado. Isso pode reduzir a latência de microlote de ponta a ponta. Esse recurso agora está em disponibilidade geral. Consulte Ponto de verificação de estado assíncrono para consultas com estado.

Os padrões de parâmetro agora podem ser especificados para funções SQL definidas pelo usuário

Ao criar uma UDF SQL (função SQL definida pelo usuário), agora é possível especificar expressões padrão para os parâmetros da SQL UDF. Em seguida, é possível chamar a UDF SQL sem fornecer argumentos para esses parâmetros e o Databricks preencherá os valores padrão deles. Consulte CREATE FUNCTION (SQL e Python).

Novas funções SQL do Spark

As seguintes funções SQL do Spark agora estão disponíveis com esta versão:

  • try_multiply: retorna multiplier multiplicado por multiplicand ou NULL no estouro.
  • try_subtract: retorna a subtração de expr2 de expr1 ou NULL no estouro.

Novo diretório de trabalho para clusters de alta simultaneidade

Em clusters de simultaneidade alta com controle de acesso de tabela ou passagem de credencial habilitada, o diretório de trabalho atual dos notebooks é agora o diretório base do usuário. Anteriormente, o diretório de trabalho era /databricks/driver.

O suporte a colunas de identidade em tabelas Delta agora conta com disponibilidade geral

O Delta Lake agora dá suporte a colunas de identidade. Quando você escreve em uma tabela Delta que define uma coluna de identidade e não fornece valores para ela, o Delta agora atribui automaticamente um valor exclusivo e estatisticamente crescente ou decrescente. Confira CREATE TABLE [USING].

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • filelock de 3.4.2 para 3.6.0
  • Bibliotecas do R atualizadas:
    • brew de 1.0-6 para 1.0-7
    • broom de 0.7.11 para 0.7.12
    • CLI de 3.1.0 para 3.2.0
    • clipr de 0.7.1 para 0.8.0
    • colorspace de 2.0-2 para 2.0-3
    • crayon de 1.4.2 para 1.5.0
    • dplyr de 1.0.7 para 1.0.8
    • dtplyr de 1.2.0 para 1.2.1
    • evaluate de 0.14 para 0.15
    • foreach de 1.5.1 para 1.5.2
    • future de 1.23.0 para 1.24.0
    • generics de 0.1.1 para 0.1.2
    • glue de 1.6.0 a 1.6.1
    • gower de 0.2.2 para 1.0.0
    • iterators de 1.0.13 para 1.0.14
    • jsonlite de 1.7.3 para 1.8.0
    • magrittr da 2.0.1 ao 2.0.2
    • mgcv de 1.8-38 para 1.8-39
    • pillar de 1.6.4 para 1.7.0
    • randomForest de 4.6-14 para 4.7-1
    • readr de 2.1.1 para 2.1.2
    • recipes de 0.1.17 para 0.2.0
    • rlang de 0.4.12 para 1.0.1
    • rpart de 4.1-15 para 4.1.16
    • RSQLite de 2.2.9 para 2.2.10
    • sparklyr de 1.7.4 para 1.7.5.
    • testthat de 3.1.1 para 3.1.2
    • tidyr de 1.1.4 para 1.2.0
    • tidyselect da 1.1.1 para 1.1.2
    • tinytex de 0.36 para 0.37
    • YAML de 2.2.1 para 2.3.5
  • Bibliotecas do Java atualizadas:
    • io.delta.delta-sharing-spark_2.12 de 0.3.0 para 0.4.0

Apache Spark

O Databricks Runtime 10.4 LTS inclui o Apache Spark 3.2.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.3 (sem suporte), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-38322] [SQL] Dá suporte ao estágio de consulta mostra estatísticas de runtime no modo de explicação formatada
  • [SPARK-38162] [SQL] Otimiza um plano de linha em otimizador normal e AQE
  • [SPARK-38229] [SQL] Não deve verificar temp/external/ifNotExists com visitReplaceTable quando no analisador
  • [SPARK-34183] [SS] DataSource V2: distribuição e ordenação necessárias na execução do micro batch
  • [SPARK-37932] [SQL] Aguarda para resolver atributos ausentes antes de aplicar DeduplicateRelations
  • [SPARK-37904] [SQL] Melhora RebalancePartitions nas regras do otimizador
  • [SPARK-38236] [SQL][3.2 [3.1] Verifica se o local da tabela é absoluto por new Path(locationUri).isAbsolute” em criar/alterar tabela
  • [SPARK-38035] [SQL] Adiciona testes do Docker para dialeto JDBC de build
  • [SPARK-38042] [SQL] Verificar se ScalaReflection.dataTypeFor funciona em tipos de matriz com alias
  • [SPARK-38273] [SQL] Os iteradores de decodeUnsafeRows devem fechar fluxos de entrada subjacentes
  • [SPARK-38311] [SQL] Corrige DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite no modo ANSI
  • [SPARK-38305] [CORE] Verifica explicitamente se a origem existe em unpack() antes de chamar métodos FileUtil
  • [SPARK-38275] [SS] Inclui o uso de memória do writeBatch como o uso total de memória do armazenamento de estado do RocksDB
  • [SPARK-38132] [SQL] Remove a regra NotPropagation
  • [SPARK-38286] [SQL] MaxRows e maxRowsPerPartition da União podem estouro
  • [SPARK-38306] [SQL] Corrige ExplainSuite, StatisticsCollectionSuite e StringFunctionsSuite no modo ANSI
  • [SPARK-38281] [SQL][Tests] Corrige AnalysisSuite no modo ANSI
  • [SPARK-38307] [SQL][Tests] Corrige ExpressionTypeCheckingSuite e CollectionExpressionsSuite no modo ANSI
  • [SPARK-38300] [SQL] Usa ByteStreams.toByteArray para simplificar fileToStringe resourceToBytes em catalyst.util
  • [SPARK-38304] [SQL] Elt() deverá retornar nulo se o índice for nulo no modo ANSI
  • [SPARK-38271] PoissonSampler pode ter mais linhas do que MaxRows
  • [SPARK-38297] [PYTHON] Converter explicitamente o valor de retorno em DataFrame.to_numpy no POS
  • [SPARK-38295] [SQL][Tests] Corrige ArithmeticExpressionSuite no modo ANSI
  • [SPARK-38290] [SQL] Corrige JsonSuite e ParquetIOSuite no modo ANSI
  • [SPARK-38299] [SQL] Limpa o uso preterido de StringBuilder.newBuilder
  • [SPARK-38060] [SQL] Respeita allowNonNumericNumbers ao analisar valores de NaN e Infinito entre aspas no leitor JSON
  • [SPARK-38276] [SQL] Adiciona planos TPCDS aprovados no modo ANSI
  • [SPARK-38206] [SS] Ignora a nulidade ao comparar o tipo de dados de chaves de junção na junção do fluxo de fluxo
  • [SPARK-37290] [SQL] - Tempo de planejamento exponencial no caso de função não determinística
  • [SPARK-38232] [SQL] Explica que a formatação não coleta subconsultas no estágio de consulta no AQE
  • [SPARK-38283] [SQL] Testa análise de datetime inválida no modo ANSI
  • [SPARK-38140] [SQL] Estatísticas de coluna desc (minimo, máximo) para tipo de carimbo de data/hora não é consistente com os valores devido à diferença de fuso horário
  • [SPARK-38227] [SQL][SS] Aplica nulidade strict da coluna aninhada na janela de tempo/janela de sessão
  • [SPARK-38221] [SQL] Itera precipitadamente sobre groupingExpressions ao mover expressões de grupo complexas para fora de um nó de agregação
  • [SPARK-38216] [SQL] Falha no início se todas as colunas são particionadas ao criar uma tabela do Hive
  • [SPARK-38214] [SS] Não é necessário filtrar janelas quando windowDuration for múltiplo de slideDuration
  • [SPARK-38182] [SQL] Corrige NoSuchElementException se o filtro enviado não contém nenhuma referência
  • [SPARK-38159] [SQL] Adiciona um novo FileSourceMetadataAttribute para os metadados de arquivo oculto
  • [SPARK-38123] [SQL] Uso unificado de DataType como targetType de QueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [SQL] Func(wrong data type) na cláusula HAVING deve gerar erro de incompatibilidade de dados
  • [SPARK-35173] [SQL][PYTHON] Adiciona várias colunas adicionando suporte
  • [SPARK-38177] [SQL] Corrige transformExpressions erradas no otimizador
  • [SPARK-38228] [SQL] A atribuição de armazenamento herdado não deve falhar em caso de erro no modo ANSI
  • [SPARK-38173] [SQL] A coluna entre aspas não pode ser reconhecida corretamente quando quotedRegexColumnNa...
  • [SPARK-38130] [SQL] Remove array_sort de entradas solicitáveis
  • [SPARK-38199] [SQL] Exclui o dataType sem uso especificado na definição de IntervalColumnAccessor
  • [SPARK-38203] [SQL] Corrige SQLInsertTestSuite e SchemaPruningSuite no modo ANSI
  • [SPARK-38163] [SQL] Preserva a classe de erro de SparkThrowable durante a construção do construtor de funções
  • [SPARK-38157] [SQL] Define explicitamente ANSI como false em timestampPING/timestamp.sql e SQLQueryTestSuite para corresponder aos resultados golden esperados
  • [SPARK-38069] [SQL][SS] Melhora o cálculo da janela de tempo
  • [SPARK-38164] [SQL] Novas funções SQL: try_subtract e try_multiply
  • [SPARK-38176] [SQL] Modo ANSI: permite conversão implícita da Cadeia de Caracteres em outros tipos simples
  • [SPARK-37498] [PYTHON] Adiciona eventualmente para test_reuse_worker_of_parallelize_range
  • [SPARK-38198] [SQL][3.2] Corrige QueryExecution.debug#toFile, usa o passado no maxFields quando explainMode for CodegenMode
  • [SPARK-38131] [SQL] Usa classes de erro somente em exceções voltadas para o usuário
  • [SPARK-37652] [SQL] Adiciona teste para otimizar a junção distorcida por meio da união
  • [SPARK-37585] [SQL] Atualiza InputMetric em DataSourceRDD com TaskCompletionListener
  • [SPARK-38113] [SQL] Usa classes de erro nos erros de execução da dinâmica
  • [SPARK-38178] [SS] Corrige a lógica para medir o uso de memória do RocksDB
  • [SPARK-37969] [SQL] O HiveFileFormat deve verificar o nome do campo
  • [SPARK-37652] Reverte “[SQL] Adiciona teste para otimizar a junção distorcida por meio da união”
  • [SPARK-38124] [SQL][SS] Introduz StatefulOpClusteredDistribution e aplica à junção stream-stream
  • [SPARK-38030] [SQL] A canonicalização não deve remover a nulidade de attributeReference dataType
  • [SPARK-37907] [SQL] A InvokeLike dá suporte a ConstantFolding
  • [SPARK-37891] [CORE] Adiciona a verificação scalastyle para desabilitar scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL] Atualiza comentário de RelationConversions
  • [SPARK-37943] [SQL] Usa classes de erro nos erros de compilação do agrupamento
  • [SPARK-37652] [SQL] Adiciona teste para otimizar a junção distorcida por meio da união
  • [SPARK-38056] [IU da Web][3.2] Corrige problema de streaming estruturado que não funciona no servidor de histórico ao usar o LevelDB
  • [SPARK-38144] [CORE] Remover configuração não utilizada spark.storage.safetyFraction
  • [SPARK-38120] [SQL] Corrige HiveExternalCatalog.listPartitions quando o nome da coluna de partição for maiúscula e ponto no valor da partição
  • [SPARK-38122] [Docs] Atualiza a chave do aplicativo do DocSearch
  • [SPARK-37479] [SQL] Migra DROP NAMESPACE para usar o comando V2 por padrão
  • [SPARK-35703] [SQL] Relaxa a restrição para junção de bucket e remover HashClusteredDistribution
  • [SPARK-37983] [SQL] Recua métricas de tempo de compilação agregada para classificar agregação
  • [SPARK-37915] [SQL] Combina uniões se houver um projeto entre elas
  • [SPARK-38105] [SQL] Usa classes de erro nos erros de análise de junções
  • [SPARK-38073] [PYTHON] Atualiza função atexit para evitar problemas com associação tardia
  • [SPARK-37941] [SQL] Usa classes de erro nos erros de compilação do conversão
  • [SPARK-37937] [SQL] Usa classes de erro nos erros de análise de junção lateral
  • [SPARK-38100] [SQL] Remove método privado não utilizado no Decimal
  • [SPARK-37987] [SS] Corrige teste estranho StreamingAggregationSuite.alterando o esquema de estado ao reiniciar a consulta
  • [SPARK-38003] [SQL] A regra LookupFunctions só deve procurar funções do registro de funções escalares
  • [SPARK-38075] [SQL] Corrige hasNext no iterador de saída do processo HiveScriptTransformationExec
  • [SPARK-37965][SQL] Remove o nome do campo de verificação ao ler/escrever dados existentes em Orc
  • [SPARK-37922] [SQL] Combina com uma conversão se for possível fazer um upcast de duas conversões com segurança (para dbr-branch-10.x)
  • [SPARK-37675] [SPARK-37793] Impede a substituição de arquivos mesclados em ordem aleatória por push assim que o embaralhamento é finalizado
  • [SPARK-38011] [SQL] Remove configuração duplicada e inútil em ParquetFileFormat
  • [SPARK-37929] [SQL] Dá suporte ao modo em cascata para API dropNamespace
  • [SPARK-37931] [SQL] Cota o nome da coluna, se necessário
  • [SPARK-37990] [SQL] Dá suporte a TimestampNTZ em RowToColumnConverter
  • [SPARK-38001] [SQL] Substitui as classes de erro relacionadas a recursos sem suporte por UNSUPPORTED_FEATURE
  • [SPARK-37839] [SQL] O DS V2 dá suporte a push-down de agregação parcial AVG
  • [SPARK-37878] [SQL] Migra SHOW CREATE TABLE para usar o comando V2 por padrão
  • [SPARK-37731] [SQL] Pesquisa de função Refatorar e Limpeza no analisador
  • [SPARK-37979] [SQL] Alterna para classes de erro mais genéricas em funções AES
  • [SPARK-37867] [SQL] Compila funções de agregação do dialeto JDBC de compilação
  • [SPARK-38028] [SQL] Expõe vetor de seta de ArrowColumnVector
  • [SPARK-30062] [SQL] Adiciona a instrução IMMEDIATE à implementação de truncar dialeto DB2
  • [SPARK-36649] [SQL] Dá suporte a Trigger.AvailableNow na fonte de dados do Kafka
  • [SPARK-38018] [SQL] Corrige ColumnVectorUtils.populate para identificar CalendarIntervalType corretamente
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved deve identificar ExecutorDecommission como concluído
  • [SPARK-38019] [CORE] Torna ExecutorMonitor.timedOutExecutors determinístico
  • [SPARK-37957] [SQL] Passa corretamente o sinalizador determinístico para funções escalares V2
  • [SPARK-37985] [SQL] Corrige teste não confiável para SPARK-37578
  • [SPARK-37986] [SQL] Dá suporte a TimestampNTZ na classificação de base
  • [SPARK-37967] [SQL] Dá suporte do Literal.create ao ObjectType
  • [SPARK-37827] [SQL] Coloca algumas propriedades de tabela em V1Table.propertie para se adaptar ao comando V2
  • [SPARK-37963] [SQL] Precisa atualizar o URI da Partição depois de renomear a tabela em InMemoryCatalog
  • [SPARK-35442] [SQL] Dá suporte para propagar relação vazia por meio de agregação/união
  • [SPARK-37933] [SQL] Altera o método de travessia das regras de push down V2ScanRelationPushDown
  • [SPARK-37917] [SQL] Limita o push down 1 para o lado direito da semi/anti junção à esquerda se a condição de junção estiver vazia
  • [SPARK-37959] [ML] Corrige o UT da norma de verificação em KMeans e BiKMeans
  • [SPARK-37906] [SQL] spark-sql não deve passar o último comentário para o back-end
  • [SPARK-37627] [SQL] Adiciona coluna classificação no BucketTransform

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 10.4 LTS.

Ambiente do sistema

  • Sistema operacional: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (atualização cumulativa de ISO) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
empacotando 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
solicitações 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do instantâneo da Microsoft CRAN em 24/02/2022.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
askpass 1,1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
sinal de interpolação 6.0-90 cellranger 1.1.0 chron 2.3-56
classe 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1,7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.5.0 credenciais 1.3.2
curl 4.3.2 data.table 1.14.2 conjuntos de dados 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 Genéricos 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 elemento gráfico 4.1.2 grDevices 4.1.2
grade 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0,9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1,37 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
ciclo de vida 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1,1 MASS 7.3-55
Matriz 1.4-0 memoise 2.0.1 methods 4.1.2
mgcv 1.8-39 mime 0,12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 progress 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2,11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2,10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 whisker 0,4 withr 2.4.3
xfun 0.29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1,2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1