Partilhar via


Databricks Runtime 10.1 (sem suporte)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 10.1 e o Databricks Runtime 10.1 Photon, com tecnologia Apache Spark 3.2.0. A Databricks divulgou essas imagens em novembro de 2021. Photon está em Visualização Pública.

Novos recursos e melhorias

Novas configurações de tabela Delta para compactar arquivos pequenos

A propriedade delta.autoOptimize.autoCompact da tabela Delta agora aceita os novos valores de e além dos valores existentes de autotrue e legacyfalse. Quando definido como (recomendado), a Compactação Automática usa padrões melhores, como definir 32 MB como auto o tamanho do arquivo de destino (embora os comportamentos padrão estejam sujeitos a alterações no futuro). Quando definido como ou true, a Compactação Automática usa 128 MB como legacy o tamanho do arquivo de destino.

Em vez de definir essa propriedade para uma tabela individual, você pode definir a configuração como , ou true para habilitar a spark.databricks.delta.autoCompact.enabled compactação automática para todas as tabelas legacyDelta.auto Essa configuração tem precedência sobre a propriedade de tabela relacionada durante a sessão atual.

O tamanho do arquivo de destino para Auto Compaction pode ser controlado com a spark.databricks.delta.autoCompact.maxFileSize configuração.

Para obter mais informações sobre compactação automática, consulte Compactação automática para Delta Lake no Azure Databricks.

Novas métricas de grupo de linhas para verificações de consulta do Parquet

As consultas com varreduras do Parquet agora apresentam métricas de grupo de linhas na interface do usuário do Spark. Essas métricas de grupo de linhas são:

  • Número total de grupos de linhas de parquet
  • Número de grupos de linhas de parquet lidos

Trigger.AvailableNow para consultas de streaming de origem Delta

Essa alteração oferece suporte a um novo tipo de gatilho para consultas de streaming de origem Delta no Scala: Trigger.AvailableNow. É como Trigger.Once, que processa todos os dados disponíveis e interrompe a consulta. No entanto, fornece melhor escalabilidade, Trigger.AvailableNow porque os dados podem ser processados em vários lotes em vez de um. Esta alteração não introduz uma nova interface; ele implementa uma API Spark existente. Esse gatilho também suporta todas as opções de limitação de taxa que já são suportadas pela Delta como fonte.

Exemplo:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Veja a cobertura de Trigger.AvailableNow em O que é Auto Loader?.

Trigger.AvailableNow para carregador automático

Trigger.AvailableNow é um novo modo de gatilho de streaming semelhante ao Trigger.Once. Trigger.Once processa todos os dados disponíveis e, em seguida, interrompe a consulta. Trigger.AvailableNow tem melhor escalabilidade, porque os dados podem ser processados em vários lotes em vez de um. O Auto Loader agora suporta Trigger.AvailableNow os modos de listagem de diretórios e notificação de arquivos para o Scala. Veja a cobertura de Trigger.AvailableNow em O que é Auto Loader?.

Suporte delta para configurações do sistema de arquivos Hadoop que são passadas pelas opções do DataFrame

Semelhante ao Parquet, o Delta agora suporta a leitura de configurações do sistema de arquivos Hadoop e DataFrameWriter opções quando a tabela é lida DataFrameReader ou gravada, usando DataFrameReader.load(path) ou DataFrameWriter.save(path). Consulte Configurar credenciais de armazenamento Delta.

O ponto de verificação de estado assíncrono agora é suportado em trabalhos de streaming com monitoração de estado (Visualização pública)

O ponto de verificação de estado assíncrono é um novo recurso que reduz potencialmente a latência de microlote de ponta a ponta em trabalhos de streaming com monitoração de estado com atualizações de estado grandes. Consulte Ponto de verificação de estado assíncrono para consultas com monitoração de estado.

Sparklyr com passagem de credenciais

Agora você pode usar as APIs do sparklyr para ler e gravar dados de e para o armazenamento em nuvem usando a passagem de credenciais. Essa funcionalidade é limitada a clusters padrão com acesso de usuário único. Consulte Acessar o Armazenamento do Azure Data Lake usando a passagem de credenciais (legado) do Microsoft Entra ID (anteriormente Azure Ative Directory).

Dados do Databricks Utilities resumem o controle de precisão (Visualização pública)

Um novo precise parâmetro para dbutils.data.summarize controlar a precisão dos resultados resumidos. Quando precise definido como false (o padrão), o resumo retorna resultados aproximados para contagens distintas, percentis e contagens de itens frequentes. Quando precise é definido como true, os resumos são agora calculados com contagem distinta exata e contagens de itens frequentes, com estimativas de percentis mais precisas. Consulte o comando summarize (dbutils.data.summarize).

Os blocos de anotações do Azure Databricks agora podem ser usados com o kernel do IPython

Agora você pode configurar um cluster do Azure Databricks para usar o kernel do IPython para executar código Python. Usar o kernel do IPython no Azure Databricks adiciona suporte para as ferramentas de exibição e saída do IPython. Além disso, o kernel IPython captura as saídas stdout e stderr de processos filho criados por um notebook, permitindo que essa saída seja incluída nos resultados de comando do notebook.

Para obter mais informações, consulte Kernel IPython.

Novas funções no Spark SQL

Os seguintes objetos e comandos foram adicionados para trabalhar com dados no Unity Catalog (Preview):

Os seguintes comandos foram adicionados para o Compartilhamento Delta (Visualização), que permite compartilhar dados somente leitura com destinatários fora da sua organização:

Correções de erros

  • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException tal ou No FileSystem for scheme que poderia fazer com que as modificações sparkContext.hadoopConfiguration não tivessem efeito nas consultas.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • filelock de 3.0.12 a 3.3.1
    • coalas de 1.8.1 a 1.8.2
    • plotly de 5.1.0 a 5.3.0
  • Bibliotecas R atualizadas:
    • bslib de 0.3.0 a 0.3.1
    • Cursor de 6,0-88 a 6,0-90
    • CPP11 de 0.3.1 a 0.4.0
    • data.table de 1.14.0 a 1.14.2
    • desc de 1.3.0 a 1.4.0
    • diffobj de 0.3.4 a 0.3.5
    • resumo de 0.6.27 a 0.6.28
    • genéricos de 0.1.0 a 0.1.1
    • HMS de 1.1.0 a 1.1.1
    • knitr de 1,34 a 1,36
    • rede de 0,20-44 a 0,20-45
    • ciclo de vida de 1.0.0 a 1.0.1
    • lubridato de 1.7.10 a 1.8.0
    • mgcv de 1.8-37 a 1.8-38
    • MIME de 0,11 a 0,12
    • pkgload de 1.2.2 a 1.2.3
    • progredir de 0.8.0 a 0.9.0
    • rcmdcheck de 1.3.3 a 1.4.0
    • Readr de 2.0.1 a 2.0.2
    • receitas de 0.1.16 a 0.1.17
    • Remotos de 2.4.0 a 2.4.1
    • RLANG de 0.4.11 a 0.4.12
    • rvest de 1.0.1 a 1.0.2
    • brilhante de 1.6.0 a 1.7.1
    • stringi de 1.7.4 a 1.7.5
    • testisso de 3.0.4 a 3.1.0
    • Tidyr de 1.1.3 a 1.1.4
    • tinytex de 0,33 a 0,34
    • usethis de 2.0.1 a 2.1.2
    • xfun de 0,26 a 0,27
  • Bibliotecas Java atualizadas:
    • com.zaxxer.HikariCP de 3.1.0 a 4.0.3

Faísca Apache

O Databricks Runtime 10.1 inclui o Apache Spark 3.2.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.0 (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-37037] [SQL] Melhore a classificação da matriz de bytes unificando a função compareTo de UTF8String e ByteArray
  • [FAÍSCA-37091] [R] SystemRequirements para incluir Java < 18
  • [FAÍSCA-37041] [SQL] Backport HIVE-15025: Suporte SSL (Secure-Socket-Layer) para HMS
  • [FAÍSCA-37098] [SQL] Alterar propriedades da tabela deve invalidar o cache
  • [FAÍSCA-36992] [SQL] Melhore o perf de classificação da matriz de bytes unificando a função getPrefix de UTF8String e ByteArray
  • [FAÍSCA-37047] [SQL] Adicionar funções lpad e rpad para strings binárias
  • [FAÍSCA-37076] [SQL] Implementar StructType.toString explicitamente para Scala 2.13
  • [FAÍSCA-37075] [SQL] Mover a construção de expressões UDAF de sql/catalyst para sql/core
  • [FAÍSCA-37084] [SQL] Defina spark.sql.files.openCostInBytes como bytesConf
  • [FAÍSCA-37088] [PYSPARK] [SQL] O thread do gravador não deve acessar a entrada após o retorno do ouvinte de conclusão de tarefa
  • [FAÍSCA-37069] [SQL] Fallback corretamente quando Hive.getWithoutRegisterFns não está disponível
  • [FAÍSCA-37050] [PYTHON] Atualizar instruções de instalação do Conda
  • [FAÍSCA-37067] [SQL] Use ZoneId.of() para manipular a cadeia de caracteres de fuso horário em DatetimeUtils
  • [FAÍSCA-35925] [SQL] Suporte DayTimeIntervalType na função width-bucket
  • [FAÍSCA-35926] [SQL] Adicionar suporte YearMonthIntervalType para width_bucket
  • [FAÍSCA-35973] [SQL] Adicionar comando SHOW CATALOGS
  • [FAÍSCA-36922] [SQL] As funções SIGN/SIGNUM devem suportar intervalos ANSI
  • [FAÍSCA-37078] [CORE] Suporte a construtores antigos de 3 parâmetros Sink
  • [FAÍSCA-37061] [SQL] Corrigir CustomMetrics ao usar classes internas
  • [FAÍSCA-35918] [AVRO] Unifique a manipulação de incompatibilidade de esquema para leitura/gravação e aprimore mensagens de erro
  • [FAÍSCA-36871] [SQL] Comando Migrar CreateViewStatement para v2
  • [FAÍSCA-36898] [SQL] Torne o fator de junção de hash aleatório configurável
  • [FAÍSCA-36921] [SQL] Suporta intervalos ANSI por DIV
  • [FAÍSCA-36794] [SQL] Ignorar chaves de junção duplicadas ao criar relação para junção hash embaralhada SEMI/ANTI
  • [FAÍSCA-36867] [SQL] Corrigir mensagem de erro com alias GROUP BY
  • [FAÍSCA-36914] [SQL] Implementar dropIndex e listIndexes em JDBC (dialeto MySQL)
  • [FAÍSCA-35531] [SQL] Passe diretamente a tabela do hive para o HiveClient ao chamar getPartitions para evitar a conversão desnecessária do HiveTable - CatalogTable - ->> HiveTable
  • [FAÍSCA-36718] [SQL] Só colapsar projetos se não duplicarmos expressões caras
  • [FAÍSCA-37046] [SQL]: A vista Alter não preserva maiúsculas e minúsculas da coluna
  • [FAÍSCA-36978] [SQL] A regra InferConstraints deve criar restrições IsNotNull no campo aninhado acessado em vez do tipo aninhado raiz
  • [FAÍSCA-37052] [CORE] O Spark só deve passar o argumento –verbose para a classe principal quando for sql shell
  • [FAÍSCA-37017] [SQL] Reduza o escopo do sincronizado para evitar possíveis impasses
  • [FAÍSCA-37032] [SQL] Corrigir link de sintaxe SQL quebrada na página de Referência do SQL
  • [FAÍSCA-36905] [SQL] Corrigir a leitura de vistas da secção sem nomes de colunas explícitos
  • [FAÍSCA-36678] Migrar SHOW TABLES para usar o comando V2 por padrão
  • [FAÍSCA-36943] [SQL] Melhorar a legibilidade da mensagem de erro de coluna ausente
  • [FAÍSCA-36980] [SQL] Inserir consulta de suporte com CTE
  • [FAÍSCA-37001] [SQL] Desabilitar dois níveis de mapa para agregação de hash final por padrão
  • [FAÍSCA-36970] [SQL] Manual desativado formato B de date_format função para tornar o Java 17 compatível com Java 8
  • [FAÍSCA-36546] [SQL] Adicionar suporte de matriz à união por nome
  • [FAÍSCA-36979] [SQL] Adicionar regra RewriteLateralSubquery em nonExcludableRules
  • [FAÍSCA-36949] [SQL] Não permitir tabelas do provedor Hive com intervalos ANSI
  • [FAÍSCA-36849] [SQL] Migrar UseStatement para a estrutura de comando v2
  • [FAÍSCA-36868] [SQL] Migrar CreateFunctionStatement para a estrutura de comando v2
  • [FAÍSCA-36841] [SQL] Adicionar sintaxe set catalog xxx ansi para alterar o catálogo atual
  • [FAÍSCA-36821] [SQL] Tornar a classe ColumnarBatch extensível - adenda
  • [FAÍSCA-36963] [SQL] Adicionar max_by/min_by a sql.functions
  • [FAÍSCA-36913] [SQL] Implementar createIndex e IndexExists no DS V2 JDBC (dialeto MySQL)
  • [FAÍSCA-36848] [SQL] Migrar ShowCurrentNamespaceStatement para a estrutura de comando v2
  • [FAÍSCA-36526] [SQL] DSV2 Index Support: Adicionar supportsIndex interface
  • [FAÍSCA-36960] [SQL] Filtros pushdown com valores de intervalo ANSI para ORC
  • [FAÍSCA-36929] [SQL] Remover método não utilizado EliminateSubqueryAliasesSuite#assertEquivalent
  • [FAÍSCA-36931] [SQL] Suporte a leitura e gravação de intervalos ANSI de/para fontes de dados ORC
  • [FAÍSCA-34980] [SQL] Apoiar a partição de coalescência através da união na AQE
  • [FAÍSCA-36809] [SQL] Remover broadcast para InSubqueryExec usado no DPP
  • [FAÍSCA-36813] [SQL] [PYTHON] Propor uma infraestrutura de ps.merge_asof de junção e integração
  • [FAÍSCA-36918] [SQL] Ignorar tipos ao comparar structs para unionByName
  • [FAÍSCA-36891] [SQL] Refatore SpecificParquetRecordReaderBase e adicione mais cobertura na decodificação vetorizada do Parquet
  • [FAÍSCA-36920] [SQL] Suporta intervalos ANSI por ABS()
  • [FAÍSCA-36888] [SQL] adicionar casos de teste para a função sha2
  • [FAÍSCA-36889] [SQL] Respeito spark.sql.parquet.filterPushdown pelo construtor de varredura de parquet v2
  • [FAÍSCA-36830] [SQL] Suporte a leitura e gravação de intervalos ANSI de/para fontes de dados JSON
  • [FAÍSCA-36870] [SQL] Introduzir INTERNAL_ERROR classe de erro
  • [FAÍSCA-36831] [SQL] Suporte a leitura e gravação de intervalos ANSI de/para fontes de dados CSV.
  • [FAÍSCA-36550] [SQL] Causa de propagação quando a reflexão UDF falha
  • [FAÍSCA-36866] [SQL] Filtros pushdown com valores de intervalo ANSI para parquet
  • [FAÍSCA-33832] [SQL] Forçar a inclinação da junção de simplificação e melhoria do código
  • [FAÍSCA-36642] [SQL] Adicionar df.withMetadata pyspark API
  • [FAÍSCA-35765] [SQL] Aggs distintos não são sensíveis a duplicados
  • [FAÍSCA-36825] [SQL] Leitura/gravação de dataframes com intervalos ANSI de/para arquivos parquet
  • [FAÍSCA-36829] [SQL] Refatore a verificação NULL para collectionOperators
  • [FAÍSCA-32712] [SQL] Suporte a gravação de tabela bucketed Hive (formatos de arquivo Hive com hash Hive)
  • [FAÍSCA-36797] [SQL] União deve resolver colunas aninhadas como colunas de nível superior
  • [FAÍSCA-36838] [SQL] Melhorar o desempenho do código gerado pelo InSet
  • [FAÍSCA-36683] [SQL] Adicione novas funções SQL integradas: SEC e CSC
  • [FAÍSCA-36721] [SQL] Simplifique as igualdades booleanas se um lado for literal
  • [FAÍSCA-36760] [SQL] Adicionar interface SupportsPushDownV2Filters
  • [FAÍSCA-36652] [SQL] A seleção de adesão dinâmica da AQE não deve aplicar-se à adesão não equitativa
  • [FAÍSCA-36745] [SQL] ExtractEquiJoinKeys deve retornar os predicados originais nas chaves de junção
  • [FAÍSCA-36107] [SQL] Refatore o primeiro conjunto de 20 erros de execução de consulta para usar classes de erro
  • [FAÍSCA-32709] [SQL] Suporte a escrever tabela bucketed Hive (formato Parquet/ORC com hash Hive)
  • [FAÍSCA-36735] [SQL] Ajustar a sobrecarga da relação em cache para DPP
  • [FAÍSCA-33832] [SQL] Suporte otimizar a junção enviesada, mesmo se introduzir shuffle extra
  • [FAÍSCA-36822] [SQL] BroadcastNestedLoopJoinExec deve usar todas as condições em vez da condição não-equi
  • [FAÍSCA-35221] [SQL] Adicione a verificação de dicas de associação suportadas
  • [FAÍSCA-36814] [SQL] Tornar a classe ColumnarBatch extensível
  • [FAÍSCA-36663] [SQL] Suporte a nomes de coluna somente número em fontes de dados ORC
  • [FAÍSCA-36751] [SQL] [PYTHON] [R] Adicionar APIs bit/octet_length ao Scala, Python e R
  • [FAÍSCA-36733] [SQL] Corrigir um problema de perf no SchemaPruning quando uma struct tem muitos campos
  • [FAÍSCA-36724] [SQL] Suporte timestamp_ntz como um tipo de coluna de tempo para SessionWindow
  • [FAÍSCA-36556] [SQL] Adicionar filtros DSV2
  • [FAÍSCA-36687] [SQL] [CORE] Renomear classes de erro com sufixo _ERROR
  • [FAÍSCA-35803] [SQL] Suporte DataSource V2 CreateTempViewUsing
  • [FAÍSCA-36642] [SQL] Adicionar df.withMetadata: um suger de sintaxe para atualizar os metadados de um dataframe

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 10.1.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Escala: 2.12.14
  • Píton: 3.8.10
  • R: 4.1.1
  • Lago Delta: 1.0.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (Laminação ISO) Appdirs 1.4.4 Argônio2-CFFI 20.1.0
gerador assíncrono 1.10 ATRs 20.3.0 Backcall 0.2.0
lixívia 3.3.0 boto3 1.16.7 botocore 1.19.7
certifi 2020.12.5 cffi 1.14.5 chardet 4.0.0
cycler 0.10.0 Quisto 0.29.23 dbus-python 1.2.16
decorador 5.0.6 DeUsedXML 0.7.1 Distlib 0.3.3
distro-info 0,23ubuntu1 pontos de entrada 0.3 facetas-visão geral 1.0.0
filelock 3.3.1 idna 2.10 Ipykernel 5.3.4
ipython 7.22.0 ipython-genutils 0.2.0 ipywidgets 7.6.3
Jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
Joblib 1.0.1 jsonschema 3.2.0 jupyter-cliente 6.1.12
Jupyter-core 4.7.1 Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0
Kiwisolver 1.3.1 coalas 1.8.2 MarkupSafe 2.0.1
matplotlib 3.4.2 Mistune 0.8.4 nbclient 0.5.3
nbconvert 6.0.7 nbformat 5.1.3 Ninho-Asyncio 1.5.1
bloco de notas 6.3.0 numpy 1.19.2 embalagem 20.9
pandas 1.2.4 PandocFilters 1.4.3 Parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Travesseiro 8.2.0 pip 21.0.1 enredo 5.3.0
Prometheus-cliente 0.10.1 prompt-toolkit 3.0.17 protobuf 3.17.2
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pycparser 2,20 Pygments 2.8.1 PyGObject 3.36.0
pyparsing 2.4.7 pirsistent 0.17.3 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 Pyzmq 20.0.0
pedidos 2.25.1 pedidos-unixsocket 0.2.0 s3transferir 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Enviar2Lixo 1.5.0 setuptools 52.0.0 seis 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacidade 8.0.1
terminado 0.9.4 caminho de teste 0.4.4 ThreadPoolCtl 2.1.0
tornado 6.1 traços 5.0.5 Upgrades autônomos 0.1
urllib3 1.25.11 virtualenv 20.4.1 largura de wc 0.2.5
WebEncodings 0.5.1 roda 0.36.2 widgetsnbextension 3.5.1

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2021-10-26.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1.1 asserçãoat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 arranque 1.3-28
brew 1.0-6 Brio 1.1.2 vassoura 0.7.9
BSLIB 0.3.1 cachem 1.0.6 Chamador 3.7.0
acento circunflexo 6.0-90 Cellranger 1.1.0 crono 2.3-56
classe 7.3-19 cli 3.0.1 Clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 espaço em cores 2.0-2
marca comum 1.7 compilador 4.1.1 configuração 0.3.1
CPP11 0.4.0 lápis de cor 1.4.1 credenciais 1.3.1
curl 4.3.2 data.table 1.14.2 conjuntos de dados 4.1.1
DBI 1.1.1 DBPlyr 2.1.1 desc 1.4.0
devtools 2.4.2 diffobj 0.3.5 resumo 0.6.28
dplyr 1.0.7 DTPlyr 1.1.0 E1071 1.7-9
ellipsis 0.3.2 evaluate 0.14 Fãsi 0.5.0
Farver 2.1.0 mapa rápido 1.1.0 fontawesome 0.2.2
FORCATS 0.5.1 foreach 1.5.1 externa 0.8-81
forjar 0.2.0 FS 1.5.0 Futuro 1.22.1
future.apply 1.8.1 gargarejo 1.2.0 Genéricos 0.1.1
Gert 1.4.1 ggplot2 3.3.5 GH 1.3.0
gitcreds 0.1.1 glmnet 4.1-2 Globais 0.14.0
colar 1.4.2 GoogleDrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 gráficos 4.1.1 grDevices 4.1.1
grelha 4.1.1 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 Refúgio 2.4.3 mais alto 0,9
HMS 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 IDs 1.0.1 ini 0.3.1
ipred 0.9-12 Isoband 0.2.5 iteradores 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 KernSmooth 2.23-20
Knitr 1.36 etiquetagem 0.4.2 mais tarde 1.3.0
lattice 0.20-45 lava 1.6.10 ciclo de vida 1.0.1
ouvirv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
Marcação 1.1 MASSA 7.3-54 Matriz 1.3-4
memoise 2.0.0 métodos 4.1.1 mgcv 1.8-38
mime 0,12 ModelMetrics 1.2.2.2 Modelador 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 paralelo 4.1.1
Paralelamente 1.28.1 pilar 1.6.4 pkgbuild 1.2.0
pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 elogiar 1.0.0 unidades bonitas 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
Progresso 1.2.2 progressor 0.9.0 promessas 1.2.0.1
proto 1.0.0 procuração 0.4-26 PS 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.7 Leitor 2.0.2
ReadXL 1.3.1 receitas 0.1.17 revanche 1.0.1
revanche2 2.1.2 Controles remotos 2.4.1 Reprex 2.0.1
remodelar2 1.4.4 rlang 0.4.12 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversões 2.1.1 Rvest 1.0.2
Sass 0.4.0 escalas 1.1.1 seletor 0.4-2
sessioninfo 1.1.1 forma 1.4.6 brilhante 1.7.1
ferramentas de origem 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
espacial 7.3-11 splines 4.1.1 sqldf 0.4-11
QUADRADO 2021.1 estatísticas 4.1.1 stats4 4.1.1
stringi 1.7.5 stringr 1.4.0 sobrevivência 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testeatat 3.1.0 tibble 3.1.5 tidyr 1.1.4
tidyselect 1.1.1 Tidyverse 1.3.1 timeDate 3043.102
Tinytex 0.34 ferramentas 4.1.1 TZDB 0.1.2
usethis 2.1.2 UTF8 1.2.2 utilitários 4.1.1
uuid 0.1-4 VCTRS 0.3.8 viridisLite 0.4.0
vroom 1.5.5 Waldo 0.3.1 whisker 0.4
withr 2.4.2 xfun 0.27 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.12.2
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben ZSTD-JNI 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-tempo de execução 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 1.3.2
dev.ludovic.netlib Blas 1.3.2
dev.ludovic.netlib Lapack | 1.3.2
colmeia-2.3__hadoop-3.2 JETS3T-0,7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.19
IO.Delta delta-compartilhamento-spark_2.12 0.2.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-árvores colmeia-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna JNA 5.8.0
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.3
net.floco de neve faísca-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato de seta 2.0.0
org.apache.arrow seta-memória-núcleo 2.0.0
org.apache.arrow seta-memória-netty 2.0.0
org.apache.arrow vetor de seta 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapeado 1.10.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-texto 1.6
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-Databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubação
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.5.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-núcleo 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc Orc-calços 1.6.10
org.apache.parquet parquet-column 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-common 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-encoding 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-formato-estruturas 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-hadoop 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-jackson 1.12.0-DATABRICKS-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.20
org.apache.yetus anotações de audiência 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-juta 3.6.2
org.checkerframework verificador-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty cais-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket API WebSocket 9.4.40.v20210413
org.eclipse.jetty.websocket Websocket-cliente 9.4.40.v20210413
org.eclipse.jetty.websocket Websocket-Comum 9.4.40.v20210413
org.eclipse.jetty.websocket servidor websocket 9.4.40.v20210413
org.eclipse.jetty.websocket Websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jaxb jaxb-tempo de execução 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core servidor de jersey 2.34
org.glassfish.jersey.inject Jersey-HK2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap calços 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.14
org.scala-lang Escala-library_2.12 2.12.14
org.scala-lang Escala-reflect_2,12 2.12.14
org.scala-lang.modules scala-coleção-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework teste de primavera 4.1.4.RELEASE
org.threeten trêsdez-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel gatos-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel torre-macros_2.12 0,17,0-m1
org.typelevel torre-platform_2.12 0,17,0-m1
org.typelevel torre-util_2.12 0,17,0-m1
org.typelevel spire_2.12 0,17,0-m1
org.wildfly.openssl mosca-selvagem-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1