Compartilhar via

Databricks Runtime 16.0 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.0, da plataforma Apache Spark 3.5.0.

O Databricks lançou essa versão em novembro de 2024.

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Notas de versão do Databricks Runtime: versões e compatibilidade.

Alterações comportamentais

Alteração significativa: JDK 17 agora é o padrão

No Databricks Runtime 16.0 e superior, a versão padrão do JDK é alternada do JDK 8 para o JDK 17. Essa alteração é feita devido à descontinuação planejada e ao fim do suporte para o JDK 8. Isso afeta o seguinte:

  • O código Java em execução na computação do Azure Databricks deve ser compatível com o Java 17.
  • O código Scala em execução em notebooks ou na computação do Azure Databricks deve ser compatível com o Java 17.
  • As bibliotecas Java e Scala instaladas na computação devem ser compatíveis com o Java 17.
  • Versões do cliente de metastore do Apache Hive abaixo de 2.x. Definir a configuração spark.sql.hive.metastore.version do Spark para uma versão inferior a 2.x causará problemas de compatibilidade com o Java 17 e falhas de conexão com o metastore do Hive. O Databricks recomenda atualizar o Hive para uma versão acima de 2.0.0.

Se você precisar reverter para o Java 8, adicione o seguinte às variáveis de ambiente do Spark ao configurar a computação do Azure Databricks:

JNAME=zulu8-ca-amd64

Se você estiver usando instâncias do ARM, use o seguinte:

JNAME=zulu8-ca-arm64

Para saber mais sobre como especificar versões do JDK com a computação do Azure Databricks, consulte Criar um cluster com uma versão específica do JDK.

Para obter ajuda com a migração do código do Java 8, consulte os seguintes guias:

Alteração significativa: o RStudio hospedado está no fim da vida útil

Com esta versão, o RStudio Server hospedado pelo Databricks está no fim da vida útil e indisponível em qualquer workspace do Azure Databricks que executa o Databricks Runtime 16.0 e superior. Para saber mais e ver uma lista de alternativas ao RStudio, consulte Conectar-se a um Servidor RStudio hospedado pelo Databricks.

Alteração significativa: Remoção do suporte para alterar byte, short, int e tipos long para tipos mais amplos

No Databricks Runtime 15.4.3 e superior, as seguintes alterações de tipo de dados não podem mais ser aplicadas a tabelas com o recurso de alargamento de tipo habilitado:

  • byte, shorte intlong para decimal.
  • byte, short e int para double.

Essa alteração é feita para garantir um comportamento consistente nas tabelas Delta e Apache Iceberg. Para saber mais sobre a ampliação de tipo, consulte Ampliação de tipo.

Análise correta de padrões regex com negação no agrupamento de caracteres aninhados

Esta versão inclui uma alteração para dar suporte à análise correta de padrões regex com negação no agrupamento de caracteres aninhados. Por exemplo, [^[abc]] será analisado como "qualquer caractere que não seja um de 'abc'".

Além disso, o comportamento do Photon era inconsistente com o Spark nas classes de caractere aninhadas. Os padrões Regex contendo classes de caracteres aninhados não usarão mais o Photon e, em vez disso, usarão o Spark. Uma classe de caracteres aninhada é qualquer padrão que contenha colchetes entre colchetes, como [[a-c][1-3]].

Melhorar a detecção de correspondência duplicada no Delta Lake MERGE

No Databricks Runtime 15.4 LTS e inferior, MERGE as operações falharão se mais de uma linha na tabela de origem corresponder à mesma linha na tabela de destino com base na MERGE condição especificada na ON cláusula. No Databricks Runtime 16.0 e superior, MERGE também considera as condições especificadas na WHEN MATCHED cláusula. Consulte Executar o upsert em uma tabela do Delta Lake usando a mesclagem.

O método de instalação da biblioteca de clusters não pode mais ser substituído

As configurações do spark.databricks.libraries.enableSparkPyPISpark , spark.databricks.libraries.enableMavenResolutione spark.databricks.libraries.enableCRANResolutionnow agora são padrão e true não podem ser substituídas.

Tempo limite padrão de duas horas para instalações de biblioteca no escopo do cluster

No Databricks Runtime 16.0 e superior, a instalação da biblioteca com escopo de cluster tem um tempo limite padrão de duas horas. As instalações da biblioteca que demorarem mais do que esse tempo limite falharão e a instalação será encerrada. Ao configurar um cluster, você pode alterar o período de tempo limite usando a configuração spark.databricks.driver.clusterLibraryInstallationTimeoutSecdo Spark.

A instalação de bibliotecas do DBFS e a configuração da configuração do spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed estão desabilitadas

No Databricks Runtime 16.0 e superior, a instalação de bibliotecas do DBFS está totalmente desabilitada. Essa alteração é feita para melhorar a segurança das bibliotecas em um workspace do Databricks. Além disso, no Databricks Runtime 16.0 e superior, você não pode mais usar a configuração spark.databricks.driver.dbfsLibraryInstallationAlloweddo Spark.

A addArtifact() funcionalidade agora é consistente em todos os tipos de computação

Com esta versão, o arquivo morto é descompactado automaticamente quando você usa addArtifact(archive = True) para adicionar uma dependência à computação compartilhada ou sem servidor do Azure Databricks. Essa alteração torna o addArtifact(archive = True) comportamento nesses tipos de computação consistente com a computação dedicada (anteriormente computação de usuário único), que já dá suporte à descompactação automática de arquivos.

A regra dos backticks foi aplicada corretamente para os identificadores principais com caracteres especiais

Com esta versão, os identificadores principais com caracteres especiais nas instruções GRANT, DENY, e REVOKE agora gerarão um erro se não estiverem entre os backticks.

Novos recursos e melhorias

Recarregamento mais confiável de módulos Python modificados com melhorias para autoreload

No Databricks Runtime 16.0 e superior, as atualizações da autoreload extensão melhoram a segurança e a confiabilidade do recarregamento de módulos Python modificados importados de arquivos de workspace. Com essas alterações, autoreload, quando possível, recarrega apenas a parte de um módulo que foi alterada em vez de todo o módulo. Além disso, o Azure Databricks agora sugere automaticamente o uso da extensão autoreload se o módulo tiver sido alterado desde sua última importação. Confira Recarregamento automático para módulos Python.

Suporte Avro para esquema recursivo

Agora você pode usar a recursiveFieldMaxDepth opção com a from_avro função e a avro fonte de dados. Essa opção define a profundidade máxima para a recursão de esquema na fonte de dados Avro. Confira Ler e gravar dados de streaming do Avro.

Funções to_avro e from_avro

As funções to_avro e from_avro permitem a conversão de tipos SQL em dados binários do Avro e de volta.

Suporte expandido para Confluent Schema Registry for Avro

O Azure Databricks agora dá suporte à referência de esquema Avro com o Registro de Esquema Confluente. Consulte Autenticar em um Registro de Esquema Confluent externo.

Forçar reclustering em tabelas com clustering líquido

No Databricks Runtime 16.0 e superior, você pode usar a OPTIMIZE FULL sintaxe para forçar o reclustering de todos os registros em uma tabela com clustering líquido habilitado. Consulte Forçar reagrupamento para todos os registros.

As APIs Delta para Python e Scala agora oferecem suporte a colunas de identidade

Agora você pode usar as APIs Delta para Python e Scala para criar tabelas com colunas de identidade. Consulte Usar colunas de identidade no Delta Lake.

O controle de acesso refinado na computação dedicada (anteriormente computação de usuário único) está disponível em geral

No Databricks Runtime 16.0 e versões posteriores, o controle de acesso refinado na computação dedicada está geralmente disponível. Em workspaces habilitados para computação sem servidor, se uma consulta for executada em computação suportada, como computação dedicada, e a consulta acessar qualquer um dos seguintes objetos, o recurso de computação passará a consulta para a computação sem servidor para realizar a filtragem de dados.

  • Exibições definidas sobre tabelas nas quais o usuário não tem o privilégio SELECT.
  • Visualizações dinâmicas.
  • Tabelas com filtros de linha ou máscaras de coluna aplicadas.
  • Visões materializadas e Tabelas de transmissão

Criar tabelas agrupadas líquidas durante gravações de streaming

Agora você pode usar clusterBy para habilitar o clustering líquido ao criar novas tabelas com gravações de Streaming Estruturado. Consulte Habilitar o agrupamento líquido.

Suporte para a cláusula OPTIMIZE FULL

O Databricks Runtime 16.0 dá suporte à cláusula OPTIMIZE FULL. Esta cláusula otimiza todos os registros em uma tabela que utiliza agrupamento líquido, incluindo dados que já possam ter sido previamente agrupados.

Suporte para a especificação de opções WITH em INSERT e table-reference

O Databricks Runtime 16.0 dá suporte a uma especificação de opções para referências de tabela e nomes de tabela de uma INSERT instrução que pode ser usada para controlar o comportamento das fontes de dados.

Novas funções SQL

As seguintes funções SQL são adicionadas no Databricks Runtime 16.0:

  • tentar_decodificar_url

    Essa função é uma versão tolerante a erros do url_decode. Essa função retornará NULL se a entrada não for uma cadeia de caracteres codificada em URL válida.

  • zeroifnull

    Se a expressão de entrada para a zeroifnull() função for NULL, a função retornará 0. Caso contrário, o valor da expressão de entrada será retornado.

  • nullifzero

    Retorna NULL se a entrada for 0 ou sua entrada se não for 0. Se a expressão de entrada para a nullifzero() função for 0, a função retornará NULL. Se a expressão de entrada não for 0, o valor da expressão de entrada será retornado

Habilitar a evolução automática do esquema ao mesclar dados em uma tabela Delta

Esta versão adiciona suporte para o withSchemaEvolution() membro da DeltaMergeBuilder classe. Use withSchemaEvolution() para habilitar a evolução automática do esquema durante operações MERGE. Por exemplo, mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Outras alterações

O SparkR agora está obsoleto

No Databricks Runtime 16.0 e superior, o SparkR no Databricks foi preterido em preparação para sua substituição na próxima versão do Spark 4. Consulte o thread do Apache Spark para substituir o SparkR.

O Databricks recomenda usar sparklyr .

Não há suporte para o Databricks Runtime 16.0 com PVC

O Databricks Runtime 16.0 não é compatível com a PVC (Nuvem Virtual Privada) do Databricks. Você deve usar o Databricks Runtime 15.4 ou inferior com todas as versões do PVC.

Correções

O Carregador Automático agora resgata tipos de registro Avro com esquemas vazios

Ao carregar um arquivo Avro em uma tabela Delta usando o Carregador Automático, record os tipos no arquivo que têm um esquema vazio agora são adicionados à coluna de dados resgatados. Como você não pode ingerir tipos de dados complexos vazios em uma tabela Delta, isso resolve um problema com o carregamento de alguns arquivos Avro. Para saber mais sobre dados resgatados, consulte O que é a coluna de dados resgatados?.

Correção de erro ao gravar carimbos de data/hora com fusos horários contendo um segundo deslocamento.

Esta versão corrige um bug que afeta alguns carimbos de data/hora com fusos horários contendo um segundo deslocamento. Esse bug faz com que os segundos sejam omitidos ao gravar em JSON, XML ou CSV, levando a valores incorretos de carimbo de data/hora.

Para retornar ao comportamento anterior, use a seguinte opção ao gravar em um dos formatos afetados: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Atualizações de biblioteca

  • Bibliotecas do Python atualizadas:
    • azure-core de 1.30.2 para 1.31.0
    • azure-storage-blob de 12.19.1 para 12.23.0
    • azure-storage-file-datalake de 12.14.0 para 12.17.0
    • preto de 23.3.0 a 24.4.2
    • pisca-pisca de 1.4 para 1.7.0
    • boto3 de 1.34.39 para 1.34.69
    • botocore de 1.34.39 para 1.34.69
    • Certificado de 22/7/2023 a 2024/6/2
    • CFFI de 1.15.1 para 1.16.0
    • clique de 8.0.4 para 8.1.7
    • comunicação de 0.1.2 a 0.2.1
    • Contourpy de 1.0.5 para 1.2.0
    • criptografia de 41.0.3 a 42.0.5
    • Cython de 0.29.32 para 3.0.11
    • databricks-sdk de 0.20.0 para 0.30.0
    • dbus-python de 1.2.18 para 1.3.2
    • filelock de 3.13.4 para 3.15.4
    • fonttools de 4.25.0 a 4.51.0
    • GitPython de 3.1.43 para 3.1.37
    • google-api-core de 2.18.0 para 2.20.0
    • google-auth de 2.31.0 para 2.35.0
    • google-cloud-storage de 2.17.0 para 2.18.2
    • google-crc32c de 1.5.0 para 1.6.0
    • google-resumable-media de 2.7.1 para 2.7.2
    • googleapis-common-protos da versão 1.63.2 para a versão 1.65.0
    • httplib2 de 0.20.2 para 0.20.4
    • IDNA de 3,4 para 3,7
    • ipykernel de 6.25.1 para 6.28.0
    • ipython de 8.15.0 para 8.25.0
    • Jedi de 0.18.1 para 0.19.1
    • jmespath de 0.10.0 para 1.0.1
    • joblib de 1.2.0 para 1.4.2
    • jupyter_client de 7.4.9 para 8.6.0
    • jupyter_core de 5.3.0 a 5.7.2
    • launchpadlib de 1.10.16 para 1.11.0
    • lazr.restfulclient de 0.14.4 para 0.14.6
    • matplotlib de 3.7.2 para 3.8.4
    • mlflow-skinny de 2.11.4 para 2.15.1
    • more-itertools de 8.10.0 para 10.3.0
    • mypy-extensions de 0.4.3 para 1.0.0
    • nest-asyncio de 1.5.6 para 1.6.0
    • numpy de 1.23.5 para 1.26.4
    • oauthlib de 3.2.0 para 3.2.2
    • embalagem de 23.2 a 24.1
    • Patsy de 0.5.3 para 0.5.6
    • pip de 23.2.1 para 24.2
    • plotly de 5.9.0 para 5.22.0
    • prompt-toolkit de 3.0.36 para 3.0.43
    • Pyarrow de 14.0.1 para 15.0.2
    • pydantic de 1.10.6 para 2.8.2
    • PyGObject de 3.42.1 para 3.48.2
    • PyJWT de 2.3.0 para 2.7.0
    • pyodbc de 4.0.38 para 5.0.1
    • python-dateutil de 2.8.2 para 2.9.0.post0
    • python-lsp-jsonrpc de 1.1.1 para 1.1.2
    • pytz de 2022.7 a 2024.1
    • PyYAML de 6.0 para 6.0.1
    • pyzmq de 23.2.0 para 25.1.2
    • solicitações de 2.31.0 a 2.32.2
    • scikit-learn de 1.3.0 a 1.4.2
    • scipy de 1.11.1 para 1.13.1
    • seaborn de 0.12.2 para 0.13.2
    • setuptools de 68.0.0 para 74.0.0
    • SMMAP de 5.0.1 para 5.0.0
    • sqlparse de 0.5.0 para 0.5.1
    • statsmodels de 0.14.0 para 0.14.2
    • tornado de 6.3.2 para 6.4.1
    • traços de 5.7.1 a 5.14.3
    • typing_extensions de 4.10.0 para 4.11.0
    • ujson de 5.4.0 para 5.10.0
    • virtualenv de 20.24.2 para 20.26.2
    • roda de 0.38.4 para 0.43.0
    • zipp de 3.11.0 para 3.17.0
  • Bibliotecas do R atualizadas:
    • seta de 14.0.0.2 para 16.1.0
    • backports de 1.4.1 para 1.5.0
    • base de 4.3.2 para 4.4.0
    • bitops de 1,0-7 a 1,0-8
    • inicialização de 1.3-28 para 1.3-30
    • brio de 1.1.4 para 1.1.5
    • vassoura de 1.0.5 para 1.0.6
    • bslib de 0.6.1 para 0.8.0
    • cachem de 1.0.8 para 1.1.0
    • chamador de 3.7.3 para 3.7.6
    • CLI de 3.6.2 para 3.6.3
    • relógio de 0.7.0 para 0.7.1
    • cluster de 2.1.4 para 2.1.6
    • CodeTools de 0,2-19 a 0,2-20
    • colorspace de 2.1-0 para 2.1-1
    • compilador de 4.3.2 para 4.4.0
    • giz de cera de 1.5.2 para 1.5.3
    • curl de 5.2.0 para 5.2.1
    • data.table de 1.15.0 a 1.15.4
    • conjuntos de dados de 4.3.2 a 4.4.0
    • DBI de 1.2.1 a 1.2.3
    • dbplyr de 2.4.0 para 2.5.0
    • resumo de 0.6.34 a 0.6.36
    • downlit de 0.4.3 para 0.4.4
    • avaliar de 0,23 a 0,24,0
    • farver de 2.1.1 a 2.1.2
    • Mapa rápido de 1.1.1 para 1.2.0
    • estrangeiro de 0,8-85 a 0,8-86
    • fs de 1.6.3 para 1.6.4
    • futuro de 1.33.1 para 1.34.0
    • future.apply de 1.11.1 a 1.11.2
    • gert de 2.0.1 para 2.1.0
    • ggplot2 de 3.4.4 para 3.5.1
    • gh de 1.4.0 para 1.4.1
    • globais de 0.16.2 a 0.16.3
    • gráficos de 4.3.2 a 4.4.0
    • grDevices de 4.3.2 a 4.4.0
    • grade de 4.3.2 para 4.4.0
    • gt de 0.10.1 a 0.11.0
    • gtable de 0.3.4 a 0.3.5
    • capacete de segurança de 1.3.1 para 1.4.0
    • mais alto de 0,10 para 0,11
    • htmltools de 0.5.7 para 0.5.8.1
    • httpuv de 1.6.14 para 1.6.15
    • httr2 de 1.0.0 para 1.0.2
    • IPRED de 0,9-14 a 0,9-15
    • KernSmooth de 2,23-21 a 2,23-22
    • knitr de 1,45 para 1,48
    • treliça de 0,21-8 a 0,22-5
    • lava de 1.7.3 para 1.8.0
    • remarcação de 1,12 para 1,13
    • MASS de 7,3-60 a 7,3-60.0.1
    • Matriz de 1,5-4,1 a 1,6-5
    • métodos de 4.3.2 a 4.4.0
    • mgcv de 1,8-42 para 1,9-1
    • mlflow de 2.10.0 para 2.14.1
    • munsell de 0.5.0 para 0.5.1
    • nlme de 3,1-163 a 3,1-165
    • openssl de 2.1.1 para 2.2.0
    • paralelo de 4.3.2 a 4.4.0
    • paralelamente de 1.36.0 a 1.38.0
    • pkgbuild de 1.4.3 para 1.4.4
    • pkgdown de 2.0.7 para 2.1.0
    • pkgload de 1.3.4 para 1.4.0
    • processx de 3.8.3 para 3.8.4
    • Prodlim de 2023.08.28 a 2024.06.25
    • Promessas de 1.2.1 a 1.3.0
    • ps de 1.7.6 para 1.7.7
    • ragg de 1.2.7 para 1.3.2
    • Rcpp de 1.0.12 para 1.0.13
    • RcppEigen de 0.3.3.9.4 para 0.3.4.0.0
    • reactR de 0.5.0 para 0.6.0
    • receitas de 1.0.9 a 1.1.0
    • remotos de 2.4.2.1 a 2.5.0
    • reprex de 2.1.0 para 2.1.1
    • rlang de 1.1.3 para 1.1.4
    • rmarkdown de 2,25 para 2,27
    • roxygen2 de 7.3.1 para 7.3.2
    • Parte de 4.1.21 a 4.1.23
    • RSQLite de 2.3.5 para 2.3.7
    • rstudioapi de 0.15.0 para 0.16.0
    • rvest de 1.0.3 para 1.0.4
    • sass de 0.4.8 para 0.4.9
    • forma de 1.4.6 a 1.4.6.1
    • Brilhante de 1.8.0 para 1.9.1
    • Sparklyr de 1.8.4 para 1.8.6
    • espacial de 7,3-15 a 7,3-17
    • splines de 4.3.2 a 4.4.0
    • estatísticas de 4.3.2 a 4.4.0
    • stats4 de 4.3.2 para 4.4.0
    • stringi de 1.8.3 para 1.8.4
    • sobrevida de 3,5-5 a 3,6-4
    • arrogância de 3.33.1 para 5.17.14.1
    • systemfonts de 1.0.5 a 1.1.0
    • tcltk de 4.3.2 para 4.4.0
    • teste de 3.2.1 a 3.2.1.1
    • textshaping de 0.3.7 para 0.4.0
    • tidyselect de 1.2.0 para 1.2.1
    • tinytex de 0,49 para 0,52
    • ferramentas de 4.3.2 a 4.4.0
    • usethis de 2.2.2 para 3.0.0
    • utilidades de 4.3.2 a 4.4.0
    • uuid de 1,2-0 para 1,2-1
    • V8 de 4.4.1 para 4.4.2
    • withr de 3.0.0 para 3.0.1
    • xfun de 0,41 para 0,46
    • xopen de 1.0.0 para 1.0.1
    • yaml de 2.3.8 para 2.3.10
  • Bibliotecas Java atualizadas:
    • com.amazonaws.aws-java-sdk-autoscaling de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-cloudformation de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-cloudfront de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-codedeploy de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-cognitosync de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-config de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-core de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-datade 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-directconnect de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-directory de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-dynamodb de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-ec2 de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-ecs de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-efs de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-elasticache de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-emr de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-glacier de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-glue de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-iam de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-importexport de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-kinesis de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-kms de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-lambda de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-logs de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-machinelearning de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-opsworks de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-rds de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-redshift de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-route53 de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-s3 de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-ses de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-simpledb de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-simplefluxo de trabalho de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-sns de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-sqs de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-ssm de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-storagegateway de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-sts de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-support de 1.12.610 para 1.12.638
    • com.amazonaws.aws-java-sdk-workspaces de 1.12.610 para 1.12.638
    • com.amazonaws.jmespath-java de 1.12.610 para 1.12.638
    • com.google.protobuf.protobuf-java da versão 2.6.1 para a 3.25.1
    • io.airlift.aircompressor de 0,25 para 0,27
    • io.delta.delta-sharing-client_2.12 de 1.1.3 para 1.2.0
    • io.netty.netty-all de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-buffer de 4.1.96.Final para 4.1.108.Final
    • io.netty.netty-codec de 4.1.96.Final para 4.1.108.Final
    • io.netty.netty-codec-http de 4.1.96.Final para 4.1.108.Final
    • io.netty.netty-codec-http2 de 4.1.96.Final para 4.1.108.Final
    • io.netty.netty-codec-socks de 4.1.96.Final para 4.1.108.Final
    • io.netty.netty-common de 4.1.96.Final a 4.1.108.Final
    • io.netty.netty-handler de 4.1.96.Final para 4.1.108.Final
    • io.netty.netty-handler-proxy de 4.1.96.Final para 4.1.108.Final
    • io.netty.netty-resolver de 4.1.96.Final para 4.1.108.Final
    • io.netty.netty-transport de 4.1.96.Final para 4.1.108.Final
    • io.netty.netty-transport-classes-epoll de 4.1.96.Final para 4.1.108.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.96.Final para 4.1.108.Final
    • io.netty.netty-transport-native-epoll de 4.1.96.Final-linux-x86_64 para 4.1.108.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-x86_64 para 4.1.108.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common de 4.1.96.Final para 4.1.108.Final
    • org.apache.ivy.ivy de 2.5.1 para 2.5.2
    • org.apache.zookeeper.zookeeper da versão 3.6.3 para a 3.9.2
    • org.apache.zookeeper.zookeeper-juta de 3.6.3 para 3.9.2
    • org.rocksdb.rocksdbjni de 8.11.4 para 9.2.1
    • org.scalactic.scalactic_2.12 de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-compatível de 3.2.15 a 3.2.16
    • org.scalatest.scalatest-core_2.12 de 3.2.15 para 3.2.16
    • org.scalatest.scalatest-diagrams_2.12 de 3.2.15 para 3.2.16
    • org.scalatest.scalatest-featurespec_2.12 de 3.2.15 para 3.2.16
    • org.scalatest.scalatest-flatspec_2.12 de 3.2.15 para 3.2.16
    • org.scalatest.scalatest-freespec_2.12 de 3.2.15 para 3.2.16
    • org.scalatest.scalatest-funspec_2.12 de 3.2.15 para 3.2.16
    • org.scalatest.scalatest-funsuite_2.12 de 3.2.15 para 3.2.16
    • org.scalatest.scalatest-matchers-core_2.12 de 3.2.15 para 3.2.16
    • org.scalatest.scalatest-mustmatchers_2.12 de 3.2.15 para 3.2.16
    • org.scalatest.scalatest-propspec_2.12 de 3.2.15 para 3.2.16
    • org.scalatest.scalatest-refspec_2.12 de 3.2.15 para 3.2.16
    • org.scalatest.scalatest-shouldmatchers_2.12 de 3.2.15 para 3.2.16
    • org.scalatest.scalatest-wordspec_2.12 de 3.2.15 para 3.2.16
    • org.scalatest.scalatest_2.12 de 3.2.15 a 3.2.16

Apache Spark

O Databricks Runtime 16.0 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.4 LTS, bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-49093] [DBRRM-1371] Reverter “[SC-172958][sql] GROUP BY com MapType nes...
  • [SPARK-49898] [DBRRM-1282][sc-178410] Corrija a documentação e o padrão para o sinalizador de registro em log do acumulador de métricas do log de eventos do SPARK-42204
  • [SPARK-49743] [ES-1260022][behave-157][SC-177475][sql] OptimizeCsvJsonExpr não deve alterar campos de esquema ao podar GetArrayStructFields
  • [SPARK-49816] [SC-177896][sql] Deve atualizar apenas a contagem de referência de saída para a relação CTE externa referenciada
  • [SPARK-48939] [SC-177022][sc-172766][AVRO] Suporte à leitura do Avro com referência de esquema recursivo
  • [SPARK-49688] [SC-177468][es-1242349][CONNECT] Corrigir uma concorrência de dados entre interrupção e execução do plano
  • [SPARK-49771] [SC-177466][python] Melhorar o erro UDF do Pandas Scalar Iter quando as linhas de saída excederem as linhas de entrada
  • [SPARK-48866] [SC-170772][sql] Corrigir dicas de conjunto de caracteres válido na mensagem de erro de INVALID_PARAMETER_VALUE.CHARSET
  • [SPARK-48195] [FIXFORWARD][sc-177267][CORE] Salvar e reutilizar RDD/Broadcast criado pelo SparkPlan
  • [FAÍSCA-49585] [CONECTAR] Substitua o mapa de execuções em SessionHolder pelo conjunto operationID
  • [SPARK-49211] [SC-174257][sql] O Catálogo V2 também pode dar suporte a fontes de dados internas
  • [FAÍSCA-49684] Minimize a vida útil do bloqueio de restauração de sessão
  • [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Framework de log estruturado no lado Java
  • [SPARK-48857] [SC-170661][sql] Restringir conjuntos de caracteres em CSVOptions
  • [SPARK-49152] [SC-173690][sql] V2SessionCatalog deve usar V2Command
  • [SPARK-42846] [SC-176588][sql] Remover condição de erro _LEGACY_ERROR_TEMP_2011
  • [SPARK-48195] [SC-177267][core] Salvar e reutilizar RDD/Broadcast criado pelo SparkPlan
  • [SPARK-49630] [SC-177379][ss] Adicionar opção de nivelamento para processar tipos de coleção com leitor de fonte de dados de estado
  • [SPARK-49699] [SC-177154][ss] Desabilitar PruneFilters para cargas de trabalho de streaming
  • [SPARK-48781] [SC-175282][sql] Adicionar APIs de catálogo para carregar procedimentos armazenados
  • [SPARK-49667] [SC-177068][sql] Não permitir coletores CS_AI com expressões que usam StringSearch
  • [SPARK-49737] [SC-177207][sql] Desabilitar bucketing em colunas agrupadas em tipos complexos
  • [SPARK-48712] [SC-169794][sql] Melhoria de Perf para codificação com valores vazios ou conjunto de caracteres UTF-8
  • [SPARK-49038] [SC-173933][sql] SQLMetric deve relatar o valor bruto no evento de atualização do acumulador
  • [SPARK-48541] [SC-169066][core] Adicionar um novo código de saída para executores mortos por TaskReaper
  • [SPARK-48774] [SC-170138][sql] Use SparkSession em SQLImplicits
  • [SPARK-49719] [SC-177139][sql] Criar UUID e SHUFFLE aceitar inteiro seed
  • [SPARK-49713] [SC-177135][python][CONNECT] Fazer com que a função count_min_sketch aceite argumentos numéricos
  • [SPARK-47601] [SC-162499][graphx] Graphx: Migrar logs com variáveis para a estrutura de log estruturada
  • [SPARK-49738] [SC-177219][sql] Termina com correção de bug
  • [SPARK-48623] [SC-170822][core] Migrações estruturadas de log [Parte 3]
  • [SPARK-49677] [SC-177148][ss] Certifique-se de que os arquivos de changelog são gravados no ato de commit e que o sinalizador forceSnapshot também seja redefinido
  • [SPARK-49684] [SC-177040][conexão] Remover bloqueios globais de gerenciadores de sessão e de execução
  • [SPARK-48302] [SC-168814][python] Preservar nulos em colunas de mapa em tabelas PyArrow
  • [SPARK-48601] [SC-169025][sql] Forneça uma mensagem de erro mais amigável ao definir um valor nulo para a Opção JDBC
  • [SPARK-48635] [SC-169263][sql] Atribuir classes a erros de tipo de junção e as-of erro de junção
  • [SPARK-49673] [SC-177032][connect] Aumentar CONNECT_GRPC_ARROW_MAX_BATCH_SIZE para 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
  • [SPARK-49693] [SC-177071][python][CONNECT] Refinar a representação de cadeia de caracteres de timedelta
  • [SPARK-49687] [SC-176901][sql] Atrasar a ordenação em validateAndMaybeEvolveStateSchema
  • [SPARK-49718] [SC-177112][ps] Alternar Scatter gráfico para dados de exemplo
  • [SPARK-48472] [SC-169044][sql] Habilitar expressões de reflexão com cadeias de caracteres agrupadas
  • [SPARK-48484] [SC-167484][sql] Correção: V2Write usa o mesmo TaskAttemptId para diferentes tentativas de tarefa
  • [SPARK-48341] [SC-166560][connect] Permitir que os plug-ins usem QueryTest em seus testes
  • [SPARK-42252] [SC-168723][core] Adicionar spark.shuffle.localDisk.file.output.buffer e preterir spark.shuffle.unsafe.file.output.buffer
  • [SPARK-48314] [SC-166565][ss] Não dobre arquivos de cache para FileStreamSource usando Trigger.AvailableNow
  • [SPARK-49567] [SC-176241][python] Use classic em vez de vanilla na base de código do PySpark
  • [SPARK-48374] [SC-167596][python] Suporte a tipos de coluna de tabela PyArrow adicionais
  • [SPARK-48300] [SC-166481][sql] Suporte de codegen para from_xml
  • [SPARK-49412] [SC-177059][ps] Computar todas as métricas de boxplot em um único processo
  • [SPARK-49692] [SC-177031][python][CONNECT] Refinar a representação em cadeia de data e data/hora literais
  • [SPARK-49392] [ES-1130351][sc-176705][SQL] Capturar erros ao não gravar na fonte de dados externa
  • [SPARK-48306] [SC-166241][sql] Aprimorar UDT na mensagem de erro
  • [SPARK-44924] [SC-166379][ss] Adicionar configuração para arquivos armazenados em cache do FileStreamSource
  • [SPARK-48176] [SC-165644][sql] Ajustar o nome da condição de erro FIELD_ALREADY_EXISTS
  • [SPARK-49691] [SC-176988][python][CONNECT] A função substring deve aceitar nomes de coluna
  • [SPARK-49502] [SC-176077][core] Evite NPE em SparkEnv.get.shuffleManager.unregisterShuffle
  • [SPARK-49244] [SC-176703][sql] Melhorias adicionais de exceção para analisador/interpretador
  • [SPARK-48355] [SC-176684][sql] Suporte para instrução CASE
  • [SPARK-49355] [SC-175121][sql] levenshtein deve verificar se os collation valores de todos os tipos de parâmetro são os mesmos
  • [SPARK-49640] [SC-176953][ps] Aplicar amostragem de reservatório em SampledPlotBase
  • [SPARK-49678] [SC-176857][core] Suporte spark.test.master em SparkSubmitArguments
  • [SPARK-49680] [SC-176856][python] Limite Sphinx o paralelismo de build para 4 por padrão
  • [SPARK-49396] Reverter "[SC-176030][sql] Modificar verificação de nulidade para a expressão CaseWhen"
  • [SPARK-48419] [SC-167443][sql] Propagação dobrável substitui o shoul de coluna dobrável...
  • [SPARK-49556] [SC-176757][sql] Adicionar sintaxe de pipe SQL para o SELECT operador
  • [SPARK-49438] [SC-175237][sql] Corrigir o nome bonito da FromAvro expressão & ToAvro
  • [SPARK-49659] [SC-1229924][sql] Adicionar uma mensagem de erro amigável para o usuário para subconsultas escalares dentro da cláusula VALUES
  • [SPARK-49646] [SC-176778][sql] corrige a decorrelação de subconsultas para operações de união/conjunto quando parentOuterReferences possui referências que não estão cobertas por collectedChildOuterReferences
  • [SPARK-49354] [SC-175034][sql] split_part deve verificar se os collation valores de todos os tipos de parâmetro são os mesmos
  • [SPARK-49478] [SC-175914][connect] Manipular métricas nulas em ConnectProgressExecutionListener
  • [SPARK-48358] [SC-176374][sql] Suporte para instrução REPEAT
  • [SPARK-49183] [SC-173680][sql] A V2SessionCatalog.createTable deve respeitar o PROP_IS_MANAGED_LOCATION
  • [SPARK-49611] [SC-176791][sql] Introduzir TVF collations() e remover o comando SHOW COLLATIONS
  • [SPARK-49261] [SC-176589][sql] Não substitua literais em expressões agregadas por expressões de agrupamento por grupo
  • [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace deve respeitar o catálogo de sessão personalizado
  • [SPARK-49594] [SC-176569][ss] Adicionando verificação sobre se famílias de colunas foram adicionadas ou removidas para gravar o arquivo StateSchemaV3
  • [SPARK-49578] [SC-176385][sql] Remova a sugestão de configuração ANSI em CAST_INVALID_INPUT e CAST_OVERFLOW
  • [SPARK-48882] [SC-174256][ss] Atribuir nomes a classes de erro relacionadas ao modo de saída de streaming
  • [SPARK-49155] [SC-176506][sql][SS] Use o tipo de parâmetro mais apropriado para construir GenericArrayData
  • [SPARK-49519] [SC-176388][sql] Opções de mesclagem de tabela e relação ao construir FileScanBuilder
  • [SPARK-49591] [SC-176587][sql] Adicionar coluna Logical Type ao README variante
  • [SPARK-49596] [SC-176423][sql] Melhorar o desempenho de FormatString
  • [SPARK-49525] [SC-176044][ss][CONNECT] Melhoria de registro secundária para o ListenerBus do ouvinte de consulta de streaming do lado do servidor
  • [SPARK-49583] [SC-176272][sql] Defina a sub-condição de erro para padrão de fração de segundos inválido
  • [SPARK-49536] [SC-176242] Lidar com erro na pré-busca de registro de fonte de dados de streaming python
  • [SPARK-49443] [SC-176273][sql][PYTHON] Implemente a expressão to_variant_object e faça as expressões schema_of_variant imprimir 'OBJETO' para Objetos Variantes
  • [SPARK-49544] [SASP-3990][sc-176557][CONNECT] Substitua o bloqueio grosseiro no SparkConnectExecutionManager por ConcurrentMap
  • [SPARK-49548] [SASP-3990][sc-176556][CONNECT] Substitua o bloqueio grosseiro no SparkConnectSessionManager por ConcurrentMap
  • [SPARK-49551] [SC-176218][ss] Melhorar o log do RocksDB para replayChangelog
  • [SPARK-49595] [SC-176396][connect][SQL] Correção DataFrame.unpivot/melt no Spark Connect Scala Client
  • [FAÍSCA-49006] [SC-176162] Implementar a limpeza para arquivos OperatorStateMetadataV2 e StateSchemaV3
  • [SPARK-49600] [SC-176426][python] Remover lógica relacionada a Python 3.6 and older de try_simplify_traceback
  • [SPARK-49303] [SC-176013][ss] Implementar TTL para ValueState na API transformWithStateInPandas
  • [SPARK-49191] [SC-176243][ss] Adicionar suporte para ler variáveis de estado de mapa transformWithState com leitor de fonte de dados de estado
  • [SPARK-49593] [SC-176371][ss] Lançar exceção RocksDB para o chamador quando o banco de dados for fechado se um erro for visto
  • [SPARK-49334] [SC-174803][sql] str_to_map deve verificar se os collation valores de todos os tipos de parâmetro são os mesmos
  • [SPARK-42204] [SC-176126][core] Adicionar opção para desabilitar o registro em log redundante dos acumuladores internos de TaskMetrics em logs de eventos
  • [SPARK-49575] [SC-176256][ss] Adicionar log para liberação de bloqueio somente se as informações da thread adquirida não forem nulas
  • [SPARK-49539] [SC-176250][ss] Atualizar o identificador inicial das famílias internas de colunas para um diferente
  • [SPARK-49205] [SC-173853][sql] KeyGroupedPartitioning deve herdar HashPartitioningLike
  • [SPARK-49396] [SC-176030][sql] Modificar verificação de nulidade para a expressão CaseWhen
  • [SPARK-49476] [SC-175700][sql] Correção da nulidade da função base64
  • [SPARK-47262] [SC-174829][sql] Atribuir nomes a condições de erro para conversões do Parquet
  • [SPARK-47247] [SC-158349][sql] Use um tamanho de destino menor ao unir partições com junções em explosão
  • [SPARK-49501] [SC-176166][sql] Corrigir escape duplo na localização da tabela
  • [SPARK-49083] [SC-173214][connect] Permitir que from_xml e from_json trabalhem nativamente com esquemas json
  • [SPARK-49043] [SC-174673][sql] Corrigir grupo de codepath interpretado no mapa contendo cadeias de caracteres agrupadas
  • [SPARK-48986] [SC-172265][connect][SQL] Adicionar Representação Intermediária ColumnNode
  • [SPARK-49326] [SC-176016][ss] Classificar a classe de erro para a função de erro do usuário do coletor Foreach
  • [SPARK-48348] [SC-175950][spark-48376][SQL] Introduzir LEAVE e ITERATE declarações
  • [SPARK-49523] [SC-175949][conectar] Aumentar o tempo máximo de espera para que o servidor de conexão seja criado para teste
  • [SPARK-49000] [BEHAVE-105][es-1194747][SQL] Corrigir "select count(distinct 1) from t" onde t é uma tabela vazia, expandindo RewriteDistinctAggregates - versão DBR 16.x
  • [SPARK-49311] [SC-175038][sql] Possibilite que grandes valores 'interval second' sejam convertidos em decimal
  • [SPARK-49200] [SC-173699][sql] Corrigir exceção de ordenação não codegen de tipo nulo
  • [SPARK-49467] [SC-176051][ss] Adicionar suporte para o leitor de fonte de dados de estado e para listar o estado
  • [SPARK-47307] [SC-170891][sql] Adicionar uma configuração para dividir opcionalmente cadeias de caracteres base64.
  • [SPARK-49391] [SC-176032][ps] Gráfico de caixa selecionar valores atípicos pela distância das cercas
  • [SPARK-49445] [SC-175845][ui] Suporte para exibir dica de ferramenta na barra de progresso da interface do usuário
  • [FAÍSCA-49451] [SC-175702] Permitir chaves duplicadas no parse_json.
  • [SPARK-49275] [SC-175701][sql] Corrigir nulidade do tipo de retorno da expressão xpath
  • [SPARK-49021] [SC-175578][ss] Adicionar suporte para ler variáveis de estado de valor transformWithState com leitor de fonte de dados de estado
  • [SPARK-49474] [BEHAVE-143][sc-169253][SC-175933][ss] Classificar a classe de erro para erro da função do usuário FlatMapGroupsWithState
  • [SPARK-49408] [SC-175932][sql] Usar IndexedSeq em ProjectingInternalRow
  • [SPARK-49509] [SC-175853][core] Usar Platform.allocateDirectBuffer em vez de ByteBuffer.allocateDirect
  • [SPARK-49382] [SC-175013][ps] Fazer gráfico de caixa de quadro renderizar corretamente os folhetos/exceções
  • [SPARK-49002] [SC-172846][sql] Manipula consistentemente locais inválidos no WAREHOUSE/SCHEMA//TABLE/PARTITIONDIRECTORY
  • [SPARK-49480] [SC-175699][core] Corrigir NullPointerException causado por SparkThrowableHelper.isInternalError
  • [SPARK-49477] [SC-175828][python] Melhorar a mensagem de erro de tipo de retorno inválida do pandas udf
  • [SPARK-48693] [SC-169492][sql] Simplificar e unificar toString de Invoke e StaticInvoke
  • [SPARK-49441] [SC-175716][ml] StringIndexer ordenar arrays em executores
  • [SPARK-49347] [SC-175004][r] Preterir SparkR
  • [SPARK-49357] [SC-175227][connect][PYTHON] Truncar verticalmente uma mensagem protobuf de estrutura profundamente aninhada
  • [SPARK-41982] [SC-120604][sql] As partições da cadeia de caracteres de tipo não devem ser tratadas como tipos numéricos
  • [SPARK-48776] [SC-170452][behave-72] Corrigir formatação de carimbo de data/hora para json, xml e csv
  • [SPARK-49223] [SC-174800][ml] Simplificar o StringIndexer.countByValue com funções internas
  • [SPARK-49016] Reverter "[SC-174663][sql] Restaurar o comportamento de que consultas a arquivos CSV brutos são proibidas quando incluem apenas a coluna de registro corrompida e atribuir nome a _LEGACY_ERROR_TEMP_1285"
  • [SPARK-49041] [SC-172392][python][CONNECT] Gerar erro adequado para dropDuplicates quando um subset incorreto é fornecido
  • [FAÍSCA-49050] [SC-175235] Habilitando o operador deleteIfExists no TWS com famílias de colunas virtuais
  • [SPARK-49216] [SC-173919][core]Correção para evitar logar o contexto da mensagem quando a entrada de log é explicitamente construída e a configuração de logging estruturado está desativada
  • [SPARK-49252] [SC-175596][core] FazerTaskSetExcludeList e HeathTracker independentes
  • [SPARK-49352] [SC-174971][sql] Evite a transformação de matriz redundante para expressão idêntica
  • [SPARK-42307] [SC-173863][sql] Atribuir nome para erro _LEGACY_ERROR_TEMP_2232
  • [SPARK-49197] [SC-173732][core] Redigir a saída no módulo Spark Command
  • [SPARK-48913] [SC-173934][sql] Implementar IndentingXMLStreamWriter
  • [SPARK-49306] [SC-175363][python][SQL] Criar aliases de função SQL para 'zeroifnull' e 'nullifzero'
  • [SPARK-48344] [SQL] Execução de Script SQL (incluindo Spark Connect)
  • [SPARK-49402] [SC-175122][python] Corrigir integração do Binder na documentação do PySpark
  • [SPARK-49017] [SC-174664][sql] A instrução Insert falha quando vários parâmetros estão sendo usados
  • [SPARK-49318] [SC-174733][sql] Antecipar erro de baixa prioridade em LCA até o final da análise de verificação para melhorar a experiência dos erros
  • [SPARK-49016] [SC-174663][sql] Restaurar o comportamento que impede consultas de arquivos CSV brutos quando apenas a coluna de registro corrompido está incluída, e atribuir nome a _LEGACY_ERROR_TEMP_1285
  • [SPARK-49387] [SC-175124][python] Corrigir dica de tipo de accuracy em percentile_approx e approx_percentile
  • [SPARK-49131] [SC-174666][ss] TransformWithState deve definir corretamente as chaves de agrupamento implícitas mesmo com iteradores lentos
  • [SPARK-49301] [SC-174795][ss] Dados Arrow em blocos passados para o executor do Python
  • [SPARK-49039] [SC-174651][ui] Redefinir caixa de seleção quando as métricas do executor são carregadas na guia Estágios
  • [SPARK-48428] [SC-169806][sql]: Corrigir IllegalStateException em NestedColumnAliasing
  • [SPARK-49353] [SC-174830][sql] Atualizar documentos relacionados à UTF-32 codificação/decodificação
  • [SPARK-48613] [SC-170966][sql] SPJ: suporte para embaralhar automaticamente um lado + menos chaves de junção do que chaves de partição
  • [SPARK-47473] [SC-160450][behave-127][SQL] Corrigir problema de correção na conversão de carimbos de data/hora INFINITY do Postgres
  • [SPARK-49142] [SC-173658][connect][PYTHON] Acompanhamento para reverter o custo de desempenho de proto para cadeia de caracteres.
  • [SPARK-49300] [SC-175008][core] Corrigir vazamento de token de delegação do Hadoop quando tokenRenewalInterval não estiver definido.
  • [SPARK-49367] [SC-175012][ps] Paralelizar a computação KDE para várias colunas (back-end plotado)
  • [SPARK-49365] [SC-175011][ps] Simplificar a agregação de bucket no gráfico hist
  • [SPARK-49372] [SC-175003][ss] Assegure que latestSnapshot seja definido como nenhum valor ao fechar para evitar o uso subsequente
  • [FAÍSCA-49341] [SC-174785] Remover connector/docker em favor de Apache Spark Operator
  • [SPARK-49344] [SC-174894][ps] Suporte json_normalize à API do Pandas no Spark
  • [SPARK-49306] [SC-174794][sql] Criar novas funções SQL 'zeroifnull' e 'nullifzero'
  • [SPARK-48796] [SC-174668][ss] Carregar o ID da família de colunas a partir do RocksDBCheckpointMetadata para VCF ao reiniciar
  • [SPARK-49342] [SC-174899][sql] Tornar opcional o argumento 'jsonFormatSchema' na função SQL TO_AVRO
  • [SPARK-48628] [SC-174695][core] Adicionar pico de tarefa em/desativar métricas de memória de heap
  • [SPARK-47407] [SC-159379][behave-126][SQL] Dar suporte ao mapeamento de java.sql.Types.NULL para NullType
  • [SPARK-48628] [SC-173407][core] Adicionar métricas de pico de memória para tarefas on/off heap
  • [SPARK-49166] [SC-173987][sql] Suporte OFFSET em subconsulta correlacionada
  • [SPARK-49269] [SC-174676][sql] Avaliar ansiosamente VALUES() lista no AstBuilder
  • [SPARK-49281] [SC-174782][sql] Otimizar o acesso binário parquet getBytes com getBytesUnsafe para evitar o custo de cópia.
  • [FAÍSCA-49113] [SC-174734] Não afirme em bugs de tradução - engula silenciosamente a exceção
  • [SPARK-49098] [SC-173253][sql] Adicionar opções de gravação para INSERT
  • [SPARK-48638] [SC-174694][follow][CONNECT] Corrigir documentação para ExecutionInfo
  • [SPARK-49250] [ES-1222826][sql] Melhorar a mensagem de erro para expressão de janela não resolvida aninhada em CheckAnalysis
  • [SPARK-48755] [SC-174258][ss][PYTHON] implementação básica de transformWithState no PySpark e suporte a ValueState
  • [SPARK-48966] [SC-174329][sql] Melhorar a mensagem de erro com referência inválida de coluna não resolvida em chamada de UDTF
  • [SPARK-46590] [SC-154115][sql] A correção da coalesce falhou com indeces de partição inesperada
  • Refatorar a regra ResolveInlineTables para que não percorra toda a árvore
  • [SPARK-49060] [SC-173107][connect] Limpar regras do Mima para verificações de compatibilidade binária do SQL-Connect
  • [SPARK-48762] [SC-172525][sql] Introdução da API clusterBy do DataFrameWriter para Python
  • [SPARK-49207] [SC-173852][sql] Corrigir mapeamento de caso um para muitos em SplitPart e StringSplitSQL
  • [SPARK-49204] [SC-173850][sql] Corrigir tratamento de par substituto em StringInstr e StringLocate
  • [SPARK-36680] [SC-170640][sql] Dá suporte a opções de tabela dinâmica para o SPARK SQL
  • [SPARK-49204] [SC-173849][sql] Corrigir tratamento de par substituto em SubstringIndex
  • [SPARK-49204] [SC-173848][sql] Corrigir tratamento de par substituto em StringTrim
  • [FAÍSCA-48967] [SC-173993]Correção do teste SparkConfigOwnershipSuite para OPTIMIZE_INSERT_INTO_VALUES_PARSER
  • [SPARK-49204] [SC-173851][sql] Corrigir tratamento de par substituto em StringReplace
  • [SPARK-48967] [SC-173993][sql][16.x] Melhorar o desempenho e o uso de memória de "INSERT INTO ... VALUES"
  • [SPARK-49099] Reverter "[SC-173229][sql] CatalogManager.setCurrent...
  • [SPARK-48347] [SC-173812][sql] Suporte para instrução WHILE
  • [SPARK-49128] [SC-173344][core] Suporte para personalizar o título da interface do usuário do servidor de histórico
  • [SPARK-49146] [SC-173825][ss] Mover erros de asserção relacionados à falta de marca d'água em consultas de streaming no modo de adição para o framework de erros
  • [SPARK-45787] [SC-172197][sql] Adicionar suporte para Catalog.listColumns para colunas de agrupamento
  • [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace deve respeitar o catálogo de sessão personalizado
  • [SPARK-49138] [SC-173483][sql] Corrigir CollationTypeCasts de várias expressões
  • [SPARK-49163] [SC-173666][sql] Tentar criar uma tabela com base em dados de partições parquet corrompidos deve resultar em um erro para o usuário
  • [SPARK-49201] [SC-173793][ps][PYTHON][connect] Reimplementar hist plot com Spark SQL
  • [SPARK-49188] [SC-173682][sql] Erro interno em concat_ws chamado na matriz de matrizes de cadeia de caracteres
  • [SPARK-49137] [SC-173677][sql] Quando a condição booliana no if statement é inválido, uma exceção deve ser gerada
  • [SPARK-49193] [SC-173672][sql] Melhorar o desempenho de RowSetUtils.toColumnBasedSet
  • [SPARK-49078] [SC-173078][sql] Suporte à sintaxe de exibição de colunas na tabela v2
  • [SPARK-49141] [SC-173388][sql] Marcar variante como tipo de dados incompatível com hive
  • [SPARK-49059] [Cherry-Pick][15.x][SC-172528][connect] Transferir SessionHolder.forTesting(...) para o pacote de teste
  • [SPARK-49111] [SC-173661][sql] Mover withProjectAndFilter para o objeto complementar de DataSourceV2Strategy
  • [SPARK-49185] [SC-173688][ps][PYTHON][connect] Reimplementar kde plot com Spark SQL
  • [SPARK-49178] [SC-173673][sql] Otimizar o desempenho para Row#getSeq corresponder ao desempenho ao usar o Spark 3.5 com o Scala 2.12
  • [SPARK-49093] [SC-172958][sql] GROUP BY com MapType aninhado dentro do tipo complexo
  • [SPARK-49142] [SC-173469][connect][PYTHON] Reduzir o nível de log do cliente do Spark Connect para nível de depuração
  • [SPARK-48761] [SC-172048][sql] Introduzir a API clusterBy DataFrameWriter para Scala
  • [SPARK-48346] [SC-173083][sql] Suporte para instruções IF ELSE em scripts SQL
  • [SPARK-48338] [SC-173112][sql] Aprimorar exceções lançadas pelo parser/interpreter
  • [SPARK-48658] [SC-169474][sql] Funções de codificação/decodificação relatam erros de codificação em vez de mojibake para caracteres inmapeáveis
  • [SPARK-49071] [SC-172954][sql] Remover característica ArraySortLike
  • [SPARK-49107] Reverter "[SC-173103][sql] ROUTINE_ALREADY_EXISTS dá suporte a RoutineType""
  • [SPARK-49070] [SC-172907][ss][SQL] TransformWithStateExec.initialState é reescrito incorretamente para produzir um plano de consulta inválido
  • [FAÍSCA-49114] [SC-173217] Subcategorizar não pode carregar erros de armazenamento de estado
  • [SPARK-49107] Reverter "[SC-173103][sql] ROUTINE_ALREADY_EXISTS dá suporte a RoutineType"
  • [SPARK-49048] [SC-173223][ss] Adicionar suporte para ler metadados de operador relevantes em determinada ID do lote
  • [SPARK-49094] [SC-173049][sql] Corrigir o funcionamento inadequado de ignoreCorruptFiles para a implementação hive orc com mergeSchema desativado.
  • [SPARK-49108] [SC-173102][exemplo] Adicionar submit_pi.sh exemplo de API REST
  • [SPARK-49107] [SC-173103][sql] ROUTINE_ALREADY_EXISTS dá suporte a RoutineType
  • [SPARK-48997] [SC-172484][ss] Implementar desvinculações individuais para falhas em threads do pool de manutenção
  • [SPARK-49063] [SC-173094][sql] Corrigir uso do Between com ScalarSubqueries
  • [SPARK-45891] [SC-172305][sql][PYTHON][variant] Adicionar suporte para tipos de intervalo na Especificação Variant
  • [SPARK-49074] [BEHAVE-110][sc-172815][SQL] Corrigir variante com df.cache()
  • [SPARK-49003] [SC-172613][sql] Corrigir a função de hash do caminho do código interpretado para levar em consideração a sensibilidade à ordenação de texto
  • [SPARK-48740] [SC-172430][sql] Detectar erro de especificação de janela ausente mais cedo
  • [SPARK-48999] [SC-172245][ss] Dividir PythonStreamingDataSourceSimpleSuite
  • [FAÍSCA-49031] [SC-172602] Implementar a validação para o operador TransformWithStateExec usando OperatorStateMetadataV2
  • [SPARK-49053] [SC-172494][python][ML] Fazer com que as funções auxiliares de salvar/carregar modelos aceitem sessão spark.
  • [FAÍSCA-49032] [Backport][15.x][SS] Adicione o caminho do esquema na entrada da tabela de metadados, verifique a versão esperada e adicione o teste relacionado aos metadados do operador para o formato de metadados do operador v2
  • [SPARK-49034] [SC-172306][core] Suporte à substituição do lado sparkProperties do servidor na API de Envio REST
  • [SPARK-48931] [SC-171895][ss] Reduzir o custo da API de Lista do Repositório de Nuvem para a tarefa de manutenção do repositório de estado
  • [SPARK-48849] [SC-172068][ss] Criar OperatorStateMetadataV2 para o operador TransformWithStateExec
  • [FAÍSCA-49013] [SC-172322] Alterar chave em collationsMap para tipos de mapa e matriz em scala
  • [SPARK-48414] [SC-171884][python] Corrigir mudança disruptiva do Python fromJson
  • [SPARK-48910] [SC-171001][sql] Use HashSet/HashMap para evitar pesquisas lineares em PreprocessTableCreation
  • [SPARK-49007] [SC-172204][core] Aprimorar MasterPage para dar suporte ao título personalizado
  • [SPARK-49009] [SC-172263][sql][PYTHON] Fazer APIs de coluna e funções aceitarem Enums
  • [SPARK-49033] [SC-172303][core] Suporte para substituição do lado do servidor na API de Submissão REST
  • [SPARK-48363] [SC-166470][sql] Limpar alguns códigos redundantes em from_xml
  • [SPARK-46743] [SC-170867][sql][BEHAVE-84] Erro de contagem após ScalarSubquery ser simplificado se tiver uma relação vazia
  • [SPARK-49040] [SC-172351][sql] Corrigir documento sql-ref-syntax-aux-exec-imm.md
  • [SPARK-48998] [SC-172212][ml] Meta algoritmo salva/carrega modelo com SparkSession
  • [SPARK-48959] [SC-171708][sql] Estender NoSuchNamespaceExceptionNoSuchDatabaseException para restaurar o tratamento de exceção
  • [SPARK-48996] [SC-172130][sql][PYTHON] Permitir literais simples para e e ou em Coluna
  • [SPARK-48990] [SC-171936] Acompanhamento para #101759 - correção de teste
  • [SPARK-48338] [SC-171912][sql] Verificar declarações de variável
  • [SPARK-48990] [SC-171936][sql] Palavras-chave de sintaxe sql relacionadas à variável unificada
  • [SPARK-48988] [SC-171915][ml] Fazer DefaultParamsReader/Writer lidar com metadados usando Spark Session
  • [SPARK-48974] [SC-171978][sql][SS][ml][MLLIB] Use SparkSession.implicits em vez de SQLContext.implicits
  • [SPARK-48760] [SC-170870][sql] Fix CatalogV2Util.applyClusterByChanges
  • [FAÍSCA-48928] [SC-171956] Aviso de log para chamar .unpersist() em RDDs com pontos verificados localmente
  • [SPARK-48760] [SC-170139][sql] Introdução ALTER TABLE ... CLUSTER BY para alterar colunas de clustering
  • [SPARK-48844] Reverter "[SC-170669][sql] USAR INVALID_EMPTY_LOCATION em substituição a UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY quando o caminho estiver vazio"
  • [SPARK-48833] [SC-171914][sql][VARIANT] Variante de suporte em InMemoryTableScan
  • [SPARK-48975] [SC-171894][protobuf] Remover definição desnecessária ScalaReflectionLock de protobuf
  • [SPARK-48970] [SC-171800][python][ML] Evite usar SparkSession.getActiveSession no leitor/gravador do Spark ML
  • [SPARK-48844] [SC-170669][sql] UTILIZAR INVALID_EMPTY_LOCATION em vez de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY quando o caminho está vazio
  • [FAÍSCA-48714] [SC-170136] Corrigir falha nos testes df.mergeInto no PySpark e no UC
  • [SPARK-48957] [SC-171797][ss] Retornar classe de erro sub-classificada no carregamento do repositório de estado para os provedores HDFS e RocksDB
  • [SPARK-48891] [Backport][15x][SC-171677][ss] Refatorar StateSchemaCompatibilityChecker para unificar todos os formatos de esquema de estado
  • [SPARK-48972] [SC-171795][python] Unificar o tratamento de cadeia de caracteres literal em funções
  • [SPARK-48388] [SC-171337][sql] Corrigir SET o comportamento da instrução para scripts SQL
  • [SPARK-48743] [SC-170552][sql][SS] MergingSessionIterator deve lidar melhor quando getStruct retorna nulo
  • [SPARK-48623] [15.x][sc-171322][CORE] Migrar logs do FileAppender para registro em log estruturado
  • [SPARK-36680] [DBRRM-1123] Reverter "[SC-170640][sql] Dá suporte a opções de tabela dinâmica para o Spark SQL"
  • [SPARK-48841] [SC-170868][behave-83][SQL] Incluir collationName para sql() de Collate
  • [SPARK-48941] [SC-171703][python][ML] Substituir a invocação da API de leitura/gravação de RDD pela API de leitura/gravação de Dataframe
  • [SPARK-48938] [SC-171577][python] Aprimorar mensagens de erro ao registrar UDTFs do Python
  • [SPARK-48350] [SC-171040][sql] Introdução de exceções personalizadas para script sql
  • [SPARK-48907] [SC-171158][sql] Corrigir o valor explicitTypes em COLLATION_MISMATCH.EXPLICIT
  • [SPARK-48945] [SC-171658][python] Simplificar funções regex com lit
  • [SPARK-48944] [SC-171576][conectar] Unificar o tratamento de esquema em formato JSON no Connect Server
  • [FAÍSCA-48836] [SC-171569] Integrar o esquema SQL com o esquema de estado/metadados
  • [SPARK-48946] [SC-171504][sql] NPE no método redact quando a sessão é nula
  • [SPARK-48921] [SC-171412][sql] Os codificadores ScalaUDF na subconsulta devem ser resolvidos para MergeInto
  • [SPARK-45155] [SC-171048][connect] Adicionar documentos de API para o cliente JVM/Scala do Spark Connect
  • [FAÍSCA-48900] [SC-171319] Adicionar reason campo para cancelJobGroup e cancelJobsWithTag
  • [SPARK-48865] [SC-171154][sql] Adicionar função try_url_decode
  • [SPARK-48851] [SC-170767][sql] Altere o valor de SCHEMA_NOT_FOUNDnamespace para catalog.namespace
  • [FAÍSCA-48510] [SC-170893][2/2] Suporte à API UDAF toColumn no Spark Connect
  • [SPARK-45190] [SC-171055][spark-48897][PYTHON][connect] Fazer com que from_xml suporte o esquema StructType
  • [SPARK-48930] [SC-171304][core] Redigir awsAccessKeyId incluindo o padrão accesskey
  • [SPARK-48909] [SC-171080][ml][MLLIB] Usa SparkSession sobre SparkContext ao escrever metadados
  • [SPARK-48883] [SC-171133][ml][R] Substituir a invocação de API de leitura/gravação de RDD por API de leitura/gravação de DataFrame
  • [SPARK-48924] [SC-171313][ps] Adicionar uma função auxiliar semelhante a make_interval pandas
  • [SPARK-48884] [SC-171051][python] Remover função auxiliar não utilizado PythonSQLUtils.makeInterval
  • [SPARK-48817] [SC-170636][sql] Execute ansiosamente vários comandos de união juntos
  • [SPARK-48896] [SC-171079][ml][MLLIB] Evite a repartição ao escrever os metadados
  • [SPARK-48892] [SC-171127][ml] Evitar a leitura de parâmetro por linha em Tokenizer
  • [SPARK-48927] [SC-171227][core] Mostrar o número de RDDs armazenados em cache em StoragePage
  • [SPARK-48886] [15.x][backport][SC-171039][ss] Adicionar informações de versão ao changelog v2 para permitir uma evolução mais fácil
  • [SPARK-48903] [SC-171136][ss] Definir a versão do último instantâneo do RocksDB corretamente durante o carregamento remoto
  • [SPARK-48742] [SC-170538][ss] Família de colunas virtuais para RocksDB
  • [SPARK-48726] [15.x][sc-170753][SS] Crie o formato de arquivo StateSchemaV3 e escreva-o para o operador TransformWithStateExec
  • [SPARK-48794] [SC-170882][connect][15.x] suporte a df.mergeInto para Spark Connect (Scala e Python)
  • [SPARK-48714] [SC-170136][python] Implementar DataFrame.mergeInto no PySpark
  • [SPARK-48772] [SC-170642][ss][SQL] Modo de Leitor do Feed de Alterações da Fonte de Dados de Estado
  • [SPARK-48666] [SC-170887][sql] Não aplique o filtro se ele contiver PythonUDFs
  • [SPARK-48845] [SC-170889][sql] GenericUDF captura exceções de crianças
  • [SPARK-48880] [SC-170974][core] Evite lançar NullPointerException se o plug-in do driver não for inicializado
  • [SPARK-48888] [Backport][15x][SC-170973][ss] Remover a criação de instantâneo baseado no tamanho das operações do changelog
  • [FAÍSCA-48871] [SC-170876] Corrija INVALID_NON_DETERMINISTIC_EXPRESSIONS validação em...
  • [SPARK-48883] [SC-170894][ml][R] Substituir invocação de API de leitura/gravação RDD por API de leitura/gravação de Dataframe
  • [SPARK-36680] [SC-170640][sql] Dá suporte a opções de tabela dinâmica para o SPARK SQL
  • [SPARK-48804] [SC-170558][sql] Adicionar verificação classIsLoadable & OutputCommitter.isAssignableFrom para configurações de classe do output committer
  • [SPARK-46738] [SC-170791][python] Reativar um grupo de testes de documentação
  • [SPARK-48858] [SC-170756][python] Remover a chamada do método obsoleto setDaemon em Threadlog_communication.py
  • [SPARK-48639] [SC-169801][connect][PYTHON] Adicionar origem a RelationCommon
  • [SPARK-48863] [SC-170770][es-1133940][SQL] Corrigir ClassCastException ao analisar JSON com "spark.sql.json.enablePartialResults" habilitado
  • [SPARK-48343] [SC-170450][sql] Introdução ao interpretador de scripts SQL
  • [SPARK-48529] [SC-170755][sql] Introdução de rótulos no script SQL
  • [SPARK-45292] Reverte “[SC-151609][SQL][HIVE] Remove o Guava das classes compartilhadas do IsolatedClientLoader”
  • [SPARK-48037] [SC-165330][core][3.5] Corrigir a falta de métricas relacionadas à gravação de embaralhamento em SortShuffleWriter, o que resulta em dados potencialmente imprecisos.
  • [SPARK-48720] [SC-170551][sql] Alinhar o comando ALTER TABLE ... UNSET TBLPROPERTIES ... em v1 e v2
  • [SPARK-48485] [SC-167825][connect][SS] Suporte a interruptTag e interruptAll em consultas de streaming
  • [SPARK-45292] [SC-151609][sql][HIVE] Remover Guava das classes compartilhadas do IsolatedClientLoader
  • [SPARK-48668] [SC-169815][sql] Suportar ALTER NAMESPACE... UNSET PROPERTIES na v2
  • [SPARK-47914] [SC-165313][sql] Não exibir o parâmetro de divisões em Range
  • [SPARK-48807] [SC-170643][sql] Suporte binário para fonte de dados CSV
  • [SPARK-48220] [SC-167592][python][15.X] Permitir a passagem da Tabela PyArrow para createDataFrame()
  • [SPARK-48545] [SC-169543][sql] Criar funções SQL to_avro e from_avro para corresponder aos equivalentes do DataFrame
  • [SPARK-47577] [SC-168875][spark-47579] Correção do uso enganoso da chave de log TASK_ID

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Ambiente do sistema

  • sistema operacional: Ubuntu 24.04.1 LTS
  • Java: Zulu17.50+19-CA
  • Scala: 2.12.15
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

Bibliotecas do Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
tipos com anotação 0.7.0 asttokens 2.0.5 astunparse 1.6.3
comando automático 2.2.2 azure-core 1.31.0 Armazenamento em Blob do Azure 12.23.0
Azure-Armazenamento-Arquivo-Lago de Dados 12.17.0 backports.tarfile 1.2.0 preto 24.4.2
antolho 1.7.0 boto3 1.34.69 botocore 1.34.69
ferramentas de cache 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 normalizador de conjunto de caracteres 2.0.4 clique 8.1.7
cloudpickle 2.2.1 Comunicação 0.2.1 contorno 1.2.0
criptografia 42.0.5 ciclista 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
decorador 5.1.1 Deprecado 1.2.14 distlib 0.3.8
de docstring para markdown 0.11 pontos de entrada 0,4 em execução 0.8.3
Visão geral de facetas 1.1.1 bloqueio de arquivo 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 armazenamento na nuvem do Google 2.18.2
google-crc32c 1.6.0 google-mídia-retomável 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
IDNA 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
infletir 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets (biblioteca Python para widgets interativos) 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 Jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 Convenções Semânticas do OpenTelemetry 0,48b0
empacotamento 24.1 Pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 ingênuo 0.5.6 pexpect 4.8.0
almofada 10.3.0 caroço 24,2 platformdirs 3.10.0
enredo 5.22.0 Pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
Pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.52 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server (servidor LSP para Python) 1.10.0 pytoolconfig 1.2.6
Pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
Solicitações 2.32.2 corda 1.12.0 RSA 4.9
s3transfer 0.10.2 scikit-aprender 1.4.2 scipy 1.13.1
seaborn (biblioteca de visualização em Python) 0.13.2 setuptools 74.0.0 seis 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
dados empilhados 0.2.0 statsmodels (biblioteca para modelos estatísticos em Python) 0.14.2 tenacidade 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 guarda-tipo 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 tipos de solicitações 2.31.0.0 types-setuptools 68.0.0.0
tipos-seis 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 atualizações não supervisionadas 0,1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wheel 0.43.0 embrulhado 1.14.1
yapf 0.33.0 zipp 3.17.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot CRAN do Posit Package Manager em 2024-08-04 : https://packagemanager.posit.co/cran/2024-08-04/.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
flecha 16.1.0 AskPass 1.2.0 afirme isso 0.2.1
retroportações 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-8 blob 1.2.4 ciar 1.3-30
Fabricação de cerveja 1.0-10 Brio 1.1.5 vassoura 1.0.6
bslib 0.8.0 cachem 1.1.0 chamador 3.7.6
cifrão 6.0-94 cellranger 1.1.0 cronômetro 2.3-61
classe 7.3-22 Cli 3.6.3 clipr 0.8.0
relógio 0.7.1 cluster 2.1.6 codetools 0.2-20
espaço de cores 2.1-1 commonmark 1.9.1 compilador 4.4.0
configuração 0.3.2 conflituoso 1.2.0 cpp11 0.4.7
giz de cera 1.5.3 credenciais 2.0.1 encurvar 5.2.1
Tabela de Dados 1.15.4 conjuntos de dados 4.4.0 DBI 1.2.3
dbplyr 2.5.0 Desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 hash 0.6.36
iluminação para baixo 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 reticências 0.3.2 avaliar 0.24.0
fansi 1.0.6 farver 2.1.2 mapa rápido 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
estrangeiro 0.8 - 86 forja 0.2.0 fs 1.6.4
futuro 1.34.0 future.apply 1.11.2 gargarejar 1.5.2
genéricos 0.1.3 Gert 2.1.0 ggplot2 3.5.1
Gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globais 0.16.3 cola 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
Gráficos 4.4.0 grDevices 4.4.0 grade 4.4.0
gridExtra 2.3 gsubfn 0,7 gt 0.11.0
gtable 0.3.5 capacete de segurança 1.4.0 refúgio 2.5.4
mais alto 0.11 Hms 1.1.3 ferramentas HTML 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 Iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 rotulagem 0.4.3
posterior 1.3.2 treliça 0,22-5 lava vulcânica 1.8.0
ciclo de vida 1.0.4 ouça 0.9.1 lubrificado 1.9.3
magrittr 2.0.3 redução de preço 1.13 MISSA 7.3-60.0.1
Matriz 1.6-5 memorizar 2.0.1 Métodos 4.4.0
mgcv 1.9-1 mímica 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 paralelo 4.4.0
paralelamente 1.38.0 coluna 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 elogio 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
Prodlim 2024.06.25 profvis 0.3.8 progresso 1.2.3
progressr 0.14.0 Promessas 1.3.0 proto 1.0.0
proxy 0.4-27 P.S. 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 capaz de reagir 0.4.4
reactR 0.6.0 Readr 2.1.5 readxl 1.4.3
Receitas 1.1.0 jogo de revanche 2.0.0 revanche2 2.1.2
Controles remotos 2.5.0 reprex 2.1.1 remodelar2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 Sass 0.4.9
escamas 1.3.0 Seletor 0.4-2 informações de sessão 1.2.2
forma 1.4.6.1 brilhante 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 SparkR 3.5.0 espacial 7.3-17
Splines 4.4.0 sqldf 0.4-1 SQUAREM 2021.1
estatísticas 4.4.0 estatísticas4 4.4.0 stringi 1.8.4
stringr 1.5.1 sobrevivência 3.6-4 ginga 5.17.14.1
sys 3.4.2 systemfonts 1.1.0 tcltk 4.4.0
testthat 3.2.1.1 formatação de texto 0.4.0 tibble 3.2.1
tidyr 1.3.1 tidyselect 1.2.1 tidyverse 2.0.0
mudança de horário 0.3.0 data e hora 4032.109 tinytex 0.52
Ferramentas 4.4.0 tzdb 0.4.0 verificador de URL 1.0.1
usethis 3.0.0 utf8 1.2.4 utilitários 4.4.0
identificador único universal (UUID) 1.2-1 V8 4.4.2 vctrs 0.6.5
viridisLite 0.4.2 Vroom 1.6.5 Waldo 0.5.2
bigode 0.4.1 murchar 3.0.1 xfun 0.46
xml2 1.3.6 xopen 1.0.1 xtable 1.8-4
YAML 2.3.10 zeallot 0.1.0 zíper 2.3.1

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)

ID do grupo ID do artefato Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity (pacote de identidade Cognito para Java da AWS) 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect (SDK Java da AWS para conexão direta) 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws SDK Java para o ECS da AWS 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam (kit de desenvolvimento de software Java da AWS para IAM) 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning (SDK da AWS para aprendizado de máquina) 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support (suporte para AWS Java SDK) 1.12.638
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-sombreado 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.datatype jackson-module-paranamer 2.15.2
com.fasterxml.jackson.datatype jackson-module-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-nativos
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1-nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-nativos
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-nativos
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Sininho 1.9.0
com.google.errorprone anotações_propensas_a_erros 2.10.0
com.google.flatbuffers flatbuffers-java 26/05/2023
com.google.guava goiaba 15,0
com.google.protobuf protobuf-java 3.25.1
com.helger criador de perfil 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp VERSÃO.0.8.0.
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections (coleções comuns) commons-collections (coleções comuns) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 0.27
io.delta delta-sharing-client_2.12 1.2.0
io.dropwizard.metrics anotação de métricas 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métricas-verificações de saúde 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json (métricas em JSON) 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty Netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolvedor 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty Netty Tcnative Classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-comum 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine picles (singular: picle) 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant lançador de formigas 1.10.11
org.apache.arrow formato de flecha 15.0.0
org.apache.arrow arrow-memória-core 15.0.0
org.apache.arrow Arrow-Memory-Netty 15.0.0
org.apache.arrow vetor de seta 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons Texto Comum 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator estrutura do curador 2.13.0
org.apache.curator curador de receitas 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop tempo de execução do cliente Hadoop 3.3.6
org.apache.hive hive-beeline (ferramenta de linha de comando para conectar-se ao Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API de armazenamento do Hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims Agendador de Ajustes do Hive (hive-shims-scheduler) 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-calços 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus anotações do público 0.13.0
org.apache.zookeeper zelador de zoológico 3.9.2
org.apache.zookeeper guarda de zoológico-juta 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty servidor jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty Webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket API de WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client (cliente WebSocket) 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket servidor WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 Localizador de Recursos OSGi 1.0.3
org.glassfish.hk2.external AliançaAOP-Reempacotado 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotações 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Calços 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
Stax stax-api 1.0.1
  • Last updated on