Compartilhar via

Databricks Runtime 15.2 (EoS)

Note

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Notas de versão do Databricks Runtime: versões e compatibilidade.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 15.2, da plataforma Apache Spark 3.5.0.

A Databricks lançou essa versão em maio de 2024.

Alterações comportamentais

O vácuo limpa COPY INTO os arquivos de metadados

A execução VACUUM em uma tabela escrita com COPY INTO agora limpa metadados não referenciados associados ao acompanhamento de arquivos ingeridos. Não há nenhum impacto na semântica operacional de COPY INTO.

A Lakehouse Federation está geralmente disponível (GA)

No Databricks Runtime 15.2 e posteriores, os conectores da Federação do lakehouse nos seguintes tipos de banco de dados estão em GA (disponibilidade geral):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL do Data Warehouse)
  • Databricks

Esta versão também apresenta as seguintes melhorias:

  • Suporte para pushdowns adicionais (cadeia de caracteres, matemática e funções diversas).
  • Taxa de sucesso de pushdown melhorada em diferentes formas de consulta.
  • Recursos adicionais de depuração de pushdown:
    • A saída EXPLAIN FORMATTED exibe o texto da consulta enviada por push.
    • A interface do usuário do perfil de consulta exibe o texto da consulta pushed-down, os identificadores de nó federados e os tempos de execução da consulta JDBC (no modo detalhado). Consulte Exibir consultas federadas geradas pelo sistema.

BY POSITION para mapeamento de coluna usando COPY INTO com arquivos CSV sem cabeçalho

No Databricks Runtime 15.2 e posteriores, você pode usar as palavras-chave BY POSITION (ou a sintaxe alternativa ( col_name [ , <col_name> ... ] )) com COPY INTO para arquivos CSV sem cabeçalho, facilitando o mapeamento de colunas de origem para colunas de tabela de destino. Consulte Parâmetros.

Reduzir o consumo de memória quando as tarefas do Spark falharem com um erro Resubmitted

No Databricks Runtime 15.2 e posterior, o valor retornado do método Spark TaskInfo.accumulables() fica vazio quando as tarefas falham com um erro Resubmitted. Anteriormente, o método retornava os valores de uma tentativa de tarefa bem-sucedida anterior. Essa alteração de comportamento afeta os seguintes consumidores:

  • As tarefas do Spark que usam a classe EventLoggingListener.
  • Ouvintes personalizados do Spark.

Para restaurar o comportamento anterior, defina spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled como false.

A exibição das versões do plano de execução da consulta adaptável está desabilitada

Para reduzir o consumo de memória, as versões do plano de execução de consulta adaptável (AQE) agora estão desabilitadas por padrão na interface do usuário do Spark. Para habilitar a exibição de versões do plano do AQE na interface do usuário do Spark, configure o spark.databricks.sql.aqe.showPlanChangesInUI.enabled para true.

O limite de consultas retidas é reduzido para reduzir o uso de memória da interface do usuário do Spark

No Databricks Runtime 15.2 e posterior, para reduzir a memória consumida pela interface do usuário do Spark na computação do Azure Databricks, o limite do número de consultas visíveis na interface do usuário é reduzido de 1000 para 100. Para alterar o limite, defina um novo valor usando a configuração do spark.sql.ui.retainedExecutions Spark.

DESCRIBE HISTORY agora mostra as colunas de clustering para as tabelas que usam clustering líquido

Quando você executa uma consulta DESCRIBE HISTORY, a coluna operationParameters mostra um campo clusterBy por padrão para operações de CREATE OR REPLACE e OPTIMIZE. Para uma tabela Delta que utiliza agrupamento líquido, o campo clusterBy é preenchido com as colunas de agrupamento da tabela. Se a tabela não utilizar agrupamento líquido, o campo estará vazio.

A sintaxe do widget do notebook foi considerada obsoleta

A partir do Databricks Runtime 15.2, a sintaxe ${param} para acessar valores de widget do notebook nas células SQL foi descontinuada. Use a sintaxe do marcador de parâmetro (:param) em vez disso. A sintaxe do marcador de parâmetro fornece melhor proteção contra injeção de SQL e melhor desempenho de consulta.

Para obter diretrizes e exemplos de migração, consulte widgets herdados de notebook. Para obter informações sobre a abordagem recomendada atual, consulte widgets do Databricks.

Novos recursos e melhorias

O suporte para as chaves primárias e estrangeiras está em GA

O suporte para chaves primárias e estrangeiras no Databricks Runtime geralmente está disponível. A versão GA inclui as seguintes alterações nos privilégios necessários para o uso de chaves primárias e estrangeiras:

  • Para definir uma chave estrangeira, você deve ter o privilégio SELECT na tabela com a chave primária à qual a chave estrangeira se refere. Você não precisa ter a tabela com a chave primária, que era necessária anteriormente.
  • Remover uma chave primária usando a cláusula CASCADE não exige privilégios nas tabelas que definem chaves estrangeiras que fazem referência à chave primária. Anteriormente, você precisava ter as tabelas de referência.
  • Remover uma tabela que inclui restrições agora requer os mesmos privilégios que remover tabelas que não incluem restrições.

Para saber como usar chaves primárias e estrangeiras com tabelas ou exibições, consulte CONSTRAINT cláusula, cláusula ADD CONSTRAINTe cláusula DROP CONSTRAINT.

O clustering líquido está em disponibilidade geral

O suporte para clustering líquido agora está em disponibilidade geral usando o Databricks Runtime 15.2 e superior. Consulte Usar clustering líquido para tabelas.

A ampliação de tipo está em Visualização Pública

Agora você pode habilitar a ampliação de tipo em tabelas apoiadas pelo Delta Lake. Tabelas com ampliação de tipo habilitada permitem alterar o tipo de colunas para um tipo de dados mais amplo sem reescrever arquivos de dados subjacentes. Confira Ampliação de tipo.

Cláusula de evolução de esquema adicionada à sintaxe de mesclagem do SQL

Agora você pode adicionar a cláusula WITH SCHEMA EVOLUTION a uma instrução de mesclagem do SQL para habilitar a evolução do esquema para a operação. Consulte a sintaxe de evolução do esquema para mesclar.

As fontes de dados personalizadas do PySpark estão disponíveis em Visualização Pública

Um PySpark DataSource pode ser criado usando a API DataSource do Python (PySpark), que permite ler de fontes de dados personalizadas e gravar em coletores de dados personalizados no Apache Spark usando Python. Veja Fontes de dados personalizadas do PySpark

applyInPandas e mapInPandas agora estão disponíveis na computação do Unity Catalog com modo de acesso compartilhado

Como parte de uma versão de manutenção do Databricks Runtime 14.3 LTS, agora há suporte para tipos UDF applyInPandas e mapInPandas na computação do modo de acesso compartilhado executando o Databricks Runtime 14.3 e superior.

Use dbutils.widgets.getAll() para obter todos os widgets em um notebook

Use dbutils.widgets.getAll() para obter todos os valores de widget em um notebook. Isso é especialmente útil ao passar vários valores de widgets para uma consulta SQL do Spark.

Suporte para gestão de inventário de vácuo

Agora você pode especificar um inventário de arquivos a serem considerados ao executar o comando VACUUM em uma tabela Delta. Consulte os documentos do Delta OSS.

Suporte para funções de compactação Zstandard

Agora você pode usar as funções zst_compress, zstd_decompress e try_zstd_decompress para compactar e descompactar dados BINARY.

Correções

Os planos de consulta na interface do usuário do SQL agora são exibidos corretamente PhotonWriteStage

Quando exibidos na interface do usuário do SQL, os comandos write em planos de consulta mostraram incorretamente PhotonWriteStage como um operador. Com essa versão, a interface do usuário é atualizada para mostrar PhotonWriteStage como um estágio. Essa é apenas uma alteração de interface do usuário e não afeta a forma como as consultas são executadas.

O Ray é atualizado para corrigir problemas com a inicialização de clusters Ray

Esta versão inclui uma versão corrigida do Ray que corrige uma alteração interruptiva que impede que os clusters do Ray iniciem com o Databricks Runtime para Machine Learning. Essa alteração garante que a funcionalidade do Ray seja idêntica às versões do Databricks Runtime anteriores à 15.2.

Classe de erro corrigida para as funções DataFrame.sort() e DataFrame.sortWithinPartitions()

Esta versão inclui uma atualização nas funções DataFrame.sort() e DataFrame.sortWithinPartitions() do PySpark para garantir que a classe de erro ZERO_INDEX seja lançada quando 0 é passado como o argumento de índice. Anteriormente, a classe de erro INDEX_NOT_POSITIVE era gerada.

É feito o downgrade de ipywidgets de 8.0.4 para 7.7.2

Para corrigir os erros introduzidos por uma atualização de ipywidgets para 8.0.4 no Databricks Runtime 15.0, os ipywidgets são rebaixados para 7.7.2 no Databricks Runtime 15.2. Essa é a mesma versão incluída nas versões anteriores do Databricks Runtime.

Atualizações de biblioteca

  • Bibliotecas do Python atualizadas:
    • GitPython de 3.1.42 para 3.1.43
    • google-api-core da versão 2.17.1 para a versão 2.18.0
    • google-auth de 2.28.1 para 2.29.0
    • google-cloud-storage de 2.15.0 para 2.16.0
    • googleapis-common-protos de 1.62.0 a 1.63.0
    • ipywidgets de 8.0.4 para 7.7.2
    • mlflow-skinny de 2.11.1 para 2.11.3
    • s3transfer de 0.10.0 para 0.10.1
    • sqlparse de 0.4.4 para 0.5.0
    • typing_extensions de 4.7.1 para 4.10.0
  • Bibliotecas R atualizadas:
  • Bibliotecas Java atualizadas:
    • com.amazonaws.aws-java-sdk-autoscaling de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-config de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-core de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-directory de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-ecs de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-efs de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-emr de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-glacier de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-glue de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-iam de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-importexport de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-kms de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-lambda de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-logs de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-rds de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-redshift de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-route53 de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-s3 de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-ses de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-sns de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-sqs de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-ssm de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway da versão 1.12.390 para a versão 1.12.610
    • com.amazonaws.aws-java-sdk-sts de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-support de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces de 1.12.390 para 1.12.610
    • com.amazonaws.jmespath-java de 1.12.390 para 1.12.610

Apache Spark

O Databricks Runtime 15.2 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-47941] [SC-163568] [SS] [Connect] Propagar erros de inicialização de trabalho do ForeachBatch para usuários do PySpark
  • [SPARK-47412] [SC-163455][sql] Adicionar suporte de ordenação para LPad/RPad.
  • [SPARK-47907] [SC-163408][sql] Colocar bang sob uma configuração
  • [SPARK-46820] [SC-157093][python] Corrigir regressão de mensagem de erro restaurando new_msg
  • [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/Resource managers: migração de log estruturada
  • [SPARK-47890] [SC-163324][connect][PYTHON] Adicionar funções variantes ao Scala e ao Python.
  • [SPARK-47894] [SC-163086][core][WEBUI] Adicionar Environment página à interface do usuário mestra
  • [SPARK-47805] [SC-163459][ss] Implementando TTL para MapState
  • [SPARK-47900] [SC-163326] Correção de verificação da ordenação implícita (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][sql]Tornando as expressões de cálculo do tempo atual simplificáveis
  • [SPARK-47845] [SC-163315][sql][PYTHON][connect] Suportar tipo de coluna na função de divisão para Scala e Python
  • [SPARK-47754] [SC-162144][sql] Postgres: Suporte à leitura de matrizes multidimensionais
  • [SPARK-47416] [SC-163001][sql] Adicionar novas funções a CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][sql] Corrigir bug de agregação em RewriteWithExpression
  • [SPARK-47821] [SC-162967][sql] Implementar expressão is_variant_null
  • [SPARK-47883] [SC-163184][sql] Tornar CollectTailExec.doExecute lento com RowQueue
  • [SPARK-47390] [SC-163306][sql] PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][core] Adicionar um log de DEBUG a DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][sql][3.5] Corrigir regressão de desempenho do ExpressionSet no scala 2.12
  • [SPARK-47565] [SC-161786][python] Resiliência de falha do pool de trabalho do PySpark
  • [SPARK-47885] [SC-162989][python][CONNECT] Tornar pyspark.resource compatível com pyspark-connect
  • [SPARK-47887] [SC-163122][connect] Remover importação spark/connect/common.proto não utilizada de spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][python][CONNECT] Tornar pyspark.worker_utils compatível com pyspark-connect
  • [SPARK-47691] [SC-161760][sql] Postgres: Suporte para matriz multidimensional no lado de gravação
  • [SPARK-47617] [SC-162513][sql] Adicionar TPC-DS infraestrutura de teste para ordenações
  • [SPARK-47356] [SC-162858][sql] Adicionar suporte para ConcatWs &Elt (todas as ordenações)
  • [SPARK-47543] [SC-161234][connect][PYTHON] Inferindo dict como MapType de um DataFrame Pandas para permitir a criação de DataFrame
  • [SPARK-47863] [SC-162974][sql] Correção na implementação de 'startsWith' e 'endsWith' sensível à ordenação para ICU
  • [SPARK-47867] [SC-162966][sql] Variante de suporte na verificação JSON.
  • [SPARK-47366] [SC-162475][sql][PYTHON] Adicionar VariantVal para PySpark
  • [SPARK-47803] [SC-162726][sql] Suporte convertido em variante.
  • [SPARK-47769] [SC-162841][sql] Adicionar expressão schema_of_variant_agg.
  • [SPARK-47420] [SC-162842][sql] Corrigir saída de teste
  • [SPARK-47430] [SC-161178][sql] Suporte para MapType
  • [SPARK-47357] [SC-162751][sql] Adicionar suporte para Superior, Inferior, InitCap (todas as ordenações)
  • [SPARK-47788] [SC-162729][ss] Verifique o mesmo particionamento de hash para operações com estado de streaming
  • [SPARK-47776] [SC-162291][ss] Não permitir que a ordenação de desigualdade binária seja usada no esquema de chave do operador com estado
  • [SPARK-47673] [SC-162824][ss] Implementando TTL para ListState
  • [SPARK-47818] [SC-162845][connect] Introduzir cache de plano no SparkConnectPlanner para melhorar o desempenho das solicitações de análise
  • [SPARK-47694] [SC-162783][conectar] Torne o tamanho máximo da mensagem configurável no lado do cliente
  • [SPARK-47274] Reverter "[SC-162479][python][SQL] Fornecer mais útil...
  • [SPARK-47616] [SC-161193][sql] Adicionar documento de usuário para mapear tipos de dados SQL do Spark do MySQL
  • [SPARK-47862] [SC-162837][python][CONNECT]Corrigir geração de arquivos proto
  • [SPARK-47849] [SC-162724][python][CONNECT] Alterar script de versão para liberar pyspark-connect
  • [SPARK-47410] [SC-162518][sql] Refatorar UTF8String e CollationFactory
  • [SPARK-47807] [SC-162505][python][ML] Tornar pyspark.ml compatível com pyspark-connect
  • [SPARK-47707] [SC-161768][sql] Tratamento especial do tipo JSON para o Conector MySQL/J 5.x
  • [SPARK-47765] Reverter "[SC-162636][sql] Adicionar SET ORDENAÇÃO a pars...
  • [SPARK-47081] [SC-162151][connect][FOLLOW] Melhorando a funcionalidade do Manipulador de Progresso
  • [SPARK-47289] [SC-161877][sql] Permitir que as extensões registrem informações estendidas no plano de explicação
  • [SPARK-47274] [SC-162479][python][SQL] Forneça um contexto mais útil para erros da API de DataFrame do PySpark
  • [SPARK-47765] [SC-162636][sql] Adicionar SET ORDENAÇÃO às regras de análise
  • [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite falha devido a um plano inválido
  • [SPARK-47812] [SC-162696][connect] Suporte à serialização do SparkSession para o worker ForEachBatch
  • [SPARK-47253] [SC-162698][core] Permitir que o LiveEventBus pare sem o esvaziamento completo da fila de eventos
  • [SPARK-47827] [SC-162625][python] Avisos ausentes para recursos obsoletos
  • [SPARK-47733] [SC-162628][ss] Adicionar métricas personalizadas para o operador transformWithState parte do progresso da consulta
  • [SPARK-47784] [SC-162623][ss] Mesclar TTLMode e TimeoutMode em um único TimeMode.
  • [SPARK-47775] [SC-162319][sql] Suporte aos tipos escalares restantes na especificação variante.
  • [SPARK-47736] [SC-162503][sql] Adicionar suporte para AbstractArrayType
  • [SPARK-47081] [SC-161758][connect] Suporte ao andamento da execução da consulta
  • [SPARK-47682] [SC-162138][sql] Suporte à conversão de tipo a partir de variant.
  • [SPARK-47802] [SC-162478][sql] Reverter o significado de struct() de volta para o significado *
  • [SPARK-47680] [SC-162318][sql] Adicionar expressão variant_explode.
  • [SPARK-47809] [SC-162511][sql] checkExceptionInExpression deve conferir os erros para cada modo de codegen
  • [SPARK-41811] [SC-162470][python][CONNECT] Implementar SQLStringFormatter com WithRelations
  • [SPARK-47693] [SC-162326][sql] Adicionar otimização para comparação de UTF8String em minúsculo usada na ordenação UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][sql] Cadeias de caracteres agrupadas em tipos complexos que dão suporte a operações inversas, array_join, concat, map
  • [SPARK-46812] [SC-161535][connect][PYTHON] Tornar mapInPandas / mapInArrow compatíveis com ResourceProfile
  • [SPARK-47727] [SC-161982][python] Elevar SparkConf ao nível raiz para ambos SparkSession e SparkContext
  • [SPARK-47406] [SC-159376][sql] Manipular TIMESTAMP e DATETIME em MYSQLDialect
  • [SPARK-47081] Reverta "[SC-161758][connect] Support Query Executi...
  • [SPARK-47681] [SC-162043][sql] Adicionar expressão schema_of_variant.
  • [SPARK-47783] [SC-162222] Adicione alguns SQLSTATEs ausentes e limpe o YY000 a ser usado…
  • [SPARK-47634] [SC-161558][sql] Adicione suporte herdado para desabilitar a normalização da chave do mapa
  • [SPARK-47746] [SC-162022] Implementar codificação de intervalo baseada em ordinal no RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExec sempre deve usar context.session
  • [SPARK-47643] [SC-161534][ss][PYTHON] Adicionar teste de pyspark para fonte de streaming do Python
  • [SPARK-47582] [SC-161943][sql] Migrar o logInfo do Catalyst com variáveis para a estrutura de log estruturada
  • [SPARK-47558] [SC-162007][ss] Suporte de TTL de estado para ValueState
  • [SPARK-47358] [SC-160912][sql][COLLATION] Melhorar o suporte à expressão de repetição para retornar o tipo de dados correto
  • [SPARK-47504] [SC-162044][sql] Resolução de AbstractDataType simpleStrings para StringTypeCollated
  • [SPARK-47719] Reverter para “[SC-161909][sql] Alterar spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010][sql] Implementar o suporte para otimização do filtro de collation por fonte de arquivo
  • [SPARK-47081] [SC-161758][connect] Suporte ao andamento da execução da consulta
  • [SPARK-47744] [SC-161999] Adicionar suporte para bytes com valor negativo no codificador de intervalo
  • [SPARK-47713] [SC-162009][sql][CONNECT] Corrigir uma falha de auto-junção
  • [SPARK-47310] [SC-161930][ss] Adicionar micro-benchmark para operações de mesclagem para vários valores na parte de valor do repositório de estado
  • [SPARK-47700] [SC-161774][sql] Corrigir formatação de mensagens de erro com treeNode
  • [SPARK-47752] [SC-161993][ps][CONNECT] Tornar pyspark.pandas compatível com pyspark-connect
  • [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] Implementar a API logWarning/logInfo na estrutura de log estruturada
  • [SPARK-47107] [SC-161201][ss][PYTHON] Implementar leitor de partição para fonte de dados de streaming do Python
  • [SPARK-47553] [SC-161772][ss] Adicionar suporte a Java para APIs de operador transformWithState
  • [SPARK-47719] [SC-161909][sql] Altere spark.sql.legacy.timeParserPolicy padrão para CORRECTED
  • [SPARK-47655] [SC-161761][ss] Integrar temporizador ao tratamento de estado inicial para state-v2
  • [SPARK-47665] [SC-161550][sql] Use SMALLINT para gravar ShortType no MYSQL
  • [SPARK-47210] [SC-161777][sql] Adição de conversão implícita sem suporte indeterminado
  • [SPARK-47653] [SC-161767][ss] Adicionar suporte para tipos numéricos negativos e codificador de chave de verificação de intervalo
  • [SPARK-46743] [SC-160777][sql] Erro de contagem após otimização de constantes
  • [SPARK-47525] [SC-154568][sql] Suporte para junção de correlação de subconsulta em atributos de mapa
  • [SPARK-46366] [SC-151277][sql] Use a expressão WITH em BETWEEN para evitar expressões duplicadas
  • [SPARK-47563] [SC-161183][sql] Adicionar normalização de mapa na criação
  • [SPARK-42040] [SC-161171][sql] SPJ: introduzir uma nova API para partição de entrada V2 para relatar estatísticas de partição
  • [SPARK-47679] [SC-161549][sql] Usar HiveConf.getConfVars ou usar nomes de configuração do Hive diretamente
  • [SPARK-47685] [SC-161566][sql] Restaurar o suporte para o tipo Stream em Dataset#groupBy
  • [SPARK-47646] [SC-161352][sql] Fazer try_to_number retornar NULL para entrada malformada
  • [SPARK-47366] [SC-161324][python] Adicionar sinônimos parse_json para pyspark e dataframe
  • [SPARK-47491] [SC-161176][core] Adicionar slf4j-api jar ao caminho da classe antes dos outros do diretório jars
  • [SPARK-47270] [SC-158741][sql] Dataset.isEmpty projeta CommandResults localmente
  • [SPARK-47364] [SC-158927][core] Fazer PluginEndpoint avisar quando os plug-ins responderem à mensagem unidirecional
  • [SPARK-47280] [SC-158350][sql] Remover limitação de fuso horário para ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][sql] Adicionar expressão variant_get.
  • [SPARK-47559] [SC-161255][sql] Suporte de codegen para variante parse_json
  • [SPARK-47572] [SC-161351][sql] Assegurar que partitionSpec da janela seja ordenável.
  • [SPARK-47546] [SC-161241][sql] Melhorar a validação ao ler Variant de Parquet
  • [SPARK-47543] [SC-161234][connect][PYTHON] Inferindo dict como MapType de um DataFrame Pandas para permitir a criação de DataFrame
  • [SPARK-47485] [SC-161194][sql][PYTHON][connect] Criar coluna com ordenações na API de dataframe
  • [SPARK-47641] [SC-161376][sql] Melhorar o desempenho para UnaryMinus e Abs
  • [SPARK-47631] [SC-161325][sql] Remover método não utilizado SQLConf.parquetOutputCommitterClass
  • [SPARK-47674] [SC-161504][core] Habilitar spark.metrics.appStatusSource.enabled por padrão
  • [SPARK-47273] [SC-161162][ss][PYTHON] implementar a interface de escrita de fluxo de dados em Python.
  • [SPARK-47637] [SC-161408][sql] Use errorCapturingIdentifier em mais locais
  • [SPARK-47497] Reverter "[SC-160724][sql] Fazer to_csv dar suporte à saída de matriz/struct/map/binary como cadeias de caracteres bonitas""
  • [SPARK-47492] [SC-161316][sql] Ampliar regras de espaço em branco no lexer
  • [SPARK-47664] [SC-161475][python][CONNECT] Valide o nome da coluna com o esquema armazenado em cache
  • [SPARK-47638] [SC-161339][ps][CONNECT] Ignorar validação de nome de coluna no PS
  • [SPARK-47363] [SC-161247][ss] Estado Inicial sem implementação de leitor de estado para a API de Estado v2.
  • [SPARK-47447] [SC-160448][sql] Permitir a leitura de Parquet TimestampLTZ como TimestampNTZ
  • [SPARK-47497] Reverter “[SC-160724][sql] Tornar to_csv compatível com a saída de array/struct/map/binary em cadeias de caracteres formatadas”
  • [SPARK-47434] [SC-160122][webui] Corrigir statistics link em StreamingQueryPage
  • [SPARK-46761] [SC-159045][sql] As cadeias de caracteres entre aspas em um caminho JSON devem dar suporte ao caractere '?'? characters
  • [SPARK-46915] [SC-155729][sql] Simplificar UnaryMinusAbs e alinhar a classe de erro
  • [SPARK-47431] [SC-160919][sql] Adicionar ordenação padrão no nível da sessão
  • [SPARK-47620] [SC-161242][python][CONNECT] Adicionar uma função auxiliar para classificar colunas
  • [SPARK-47570] [SC-161165][ss] Integrar alterações do codificador de varredura de intervalo com a implementação do temporizador
  • [SPARK-47497] [SC-160724][sql] Dê to_csv suporte à saída de array/struct/map/binary como cadeias de caracteres formatadas de forma legível
  • [SPARK-47562] [SC-161166][connect] Tratamento literal do fator fora do plan.py
  • [SPARK-47509] [SC-160902][sql] Bloquear expressões de subconsulta em funções lambda e de ordem superior
  • [SPARK-47539] [SC-160750][sql] Faça com que o valor retornado do método castToString seja Any => UTF8String
  • [SPARK-47372] [SC-160905][ss] Adicionar suporte para o codificador de estado de chave baseado em varredura de intervalo para uso com o provedor de armazenamento de estado
  • [SPARK-47517] [SC-160642][core][SQL] Prefira Utils.bytesToString para exibir tamanho
  • [SPARK-47243] [SC-158059][ss] Corrigir o nome do pacote de StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][python][CONNECT] Suporte a fontes de dados do Python com o Spark Connect
  • [SPARK-47521] [SC-160666][core] Usar Utils.tryWithResource durante a leitura de dados de embaralhamento do armazenamento externo
  • [SPARK-47474] [SC-160522][core] Reverter SPARK-47461 e adicionar alguns comentários
  • [SPARK-47560] [SC-160914][python][CONNECT] Evite RPC para validar o nome da coluna com o esquema armazenado em cache
  • [SPARK-47451] [SC-160749][sql] Implementação de suporte para to_json(variant).
  • [SPARK-47528] [SC-160727][sql] Adicionar o suporte UserDefinedType a DataTypeUtils.canWrite
  • [SPARK-44708] Reverter "[SC-160734][python] Migrar test_reset_index assert_eq para usar assertDataFrameEqual"
  • [SPARK-47506] [SC-160740][sql] Adicionar suporte a todos os formatos de origem de arquivo para tipos de dados agrupados
  • [SPARK-47256] [SC-160784][sql] Atribuir nomes a classes de erro _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][core] Correção do jar de recurso primário adicionado ao spark.jars duas vezes no modo de cluster k8s
  • [SPARK-47398] [SC-160572][sql] Extraia uma característica para InMemoryTableScanExec para permitir a extensão da funcionalidade
  • [SPARK-47479] [SC-160623][sql] A otimização não pode gravar dados nas relações com o log de erros de vários caminhos
  • [SPARK-47483] [SC-160629][sql] Adicionar suporte para operações de agregação e junção em matrizes de cadeias de caracteres agrupadas
  • [SPARK-47458] [SC-160237][core] Corrigir o problema com o cálculo das tarefas simultâneas máximas para o estágio de barreira
  • [SPARK-47534] [SC-160737][sql] Mover o.a.s.variant para o.a.s.types.variant
  • [SPARK-47396] [SC-159312][sql] Adicionar um mapeamento geral para TIME WITHOUT TIME ZONE a TimestampNTZType
  • [SPARK-44708] [SC-160734][python] Migrar test_reset_index assert_eq para usar assertDataFrameEqual
  • [SPARK-47309] [SC-157733][sc-160398][SQL] XML: adicionar testes de inferência de esquema para marcas de valor
  • [SPARK-47007] [SC-160630][sql] Adicionar a MapSort expressão
  • [SPARK-47523] [SC-160645][sql] Substituir preterido JsonParser#getCurrentName por JsonParser#currentName
  • [SPARK-47440] [SC-160635][sql] Corrigir o envio de sintaxe não suportada para o MsSqlServer
  • [SPARK-47512] [SC-160617][ss] Tipo de operação de tag usado com a aquisição/liberação do bloqueio da instância do repositório de estado RocksDB
  • [SPARK-47346] [SC-159425][python] Tornar o modo daemon configurável ao criar trabalhadores do planejador Python
  • [SPARK-47446] [SC-160163][core] Avisar BlockManager antes removeBlockInternal
  • [SPARK-46526] [SC-156099][sql] Suporte LIMIT sobre subconsultas correlacionadas em que predicados fazem referência apenas à tabela externa
  • [SPARK-47461] [SC-160297][core] Remover função totalRunningTasksPerResourceProfile privada de ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][sql] Suporte a cadeias de caracteres agrupadas em operações de matriz
  • [SPARK-47500] [SC-160627][python][CONNECT] Isolar o tratamento do nome da coluna fora do plan.py
  • [SPARK-47383] [SC-160144][core] Configuração de suporte spark.shutdown.timeout
  • [SPARK-47342] [SC-159049]Reverter “Suporte [SQL] TimestampNTZ para DB2 TIMESTAMP WITH TIME ZONE”
  • [SPARK-47486] [SC-160491][connect] Remover método privado ArrowDeserializers.getString não utilizado
  • [SPARK-47233] [SC-154486][connect][SS][2/2] Lógica do cliente & servidor para o escutador de consulta de streaming no lado do cliente
  • [SPARK-47487] [SC-160534][sql] Simplificar código em AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][sql] Suporte de função de agregação em janela para ordenações
  • [SPARK-47296] [SC-160457][sql][COLLATION] Falha de funções sem suporte para ordenações não binárias
  • [SPARK-47380] [SC-160164][conectar] Verifique no lado do servidor se o SparkSession é o mesmo
  • [SPARK-47327] [SC-160069][sql] Mover teste de simultaneidade de chaves de classificação para CollationFactorySuite
  • [SPARK-47494] [SC-160495][doc] Adicionar documento de migração para a mudança de comportamento na inferência de carimbo de data/hora Parquet a partir do Spark 3.3
  • [SPARK-47449] [SC-160372][ss] Refatorar e dividir testes de unidade da lista e do temporizador
  • [SPARK-46473] [SC-155663][sql] Método de reutilização getPartitionedFile
  • [SPARK-47423] [SC-160068][sql] Ordenações – Definir suporte de operação para cadeias de caracteres com ordenações
  • [SPARK-47439] [SC-160115][python] Documentar a API de Fonte de Dados do Python na página de referência da API
  • [SPARK-47457] [SC-160234][sql] Correção IsolatedClientLoader.supportsHadoopShadedClient para lidar com Hadoop 3.4+
  • [SPARK-47366] [SC-159348][sql] Implementar parse_json.
  • [SPARK-46331] [SC-152982][sql] Removendo CodegenFallback do subconjunto de expressões DateTime e expressão version()
  • [SPARK-47395] [SC-159404] Adicionar ordenação a outras APIs
  • [SPARK-47437] [SC-160117][python][CONNECT] Corrija a classe de erro para DataFrame.sort*
  • [SPARK-47174] [SC-154483][connect][SS][1/2] SparkConnectListenerBusListener para o ouvinte de consultas de streaming do lado do cliente
  • [SPARK-47324] [SC-158720][sql] Adicionar conversão ausente de carimbo de data/hora para tipos aninhados JDBC
  • [SPARK-46962] [SC-158834][ss][PYTHON] Adicionar interface para a API de fonte de dados de streaming do Python e implementar o python Worker para executar a fonte de dados de streaming do Python
  • [SPARK-45827] [SC-158498][sql] Mover verificações de tipo de dados para CreatableRelationProvider
  • [SPARK-47342] [SC-158874][sql] Suporte a TimestampNTZ para DB2 TIMESTAMP WITH TIME ZONE
  • [SPARK-47399] [SC-159378][sql] Desabilitar colunas geradas em expressões com colações
  • [SPARK-47146] [SC-158247][core] Possível vazamento de thread ao fazer a junção de mesclagem baseada em ordenação
  • [SPARK-46913] [SC-159149][ss] Adicionar suporte para timers baseados em tempo de processamento/evento com o operador transformWithState
  • [SPARK-47375] [SC-159063][sql] Adicionar diretrizes para mapeamento de timestamp em JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][sql] Suporte a TIMESTAMP COM FUSO HORÁRIO para H2Dialect
  • [SPARK-45827] Reverter "[SC-158498][sql] Mover verificações de tipo de dados para...
  • [SPARK-47208] [SC-159279][core] Permitir a substituição da memória de sobrecarga base
  • [SPARK-42627] [SC-158021][spark-26494][SQL] Suporte a ORACLE TIMESTAMP COM FUSO HORÁRIO LOCAL
  • [SPARK-47055] [SC-156916][python] Atualizar MyPy 1.8.0
  • [SPARK-46906] [SC-157205][ss] Adicionar uma verificação de alteração de operação com estado para streaming
  • [SPARK-47391] [SC-159283][sql] Remova a solução alternativa de caso de teste para JDK 8
  • [SPARK-47272] [SC-158960][ss] Adicionar implementação mapState para a API de Estado v2.
  • [SPARK-47375] [SC-159278][doc][FollowUp] Corrigir um erro no documento de opção preferTimestampNTZ do JDBC
  • [SPARK-42328] [SC-157363][sql] Remover _LEGACY_ERROR_TEMP_1175 de classes de erro
  • [SPARK-47375] [SC-159261][doc][FollowUp] Corrigir a descrição da opção preferTimestampNTZ no documento JDBC
  • [SPARK-47344] [SC-159146] Estender INVALID_IDENTIFIER erro além de capturar '-' em um identificador não coqueado e corrigir "IS ! NULL" et al.
  • [SPARK-47340] [SC-159039][sql] Alterar "collate" no nome do tipo StringType para letras minúsculas
  • [SPARK-47087] [SC-157077][sql] Gerar exceção do Spark com uma classe de erro na verificação de valor de configuração
  • [SPARK-47327] [SC-158824][sql] Corrigir problema de segurança de thread no Collator do ICU
  • [SPARK-47082] [SC-157058][sql] Corrigir a condição de erro fora dos limites
  • [SPARK-47331] [SC-158719][ss] Serialização usando classes de caso/primitivas/POJO com base no codificador SQL para API de Estado Arbitrário v2.
  • [SPARK-47250] [SC-158840][ss] Adicionar validações adicionais e alterações de NERF para o provedor de estado RocksDB e o uso de famílias de colunas
  • [SPARK-47328] [SC-158745][sql] Renomeie colação UCS_BASIC para UTF8_BINARY
  • [SPARK-47207] [SC-157845][core] Suporte spark.driver.timeout e DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][doc] Adicionar documento de migração: inferência de tipo TimestampNTZ em arquivos Parquet
  • [SPARK-47309] [SC-158827][sql][XML] Adicionar testes de unidade de inferência de esquema
  • [SPARK-47295] [SC-158850][sql] Adicionado ICU StringSearch para as funções startsWith e endsWith
  • [SPARK-47343] [SC-158851][sql] Corrigir NPE quando sqlString o valor da variável for uma cadeia de caracteres nula em execução imediata
  • [SPARK-46293] [SC-150117][connect][PYTHON] Usar protobuf dependência transitiva
  • [SPARK-46795] [SC-154143][sql] Substituir UnsupportedOperationException por SparkUnsupportedOperationException in sql/core
  • [SPARK-46087] [SC-149023][python] Sincronizar dependências do PySpark em documentos e requisitos de desenvolvimento
  • [SPARK-47169] [SC-158848][sql] Desabilitar bucketing em colunas agrupadas
  • [SPARK-42332] [SC-153996][sql] Alterando o requisito para um SparkException em ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][sql] Mover verificações de tipo de dados para CreatableRelationProvider
  • [SPARK-47341] [SC-158825][connect] Substituir comandos por relações em alguns testes no SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][sql] Substitua a classe de erro _LEGACY_ERROR_TEMP_2020 por um erro interno
  • [SPARK-47248] [SC-158494][sql][COLLATION] Suporte aprimorado à função de cadeia de caracteres: contém
  • [SPARK-47334] [SC-158716][sql] Reutilizar withColumnRenamed a implementação de withColumnsRenamed
  • [SPARK-46442] [SC-153168][sql] DS V2 suporta o rebaixamento de PERCENTILE_CONT e PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][sql] Adicionado tratamento de erro scala.MatchError dentro de QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][sql] Adicionar tipo singleton variante para Java
  • [SPARK-47337] [SC-158743][sql][DOCKER] Atualizar a versão da imagem do docker DB2 para 11.5.8.0
  • [SPARK-47302] [SC-158609][sql] Colacionar palavra-chave como identificador
  • [SPARK-46817] [SC-154196][core] Corrigir spark-daemon.sh o uso adicionando decommission comando
  • [SPARK-46739] [SC-153553][sql] Adicionar a classe de erro UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][sql] Adicionar a COLLATION_ENABLED flag de configuração
  • [SPARK-46774] [SC-153925][sql][AVRO] Use mapreduce.output.fileoutputformat.compress em vez de mapred.output.compress obsoleto em tarefas de escrita do Avro
  • [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory: Tempo limite se o trabalho não se conectar novamente.
  • [SPARK-46835] [SC-158355][sql][Ordenações] Suporte de junção para ordenações não binárias
  • [SPARK-47131] [SC-158154][sql][COLLATION] Suporte à função string: contém, começa com, termina com
  • [SPARK-46077] [SC-157839][sql] Considere o tipo gerado por TimestampNTZConverter em JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][sql][PYTHON] Suprimir exceções do Python em que PySpark não está no caminho do Python
  • [SPARK-47319] [SC-158599][sql] Melhorar o cálculo da entrada ausente
  • [SPARK-47316] [SC-158606][sql] Corrigir TimestampNTZ no array do Postgres
  • [SPARK-47268] [SC-158158][sql][Ordenações] Suporte para redistribuição com ordenações
  • [SPARK-47191] [SC-157831][sql] Evite a pesquisa de relação desnecessária ao desacompactar tabela/exibição
  • [SPARK-47168] [SC-158257][sql] Desabilitar pushdown de filtro parquet ao trabalhar com cadeias de caracteres não padrão agrupadas
  • [SPARK-47236] [SC-158015][core] Correção deleteRecursivelyUsingJavaIO para ignorar a entrada de arquivo não existente
  • [SPARK-47238] [SC-158466][sql] Reduzir o uso de memória do executor tornando o código gerado no WSCG uma variável de difusão
  • [SPARK-47249] [SC-158133][connect] Correção de bug em que todas as execuções de conexão são consideradas abandonadas independentemente de seu status real
  • [SPARK-47202] [SC-157828][python] Corrigir erro de digitação que quebra datetimes com tzinfo
  • [SPARK-46834] [SC-158139][sql][Colações] Suporte para agregações
  • [SPARK-47277] [SC-158351][3.5] Função util PySpark assertDataFrameEqual não deve dar suporte ao DF de streaming
  • [SPARK-47155] [SC-158473][python] Corrigir problema de classe de erro
  • [SPARK-47245] [SC-158163][sql] Melhorar o código de erro para INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][core] Adicionar uma mensagem de aviso em Dependency quando um número muito grande de blocos de embaralhamento estiver para ser criado.
  • [SPARK-47277] [SC-158329] Função util PySpark assertDataFrameEqual não deve dar suporte ao DF de streaming
  • [SPARK-47293] [SC-158356][core] Compilar batchSchema com sparkSchema em vez de acrescentar um por um
  • [SPARK-46732] [SC-153517][connect] Fazer o thread de Subconsulta/Transmissão funcionar com o gerenciamento de artefatos do Connect
  • [SPARK-44746] [SC-158332][python] Adicione mais documentação do Python UDTF para funções que aceitam tabelas de entrada
  • [SPARK-47120] [SC-157517][sql] Comparação nula efetua push do filtro de dados da subconsulta produzida em NPE no filtro Parquet
  • [SPARK-47251] [SC-158291][python] Bloquear tipos inválidos do args argumento para sql comando
  • [SPARK-47251] Reverter “[SC-158121][python] Bloquear tipos inválidos do argumento para o comando args”
  • [SPARK-47015] [SC-157900][sql] Desabilitar o particionamento em colunas agrupadas
  • [SPARK-46846] [SC-154308][core] Fazer WorkerResourceInfo estender Serializable explicitamente
  • [SPARK-46641] [SC-156314][ss] Adicionar limite maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][conectar] SparkConnectPlanner tornar as funções internas privadas
  • [SPARK-47266] [SC-158146][connect] Fazer ProtoUtils.abbreviate retornar o mesmo tipo que a entrada
  • [SPARK-46961] [SC-158183][ss] Usando ProcessorContext para armazenar e recuperar identificador
  • [SPARK-46862] [SC-154548][sql] Desabilitar a poda de coluna CSV no modo de várias linhas
  • [SPARK-46950] [SC-155803][core][SQL] Alinhar not available codec classe de erro
  • [SPARK-46368] [SC-153236][core] Suporte readyz na API de Envio REST
  • [SPARK-46806] [SC-154108][python] Melhorar a mensagem de erro para spark.table quando o tipo de argumento estiver errado
  • [SPARK-47211] [SC-158008][connect][PYTHON] Correção para colação de cadeia de caracteres do PySpark Connect que estava sendo ignorada
  • [SPARK-46552] [SC-151366][sql] Substituir UnsupportedOperationException por SparkUnsupportedOperationException in catalyst
  • [SPARK-47147] [SC-157842][python][SQL] Corrigir erro de conversão de cadeia de caracteres agrupada do PySpark
  • [SPARK-47144] [SC-157826][connect][SQL][python] Corrigir erro de ordenação do Spark Connect adicionando o campo protobuf collateId
  • [SPARK-46575] [SC-153200][sql][HIVE] Tornar HiveThriftServer2.startWithContext DevelopApi retratável e corrigir a instabilidade de ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-153832][core] No ResourceProfileManager, as chamadas de função devem ocorrer após declarações variáveis
  • [SPARK-47214] [SC-157862][python] Criar a API UDTF para o método 'analyze' para diferenciar argumentos NULL constantes e outros tipos de argumentos
  • [SPARK-46766] [SC-153909][sql][AVRO] Suporte ao pool de buffers ZSTD para fonte de dados AVRO
  • [SPARK-47192] [SC-157819] Converter alguns erros de _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][ss] Adicionar suporte para ListState na API de Estado Arbitrário v2.
  • [SPARK-46881] [SC-154612][core] Suporte spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][core] Suporte spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][sql] Corrigir o bug que usa o codec de compactação parquet lz4raw incorreto
  • [SPARK-46791] [SC-154018][sql] Suporte a Java Set em JavaTypeInference
  • [SPARK-46332] [SC-150224][sql] Migrar CatalogNotFoundException para a classe de erro CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][sql] Fazer com que o valor padrão de um literal estreito derivado de um tipo mais amplo na v2 se comporte da mesma forma que na v1
  • [SPARK-46664] [SC-153181][core] Melhorar Master para se recuperar rapidamente no caso de zero trabalhadores e aplicações
  • [SPARK-46759] [SC-153839][sql][AVRO] Codecs xz e zstandard suportam nível de compressão para arquivos avro

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Confira Atualizações de manutenção do Databricks Runtime 15.2.

Ambiente do sistema

  • Sistema operacional: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Bibliotecas do Python instaladas

Library Version Library Version Library Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 criptografia 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorador 5.1.1 distlib 0.3.8
entrypoints 0.4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 packaging 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot CRAN do Gerenciador de Pacotes Posit.

Library Version Library Version Library Version
arrow 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
classe 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compilador 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 credenciais 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 hash 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 reticências 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
genéricos 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grade 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 methods 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
forma 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 espacial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)

ID do grupo ID do artefato Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger criador de perfil 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on