Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 18.1 (Beta).
Essa versão incorpora todos os recursos, melhorias e correções de bug de todas as versões anteriores do Databricks Runtime. O Databricks lançou esta versão em fevereiro de 2026.
Importante
O Databricks Runtime 18.1 está em Beta. O conteúdo dos ambientes com suporte pode mudar durante o Beta. As alterações podem incluir a lista de pacotes ou versões de pacotes instalados.
Novos recursos e melhorias
- O Carregador Automático usa eventos de arquivo por padrão quando disponível
- Gravações otimizadas para tabelas do Unity Catalog particionadas, criadas com CRTAS
- Suporte ao tipo de dados DATETIMEOFFSET para o Microsoft Azure Synapse
- Comentários da tabela do Google BigQuery
- Evolução do esquema com INSERT declarações
- Preservação de valores NULL em estruturas nas operações INSERT
- Suporte a transações em múltiplas instruções do Delta Sharing
- Pontos de verificação do DataFrame em caminhos de volume
- Os comandos SQL não são mais executados novamente ao chamar cache()
- Função SQL parse_timestamp
- Suporte ao cursor SQL em instruções compostas
- Funções de esquemas top-k aproximadas
- Funções de esboço de tupla
O Carregador Automático usa eventos de arquivo por padrão quando disponível
O Carregador Automático usa eventos de arquivo por padrão ao carregar de um local externo com eventos de arquivo habilitados, o que reduz as operações de lista e o custo em comparação com a listagem de diretórios. Consulte o Carregador Automático com visão geral de eventos de arquivo. Os eventos de arquivo não serão usados se seu código de fluxo definir useIncrementalListing ou useNotifications. Para usar a listagem de diretórios, defina useManagedFileEvents como false.
Gravações otimizadas para tabelas particionadas no Unity Catalog criadas com CRTAS
Gravações otimizadas se aplicam a tabelas particionadas do Catálogo do Unity criadas pelo CREATE OR REPLACE TABLE ... AS SELECT (CRTAS), produzindo menos arquivos maiores. Esse comportamento é habilitado por padrão. Para desabilitar, defina spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled como false.
Suporte ao tipo de dados DATETIMEOFFSET para o Microsoft Azure Synapse
O DATETIMEOFFSET tipo de dados tem suporte para conexões do Microsoft Azure Synapse.
Comentários da tabela do Google BigQuery
As descrições da tabela do Google BigQuery são resolvidas e expostas como comentários de tabela.
Evolução do esquema com INSERT declarações
Use a WITH SCHEMA EVOLUTION cláusula com instruções SQL INSERT para evoluir automaticamente o esquema da tabela de destino durante as operações de inserção. Há suporte para INSERT INTO, INSERT OVERWRITE e INSERT INTO ... REPLACE formas. Por exemplo:
INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;
O esquema da tabela Delta Lake de destino é atualizado para acomodar colunas adicionais ou tipos expandidos da origem. Para obter detalhes, consulte a evolução do esquema e INSERT a sintaxe da instrução.
Valores de struct preservados como NULL em operações INSERT
INSERT operações com evolução de esquema ou conversão implícita preservam NULL valores de struct quando as tabelas de origem e destino têm ordens diferentes dos campos do struct.
Suporte para transações multideclarações no Delta Sharing
As tabelas de compartilhamento Delta que utilizam modos de compartilhamento com URL pré-assinado ou token da nuvem oferecem suporte a transações de várias instruções. No primeiro acesso dentro de uma transação, a versão da tabela é fixada e reutilizada para todas as leituras subsequentes nessa transação.
Limitations:
- Não há suporte para viagem no tempo, fluxo de dados de alteração e streaming.
- Não há suporte para transações de várias instruções em tabelas compartilhadas sem histórico.
- Visões compartilhadas e entidades externas não são permitidas em ambiente de computação não confiável.
Pontos de verificação do DataFrame em caminhos de volume
Os pontos de verificação do DataFrame suportam caminhos de volume do Unity Catalog. Configure o caminho do ponto de verificação usando SparkContext.setCheckpointDir na computação dedicada ou a configuração spark.checkpoint.dir na computação padrão.
Os comandos SQL não são mais executados novamente ao chamar cache()
Os comandos SQL não são mais reexecutados quando se chama o DataFrame de resultado através de .cache(). Isso inclui comandos como SHOW TABLES e SHOW NAMESPACES.
função SQL parse_timestamp
A parse_timestamp função SQL analisa cadeias de caracteres de carimbo de data/hora em relação a vários padrões. Ele é fotonizado para avaliação mais rápida com carimbos de data/hora em vários formatos. Consulte padrões datetime para obter informações sobre a formatação de padrão datetime.
Suporte ao cursor SQL em instruções compostas
As declarações compostas de script SQL agora oferecem suporte para o processamento de cursores. Use DECLARE CURSOR para definir um cursor e então utilize uma instrução OPEN, uma instrução FETCH e uma instrução CLOSE para executar a consulta e consumir as linhas uma de cada vez. Os cursores podem usar marcadores de parâmetro e manipuladores de condição, como NOT FOUND para processamento linha por linha.
Funções de esboço aproximadas top-k
As novas funções permitem a criação e a combinação de esboços top-K aproximados para agregação distribuída top-K:
-
approx_top_k_accumulate: cria um esboço por grupo. Consulteapprox_top_k_accumulatea função de agregação. -
approx_top_k_combine: mescla esboços. Consulteapprox_top_k_combinea função de agregação. -
approx_top_k_estimate: retorna os principais itens K com contagens estimadas. Veja aapprox_top_k_estimatefunção.
Para obter mais informações, consulte approx_top_k a função de agregação e as funções internas.
Funções de esboço de tupla
Novas funções agregadas e escalares para esboço de tupla dão suporte a contagem e agregação distintas em pares de resumo de chave.
Funções de agregação:
-
tuple_sketch_agg_doublefunção de agregação -
tuple_sketch_agg_integerfunção de agregação -
tuple_union_agg_doublefunção de agregação -
tuple_union_agg_integerfunção de agregação -
tuple_intersection_agg_doublefunção de agregação -
tuple_intersection_agg_integerfunção de agregação
Funções escalares:
tuple_sketch_estimatetuple_sketch_summarytuple_sketch_thetatuple_uniontuple_intersectiontuple_difference
Consulte funções internas.
Alterações comportamentais
- Cláusula FILTER para funções de agregação MEASURE
- Gravações otimizadas para operações do Catálogo do Unity CRTAS
- Atualização de cache do DataFrame para tabelas de controle de acesso refinadas
- Valores de partição de timestamps usam o fuso horário da sessão
- DESCRIBE FLOW é uma palavra-chave reservada
- Melhoria de desempenho de operações geoespaciais
- Tipos de exceção para SQLSTATE
- Expansão automática de tipo de streaming
Cláusula FILTER para funções de agregação MEASURE
As funções de agregação MEASURE agora dão suporte a cláusulas FILTER. Anteriormente, os filtros eram silenciosamente ignorados.
Operações de gravações otimizadas para CRTAS do Unity Catalog
CRIAR OU SUBSTITUIR TABLE As operações do AS SELECT (CRTAS) em tabelas particionadas do Catálogo do Unity agora aplicam gravações otimizadas por padrão. Para desabilitar, defina spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled como false.
Atualização de cache do DataFrame para tabelas de controle de acesso refinadas
Gravar em tabelas de controle de acesso refinadas na computação dedicada agora atualiza DataFrames armazenados em cache que dependem da tabela.
Valores de partição de timestamp usam o fuso horário da sessão
Os valores de partição de timestamp usam o fuso horário da sessão Spark em vez do fuso horário JVM. Se você tiver partições de carimbo de data/hora gravadas antes do Databricks Runtime 18.0, execute SHOW PARTITIONS para verificar os metadados de partição antes de gravar novos dados.
Palavra-chave reservada DESCRIBE FLOW
O DESCRIBE FLOW comando agora está disponível. Se você tiver uma tabela chamada flow, use DESCRIBE schema.flow, DESCRIBE TABLE flow, ou DESCRIBE `flow` com backticks.
Melhoria de desempenho de operações geoespaciais
As operações de conjunto booliano geoespaciais usam uma nova implementação com melhor desempenho. Pequenas diferenças de precisão podem ocorrer após o 15º local decimal.
Tipos de exceção para SQLSTATE
Os tipos de exceção são atualizados para dar suporte ao SQLSTATE. Se o seu código analisar exceções por comparação de strings ou capturar tipos de exceção específicos, atualize a lógica de tratamento de erros.
Ampliação automática do tipo de fluxo
As leituras de streaming nas tabelas Delta lidam automaticamente com a ampliação do tipo de coluna. Para exigir confirmação manual, defina spark.databricks.delta.typeWidening.enableStreamingSchemaTracking como true.
Atualizações de biblioteca
Nenhuma biblioteca foi atualizada nesta versão.
Apache Spark
O Databricks Runtime 18.1 inclui o Apache Spark 4.1.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 18.0, bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:
- SPARK-55350 Corrigir a perda na contagem de linhas ao criar um DataFrame do pandas com 0 colunas
- SPARK-55364 Tornar o protocolo SupportsIAdd e SupportsOrdering mais razoável
- SPARK-53656 Refatorar MemoryStream para usar SparkSession em vez de SQLContext
-
SPARK-55472 Lançar
AttributeErrorde métodos removidos no pandas 3 - SPARK-55224 Usar o Spark DataType como referência na serialização Pandas-Arrow
- SPARK-55402 Mover streamingSourceIdentifyingName de CatalogTable para DataSource
- SPARK-55459 Corrigir regressão de desempenho 3x em applyInPandas para grupos grandes
- SPARK-55317 Adicionar o nó de plano lógico SequentialUnion e a regra de planejamento
-
SPARK-55424 Passar explicitamente o nome da série em
convert_numpy -
SPARK-55175 Extrair
to_pandastransformador dos serializadores - SPARK-55304 Introduzir suporte ao Controle de Admissão e ao Trigger.AvailableNow na fonte de dados do Python – leitor de streaming
-
SPARK-55382 Configurar
Executorpara registrar em logRunning Spark version - SPARK-55408 Manipular erros inesperados de argumento de palavra-chave relacionados a data e hora com pandas 3
- SPARK-55345 Não passe a unidade e feche para Timedelta para pandas 3
- SPARK-54759 Proteger corretamente a lógica no Gerenciador de Variáveis de Script após a introdução do Cursor
- SPARK-55409 Manipular um erro de argumento de palavra-chave inesperado de read_excel com pandas 3
-
SPARK-55403 Corrigir
no attribute 'draw'o erro nos testes de plotagem com o pandas 3 - SPARK-55256 Reverter "[SC-218596][SQL] Suporte IGNORE NULLS/RESPECT NULLS para array_agg e collect_list"
- SPARK-55256 Suporte a IGNORE NULLS / RESPECT NULLS para array_agg e collect_list
-
SPARK-55395 Desabilitar o cache RDD em
DataFrame.zipWithIndex - SPARK-55131 Introduzir um novo delimitador de operador de mesclagem para RocksDB para esvaziar a cadeia de caracteres a ser executada sem delimitador
- SPARK-55376 Tornar o argumento numeric_only em funções groupby aceitar apenas booleano com pandas 3
-
SPARK-55334 Habilitar
TimestampTypeeTimestampNTZTypenoconvert_numpy - SPARK-55281 Adicionar ipykernel e IPython à lista de pacotes opcionais mypy
- SPARK-55336 Deixe o createDF usar o fluxo lógica create_batch para desassociar
-
SPARK-55366 Remover
errorOnDuplicatedFieldNamesde UDFs do Python - SPARK-54759 Suporte ao cursor em scripts SQL
-
SPARK-55302 Corrigir métricas personalizadas em caso de
KeyGroupedPartitioning - SPARK-55228 Implementar Dataset.zipWithIndex na API Scala
- SPARK-55373 Melhorar a mensagem de erro noHandlerFoundForExtension
- SPARK-55356 Alias de suporte para PIVOT cláusula
-
SPARK-55359 Promover
TaskResourceRequestparaStable - SPARK-55365 Generalizar as ferramentas utilitárias para conversão de array Arrow
- SPARK-55106 Adicionar teste de integração de repartição para operadores TransformWithState
- SPARK-55086 Adicionar DataSourceReader.pushFilters aos documentos da API de Fonte de Dados do Python
- SPARK-46165 Adicionar suporte para DataFrame.all axis=None
- SPARK-55289 Reverter "[SC-218749][SQL] Corrigir teste in-set-operations.sql flutuante desabilitando a junção de transmissão"
- SPARK-55297 Restaurar o dtype timedelta com base no dtype original
- SPARK-55291 Pré-processar cabeçalhos de metadados durante a construção do interceptador do cliente
-
SPARK-55155 Reaplicar "[SC-218401][SQL] Suportar expressões dobráveis na instrução
SET CATALOG - SPARK-55318 Otimizações de desempenho para vector_avg/vector_sum
- SPARK-55295 Estender a função ST_GeomFromWKB para obter um valor SRID opcional
- SPARK-55280 Adicionar o proto GetStatus para dar suporte ao monitoramento de status de execução
- SPARK-54969 Implementar a nova conversão de arrow-pandas>
-
SPARK-55176 Extrair
arrow_to_pandasconversor em ArrowArrayToPandasConversion - SPARK-55111 Reverter "[SC-217817][SC-210791][SS] Detecção de redistribuição inacabada ao reiniciar a consulta"
-
SPARK-55252 Melhorar
HttpSecurityFilterpara adicionarContent-Security-Policycabeçalho - SPARK-55111 Detecção de repartição inacabada na reinicialização da consulta
- SPARK-55105 Adicionar teste de integração para o operador join
- SPARK-55260 Implementar o suporte de gravação parquet para tipos geográficos
- SPARK-54523 Corrigir a resolução padrão durante o pushdown de variantes
- SPARK-55328 Reutilizar PythonArrowInput.codec em GroupedPythonArrowInput
- SPARK-55246 Adicionar teste para Pyspark TWS e TWSInPandas e corrigir bug em StatePartitionAllColumnFamiliesWriter
- SPARK-55289 Corrigir teste instável em in-set-operations.sql desabilitando o join de broadcast
- SPARK-55040 Refatorar TaskContext e o protocolo de trabalho relacionado com a correção no mecanismo do PySpark.
- SPARK-47996 dá suporte à mesclagem cruzada na API do Pandas
- SPARK-55031 Adicionar expressões de função de agregação vector avg/sum
- SPARK-54410 Corrigir o suporte de leitura para a anotação de tipo lógico variante
- SPARK-54776 Reverter "[SC-216482][SQL] Melhorias na mensagem de logs referentes à função lambda com UDF do SQL"
- SPARK-55123 Adicionar SequentialUnionOffset para acompanhar o processamento de origem sequencial
- SPARK-54972 Aprimorar subconsultas NOT IN com colunas não anuláveis
- SPARK-54776 Melhoria da mensagem de logs em relação à função lambda com o UDF do SQL
-
SPARK-53807 Corrigir problemas de condição de corrida entre
unlockereleaseAllLocksForTaskemBlockInfoManager - SPARK-51831 Reverter "[SC-207389][SQL] Poda de coluna com existsJoin para Datasource V2"
-
SPARK-54881 Melhorar
BooleanSimplificationpara lidar com negação de conjunção e disjunção em uma única etapa - SPARK-54696 Limpeza dos ArrowBuffers no módulo Connect
-
SPARK-55009 Remover cópia de memória desnecessária do construtor de
LevelDBTypeInfo/RocksDBTypeInfo.Index - SPARK-54877 Tornar a exibição de stacktrace configurável na página de erro da interface do usuário
- SPARK-51831 Poda de coluna com existsJoin para Datasource V2
-
SPARK-55285 Corrigir a inicialização de
PythonArrowInput - SPARK-53960 Permitir que approx_top_k_accumulate/combinar/estimar lide com NULLs
- SPARK-49110 Simplificar SubqueryAlias.metadataOutput para propagar de forma consistente colunas de metadados
-
SPARK-55155 Reverter "[SC-218401][SQL] Suporte a expressões dobráveis na
SET CATALOGinstrução" -
SPARK-55155 Suporte a expressões possíveis de serem dobradas na
SET CATALOGinstrução - SPARK-49110 Reverter "[SC-218594][SQL] Simplificar SubqueryAlias.metadataOutput para sempre propagar colunas de metadados"
- SPARK-54399 Implementar a função st_setsrid no Scala e no PySpark
- SPARK-49110 Simplificar SubqueryAlias.metadataOutput para sempre propagar colunas de metadados
- SPARK-55133 Corrigir a condição de concorrência no gerenciamento do ciclo de vida do IsolatedSessionState
- SPARK-55262 Bloquear tipos geográficos em todas as fontes de dados baseadas em arquivo, exceto Parquet
- SPARK-54202 Permitir a conversão de GeometryType(srid) para GeometryType(ANY)
- SPARK-54142 Implementar a função st_srid no Scala e no PySpark
- SPARK-54887 Sempre defina um estado sql no cliente do Spark Connect
- SPARK-55237 Suprimir mensagens irritantes ao procurar bancos de dados inexistentes
- SPARK-55040 Reverter "[SC-217628][PYTHON] Refatorar TaskContext e protocolo de trabalho relacionado"
- SPARK-55243 Permitir a configuração de cabeçalhos binários por meio do sufixo -bin no cliente Scala Connect
- SPARK-55259 Implementar a conversão de esquema Parquet para tipos geográficos
- SPARK-55282 Evite usar worker_util no lado do Driver
- SPARK-54151 Introduzir a estrutura para adicionar funções ST no PySpark
- SPARK-55194 Remover GroupArrowUDFSerializer movendo a lógica de achatamento para o mapeador
- SPARK-55020 Desabilitar o gc ao executar o comando gRPC
- SPARK-55053 Refatorar os processos de análise de fonte de dados/udtf para que eles tenham uma entrada unificada
- SPARK-55040 Refatorar TaskContext e protocolo de trabalho relacionado
- SPARK-55244 Usar np.nan como valor padrão para tipos de string do pandas
- SPARK-55225 Restaurar o dtype original do Datetime
- SPARK-55154 Remova o fastpath para pd. Série para pandas 3
- SPARK-55030 Adicionar suporte a expressões de norma vetorial/normalização de funções
- SPARK-55202 Corrija UNEXPECTED_USE_OF_PARAMETER_MARKER ao usar o parâmetro...
- SPARK-54201 Permitir a conversão de GeographyType(srid) para GeographyType(ANY)
- SPARK-54244 Introduzir suporte de coerção de tipo para tipos de dados GEOMETRY
- SPARK-54160 Implementar a expressão ST_SetSrid no SQL
- SPARK-55046 Adicionar métrica de tempo de processamento ao udf do PySpark
- SPARK-54101 Introduzir a estrutura para adicionar funções ST no Scala
- SPARK-54683 Unificar o bloqueio de tipos geográficos e de tempo
- SPARK-55249 Tornar DataFrame.toJSON capaz de retornar dataframe
- SPARK-54521 Adicionar ao WKB e do WKB para o tipo Geometria
- SPARK-54162 Permitir a conversão de GeographyType para GeometryType
- SPARK-55146 Recheckin State Repartition API for PySpark
- SPARK-55140 Não mapear funções embutidas para a versão do numpy para o pandas 3
- SPARK-54243 Introduzir suporte de coerção de tipo para tipos de dados GEOGRAPHY
- SPARK-55058 Gerar erro em metadados de ponto de verificação inconsistentes
- SPARK-55108 Usar os últimos pandas-stubs para verificação de tipo
- SPARK-54091 Implementar a expressão ST_Srid no SQL
- SPARK-55104 Adicionar suporte do Spark Connect para DataStreamReader.name()
- SPARK-54996 Reportar ArrivalTime para os registros de LowLatencyMemoryStream
- SPARK-55118 Substituir importações curinga do ASM Opcodes
- SPARK-54365 Adicionar o Teste de Integração de Repartição para operadores Aggregate, Dedup, FMGWS e SessionWindow
- SPARK-55119 Corrigir o Manipulador de Continuação: impedir INTERNAL_ERROR e interrupção incorreta de instruções condicionais
- SPARK-54104 Não permitir a conversão de tipos geoespaciais de/para outros tipos de dados
- SPARK-55240 Refatorar o tratamento de stacktrace LazyTry para usar wrapper em vez de exceção suprimida
-
SPARK-55238 Mover a lógica de mapeamento do SRS geográfico de
main/scalaparamain/java -
SPARK-55179 Pular a validação imediata do nome da coluna em
df.col_name - SPARK-55055 Suporte a SparkSession.Builder.create para PySpark Classic
- SPARK-55186 Fazer ArrowArrayToPandasConversion.convert_legacy capaz de retornar pd.DataFrame
- SPARK-54079 Introduzir a estrutura para adicionar expressões ST no Catalyst
- SPARK-54096 Suporte ao mapeamento do sistema de referência espacial no PySpark
- SPARK-54801 Marcar algumas novas configurações 4.1 como internas
- SPARK-55146 Reverter "[SC-217936][SC-210779][SS] API de Repartição de Estado para PySpark"
- SPARK-54559 Usar runnerConf para passar a opção de profiler
- SPARK-55205 Corrigir testes em que ele pressupõe que o tipo de cadeia de caracteres será convertido em objeto
- SPARK-55171 Correção do profilador de memória na UDF do iterador
- SPARK-55226 Reconhecer datetime e timedelta com unidades diferentes de [ns]
- SPARK-55027 Mover writeConf para PythonWorkerUtils
-
SPARK-55197 Extrair
_write_stream_startauxiliar para deduplicação da lógica de sinal START_ARROW_STREAM - SPARK-54179 Adicionar suporte nativo para esboços de tupla do Apache (#190848) (#191111)
- SPARK-55151 Corrigir RocksDBSuite testWithStateStoreCheckpointIds
- SPARK-55146 API de Repartição de Estado para PySpark
- SPARK-54232 Habilitar a serialização Arrow para tipos de Geografia e Geometria
- SPARK-53957 Suporte a GEOGRAPHY e GEOMETRY no SpatialReferenceSystemMapper
- SPARK-55169 Usar ArrowBatchTransformer.flatten_struct no ArrowStreamArrowUDTFSerializer
-
SPARK-55134 Correção
BasicExecutorFeatureSteppara gerarIllegalArgumentExceptionpara configurações incorretas de cpu do executor - SPARK-54166 Introduzir codificadores de tipo para tipos geoespaciais no PySpark
-
SPARK-55138 Correção de um erro ao lançar um
NullPointerException - SPARK-55168 Usar ArrowBatchTransformer.flatten_struct em GroupArrowUDFSerializer
- SPARK-55032 Refatorar profilers em workers.py
- SPARK-54990 Correção de como a classeproperty é implementada no session.py
- SPARK-55076 Corrigir o problema de dica de tipo em ml/mllib e adicionar requisito scipy
- SPARK-55162 Extrair transformadores do ArrowStreamUDFSerializer
- SPARK-55121 Adicionar DataStreamReader.name() ao PySpark Clássico
- SPARK-54887 Adicionar sqlstate opcional a sparkthrowables
- SPARK-54169 Introduzir tipos de Geografia e Geometria no gravador de seta
- SPARK-51658 Introduzir formas de encapsulamento de geometria e geografia na memória
- SPARK-54110 Introduzir codificadores de tipo para tipos de geografia e geometria
- SPARK-54956 Unificar a solução de repetição de shuffle indeterminado
-
SPARK-55137 Refatorar
GroupingAnalyticsTransformereAnalyzercódigo - SPARK-54103 Introduzir classes Geography e Geometry do lado do cliente
- SPARK-55160 Passar diretamente o esquema de entrada para serializadores
- SPARK-55170 Extrair padrão de leitura de fluxo agrupado de serializadores
-
SPARK-55125 Remover métodos redundantes
__init__em serializadores de Arrow - SPARK-55126 Remover fuso horário não utilizado e assign_cols_by_name de ArrowStreamArrowUDFSerializer
- SPARK-54980 Converter o nível de isolamento JDBC em uma cadeia de caracteres
- SPARK-55051 Cadeia de bytes aceita KiB, MiB, GiB, TiB, PiB
- SPARK-55025 Melhorar o desempenho no Pandas usando compreensão de listas
- SPARK-46165 Adicione suporte para pandas. DataFrame.all axis=1
- SPARK-55037 Implementar novamente a observação sem usar o QueryExecutionListener
- SPARK-54965 Fatorar o conversor de pa.Array herdado para pd.Series
- SPARK-55016 Tornar o SQLConf uma propriedade direta do SparkSession para evitar o estouro da pilha
- SPARK-55091 Reduzir chamadas RPC do Hive para o comando DROP TABLE
- SPARK-55097 Corrigir o problema de re-adicionar artefatos em cache que descarta blocos silenciosamente
- SPARK-55026 Otimize BestEffortLazyVal.
- SPARK-55091 Reverter "[SC-217410][SQL] Reduzir chamadas de RPC do Hive para o comando DROP TABLE"
- SPARK-54590 Suporte ao Ponto de Verificação V2 para Reescrita de Estado e Reparticionamento
- SPARK-55016 Transformar SQLConf em uma propriedade direta do SparkSession para evitar o estouro da pilha
- SPARK-55091 Reduzir chamadas RPC do Hive para comando DROP TABLE
- SPARK-55016 Reverter "[SC-217401][SQL] Fazer do SQLConf uma propriedade direta do SparkSession para evitar estouro de pilha"
- SPARK-55016 Tornar o SQLConf uma propriedade direta do SparkSession para evitar o estouro da pilha
- SPARK-55098 UDFs vetoriais com controle de tamanho do lote de saída falham com perda de memória
- SPARK-54824 Adicionar suporte para multiGet e deleteRange para o Repositório de Estado do Rocksdb
- SPARK-55054 Adicionar suporte IDENTIFICADO POR para funções com valor de tabela de streaming
- SPARK-55029 Propagar o nome de identificação da fonte de streaming por meio do pipeline de resolução
- SPARK-55071 Fazer com que spark.addArtifact funcione com caminhos do Windows
- SPARK-54103 Reverter "[SC-210400][Geo][SQL] Introduzir classes de Geografia e Geometria do lado do cliente"
- SPARK-54103 Introduzir as classes Geography e Geometry do lado do cliente
- SPARK-54033 Introduzir classes de execução geoespaciais do lado do servidor Catalyst
- SPARK-54176 Introduzir tipos de dados Geografia e Geometria no PySpark Connect
- SPARK-55089 Corrigir o esquema de saída de toJSON
- SPARK-55035 Realizar limpeza de shuffle em execuções filhas
-
SPARK-55036 Adicionar
ArrowTimestampConversionpara manipulação de fuso horário de seta -
SPARK-55090 Implementar
DataFrame.toJSONno Cliente Python - SPARK-54873 Simplificar a resolução V2TableReference, pois somente a exibição temporária pode contê-la
- SPARK-52828 Tornar o hash para ordenação de cadeias de caracteres agrupadas independente
- SPARK-54175 Adicionar tipos de Geografia e Geometria ao proto do Spark Connect
-
SPARK-54961 Apresentar
GroupingAnalyticsTransformer - SPARK-55088 Manter os metadados em/from_arrow_type/esquema
- SPARK-55070 Permitir coluna oculta na resolução de coluna de dataframe
- SPARK-55044 Manter os metadados em toArrowSchema/fromArrowSchema
- SPARK-55043 Corrigir viagem no tempo com subconsulta que contém referências de tabela
-
SPARK-54987 Alterar o valor padrão de prefer_timestamp_ntz para True em
from_arrow_type/from_arrow_schema - SPARK-54866 Refatorar funções Drop/Refresh para evitar pesquisa no catálogo
- SPARK-55024 Utilizar o erro REQUIRES_SINGLE_PART_NAMESPACE para a validação do namespace do catálogo de sessão
- SPARK-54992 Substituir a conversão por uma verificação de tempo de execução para make_timestamp
- SPARK-55024 Reverter "[SC-216987][SQL] Usar o erro REQUIRES_SINGLE_PART_NAMESPACE para a validação do namespace do catálogo de sessão"
- SPARK-54866 Reverter "[SC-216753][SQL] Refatorar a função Drop/RefreshFunction para evitar consulta de catálogo"
- SPARK-55024 Usar o erro REQUIRES_SINGLE_PART_NAMESPACE para a validação do namespace do catálogo da sessão
- SPARK-54866 Refatorar Drop/RefreshFunction para evitar consulta de catálogo
- SPARK-54991 Correção na anotação de tipo para streaming/listener.py
- SPARK-54925 Adicionar a funcionalidade para despejar threads para pyspark
- SPARK-54803 Suporte por nome com INSERT ... SUBSTITUIR WHERE
- SPARK-54785 Adicionar suporte para agregações de esboçamento binário no KLL (nº 188370) (nº 188860)
- SPARK-54949 Mover pyproject.toml para a raiz do repositório
- SPARK-54954 Corrigir dicas de tipo relacionadas a remoto em util.py
- SPARK-54922 Unificar como os args são passados para os trabalhadores do Python
- SPARK-54870 Suporte de ordenação para char/varchar e CTAS/RTAS
-
SPARK-54762 Corrigir
_create_converterecovertsobrecarregar assinatura - SPARK-55019 Permitir DROP TABLE remover visualização
- SPARK-53103 Gerar um erro se o diretório de estado não estiver vazio quando a consulta for iniciada
- SPARK-54995 Criar um caminho rápido para foreachPartition
- SPARK-54634 Adicionar mensagem de erro clara para predicado IN vazio
- SPARK-54984 Execução de repartição de estado e integração com o State Rewriter
- SPARK-54443 Integrar PartitionKeyExtractor no leitor de re-partição
- SPARK-54907 Introduzir a regra do analisador NameStreamingSources para a evolução da origem do streaming
- SPARK-54609 Atualizar configuração de tipo TIME para corresponder ao open-source
- SPARK-54988 Simplificar a implementação de ObservationManager.tryComplete
- SPARK-54959 Desativar completamente a nova tentativa na incompatibilidade de soma de verificação de shuffle quando o shuffle baseado em push estiver ativado
- SPARK-54940 Adicionar testes para inferência de tipo pa.scalar
- SPARK-54634 Reverter "[SC-216478][SQL] Adicionar mensagem de erro clara para predicado IN vazio"
- SPARK-54337 Adicionar suporte para PyCapsule ao Pyspark
- SPARK-54634 Adicionar mensagem de erro clara para predicado IN vazio
- SPARK-53785 Fonte de memória para RTM
- SPARK-54883 Aperfeiçoar mensagens de erro da CLI e adicionar o novo modo de erro DEBUG
- SPARK-54713 Adicionar suporte a expressões de função de similaridade/distância de vetor
- SPARK-54962 Corrigir tratamento de inteiros anuláveis na UDF do Pandas
- SPARK-54864 Adicionar nós rCTE ao NormalizePlan
- SPARK-53847 Adicionar ContinuousMemorySink para teste de modo em tempo real
- SPARK-54865 Adicionar o método foreachWithSubqueriesAndPruning ao QueryPlan
- SPARK-54930 Remover a chamada redundante _accumulatorRegistry.clear() no arquivo worker.py
- SPARK-54929 Corrigir a reinicialização de taskContext._resources no loop, que faz com que somente o último recurso seja mantido
-
SPARK-54963 Fazer
createDataFramerespeitarprefer_timestamp_ntzquandoinfer_pandas_dict_as_map -
SPARK-54920 Mover a lógica de extração de análise de agrupamento para uma lógica comum
GroupingAnalyticsExtractor - SPARK-54924 Reescritor de estado para ler o estado, transformá-lo e gravar novo estado
- SPARK-54872 Unificar o tratamento de valor padrão de coluna entre comandos v1 e v2
- SPARK-54905 Simplificar a implementação de foreachWithSubqueries no QueryPlan
- SPARK-54682 Suporte para mostrar parâmetros em DESCRIBE PROCEDURE
-
SPARK-54933 Evite buscar repetidamente a configuração
binary_as_bytesemtoLocalIterator - SPARK-54872 Reverter "[SC-216260][SQL] Unificar manipulação de valor padrão de coluna entre comandos v1 e v2"
- SPARK-51936 ReplaceTableAsSelect deve substituir a nova tabela em vez de acrescentar
- SPARK-54771 Remover a regra ResolveUserSpecifiedColumns de RuleIdCollection
- SPARK-54872 Unificar o tratamento de valor padrão de coluna entre comandos v1 e v2
- SPARK-54313 Adicionar a opção --extra-properties-file para camadas de configuração
- SPARK-54468 Adicionar classes de erro ausentes
- SPARK-46741 A Tabela de Cache com CTE deve funcionar quando o CTE está em uma subconsulta dentro da expressão do plano
- SPARK-46741 A Tabela de Cache com CTE não funcionará
- SPARK-54615 Sempre passe runner_conf para o worker do Python
- SPARK-53737 Adicionar gatilho de modo em tempo real
- SPARK-54541 Renomear _LEGACY_ERROR_TEMP_1007 e adicionar sqlState
- SPARK-54718 Preservar nomes de atributos durante CTE newInstance()
- SPARK-54621 Mesclar em Conjunto de Atualizações * preservar campos aninhados se... coerceNestedTypes está habilitado
- SPARK-54595 Manter o comportamento existente sem a cláusula EVOLUTION MERGE INTOSCHEMA
- SPARK-54903 Tornar to_arrow_schema/to_arrow_type capaz de definir fuso horário
- SPARK-52326 Adicionar partições relacionadas a ExternalCatalogEvent e postá-las em operações correspondentes
- SPARK-54541 Reverter a alteração de "[SC-215212][SQL] Renomear _LEGACY_ERROR_TEMP_1007 e adicionar sqlState"
-
SPARK-54578 Executar limpeza de código em
AssignmentUtils - SPARK-54830 Habilitar por padrão a tentativa de embaralhamento indeterminado baseada em soma de verificação
- SPARK-54525 Desabilitar a coerção de struct aninhada em MERGE INTO sob uma configuração
- SPARK-53784 APIs de origem adicionais necessárias para dar suporte à execução do RTM
- SPARK-54496 Corrigir mesclagem na evolução do esquema para a API de dataframe
- SPARK-54835 Evitar temp QueryExecution desnecessária para a execução de comandos aninhados
- SPARK-54541 Renomear _LEGACY_ERROR_TEMP_1007 e adicionar sqlState
- SPARK-54289 Permitir MERGE INTO preservar os campos de struct existentes para UPDATESET * quando o struct de origem tiver menos campos aninhados do que o struct de destino
- SPARK-54720 Adicionar SparkSession.emptyDataFrame com um esquema
- SPARK-54800 Implementação padrão alterada para isObjectNotFoundException
- SPARK-54686 Relaxar verificações de tabela DSv2 em exibições temporárias para permitir novas colunas de nível superior
- SPARK-54619 Adicionar uma verificação de coerência para números de configuração
- SPARK-54726 Melhorar um pouco de desempenho para InsertAdaptiveSparkPlan
- SPARK-51966 Substitua select.select() por select.poll() ao executar no sistema operacional POSIX
- SPARK-54749 Corrigir a métrica numOutputRows incorreta no OneRowRelationExec
- SPARK-54411 Introduzir o Repartition Writer que dá suporte a vários CF
- SPARK-54835 Reverter "[SC-215823][SQL] Evitar QueryExecution temporária desnecessária para execução de comando aninhado"
- SPARK-54867 Introduzir o wrapper NamedStreamingRelation para identificação do código-fonte durante a análise
- SPARK-54835 Evitar execução temporária de consultas desnecessárias para execução de comando aninhado
- SPARK-54491 Corrigir a inserção no modo temporário na falha da tabela DSv2
- SPARK-54871 Remover aliases das expressões de agrupamento e agregadas antes de lidar com a análise agrupada
- SPARK-51920 Corrigir o tratamento de tipo de namedTuple para transfromWithState
- SPARK-54526 Renomear _LEGACY_ERROR_TEMP_1133 e adicionar sqlState
- SPARK-54424 As falhas durante o recaching não devem provocar falhas nas operações
-
SPARK-54894 Corrigir a passagem de argumentos
to_arrow_type - SPARK-53448 A conversão de um DataFrame PySpark com uma coluna Variant para pandas falha com um erro
- SPARK-54882 Remover PYARROW_IGNORE_TIMEZONE legado
- SPARK-54504 Corrigir a atualização de versão para tabelas DSv2 com subconsultas
- SPARK-54444 Relaxar as verificações de tabelas DSv2 para restaurar o comportamento anterior
- SPARK-54859 Arrow como padrão no documento de referência da API UDF do PySpark
- SPARK-54387 Reverter "[ES-1688666] Reverter "[SC-212394][SQL] Corrigir o cache de tabelas DSv2""
- SPARK-54753 corrige o vazamento de memória de ArtifactManager
- SPARK-54387 Reverter "[SC-212394][SQL] Corrigir o cache de tabelas DSv2"
- SPARK-54436 Corrigir a formatação de erro para verificações de metadados de tabela incompatíveis
-
SPARK-54849 Atualizar a versão mínima para
pyarrow18.0.0 - SPARK-54022 Tornar a resolução da tabela DSv2 consciente das tabelas armazenadas em cache
- SPARK-54387 Corrigir o recacheamento das tabelas DSv2
- SPARK-53924 Recarregar tabelas DSv2 em exibições criadas usando planos em cada acesso de exibição
-
SPARK-54561 Suporte a pontos de interrupção() para
run-tests.py - SPARK-54157 Corrigir a atualização das tabelas DSv2 no conjunto de dados
- SPARK-54830 Reverter "[CORE] Ativar a repetição de embaralhamento não determinístico baseada em checksum por padrão"
- SPARK-54861 Redefinir o nome do thread de tarefa para IDLE_TASK_THREAD_NAME quando a tarefa for concluída
- SPARK-54834 Adicionar novas interfaces SimpleProcedure e SimpleFunction
- SPARK-54760 DelegatingCatalogExtension como catálogo de sessão dá suporte a funções V1 e V2
- SPARK-54685 Remover respostas redundantes de métricas observadas
-
SPARK-54853 Sempre verifique
hive.exec.max.dynamic.partitionsno lado do Spark - SPARK-54840 Pré-alocação OrcList
- SPARK-54830 Habilitar por padrão a tentativa de embaralhamento indeterminado baseada em soma de verificação
-
SPARK-54850 Melhorar
extractShuffleIdspara localizarAdaptiveSparkPlanExecem qualquer lugar na árvore de planos - SPARK-54843 expressão Try_to_number não funcionando para entrada de string vazia
- SPARK-54556 Reversão de estágios de mapa de shuffle bem-sucedida quando é detectada uma incompatibilidade na soma de verificação do shuffle.
- SPARK-54760 Reverter "[SC-215670][SQL] DelegatingCatalogExtension como catálogo de sessão dá suporte a funções V1 e V2"
- SPARK-54760 DelegatingCatalogExtension como catálogo de sessão dá suporte a funções V1 e V2
- SPARK-54818 Alocação falhou no TaskMemoryManager deve registrar a pilha de erros para ajudar a verificar o uso da memória
-
SPARK-54827 Adicionar função auxiliar
TreeNode.containsTag - SPARK-54777 Reverter "[SC-215740][SQL] Tratamento de erro dropTable alterado em JDBCTableCatalog.dropTable(...)"
- SPARK-54777 Tratamento de erros dropTable alterado em JDBCTableCatalog.dropTable(...)
-
SPARK-54817 Refatoração da lógica de resolução
UnpivotparaUnpivotTransformer -
SPARK-54820 Tornar
pandas_on_spark_typecompatível com o numpy 2.4.0 -
SPARK-54799 Refatorar
UnpivotCoercion - SPARK-54754 O OrcSerializer não deve analisar o esquema sempre que for serializado
- SPARK-54226 Estender a compactação de seta para a UDF do Pandas
- SPARK-54787 Usar compreensão de lista em vez de laços de repetição 'for' no pandas
-
SPARK-54690 Tornar
Frame.__repr__insensível a otimização arrow - SPARK-46166 Implementação de pandas.DataFrame.any com axis=None
- SPARK-54696 Limpeza dos buffers do Arrow – complemento
- SPARK-54769 Remover código morto no conversion.py
- SPARK-54787 Usar a compreensão de lista no pandas _bool_column_labels
-
SPARK-54794 Suprimir logs de varredura verbosos
FsHistoryProvider.checkForLogs - SPARK-54745 Corrigir o erro de importação do PySpark causado pela falta de UnixStreamServer no Windows
- SPARK-54782 Corrigir as versões de configuração
- SPARK-54781 Retornar informações de cache de modelo no formato JSON
- SPARK-54419 O Leitor de Estado de Repartição Offline suporta famílias multicoluna
- SPARK-54722 Registrar UDF de Agregação por Grupo do Pandas para uso no SQL
-
SPARK-54762 Reverter "[SC-215422][PYTHON] Corrigir assinatura e sobrecarga
_create_converterecovert" - SPARK-54652 Reverter "[SC-215452][SQL] Conversão completa de IDENTIFIER()"
-
SPARK-54762 Corrigir
_create_converterecovertsobrecarregar assinatura - SPARK-52819 Tornando KryoSerializationCodec serializável para corrigir erros java.io.NotSerializableException em vários casos de uso
- SPARK-54711 Adicionar um tempo limite para a conexão de trabalho criada pelo daemon
- SPARK-54738 Adicionar suporte de Profiler para UDF de Agregação Iterada em Grupos do Pandas
- SPARK-54652 Conversão completa de IDENTIFIER()
- SPARK-54581 Tornando a opção fetchsize insensível a maiúsculas para o conector do Postgres
- SPARK-54589 Consolidar ArrowStreamAggPandasIterUDFSerializer em ArrowStreamAggPandasUDFSerializer
- SPARK-41916 Distribuidor torch: suporte a vários processos de torchrun por tarefa se task.gpu.amount > 1
-
SPARK-54707 Refatorar a lógica principal da resolução para
PivotTransformer - SPARK-54706 Fazer o DistributedLDAModel funcionar com o sistema de arquivos local
- SPARK-53616 Introduzir a API do iterador para UDF de agregação agrupada do Pandas
- SPARK-54116 Adicionar suporte ao modo off-heap para LongHashedRelation
- SPARK-54656 Refatorar SupportsPushDownVariants para ser um mix-in ScanBuilder
- SPARK-54687 Adicionar arquivo padrão com casos limite de resolução de geradores
- SPARK-54708 Otimizar a limpeza de cache de ML com criação lenta de diretório
- SPARK-54116 Reverter "[SC-213108][SQL] Adicionar suporte ao modo off-heap para LongHashedRelation"
- SPARK-54116 Adicionar suporte ao modo off-heap para LongHashedRelation
- SPARK-54443 Extração de chave de partição para todos os operadores com estado de streaming
- SPARK-54687 Reverter "[SC-214791][SQL] Adicionar arquivo de referência com casos de limite para resolução de geradores"
- SPARK-54116 Reverter "[SC-213108][SQL] Adicionar suporte ao modo off-heap para LongHashedRelation"
- SPARK-54687 Adicionar arquivo dourado com casos de borda de resolução de geradores
- SPARK-54116 Adicionar suporte ao modo off-heap para LongHashedRelation
- SPARK-54420 Introduzir Reparticionamento Offline StatePartitionWriter para a família de coluna única
-
SPARK-54689 Tornar
org.apache.spark.sql.pipelineso pacote interno e tornarEstimatorUtilsprivado - SPARK-54673 Refatorar o código de análise de sintaxe do pipe SQL para compartilhamento e reutilização
- SPARK-54668 Adicionar testes para CTEs em operadores multi-filhos
- SPARK-54669 Remover conversão redundante em rCTEs
- SPARK-54587 Consolidar todo o código relacionado ao runner_conf
- SPARK-54628 Remover todos os argumentos super() explícitos desnecessários
- SPARK-54675 Programar tempo limite configurável para desligamento forçado do pool de threads de manutenção do StateStore
- SPARK-54639 Evitar a criação desnecessária de Tabelas em serializadores de Arrow
- SPARK-49635 Remover a sugestão de configuração ANSI nas mensagens de erro do CAST
-
SPARK-54664 Limpar o código relacionado a
listenerCachepartir deconnect.StreamingQueryManager - SPARK-54640 Substituir select.select por select.poll no UNIX
-
SPARK-54662 Adicionar
viztraceredebugpyemdev/requirements.txt - SPARK-54632 Adicionar a opção para usar o Ruff para lint
- SPARK-54585 Corrigir a reversão do armazenamento de estado quando o thread estiver em estado interrompido
- SPARK-54172 Merge Into Schema Evolution deve adicionar apenas colunas referenciadas
- SPARK-54438 Consolidar ArrowStreamAggArrowIterUDFSerializer em ArrowStreamAggArrowUDFSerializer
- SPARK-54627 Remover inicializações redundantes em serializadores
- SPARK-54631 Adicionar suporte ao profiler para UDF de agregação de iterador agrupado do Arrow
-
SPARK-54316 Reaplicar [SC-213971][CORE][PYTHON][SQL] Consolidar
GroupPandasIterUDFSerializercomGroupPandasUDFSerializer - SPARK-54392 Otimizar comunicação JVM-Python para o estado inicial do TWS
- SPARK-54617 Habilitar registro de UDF de Agregação de Iteração Agrupada do Arrow para SQL
- SPARK-54544 Habilitar a verificação F811 do flake8
-
SPARK-54650 Mover a conversão int para decimal em
_create_converter_from_pandas -
SPARK-54316 Reverter "[SC-213971][CORE][PYTHON][SQL] Consolidar
GroupPandasIterUDFSerializercomGroupPandasUDFSerializer" - SPARK-53687 Introduzir WATERMARK cláusula na instrução SQL
-
SPARK-54316 Consolidar
GroupPandasIterUDFSerializercomGroupPandasUDFSerializer - SPARK-54598 Extrair lógica para ler UDFs
-
SPARK-54622 Promover
RequiresDistributionAndOrderinge suas interfaces necessárias paraEvolving - SPARK-54624 Garantir que o nome de usuário na página de histórico seja escapado
- SPARK-54580 Considere o Hive 4.1 em HiveVersionSuite e HiveClientImpl
-
SPARK-54068 Correção
to_featherpara dar suporte ao PyArrow 22.0.0 -
SPARK-54618 Promover
LocalScanparaStable -
SPARK-54616 Marcar
SupportsPushDownVariantscomoExperimental -
SPARK-54607 Remover método
toStringHelpernão utilizado deAbstractFetchShuffleBlocks.java - SPARK-53615 Introduzir a API do iterador para UDF de agregação agrupada do Arrow
- SPARK-54608 Evitar o duplo armazenamento em cache do conversor de tipos no UDTF
-
SPARK-54600 Não use pickle para salvar/carregar modelos em
pyspark.ml.connect -
SPARK-54592 Tornar
estimatedSizeprivado - SPARK-54388 Introduzir StatePartitionReader que escaneia bytes brutos para uma ColFamily única
- SPARK-54570 Propagar a classe de erro corretamente no Spark Connect
- SPARK-54577 Otimizar chamadas Py4J na inferência de esquema
- SPARK-54568 Evitar a conversão desnecessária de pandas na criação de dataframe de ndarray
- SPARK-54576 Adicionar documentação para novas funções de agregação baseadas em Datasketches
- SPARK-54574 Reativar FPGrowth no conectar
- SPARK-54557 Tornar CSV/JSON/XmlOptions e CSV/JSON/XmlInferSchema comparáveis
- SPARK-52798 Adicionar função approx_top_k_combine
- SPARK-54446 FPGrowth dá suporte ao sistema de arquivos local com formato de arquivo Arrow
-
SPARK-54547 Renomear variável
hostPortparahostnos métodosTaskSchedulerImpl.(executorLost|logExecutorLoss) - SPARK-54558 Corrigir exceção interna quando manipuladores de exceção sem BEGIN/END são usados
- SPARK-52923 Permitir que o ShuffleManager controle a mesclagem por push durante o registro de shuffle
- SPARK-54474 Descartar o relatório XML de testes que devem falhar
- SPARK-54473 Adicionar suporte de leitura e gravação do Avro para o tipo TIME
- SPARK-54472 Adicionar suporte de leitura e gravação do ORC para o tipo TIME
- SPARK-54463 Adicionar suporte de serialização e desserialização do CSV para o tipo TIME
- SPARK-52588 Approx_top_k: acumular e estimar
- SPARK-54461 Adicionar suporte de serialização e desserialização XML para o tipo TIME
- SPARK-54451 Adicionar suporte de serialização e desserialização JSON para o tipo TIME
- SPARK-54537 Correção de getSchemas/getTables do SparkConnectDatabaseMetaData em catálogos sem capacidade de namespace
- SPARK-54442 Adicionar funções de conversão numérica para o tipo TIME
- SPARK-54451 Reverter "[SC-212861][SQL] Adicionar suporte de serialização e desserialização JSON para o tipo TIME"
- SPARK-54492 Renomear _LEGACY_ERROR_TEMP_1201 e adicionar sqlState
- SPARK-54531 Introduzir ArrowStreamAggPandasUDFSerializer
- SPARK-54223 Adicionar contexto de tarefa e métricas de dados aos logs do executor do Python
- SPARK-54272 Adicionar aggTime para SortAggregateExec
- SPARK-53469 Capacidade de limpeza do processo de shuffle no servidor Thrift
-
SPARK-54219 Configuração de suporte
spark.cleaner.referenceTracking.blocking.timeout - SPARK-54475 Adicionar master-server, branch-4.0-client, Python 3.11
- SPARK-54451 Adicionar suporte de serialização e desserialização JSON para o tipo TIME
- SPARK-54285 Armazenar em cache informações de fuso horário para evitar conversão de timestamp cara
-
SPARK-49133 Tornar o membro
MemoryConsumer#usedatômico para evitar que o código do usuário cause deadlock - SPARK-46166 Implementação de pandas.DataFrame.any com axis=1
- SPARK-54532 Adicionar suporte para sqlstate para PySparkException
- SPARK-54435 spark-pipelines init deve evitar sobrescrever o diretório existente
- SPARK-54247 Fechar o soquete explicitamente para util._load_from_socket
Suporte ao driver ODBC/JDBC do Databricks
O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).
Ambiente do sistema
- Sistema operacional: Ubuntu 24.04.3 LTS
- Java: Zulu21.42+19-CA
- Scala: 2.13.16
- Python: 3.12.3
- R: 4.5.1
- Delta Lake: 4.0.1
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| aiohappyeyeballs | 2.4.4 | aiohttp | 3.11.10 | aiosignal | 1.2.0 |
| documento-anotado | 0.0.4 | annotated-types | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | arro3-core | 0.6.5 |
| flecha | 1.3.0 | asttokens | 3.0.0 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | atributos | 24.3.0 | comando automático | 2.2.2 |
| azure-common | 1.1.28 | azure-core | 1.37.0 | azure-identity | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | Armazenamento em Blob do Azure | 12.28.0 |
| azure-storage-file-datalake | 12.22.0 | babel | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | preto | 24.10.0 | bleach | 6.2.0 |
| blinker | 1.7.0 | boto3 | 1.40.45 | botocore | 1.40.45 |
| ferramentas de cache | 5.5.1 | certificado | 2025.4.26 | cffi | 1.17.1 |
| chardet | 4.0.0 | normalizador de conjunto de caracteres | 3.3.2 | clique | 8.1.8 |
| cloudpickle | 3.0.0 | comm | 0.2.1 | contourpy | 1.3.1 |
| criptografia | 44.0.1 | ciclista | 0.11.0 | Cython | 3.1.5 |
| agentes do databricks | 1.9.1 | databricks-sdk | 0.67.0 | dataclasses-json | 0.6.7 |
| dbus-python | 1.3.2 | debugpy | 1.8.11 | decorador | 5.1.1 |
| defusedxml | 0.7.1 | deltalake | 1.1.4 | Deprecated | 1.2.18 |
| distlib | 0.3.9 | de docstring para markdown | 0.11 | em execução | 1.2.0 |
| Visão geral de facetas | 1.1.1 | fastapi | 0.128.0 | fastjsonschema | 2.21.1 |
| bloqueio de arquivo | 3.17.0 | fonttools | 4.55.3 | fqdn | 1.5.1 |
| lista de itens congelados | 1.5.0 | fsspec | 2023.5.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.28.1 | google-auth (autenticação do Google) | 2.47.0 |
| google-cloud-core | 2.5.0 | armazenamento na nuvem do Google | 3.7.0 | google-crc32c | 1.8.0 |
| google-mídia-retomável | 2.8.0 | googleapis-common-protos | 1.65.0 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | h11 | 0.16.0 | hf-xet | 1.2.0 |
| httpcore | 1.0.9 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface_hub | 1.2.4 | IDNA | 3.7 | importlib_metadata | 8.5.0 |
| inflect | 7.3.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.209 |
| ipykernel | 6.29.5 | ipython | 8.30.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.8.1 | isodate | 0.7.2 | isoduration | 20.11.0 |
| jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | Jedi | 0.19.2 | Jinja2 | 3.1.6 |
| jiter | 0.12.0 | jmespath | 1.0.1 | joblib | 1.4.2 |
| json5 | 0.9.25 | jsonpatch | 1.33 | jsonpointer | 3.0.0 |
| jsonschema | 4.23.0 | Especificações do JSON Schema | 2023.7.1 | eventos Jupyter | 0.12.0 |
| jupyter-lsp | 2.2.5 | jupyter_client | 8.6.3 | jupyter_core | 5.7.2 |
| Servidor Jupyter | 2.15.0 | Terminais do servidor Jupyter | 0.5.3 | jupyterlab | 4.3.4 |
| jupyterlab_pygments | 0.3.0 | jupyterlab_server | 2.27.3 | jupyterlab_widgets | 1.1.11 |
| kiwisolver | 1.4.8 | langchain-core | 1.2.6 | langchain-openai | 1.1.6 |
| langsmith | 0.6.1 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | litellm | 1.75.9 | markdown-it-py | 2.2.0 |
| MarkupSafe | 3.0.2 | marshmallow | 3.26.2 | matplotlib | 3.10.0 |
| matplotlib-inline | 0.1.7 | mccabe | 0.7.0 | mdurl | 0.1.0 |
| Mistune | 3.1.2 | mlflow-skinny | 3.8.1 | mmh3 | 5.2.0 |
| more-itertools | 10.3.0 | msal | 1.34.0 | msal-extensions | 1.3.1 |
| _multidict_ | 6.1.0 | mypy-extensions | 1.0.0 | nbclient | 0.10.2 |
| nbconvert | 7.16.6 | nbformat | 5.10.4 | nest-asyncio | 1.6.0 |
| nodeenv | 1.10.0 | notebook | 7.3.2 | notebook_shim | 0.2.4 |
| numpy | 2.1.3 | oauthlib | 3.2.2 | openai | 2.14.0 |
| opentelemetry-api | 1.39.1 | opentelemetry-proto | 1.39.1 | opentelemetry-sdk | 1.39.1 |
| Convenções Semânticas do OpenTelemetry | 0.60b1 | orjson | 3.11.5 | substituições | 7.4.0 |
| empacotamento | 24,2 | Pandas | 2.2.3 | pandocfilters | 1.5.0 |
| parso | 0.8.4 | pathspec | 0.10.3 | patsy | 1.0.1 |
| pexpect | 4.8.0 | almofada | 11.1.0 | pip | 25.0.1 |
| platformdirs | 4.3.7 | enredo | 5.24.1 | Pluggy | 1.5.0 |
| prometheus_client | 0.21.1 | prompt-toolkit | 3.0.43 | propcache | 0.3.1 |
| proto-plus | 1.27.0 | protobuf | 5.29.4 | psutil | 5.9.0 |
| psycopg2 | 2.9.11 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| Pyarrow | 21.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.71 | pycparser | 2.21 | pydantic | 2.10.6 |
| pydantic_core | 2.27.2 | pyflakes | 3.2.0 | Pygments | 2.19.1 |
| PyGObject | 3.48.2 | pyiceberg | 0.10.0 | PyJWT | 2.10.1 |
| pyodbc | 5.2.0 | pyparsing | 3.2.0 | pyright | 1.1.394 |
| piroaring | 1.0.3 | pytest | 8.3.5 | python-dateutil | 2.9.0.post0 |
| python-dotenv | 1.2.1 | python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 |
| python-lsp-server (servidor LSP para Python) | 1.12.2 | pytoolconfig | 1.2.6 | Pytz | 2024.1 |
| PyYAML | 6.0.2 | pyzmq | 26.2.0 | referência | 0.30.2 |
| regex | 2024.11.6 | requests | 2.32.3 | requests-toolbelt | 1.0.0 |
| rfc3339-validator | 0.1.4 | rfc3986-validator (validador de RFC 3986) | 0.1.1 | rico | 13.9.4 |
| corda | 1.13.0 | rpds-py | 0.22.3 | rsa | 4.9.1 |
| s3transfer | 0.14.0 | scikit-aprender | 1.6.1 | scipy | 1.15.3 |
| seaborn (biblioteca de visualização em Python) | 0.13.2 | Send2Trash | 1.8.2 | Ferramentas de configuração | 78.1.1 |
| shellingham | 1.5.4 | seis | 1.17.0 | smmap | 5.0.0 |
| sniffio | 1.3.0 | sortedcontainers | 2.4.0 | soupsieve | 2,5 |
| sqlparse | 0.5.5 | ssh-import-id | 5.11 | dados empilhados | 0.6.3 |
| starlette | 0.50.0 | strictyaml | 1.7.3 | tenacidade | 9.0.0 |
| terminado | 0.17.1 | threadpoolctl | 3.5.0 | tiktoken | 0.12.0 |
| tinycss2 | 1.4.0 | tokenize_rt | 6.1.0 | criadores de token | 0.22.2 |
| tomli | 2.0.1 | tornado | 6.5.1 | tqdm | 4.67.1 |
| traitlets | 5.14.3 | guarda-tipo | 4.3.0 | typer-slim | 0.21.1 |
| types-python-dateutil | 2.9.0.20251115 | inspecionar digitação | 0.9.0 | typing_extensions | 4.12.2 |
| tzdata | 2024.1 | ujson | 5.10.0 | atualizações não supervisionadas | 0.1 |
| uri-template | 1.3.0 | urllib3 | 2.3.0 | uuid_utils | 0.12.0 |
| uvicorn | 0.40.0 | virtualenv | 20.29.3 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | webcolors | 25.10.0 | codificações web | 0.5.1 |
| websocket-client (cliente WebSocket) | 1.8.0 | whatthepatch | 1.0.2 | wheel | 0.45.1 |
| quando | 0.7.3 | widgetsnbextension | 3.6.6 | embrulhado | 1.17.0 |
| yapf | 0.40.2 | Atualmente, não tendo contexto adicional e considerando "yarl" como um nome próprio ou termo técnico, mantemos "yarl" como está. | 1.18.0 | zipp | 3.21.0 |
| zstandard | 0.23.0 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2025-11-20.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| flecha | 22.0.0 | AskPass | 1.2.1 | afirme isso | 0.2.1 |
| backports | 1.5.0 | base | 4.5.1 | base64enc | 0.1-3 |
| bigD | 0.3.1 | bit | 4.6.0 | bit64 | 4.6.0-1 |
| bitops | 1.0-9 | blob | 1.2.4 | ciar | 1.3-30 |
| Fabricação de cerveja | 1.0-10 | brio | 1.1.5 | vassoura | 1.0.10 |
| bslib | 0.9.0 | cachem | 1.1.0 | callr | 3.7.6 |
| sinal de interpolação | 7.0-1 | Cellranger | 1.1.0 | chron | 2.3-62 |
| classe | 7.3-22 | CLI | 3.6.5 | clipr | 0.8.0 |
| relógio | 0.7.3 | cluster | 2.1.6 | codetools | 0.2-20 |
| commonmark | 2.0.0 | compilador | 4.5.1 | config | 0.3.2 |
| conflituoso | 1.2.0 | cpp11 | 0.5.2 | crayon | 1.5.3 |
| credenciais | 2.0.3 | encurvar | 7.0.0 | Tabela de Dados | 1.17.8 |
| conjuntos de dados | 4.5.1 | DBI | 1.2.3 | dbplyr | 2.5.1 |
| Descrição | 1.4.3 | devtools | 2.4.6 | diagrama | 1.6.5 |
| diffobj | 0.3.6 | hash | 0.6.39 | downlit | 0.4.5 |
| dplyr | 1.1.4 | dtplyr | 1.3.2 | e1071 | 1.7-16 |
| reticências | 0.3.2 | avaliar | 1.0.5 | fansi | 1.0.7 |
| cores | 2.1.2 | mapa rápido | 1.2.0 | fontawesome | 0.5.3 |
| forcats | 1.0.1 | foreach | 1.5.2 | estrangeiro | 0.8 - 86 |
| fs | 1.6.6 | futuro | 1.68.0 | future.apply | 1.20.0 |
| gargle | 1.6.0 | genéricos | 0.1.4 | gert | 2.2.0 |
| ggplot2 | 4.0.1 | gh | 1.5.0 | git2r | 0.36.2 |
| gitcreds | 0.1.2 | glmnet | 4.1-10 | globals | 0.18.0 |
| cola | 1.8.0 | googledrive | 2.1.2 | googlesheets4 | 1.1.2 |
| gower | 1.0.2 | Gráficos | 4.5.1 | grDevices | 4.5.1 |
| grade | 4.5.1 | gridExtra | 2.3 | gsubfn | 0.7 |
| gt | 1.1.0 | gtable | 0.3.6 | capacete de segurança | 1.4.2 |
| refúgio | 2.5.5 | mais alto | 0.11 | hms | 1.1.4 |
| ferramentas HTML | 0.5.8.1 | htmlwidgets | 1.6.4 | httpuv | 1.6.16 |
| httr | 1.4.7 | httr2 | 1.2.1 | ids | 1.0.1 |
| ini | 0.3.1 | ipred | 0.9-15 | isoband | 0.2.7 |
| Iteradores | 1.0.14 | jquerylib | 0.1.4 | jsonlite | 2.0.0 |
| juicyjuice | 0.1.0 | KernSmooth | 2.23-22 | knitr | 1.50 |
| rotulagem | 0.4.3 | posterior | 1.4.4 | treliça | 0,22-5 |
| lava vulcânica | 1.8.2 | ciclo de vida | 1.0.4 | ouça | 0.10.0 |
| litedown | 0.8 | lubrificado | 1.9.4 | magrittr | 2.0.4 |
| markdown | 2.0 | MASS | 7.3-60.0.1 | Matriz | 1.6-5 |
| memorização | 2.0.1 | Métodos | 4.5.1 | mgcv | 1.9-1 |
| mime | 0.13 | miniUI | 0.1.2 | mlflow | 3.6.0 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.11 | nlme | 3.1-164 |
| nnet | 7.3-19 | numDeriv | 2016.8-1.1 | openssl | 2.3.4 |
| otel | 0.2.0 | paralelo | 4.5.1 | parallelly | 1.45.1 |
| coluna | 1.11.1 | pkgbuild | 1.4.8 | pkgconfig | 2.0.3 |
| pkgdown | 2.2.0 | pkgload | 1.4.1 | plogr | 0.2.0 |
| plyr | 1.8.9 | elogio | 1.0.0 | prettyunits | 1.2.0 |
| pROC | 1.19.0.1 | processx | 3.8.6 | Prodlim | 2025.04.28 |
| profvis | 0.4.0 | progresso | 1.2.3 | progressr | 0.18.0 |
| Promessas | 1.5.0 | proto | 1.0.0 | proxy | 0.4-27 |
| P.S. | 1.9.1 | purrr | 1.2.0 | R6 | 2.6.1 |
| ragg | 1.5.0 | randomForest | 4.7-1.2 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.1.0 |
| RcppEigen | 0.3.4.0.2 | capaz de reagir | 0.4.4 | reactR | 0.6.1 |
| Readr | 2.1.6 | readxl | 1.4.5 | Receitas | 1.3.1 |
| jogo de revanche | 2.0.0 | revanche2 | 2.1.2 | remotes | 2.5.0 |
| reprex | 2.1.1 | reshape2 | 1.4.5 | rlang | 1.1.6 |
| rmarkdown | 2.30 | RODBC | 1.3-26 | roxygen2 | 7.3.3 |
| rpart | 4.1.23 | rprojroot | 2.1.1 | Rserve | 1.8-15 |
| RSQLite | 2.4.4 | rstudioapi | 0.17.1 | rversions | 3.0.0 |
| rvest | 1.0.5 | S7 | 0.2.1 | Sass | 0.4.10 |
| escamas | 1.4.0 | Seletor | 0.4-2 | informações de sessão | 1.2.3 |
| forma | 1.4.6.1 | brilhante | 1.11.1 | sourcetools | 0.1.7-1 |
| sparklyr | 1.9.3 | SparkR | 4.1.0 | sparsevctrs | 0.3.4 |
| espacial | 7.3-17 | splines | 4.5.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | estatísticas | 4.5.1 | estatísticas4 | 4.5.1 |
| stringi | 1.8.7 | stringr | 1.6.0 | sobrevivência | 3.5-8 |
| swagger | 5.17.14.1 | sys | 3.4.3 | systemfonts | 1.3.1 |
| tcltk | 4.5.1 | testthat | 3.3.0 | formatação de texto | 1.0.4 |
| tibble | 3.3.0 | tidyr | 1.3.1 | tidyselect | 1.2.1 |
| tidyverse | 2.0.0 | mudança de horário | 0.3.0 | data e hora | 4051.111 |
| tinytex | 0.58 | Ferramentas | 4.5.1 | tzdb | 0.5.0 |
| verificador de URL | 1.0.1 | usethis | 3.2.1 | utf8 | 1.2.6 |
| utils | 4.5.1 | identificador único universal (UUID) | 1.2-1 | V8 | 8.0.1 |
| vctrs | 0.6.5 | viridisLite | 0.4.2 | vroom | 1.6.6 |
| Waldo | 0.6.2 | whisker | 0.4.1 | murchar | 3.0.2 |
| xfun | 0,54 | xml2 | 1.5.0 | xopen | 1.0.1 |
| xtable | 1.8-4 | YAML | 2.3.10 | zeallot | 0.2.0 |
| zip | 2.3.3 |
Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.13)
| ID do grupo | ID do artefato | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.15.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.681 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.681 |
| com.amazonaws | aws-java-sdk-cognitoidentity (pacote de identidade Cognito para Java da AWS) | 1.12.681 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.681 |
| com.amazonaws | aws-java-sdk-config | 1.12.681 |
| com.amazonaws | aws-java-sdk-core | 1.12.681 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.681 |
| com.amazonaws | aws-java-sdk-directconnect (SDK Java da AWS para conexão direta) | 1.12.681 |
| com.amazonaws | aws-java-sdk-directory | 1.12.681 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.681 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.681 |
| com.amazonaws | SDK Java para o ECS da AWS | 1.12.681 |
| com.amazonaws | aws-java-sdk-efs | 1.12.681 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.681 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.681 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.681 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.681 |
| com.amazonaws | aws-java-sdk-emr | 1.12.681 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.681 |
| com.amazonaws | aws-java-sdk-glue | 1.12.681 |
| com.amazonaws | aws-java-sdk-iam (kit de desenvolvimento de software Java da AWS para IAM) | 1.12.681 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.681 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.681 |
| com.amazonaws | aws-java-sdk-kms | 1.12.681 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.681 |
| com.amazonaws | aws-java-sdk-logs | 1.12.681 |
| com.amazonaws | aws-java-sdk-machinelearning (SDK da AWS para aprendizado de máquina) | 1.12.681 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.681 |
| com.amazonaws | aws-java-sdk-rds | 1.12.681 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.681 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.681 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.681 |
| com.amazonaws | aws-java-sdk-ses | 1.12.681 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.681 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.681 |
| com.amazonaws | aws-java-sdk-sns | 1.12.681 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.681 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.681 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.681 |
| com.amazonaws | aws-java-sdk-sts | 1.12.681 |
| com.amazonaws | aws-java-sdk-support (suporte para AWS Java SDK) | 1.12.681 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.681 |
| com.amazonaws | jmespath-java | 1.12.681 |
| com.clearspring.analytics | fluxo | 2.9.8 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.53.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.13 | 0.4.15-11 |
| com.esotericsoftware | kryo-shaded | 4.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de classe | 1.5.1 |
| com.fasterxml.jackson.core | Anotações do Jackson | 2.18.2 |
| com.fasterxml.jackson.core | jackson-core | 2.18.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.18.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.18.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.18.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.18.3 |
| com.fasterxml.jackson.datatype | jackson-module-paranamer | 2.18.2 |
| com.fasterxml.jackson.datatype | jackson-module-scala_2.13 | 2.18.2 |
| com.github.ben-manes.cafeína | cafeína | 2.9.3 |
| com.github.blemale | scaffeine_2.13 | 4.1.0 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.7-6 |
| com.github.virtuald | curvesapi | 1.08 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.api.grpc | proto-google-common-protos | 2.5.1 |
| com.google.auth | google-auth-library-credentials (credenciais da biblioteca de autenticação do Google) | 1.20.0 |
| com.google.auth | google-auth-library-oauth2-http | 1.20.0 |
| com.google.auto.value | anotações do AutoValue | 1.10.4 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.11.0 |
| com.google.crypto.tink | tink | 1.16.0 |
| com.google.errorprone | anotações_propensas_a_erros | 2.36.0 |
| com.google.flatbuffers | flatbuffers-java | 25.2.10 |
| com.google.guava | failureaccess | 1.0.3 |
| com.google.guava | guava | 33.4.8-jre |
| com.google.http-client | google-http-client | 1.43.3 |
| com.google.http-client | google-http-client-gson | 1.43.3 |
| com.google.j2objc | j2objc-annotations | 3.0.0 |
| com.google.protobuf | protobuf-java | 3.25.5 |
| com.google.protobuf | protobuf-java-util | 3.25.5 |
| com.helger | criador de perfil | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.lihaoyi | sourcecode_2.13 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.10 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre11 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentes_2.13 | 0.4.13 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.13 | 0.10.0 |
| com.twitter | util-app_2.13 | 19.8.1 |
| com.twitter | util-core_2.13 | 19.8.1 |
| com.twitter | util-function_2.13 | 19.8.1 |
| com.twitter | util-jvm_2.13 | 19.8.1 |
| com.twitter | util-lint_2.13 | 19.8.1 |
| com.twitter | util-registry_2.13 | 19.8.1 |
| com.twitter | util-stats_2.13 | 19.8.1 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.13 | 3.9.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| com.zaxxer | SparseBitSet | 1.3 |
| commons-cli | commons-cli | 1.10.0 |
| commons-codec | commons-codec | 1.19.0 |
| commons-collections (coleções comuns) | commons-collections (coleções comuns) | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.6.0 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.21.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.4 |
| dev.ludovic.netlib | blas | 3.0.4 |
| dev.ludovic.netlib | lapack | 3.0.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | compressor de ar | 2.0.2 |
| io.delta | delta-sharing-client_2.13 | 1.3.9 |
| io.dropwizard.metrics | metrics-annotation | 4.2.37 |
| io.dropwizard.metrics | metrics-core | 4.2.37 |
| io.dropwizard.metrics | metrics-graphite | 4.2.37 |
| io.dropwizard.metrics | métricas-verificações de saúde | 4.2.37 |
| io.dropwizard.metrics | metrics-jetty10 | 4.2.37 |
| io.dropwizard.metrics | metrics-jmx | 4.2.37 |
| io.dropwizard.metrics | metrics-json (métricas em JSON) | 4.2.37 |
| io.dropwizard.metrics | metrics-jvm | 4.2.37 |
| io.dropwizard.metrics | metrics-servlets | 4.2.37 |
| io.github.java-diff-utils | java-diff-utils | 4,15 |
| io.netty | Netty-all | 4.2.7.Final |
| io.netty | netty-buffer | 4.2.7.Final |
| io.netty | netty-codec | 4.2.7.Final |
| io.netty | netty-codec-base | 4.2.7.Final |
| io.netty | netty-codec-classes-quic | 4.2.7.Final |
| io.netty | netty-codec-compression | 4.2.7.Final |
| io.netty | netty-codec-http | 4.2.7.Final |
| io.netty | netty-codec-http2 | 4.2.7.Final |
| io.netty | netty-codec-http3 | 4.2.7.Final |
| io.netty | netty-codec-marshalling | 4.2.7.Final |
| io.netty | netty-codec-native-quic | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-windows-x86_64 |
| io.netty | netty-codec-protobuf | 4.2.7.Final |
| io.netty | netty-codec-socks | 4.2.7.Final |
| io.netty | netty-common | 4.2.7.Final |
| io.netty | netty-handler | 4.2.7.Final |
| io.netty | netty-handler-proxy | 4.2.7.Final |
| io.netty | Netty Resolver | 4.2.7.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-windows-x86_64 |
| io.netty | Netty Tcnative Classes | 2.0.74.Final |
| io.netty | netty-transport | 4.2.7.Final |
| io.netty | netty-transport-classes-epoll | 4.2.7.Final |
| io.netty | netty-transport-classes-io_uring | 4.2.7.Final |
| io.netty | netty-transport-classes-kqueue | 4.2.7.Final |
| io.netty | netty-transport-native-epoll | 4.2.7.Final |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-comum | 4.2.7.Final |
| io.opencensus | opencensus-api | 0.31.1 |
| io.opencensus | opencensus-contrib-http-util | 0.31.1 |
| io.prometheus | simpleclient | 0.16.1-databricks |
| io.prometheus | simpleclient_common | 0.16.1-databricks |
| io.prometheus | simpleclient_dropwizard | 0.16.1-databricks |
| io.prometheus | simpleclient_pushgateway | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel_agent | 0.16.1-databricks |
| io.prometheus.jmx | coletor | 0.18.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | ativação | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.media | jai_core | jai_core_dummy |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.14.0 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.5 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.13.1 |
| org.antlr | modelo de string | 3.2.1 |
| org.apache.ant | formiga | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | lançador de formigas | 1.10.11 |
| org.apache.arrow | seta-compactação | 18.3.0 |
| org.apache.arrow | arrow-format | 18.3.0 |
| org.apache.arrow | arrow-memory-core | 18.3.0 |
| org.apache.arrow | Arrow-Memory-Netty | 18.3.0 |
| org.apache.arrow | arrow-memory-netty-buffer-patch | 18.3.0 |
| org.apache.arrow | arrow-vector | 18.3.0 |
| org.apache.avro | Avro | 1.12.1 |
| org.apache.avro | avro-ipc | 1.12.1 |
| org.apache.avro | avro-mapred | 1.12.1 |
| org.apache.commons | commons-collections4 | 4.5.0 |
| org.apache.commons | commons-compress | 1.28.0 |
| org.apache.commons | commons-configuration2 | 2.11.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.19.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | Texto Comum | 1.14.0 |
| org.apache.curator | curator-client | 5.9.0 |
| org.apache.curator | estrutura do curador | 5.9.0 |
| org.apache.curator | curador de receitas | 5.9.0 |
| org.apache.datasketches | datasketches-java | 6.2.0 |
| org.apache.datasketches | datasketches-memory | 3.0.2 |
| org.apache.derby | Dérbi | 10.14.2.0 |
| org.apache.hadoop | tempo de execução do cliente Hadoop | 3.4.2 |
| org.apache.hive | hive-beeline (ferramenta de linha de comando para conectar-se ao Hive) | 2.3.10 |
| org.apache.hive | hive-cli | 2.3.10 |
| org.apache.hive | hive-jdbc | 2.3.10 |
| org.apache.hive | hive-llap-client | 2.3.10 |
| org.apache.hive | hive-llap-common | 2.3.10 |
| org.apache.hive | hive-serde | 2.3.10 |
| org.apache.hive | hive-shims | 2.3.10 |
| org.apache.hive | API de armazenamento do Hive | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.10 |
| org.apache.hive.shims | hive-shims-common | 2.3.10 |
| org.apache.hive.shims | Agendador de Ajustes do Hive (hive-shims-scheduler) | 2.3.10 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.3 |
| org.apache.logging.log4j | log4j-1.2-api | 2.24.3 |
| org.apache.logging.log4j | log4j-api | 2.24.3 |
| org.apache.logging.log4j | log4j-core | 2.24.3 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.24.3 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.24.3 |
| org.apache.orc | orc-core | 2.2.0-shaded-protobuf |
| org.apache.orc | formato ORC | 1.1.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 2.2.0-shaded-protobuf |
| org.apache.orc | orc-calços | 2.2.0 |
| org.apache.poi | poi | 5.4.1 |
| org.apache.poi | poi-ooxml | 5.4.1 |
| org.apache.poi | poi-ooxml-full | 5.4.1 |
| org.apache.poi | poi-ooxml-lite | 5.4.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.16.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.1 |
| org.apache.xbean | xbean-asm9-shaded | 4.28 |
| org.apache.xmlbeans | xmlbeans | 5.3.0 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zelador de zoológico | 3.9.4 |
| org.apache.zookeeper | guarda de zoológico-juta | 3.9.4 |
| org.checkerframework | checker-qual | 3.43.0 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-alpn-client | 10.0.26 |
| org.eclipse.jetty | jetty-client | 10.0.26 |
| org.eclipse.jetty | jetty-http | 10.0.26 |
| org.eclipse.jetty | jetty-io | 10.0.26 |
| org.eclipse.jetty | jetty-jndi | 10.0.26 |
| org.eclipse.jetty | jetty-plus | 10.0.26 |
| org.eclipse.jetty | jetty-proxy | 10.0.26 |
| org.eclipse.jetty | jetty-security | 10.0.26 |
| org.eclipse.jetty | servidor jetty | 10.0.26 |
| org.eclipse.jetty | jetty-servlet | 10.0.26 |
| org.eclipse.jetty | jetty-servlets | 10.0.26 |
| org.eclipse.jetty | jetty-util | 10.0.26 |
| org.eclipse.jetty | Jetty Webapp | 10.0.26 |
| org.eclipse.jetty | jetty-xml | 10.0.26 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | Localizador de Recursos OSGi | 1.0.3 |
| org.glassfish.hk2.external | AliançaAOP-Reempacotado | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.41 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.41 |
| org.glassfish.jersey.core | jersey-client | 2.41 |
| org.glassfish.jersey.core | jersey-common | 2.41 |
| org.glassfish.jersey.core | jersey-server | 2.41 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.41 |
| org.hibernate.validator | hibernate-validator | 6.2.5.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.4.1.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jline | jline | 3.27.1-jdk8 |
| org.joda | joda-convert | 1.7 |
| org.json4s | json4s-ast_2.13 | 4.0.7 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| org.json4s | json4s-scalap_2.13 | 4.0.7 |
| org.locationtech.jts | jts-core | 1.20.0 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.13 | 2.22.1 |
| org.objenesis | objenesis | 3.4 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 1.2.1 |
| org.rocksdb | rocksdbjni | 9.8.4 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.13 | 2.13.16 |
| org.scala-lang | scala-library_2.13 | 2.13.16 |
| org.scala-lang | scala-reflect_2.13 | 2.13.16 |
| org.scala-lang.modules | scala-collection-compat_2.13 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.13 | 0.9.1 |
| org.scala-lang.modules | scala-parallel-collections_2.13 | 1.2.0 |
| org.scala-lang.modules | scala-parser-combinators_2.13 | 2.4.0 |
| org.scala-lang.modules | scala-xml_2.13 | 2.4.0 |
| org.scala-sbt | interface de teste | 1,0 |
| org.scalacheck | scalacheck_2.13 | 1.18.0 |
| org.scalactic | scalactic_2.13 | 3.2.19 |
| org.scalanlp | breeze-macros_2.13 | 2.1.0 |
| org.scalanlp | breeze_2.13 | 2.1.0 |
| org.scalatest | compatível com scalatest | 3.2.19 |
| org.scalatest | scalatest-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-diagrams_2.13 | 3.2.19 |
| org.scalatest | scalatest-featurespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-flatspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-freespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funsuite_2.13 | 3.2.19 |
| org.scalatest | scalatest-matchers-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-mustmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-propspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-refspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-shouldmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-wordspec_2.13 | 3.2.19 |
| org.scalatest | scalatest_2.13 | 3.2.19 |
| org.slf4j | jcl-over-slf4j | 2.0.16 |
| org.slf4j | jul-to-slf4j | 2.0.16 |
| org.slf4j | slf4j-api | 2.0.16 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.8.0 |
| org.tukaani | xz | 1,10 |
| org.typelevel | algebra_2.13 | 2.8.0 |
| org.typelevel | cats-kernel_2.13 | 2.8.0 |
| org.typelevel | spire-macros_2.13 | 0.18.0 |
| org.typelevel | spire-platform_2.13 | 0.18.0 |
| org.typelevel | spire-util_2.13 | 0.18.0 |
| org.typelevel | spire_2.13 | 0.18.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.5.0-linux-x86_64 |
| Stax | stax-api | 1.0.1 |