Partilhar via

Tempo de execução do Databricks 17.2

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 17.2, desenvolvido pelo Apache Spark 4.0.0.

Esta versão incorpora todas as funcionalidades, melhorias e correções de bugs de todas as versões anteriores do Databricks Runtime. A Databricks lançou esta versão em setembro de 2025.

Novos recursos e melhorias

LIKE suporta a ordenação UTF8_LCASE

O LIKE operador agora suporta a ordenação UTF8_LCASE, permitindo a correspondência sem diferenciação entre maiúsculas e minúsculas.

A função st_exteriorring agora é suportada

Agora você pode usar a função para extrair o st_exteriorring limite externo de um polígono e retorná-lo como uma cadeia de caracteres. Consulte a função st_exteriorring.

Mostrar detalhes de filtragem no EXPLAIN e na interface Spark para análises remotas

O comando EXPLAIN e a interface de utilizador do Spark para RemoteSparkConnectScan em computação dedicada agora exibem predicados, agregações, cláusulas de agrupamento, limites e amostras que são transferidos para a verificação remota.

Declarar várias variáveis locais ou de sessão em uma única DECLARE instrução

No Databricks Runtime 17.2 e superior, você pode declarar várias variáveis locais ou de sessão do mesmo tipo e valor padrão em uma única DECLARE instrução. Consulte DECLARE VARIABLE e BEGIN END declaração composta.

Suporte à palavra-chave TEMPORARY para conceção de vistas métricas

Agora você pode usar a TEMPORARY palavra-chave ao criar uma exibição métrica. As exibições métricas temporárias são visíveis somente na sessão que as criou e são descartadas quando a sessão termina. Consulte CREATE VIEW.

Apoiar comandos adicionais com gestão de acesso refinado

O controlo de acesso refinado em computação dedicada agora suporta os comandos FSCK REPAIR TABLE e DESCRIBE DETAIL.

Substitua seletiva e atomicamente os dados por INSERT REPLACE USING e INSERT REPLACE ON (GA)

INSERT REPLACE USING e INSERT REPLACE ON agora estão disponíveis para o Databricks Runtime 17.2. Ambos os comandos SQL substituem parte da tabela pelo resultado de uma consulta.

INSERT REPLACE USING substitui linhas quando as USING colunas são iguais em termos de igualdade. INSERT REPLACE ON Substitui linhas quando elas correspondem a uma condição definida pelo usuário.

Consulte INSERT na referência da linguagem SQL e Sobrepor dados seletivamente no Delta Lake.

Usar E/S nativas para LokiFileSystem.getFileStatus no S3

LokiFileSystem.getFileStatus agora usa a pilha de E/S nativa para o tráfego da Amazon S3 e devolve objetos org.apache.hadoop.fs.FileStatus em vez de shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

Modo ANSI ativado por padrão para a API Pandas no Spark

ANSI_MODE agora está habilitado por padrão para a API Pandas no Spark com compute.ansi_mode_support=True, o que garante a paridade de conformidade ANSI com pandas nativos. A compute.fail_on_ansi_mode opção ainda se aplica se compute.ansi_mode_support estiver definida como False.

O Auto Loader infere as colunas de partição no modo singleVariantColumn

O Auto Loader agora infere colunas de partição a partir de caminhos de ficheiros ao ingerir dados como um tipo de variante semiestruturada usando a opção singleVariantColumn. Anteriormente, as colunas de partição não eram detetadas automaticamente. Consulte Opções do carregador automático.

Mudanças comportamentais

DESCRIBE CONNECTION mostra as configurações de ambiente para conexões JDBC

O Azure Databricks agora inclui configurações de ambiente definidas pelo usuário na saída para conexões JDBC que dão suporte a drivers personalizados e são executadas isoladamente. Outros tipos de conexão permanecem inalterados.

Opção para truncar o histórico uniforme durante a migração de tabelas gerenciadas

Pode-se agora truncar o histórico de forma uniforme ao migrar tabelas com Uniform/Iceberg ativado usando ALTER TABLE...SET MANAGED. Isso simplifica as migrações e reduz o tempo de inatividade em comparação com a desativação e reativação manual do Uniforme.

Sintaxe SQL para opções de leitura Delta em consultas de streaming

Agora você pode especificar opções de leitura Delta para consultas de streaming baseadas em SQL usando a WITH cláusula. Por exemplo:

SELECT * FROM STREAM tbl WITH (SKIPCHANGECOMMITS=true, STARTINGVERSION=X);

Resultados corretos para split com regex vazio e limite positivo

O Azure Databricks agora retorna resultados corretos ao usar split function com um regex vazio e um limite positivo. Anteriormente, a função truncava incorretamente a cadeia de caracteres restante em vez de incluí-la no último elemento.

Correção do url_decode e do try_url_decode no tratamento de erros no Photon

Em Photon, try_url_decode() e url_decode() com failOnError = false agora retornam NULL para cadeias de caracteres com codificação URL inválida em vez de causarem falha na consulta.

Ambiente de execução compartilhado para UDTFs Python do Unity Catalog

O Azure Databricks agora compartilha o ambiente de execução para funções de tabela definidas pelo usuário (UDTFs) em Python pertencentes ao mesmo proprietário e usando a mesma sessão do Spark. Uma cláusula opcional STRICT ISOLATION está disponível para desabilitar o compartilhamento de UDTFs com efeitos colaterais, como modificar variáveis de ambiente ou executar código arbitrário.

Rastreamento de linhas habilitado por padrão para novas tabelas

O Azure Databricks agora habilita o rastreamento de linhas por padrão para todas as tabelas gerenciadas do Unity Catalog recém-criadas. As tabelas existentes não são afetadas e mantêm suas configurações atuais de rastreamento de linha.

TABLE suporte a argumentos para UDTFs Python do Unity Catalog

Os UDTFs Python do Unity Catalog suportam TABLE argumentos, possibilitando que as funções aceitem tabelas inteiras como parâmetros de entrada e permitindo transformações e agregações de dados mais complexas em conjuntos de dados estruturados. Consulte Funções de tabela definidas pelo usuário (UDTFs) do Python no Unity Catalog. (Backported de 17.3 LTS).

Atualizações da biblioteca

Bibliotecas Python atualizadas:

Nenhuma biblioteca Python foi atualizada nesta versão.

Bibliotecas R atualizadas:

Nenhuma biblioteca R foi atualizada nesta versão.

Bibliotecas Java atualizadas:

  • io.delta.delta-sharing-client_2.13 de 1.3.3 a 1.3.5

Apache Spark

O Databricks Runtime 17.2 inclui o Apache Spark 4.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas na versão anterior, bem como as seguintes:

  • SPARK-53183 Use Java Files.readString em vez de o.a.s.sql.catalyst.util.fileToString
  • SPARK-51817 Reintroduza campos ansiConfig em messageParameters de CAST_INVALID_INPUT e CAST_OVERFLOW
  • SPARK-53124 Prune campos desnecessários de JsonTuple
  • SPARK-53106 Adicionar testes de evolução de esquemas para suítes TWS Scala Spark connect
  • SPARK-53201 Utilizar SparkFileUtils.contentEquals em vez de Files.equal
  • SPARK-53308 Não remova aliases em RemoveRedundantAliases que causariam duplicatas
  • SPARK-53241 Suporte createArray em SparkCollectionUtils
  • SPARK-53239 Melhorar MapSort e SortArray o desempenho através de parallelSort
  • SPARK-53184 Corrigir melt() quando as colunas de valor misturam strings e números
  • SPARK-53144 Torne o comando 'CreateViewCommand' no SparkConnectPlanner sem efeitos secundários
  • SPARK-53303 Use o codificador de estado inicial vazio quando o estado inicial não for fornecido no TWS
  • SPARK-52917 Suporte de leitura para habilitar a compatibilidade de ida e volta para binário em formato xml
  • SPARK-53110 Implementar a função time_trunc no PySpark
  • SPARK-53107 Implementar a função time_trunc em Scala
  • SPARK-52146 Detetar referências de funções cíclicas em UDFs SQL
  • SPARK-52469 Use a API JEP 223 para processar versão do Java
  • SPARK-53094 Corrigir CUBE com agregação contendo HAVING cláusulas
  • SPARK-51874 Adicionar TypedConfigBuilder para Enumeração Scala
  • SPARK-53287 Incluir Guia de Migração ANSI
  • SPARK-43100 As métricas do Push Based Shuffle devem ser desserializadas corretamente
  • SPARK-53045 DESCRIBE EXTENDED deve ser resiliente a metadados corrompidos
  • SPARK-53114 Apoio join em JavaUtils
  • SPARK-53297 Corrigir o docstring da API de Pipelines Declarativos de StreamingTable
  • SPARK-53181 Habilitar testes de documentação em ANSI
  • SPARK-52482 Melhorar o tratamento de exceções para a leitura de certos ficheiros zstd corrompidos
  • SPARK-52990 Suporte StringSubstitutor
  • SPARK-51874 Adicionar TypedConfigBuilder para a enumeração Scala.
  • SPARK-53169 Remover comentários relacionados com "Set the logger level of File Appender to" de log4j2.properties
  • SPARK-53080 Suporte cleanDirectory em SparkFileUtils e JavaUtils
  • SPARK-53045 DESCRIBE EXTENDED deve ser resiliente a metadados corrompidos
  • SPARK-53000 Renomear StringUtils.scala para StringConcat.scala no módulo sql/api
  • SPARK-52952 Adicionar Script de Desenvolvimento de Coerção de Tipo PySpark UDF
  • SPARK-52998 Variáveis múltiplas na declaração
  • SPARK-51817 Reintroduzir campos ansiConfig em messageParameters de CAST_INVALID_INPUT e CAST_OVERFLOW
  • SPARK-52820 Capturar planos completos em ficheiros dourados
  • SPARK-53274 Suporte para pushdown de join à esquerda e à direita no JDBCScanBuilder
  • SPARK-52110 Implementar suporte para sintaxe SQL para pipelines
  • SPARK-52950 Ativar o modo ANSI no DataSourceV2StrategySuite
  • SPARK-52947 Corrigir caminho da imagem no guia de programação de pipelines declarativos
  • SPARK-52592 Suporte à criação de uma ps.Series a partir de uma ps.Series
  • SPARK-53301 Diferenciar dicas de tipo de Pandas UDF e Arrow UDF
  • SPARK-53146 Tornar o MergeIntoTable no SparkConnectPlanner livre de efeitos secundários
  • SPARK-53166 Use SparkExitCode.EXIT_FAILURE no objeto SparkPipelines
  • SPARK-53288 Corrigir erro de afirmação com limite global de streaming
  • SPARK-52394 Corrigir erro de divisão por zero no autocorr em modo ANSI
  • SPARK-51555 Adicionar a função time_diff()
  • SPARK-52948 Habilitar test_np_spark_compat_frame em ANSI
  • SPARK-53134 Limpar importações ANSI não utilizadas em testes
  • SPARK-52593 Evite CAST_INVALID_INPUT de MultiIndex.to_series, Series.dot e DataFrame.dot no modo ANSI
  • SPARK-53291 Corrigir a nulidade da coluna de valor
  • SPARK-53097 Tornar o WriteOperationV2 no contexto do SparkConnectPlanner sem efeitos secundários
  • SPARK-53305 Suporte TimeType em createDataFrame
  • SPARK-52914 Suporte On-Demand Log Loading para rolagem de logs History Server
  • SPARK-33538 Encaminhe diretamente os predicados IN/NOT para o Hive Metastore
  • SPARK-52849 Adicionar stringifyException a o.a.s.util.Utils
  • SPARK-52771 Corrigir a expansão do tipo float32 truediv/floordiv
  • SPARK-52502 Visão geral da contagem de threads
  • SPARK-52788 Corrigir erro na conversão de valor binário em BinaryType para XML
  • SPARK-53123 Apoio getRootCause em SparkErrorUtils
  • SPARK-53129 Melhorar SparkShell para importar java.net._ por defeito
  • SPARK-53061 Suporte copyFileToDirectory em SparkFileUtils
  • SPARK-52683 Suporte a ExternalCatalog para alterar o esquema da tabela
  • SPARK-52871 Fundir o.a.s.sql.catalyst.util.SparkStringUtils para o.a.s.util.SparkStringUtils
  • SPARK-52817 Corrigir Like Expression performance
  • SPARK-52545 Padronizar o escapamento de aspas duplas para seguir a especificação SQL
  • SPARK-52711 Corrigir ampliação do tipo float32 em mul/rmul sob ANSI
  • SPARK-52615 Substituir File.mkdirs por Utils.createDirectory
  • SPARK-52381 JsonProtocol: Só aceita subclasses de SparkListenerEvent
  • SPARK-52613 Restaure a impressão do stack trace completo quando o DelegationTokenProvider do HBase/Hive encontrar uma exceção
  • SPARK-52651 Manipular Tipo Definido pelo Utilizador em ColumnVector Aninhado
  • SPARK-52611 Corrija a versão do SQLConf para excludeSubqueryRefsFromRemoveRedundantAliases...
  • Spark-52552 Ignorar a imposição da restrição CHECK para eliminações de vetores de exclusão
  • SPARK-52587 spark-shell 2.13 parâmetro de suporte -i-I
  • SPARK-52492 Torne InMemoryRelation.convertToColumnarIfPossible personalizável
  • SPARK-52451 Deixe WriteOperation no SparkConnectPlanner livre de efeitos secundários
  • SPARK-53272 Refatorar a lógica de pushdown de SPJ para fora de BatchScanExec
  • SPARK-53071 Apoio copyFile em SparkFileUtils
  • SPARK-51415 Suportar o tipo de tempo com make_timestamp()
  • SPARK-51554 Adição da função time_trunc()
  • SPARK-52426 Suporte ao redirecionamento stdout/stderr para o sistema de registro de logs
  • SPARK-51834 Suporte ao gerenciamento de restrições de tabela de ponta a ponta
  • SPARK-53063 Implementar e chamar novas APIs no FileCommitProtocol em vez do obsoleto
  • SPARK-52546 verifique sparkContext se parou ao executar o bloco de código catch em execute(), caso contrário, ele retornará o estado errado.
  • SPARK-53023 Remover commons-io dependência do sql/api módulo
  • SPARK-52396 O diretório raiz do artefato deve usar o tmpdir.
  • SPARK-53131 Melhorar SparkShell para importar java.nio.file._ por defeito
  • SPARK-42322 Atribuir nome to_LEGACY_ERROR_TEMP_2235
  • SPARK-51834 Suporte ao gerenciamento de restrições de tabela de ponta a ponta
  • FAÍSCA-52484 Ignorar a afirmação child.supportsColumnar do lado do driver em ColumnarToRowExec
  • SPARK-52384 Corrigir erro Connect deve ser inalterado às opções JDBC
  • SPARK-52034 Adicionar métodos comuns no trait SparkOperation para operações thriftserver
  • SPARK-53031 Apoio getFile em SparkFileUtils
  • SPARK-52976 Corrigir UDF do Python não aceitar cadeia de caracteres ordenada como tipo de parâmetro de entrada/retorno (17.x)
  • SPARK-52943 Ativar arrow_cast para todos os tipos de avaliação UDF pandas
  • SPARK-53263 Suporte a TimeType em df.toArrow
  • SPARK-53141 Adicionar APIs para obter o tamanho da memória overhead e o tamanho da memória offheap do perfil de recurso
  • SPARK-53259 Corrigir a mensagem para INVALID_UDF_EVAL_TYPE
  • SPARK-53167 Spark launcher isRemote também respeita o ficheiro de propriedades
  • SPARK-53165 Adicionar SparkExitCode.CLASS_NOT_FOUND
  • SPARK-53171 Melhoria na função de repetição UTF8String
  • SPARK-53170 Melhorar SparkUserAppException para ter cause parâmetro
  • SPARK-52989 Adicionar API close() explícita aos iteradores do Store de Estado
  • Faísca-53074 Evite agrupamentos parciais no SPJ para atender à distribuição necessária de uma criança
  • SPARK-52252 Os encoders ScalaUDF dentro de subquery devem ser resolvidos
  • SPARK-53244 Não armazene confs com execução dupla e modo provisório ativados durante a criação da visualização
  • SPARK-53192 Armazene sempre em cache um DataSource no plano do Spark Connect Cache
  • SPARK-51813 Adicione um DefaultCachedBatchKryoSerializer não anulável para evitar a propagação de nulos no DefaultCachedBatch serde
  • SPARK-52904 Reaplicar "[SC-202233][python] Ativar convertToArrowArrayS...
  • SPARK-53253 Corrigir registo UDF do tipo SQL_SCALAR_ARROW_ITER_UDF
  • SPARK-53243 Listar os tipos de avaliação suportados em nós Arrow
  • SPARK-53130 Corrigir o comportamento de tipos de cadeia de caracteres colacionados
  • SPARK-53003 Apoio strip em SparkStringUtils
  • SPARK-51902 Sincronizar OSS: aplicar restrições de verificação na inserção de tabela
  • SPARK-52047 Gerar PySparkValueError para tipos de gráficos não suportados
  • SPARK-53004 Suporte abbreviate em SparkStringUtils
  • SPARK-53066 Melhorar o EXPLAIN resultado para DSv2 Join pushdown
  • SPARK-30848 Remover productHash de TreeNode
  • SPARK-53046 Use Java readAllBytes em vez de IOUtils.toByteArray
  • SPARK-53206 Utilizar SparkFileUtils.move em vez de com.google.common.io.Files.move
  • SPARK-53066 Melhorar o output para DSv2 Join pushdown
  • SPARK-53069 Corrigir métricas incorretas do armazenamento de estado com famílias de colunas virtuais
  • SPARK-52904 Ativar convertToArrowArraySafely por padrão [17.x]
  • SPARK-52821 adicionar coerção do tipo de retorno int-DecimalType no udf do pyspark
  • SPARK-51562 Adicionar time função
  • Spark-52971 Limitar o tamanho da fila de trabalho ociosa Python
  • SPARK-53057 Apoio sizeOf em SparkFileUtils e JavaUtils
  • SPARK-53040 Proibir autorreferências dentro de CTEs principais em CTEs recursivos
  • SPARK-53104 Introduzir ansi_mode_context para evitar várias verificações de configuração por chamada de API
  • SPARK-47547 Adicionar BloomFilter V2 e usá-lo como padrão
  • SPARK-53098DeduplicateRelations não deve remapear expressões se o antigo ExprId ainda existir na saída
  • SPARK-53049 Suporte toString em SparkStreamUtils
  • SPARK-53062 Apoio deleteQuietly em SparkFileUtils e JavaUtils
  • SPARK-53070 Suporte is(Not)?Empty em SparkCollectionUtils
  • SPARK-53020 Os argumentos JPMS também devem aplicar-se ao processo não-SparkSubmit
  • SPARK-52968 Emita métricas adicionais de armazenamento de estado
  • SPARK-52975 Simplificar os nomes de campo no pushdown join SQL
  • SPARK-52926 Adicionado SQLMetric para a duração do tempo de busca de esquema remoto.
  • SPARK-53059 Arrow UDF não precisa depender de pandas
  • SPARK-52646 Evite CAST_INVALID_INPUT de __eq__ no modo ANSI
  • SPARK-52622 Evitar CAST_INVALID_INPUT de DataFrame.melt no modo ANSI
  • SPARK-52985 Lançar TypeError para operando pandas numpy em operadores de comparação
  • SPARK-52580 Evite CAST_INVALID_INPUT de replace no modo ANSI
  • SPARK-52549 Desativar autorreferências CTE recursivas de funções de janela e ordenações internas
  • SPARK-52895 Não adicione elementos duplicados em resolveExprsWithAggregate
  • SPARK-50748 Corrigir uma questão de condição de corrida que acontece quando as operações são interrompidas
  • SPARK-52737 Predicado de pushdown e número de aplicações para FsHistoryProvider ao listar aplicações
  • SPARK-53018 ArrowStreamArrowUDFSerializer deve respeitar o argumento arrow_cast
  • SPARK-53013 Corrigir o UDTF Python otimizado para Arrow que não retorna linhas na junção lateral
  • FAÍSCA-51834 Sincronizar OSS: suporte a alteração completa de restrições de tabela para adicionar e remover restrições
  • SPARK-52921 Especificar outputPartitioning para UnionExec para garantir a mesma partitioning de saída que os operadores filhos
  • SPARK-52908 Impedir que o nome da variável de iteração entre em conflito com os nomes de rótulos no caminho para a raiz do AST
  • SPARK-52954 Suporte a coerção do tipo de retorno em UDF do Arrow
  • SPARK-52925 Retornar mensagem de erro correta para autorreferências de âncora em rCTEs
  • SPARK-52889 Implementar a função current_time no PySpark
  • SPARK-52675 Interromper manipuladores suspensos de ML em testes
  • SPARK-52959 Suporte a UDT em UDTF Python otimizado para Arrow
  • SPARK-52962 BroadcastExchangeExec não deve redefinir métricas
  • SPARK-52956 Preservar metadados de alias quando reduzir projetos
  • SPARK-52890 Implementar as funções to_time e try_to_time no PySpark
  • SPARK-52888 Implementar a função make_time no PySpark
  • SPARK-52892 Suporte para TIME nas funções de hora, minuto e segundo no PySpark
  • SPARK-52837 Suporte TimeType no pyspark
  • FAÍSCA-52023 Corrigir corrupção de dados / segfault retornando Option[Product] do udaf
  • SPARK-52955 Altera os tipos de retorno de WindowResolution.resolveOrder e WindowResolution.resolveFrame para WindowExpression
  • SPARK-52166 Adicionar suporte para Eventos de Pipeline
  • SPARK-51834 Correção: remover válido de toDDL
  • SPARK-52735 Corrigir condições de erro em falta para UDFs SQL
  • SPARK-51834 Suporte a OSS para sincronização de ponta a ponta para criar/substituir uma tabela com restrição
  • SPARK-51834 Sincronizar atualização OSS ResolvedIdentifier desfazer chamadas
  • SPARK-52929 Suporte para conetores MySQL e SQLServer no DSv2 para a execução de pushdown em combinações (Join pushdown)
  • SPARK-52448 Adicionar Literal de Struct Expression simplificado
  • SPARK-52882 Implementar a função current_time em Scala
  • SPARK-52905 Arrow UDF para janela
  • SPARK-52876 Corrigir um erro de digitação buffer para body em ChunkFetchSuccess.toString
  • SPARK-52883 Implementar as funções to_time e try_to_time em Scala
  • Spark-52751 Não valide imediatamente o nome da coluna em dataframe['col_name']
  • SPARK-52791 Corrigir erro ao inferir um UDT com um primeiro elemento nulo
  • SPARK-52686Union deve ser resolvido apenas se não houver duplicatas
  • SPARK-52881 Implementar a função make_time em Scala
  • SPARK-52919 Corrigir a otimização de pushdown da junção DSv2 para usar a coluna previamente aliesada.
  • SPARK-52866 Adicionar suporte para try_to_date
  • SPARK-52846 Adicionar uma métrica no JDBCRDD para o tempo que demora a buscar o conjunto de resultados
  • SPARK-52859 Adicionar trait SparkSystemUtils
  • SPARK-52823 Suporte para pushdown de Join DSv2 para conector Oracle
  • SPARK-52165 Configurar a estrutura de construção para o projeto de pipelines
  • SPARK-52869 Adicionar a validação FrameLessOffsetWindowFunction à validateResolvedWindowExpression para reutilização no analisador de passagem única
  • FAÍSCA-52885 Implementar as funções de hora, minuto e segundo no Scala para o tipo TIME
  • SPARK-52903 Cortar aliases que não são principais antes da resolução da LCA
  • SPARK-52832 Corrigir citação de identificador de dialeto JDBC
  • SPARK-52870 Citar corretamente nomes de variáveis na FOR instrução
  • SPARK-52859 Adicionar SparkSystemUtils trait
  • SPARK-52900 Usar SparkStringUtils.stringToSeq em FsHistoryProvider
  • SPARK-52809 Não mantenha referências de leitor e iterador para todas as partições nos escutadores de conclusão de tarefas para a atualização de métricas.
  • SPARK-52815 Aprimorar SparkClassUtils para suportar getAllInterfaces
  • SPARK-52795 Incluir runId nos registos do armazenamento de estado
  • SPARK-52779 Suporte literal de TimeType no Connect
  • SPARK-52899 Corrigir o teste QueryExecutionErrorsSuite para registrar novamente H2Dialect.
  • SPARK-52862 Corrigir a verificação de anulabilidade de Decimal('NaN')
  • SPARK-52214 Arrow UDF para agregação
  • SPARK-52787 Reorganize o diretório de execução em streaming em relação às áreas de tempo de execução e checkpoint
  • SPARK-51564 Análise de tempo no formato de 12 horas
  • SPARK-52859 Adicionar SparkSystemUtils trait
  • SPARK-51562 Adicionar time função
  • SPARK-52850 Ignorar conversões se for uma função de identidade
  • SPARK-52863 Refinar trajetórias de código para versões antigas de pandas
  • SPARK-52516 Não mantenha a referência do iterador anterior após avançar para o próximo arquivo em ParquetPartitionReaderFactory
  • SPARK-52848 Evite conversão para Double ao converter TIME/TIMESTAMP para DECIMAL
  • SPARK-52770 Suporte para o tipo TIME no proto de conexão
  • SPARK-52842 Nova funcionalidade e correções de erros para analisador de passagem única
  • SPARK-52620 Suporte para convers�o de TIME para DECIMAL
  • SPARK-52783 Refatorar a lógica de validação de função de janela do checkAnalysis para reutilização no analisador de passagem única
  • SPARK-51695 Sincronizar OSS para criar/substituir/alterar uma tabela para uma restrição única via DSv2
  • SPARK-51695 Sincronizar a restrição de eliminação do OSS via DSv2
  • SPARK-52824 Classificação de erro do CheckpointFileManager
  • SPARK-52829 Corrigir LocalDataToArrowConversion.convert para lidar corretamente com linhas vazias
  • SPARK-52811 Otimize ArrowTableToRowsConversion.convert para melhorar o desempenho
  • SPARK-52796 Otimize LocalDataToArrowConversion.convert para melhorar o desempenho
  • Faísca-51695 Sincronizar OSS Alterar Tabela Adicionar alterações no analisador de restrições
  • SPARK-52619 Converter TimeType para IntegralType
  • SPARK-52187 Introduzir pushdown de Join para DSv2
  • SPARK-52782 Retornar NULL de +/- em datetime com NULL
  • SPARK-51695 Apresentar alterações ao parser para restrições de tabela (CHECK, PK, FK)
  • SPARK-52808spark.history.retainedApplications deve ser positivo
  • SPARK-52776 Não divida o campo comm em ProcfsMetricsGetter
  • SPARK-52793 Suporte isUnix em o.a.s.util.Utils
  • SPARK-52792 Remover commons-lang3 dependência de network-common
  • FAÍSCA-52797 Use Utils.isWindows em vez de reavaliar em PythonWorkerFactory
  • SPARK-52784 Adicionar conversão TimeZoneAware em WindowFrameTypeCoercion.createBoundaryCast
  • SPARK-52725 Atrase a inicialização do gestor de perfis de recursos até que o plugin seja carregado
  • SPARK-52565 Impor resolução ordinal antes de outras expressões de ordem de ordenação
  • SPARK-52740 Corrigir o NPE em HDFSBackedStateStoreProvider ao acessar StateStoreConf.sqlConf quando a versão do formato de checkpoint for >=2
  • SPARK-52673 Adicionar manipulação de gRPC RetryInfo a políticas de repetição do Spark Connect
  • SPARK-52724 Melhore o tratamento de erros OOM em uniões de transmissão com suporte à indicação SHUFFLE_MERGE
  • SPARK-52781 Corrigir erro de digitação de dtyeps no internal.py
  • SPARK-52730 Armazenar driver subjacente e versão do banco de dados no JDBCRDD
  • SPARK-52727 Refatorar a resolução da janela para que possa ser reutilizada no analisador de passagem única
  • SPARK-52695 Suporte de gravação para Tipo Definido pelo Utilizador no formato de ficheiro XML
  • SPARK-52722 Descontinuar a classe JdbcRDD
  • SPARK-51695 Apresentar alterações ao parser para restrições de tabela (CHECK, PK, FK)
  • FAÍSCA-52763 Suporte subtração de TEMPO
  • FAÍSCA-52768 Corrigir erro de digitação "moveing" em pandas/series.py
  • SPARK-52730 Armazenar driver subjacente e versão do banco de dados no JDBCRDD
  • SPARK-52694 Adicionar o.a.s.sql.Encoders#udtAPI
  • SPARK-52720 Corrigir alargamento do tipo float32 sob ANSI em add/radd
  • SPARK-52723 Validação do nome da coluna no lado do servidor
  • SPARK-52760 Corrigir o alargamento do tipo float32 em sub/rsub sob ANSI
  • SPARK-52738 Suporte para agregação do tipo TIME utilizando uma UDAF quando o buffer subjacente é um UnsafeRow
  • SPARK-52704 Simplificar a interoperabilidade entre SQLConf e opções de formatos de ficheiros em TextBasedFileFormats
  • SPARK-52706 Corrigir inconsistências e refatorar tipos primitivos no parser
  • SPARK-52718 Corrigir conversão do tipo float32 em rmod/mod sob ANSI
  • FAÍSCA-52736 Corrigir erros de digitação 'movendo' em pyspark/pandas/generic.py

Suporte ao driver ODBC/JDBC do Azure Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Descarregue os drivers recentemente lançados e atualize (descarregue ODBC, descarregue JDBC).

Ambiente do sistema

  • Sistema Operacional: Ubuntu 24.04.3 LTS
  • Java: Zulu17.58+21-CA
  • Escala: 2.13.16
  • Píton: 3.12.3
  • R: 4.4.2
  • Lago Delta: 4.0.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
tipos com anotações 0.7.0 anyio 4.6.2 Argão2-CFFI 21.3.0
argon2-cffi-vinculações 21.2.0 seta 1.3.0 AstTokens 2.0.5
"Astunparse" 1.6.3 Async-LRU 2.0.4 Atributos 24.3.0
Comando automático 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity (serviços de identidade do Azure) 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
Azure Storage Blob 12.23.0 Armazenamento de Ficheiros Azure Data Lake 12.17.0 Babel 2.16.0
backports.tarfile 1.2.0 BeautifulSoup4 4.12.3 preto 24.10.0
lixívia 6.2.0 pisca 1.7.0 boto3 1.36.2
Botocore 1.36.3 Ferramentas de cache 5.5.1 certifi 2025.1.31
cffi 1.17.1 Chardet 4.0.0 Normalizador de Charset 3.3.2
clicar 8.1.7 Cloudpickle 3.0.0 Comunicação 0.2.1
contorno 1.3.1 criptografia 43.0.3 ciclista 0.11.0
Cython 3.0.12 Databricks-SDK 0.49.0 dbus-python 1.3.2
debugpy 1.8.11 decorador 5.1.1 defusedxml 0.7.1
Deprecated 1.2.13 Distlib 0.3.9 convertendo docstring em markdown 0.11
executar 0.8.3 facetas-visão geral 1.1.1 fastapi 0.115.12
fastjsonschema (biblioteca para validação rápida de esquemas JSON) 2.21.1 bloqueio de arquivo 3.18.0 Fonttools 4.55.3
FQDN (Nome de Domínio Completo) 1.5.1 fsspec 2023.5.0 GitDB 4.0.11
GitPython 3.1.43 google-api-core 2.20.0 Google-Auth (Autenticação) 2.40.0
Google Cloud Core 2.4.3 google-armazenamento-em-nuvem 3.1.0 Google-CRC32C 1.7.1
google-media-reutilizável 2.7.2 googleapis-common-protos 1.65.0 Grpcio 1.67.0
grpcio-status 1.67.0 h11 0.14.0 httpcore 1.0.2
httplib2 0.20.4 httpx 0.27.0 IDNA 3.7
importlib-metadata 6.6.0 importlib_resources 6.4.0 flexionar 7.3.1
iniconfig 1.1.1 ipyflow-core 0.0.209 Ipykernel 6.29.5
IPython 8.30.0 ipython-genutils 0.2.0 ipywidgets 7.8.1
isodate 0.6.1 isoduração 20.11.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 Jedi 0.19.2
Jinja2 3.1.5 jmespath 1.0.1 Joblib 1.4.2
JSON5 0.9.25 jsonpointer 3.0.0 jsonschema 4.23.0
jsonschema-especificações 2023.7.1 Jupyter-Eventos 0.10.0 Jupyter-LSP 2.2.0
jupyter_client 8.6.3 jupyter_core 5.7.2 jupyter_servidor 2.14.1
jupyter_server_terminals 0.4.4 Jupyterlab 4.3.4 JupyterLab-Pygments 0.1.2
jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3 kiwisolver 1.4.8
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
markdown-it-py 2.2.0 MarkupSafe 3.0.2 Matplotlib 3.10.0
matplotlib-inline 0.1.7 Mccabe 0.7.0 mdurl 0.1.0
Mistune 2.0.4 mlflow-skinny 3.0.1 MMH3 5.1.0
more-itertools 10.3.0 MSAL 1.32.3 MSAL-extensões 1.3.1
mypy extensions 1.0.0 nbclient 0.8.0 nbconvert 7.16.4
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
bloco de notas 7.3.2 notebook_shim 0.2.3 numpy 2.1.3
OAuthlib 3.2.2 OpenTelemetry API 1.32.1 OpenTelemetry SDK 1.32.1
Convenções Semânticas de OpenTelemetry 0,53b1 sobrescrições 7.4.0 embalagem 24,2
pandas 2.2.3 PandocFilters 1.5.0 Parso 0.8.4
PathSpec 0.10.3 vítima 1.0.1 pexpect 4.8.0
almofada 11.1.0 pip (o gestor de pacotes do Python) 25.0.1 platformdirs 3.10.0
enredo 5.24.1 Pluggy 1.5.0 prometheus_client 0.21.0
kit de ferramentas de prompt 3.0.43 Proto-Plus 1.26.1 Protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
puro-eval 0.2.2 Pyarrow 19.0.1 pyasn1 0.4.8
pyasn1-módulos 0.2.8 pyccolo 0.0.71 Pycparser 2.21
Pidântico 2.10.6 pydantic_core 2.27.2 Pyflakes 3.2.0
Pigmentos 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 pyodbc 5.2.0 pyparsing 3.2.0
Pyright 1.1.394 Pytest 8.3.5 python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-servidor 1.12.0
pytoolconfig 1.2.6 Pytz 2024.1 PyYAML 6.0.2
Pyzmq 26.2.0 referenciação 0.30.2 pedidos 2.32.3
rfc3339-verificador 0.1.4 rfc3986-validador 0.1.1 rico 13.9.4
corda 1.12.0 rpds-py 0.22.3 RSA 4.9.1
s3transfer 0.11.3 scikit-learn (biblioteca de aprendizado de máquina em Python) 1.6.1 SciPy 1.15.1
nascido no mar 0.13.2 Send2Trash 1.8.2 Ferramentas de configuração 74.0.0
seis 1.16.0 smmap 5.0.0 sniffio 1.3.0
contentores classificados 2.4.0 Coador de sopa 2.5 SQLPARSE 0.5.3
ssh-import-id 5.11 stack-data 0.2.0 Starlette 0.46.2
statsmodels (uma biblioteca de Python para modelos estatísticos) 0.14.4 strictyaml 1.7.3 tenacidade 9.0.0
terminado 0.17.1 Threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 Tomli 2.0.1 tornado 6.4.2
traitlets 5.14.3 Protetor de Tipografia 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions (extensões de digitação) 4.12.2 tzdata 2024.1 Ujson 5.10.0
Atualizações não supervisionadas 0.1 uri-modelo 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 Webcolors 24.11.1 codificações da web 0.5.1
Websocket-cliente 1.8.0 whatthepatch (ferramenta para comparação de patches) 1.0.2 wheel 0.45.1
widgetsnbextension 3.6.6 embrulhado 1.17.0 Yapf 0.40.2
zipp 3.21.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir da versão instantânea do CRAN do Posit Package Manager em 2025-03-20.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 19.0.1 AskPass 1.2.1 asserir que 0.2.1
Retroportagens 1.5.0 base 4.4.2 base64enc 0.1-3
bigD 0.3.0 pouco 4.6.0 bit-64 4.6.0-1
Bitops 1.0-9 blob 1.2.4 inicialização 1.3-30
fabricação de cerveja 1.0-10 vigor 1.1.5 vassoura 1.0.7
bslib 0.9.0 cachemira 1.1.0 Chamador 3.7.6
caret 7.0-1 CellRanger 1.1.0 crono 2.3-62
classe 7.3-22 CLI 3.6.5 Clipr 0.8.0
relógio 0.7.2 cluster 2.1.6 CodeTools 0.2-20
espaço de cores 2.1-1 marca comum 1.9.5 compilador 4.4.2
Configurações 0.3.2 conflituoso 1.2.0 cpp11 0.5.2
lápis de cor 1.5.3 credenciais 2.0.2 encaracolar 6.4.0
tabela de dados 1.17.0 conjuntos de dados 4.4.2 DBI 1.2.3
DBPlyr 2.5.0 descrição 1.4.3 DevTools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 resumo 0.6.37
Iluminação reduzida 0.4.4 DPLYR 1.1.4 DTPlyr 1.3.1
e1071 1.7-16 reticências 0.3.2 avaliar 1.0.3
Fansi 1.0.6 cores 2.1.2 mapa rápido 1.2.0
fontawesome 0.5.3 forçados 1.0.0 foreach 1.5.2
estrangeiro/a 0.8 a 86 forjar 0.2.0 fs 1.6.5
Futuro 1.34.0 futuro.apply 1.11.3 gargarejo 1.5.2
genérico 0.1.4 Gert 2.1.4 ggplot2 3.5.1
gh 1.4.1 Git2R 0.35.0 gitcreds 0.1.2
glmnet 4.1-8 Globais 0.18.0 cola 1.8.0
GoogleDrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.2
gráficos 4.4.2 grDispositivos 4.4.2 grelha 4.4.2
gridExtra 2.3 gsubfn 0.7 gt 0.11.1
tabela g 0.3.6 capacete de segurança 1.4.1 Refúgio 2.5.4
mais alto 0.11 HMS (Navio de Sua Majestade) 1.1.3 htmltools 0.5.8.1
htmlwidgets (componentes HTML interativos) 1.6.4 httpuv 1.6.15 HTTR 1.4.7
httr2 1.1.1 identificadores 1.0.1 ini 0.3.1
ipred 0.9 a 15 Banda isobárica 0.2.7 iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.9.1 JuicyJuice 0.1.0
KernSmooth 2.23-22 Knitr 1,50 etiquetagem 0.4.3
mais tarde 1.4.1 treliça 0.22-5 lave 1.8.1
ciclo de vida 1.0.4 ouvir 0.9.1 lubridato 1.9.4
Magrittr 2.0.3 Marcação 1.13 MASSA 7.3-60.0.1
Matriz 1.6-5 memorização 2.0.1 Metodologia 4.4.2
mgcv 1.9-1 mime 0,13 miniUI 0.1.1.1
Mlflow 2.20.4 ModelMetrics 1.2.2.2 modelr 0.1.11
Munsell 0.5.1 nlme 3.1-164 NNET 7.3-19
numDeriv 2016.8 a 1.1 openssl (conjunto de ferramentas para criptografia) 2.3.3 paralelo 4.4.2
Paralelamente 1.42.0 pilar 1.11.0 pkgbuild 1.4.6
pkgconfig 2.0.3 pkgdown 2.1.1 pkgload 1.4.0
plogr 0.2.0 Plyr 1.8.9 elogios 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.6
Prodlim 2024.06.25 profvis 0.4.0 Progressos 1.2.3
progressr 0.15.1 promessas 1.3.2 prototipo 1.0.0
proxy 0.4-27 P.S. 1.9.0 purrr 1.0.4
R6 2.6.1 ragg 1.3.3 randomForest 4.7-1.2
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.14 RcppEigen 0.3.4.0.2 capaz de reagir 0.4.4
reactR 0.6.1 Readr 2.1.5 readxl 1.4.5
receitas 1.2.0 revanche 2.0.0 revanche2 2.1.2
Controles remotos 2.5.0 Exemplo Reproduzível (Reprex) 2.1.1 remodelar2 1.4.4
rlang 1.1.6 rmarkdown 2.29 RODBC 1.3-26
roxygen2 7.3.2 rpart (função de partição recursiva em R) 4.1.23 rprojroot 2.0.4
Rserve 1,8-15 RSQLite 2.3.9 rstudioapi 0.17.1
rversions 2.1.2 Rvest 1.0.4 Sass 0.4.9
balanças 1.3.0 seletor 0.4-2 Informação da sessão 1.2.3
forma 1.4.6.1 brilhante 1.10.0 ferramentas de código-fonte 0.1.7-1
sparklyr 1.9.1 SparkR 4.0.0 sparsevctrs 0.3.1
espacial 7.3-17 splines 4.4.2 sqldf 0.4-11
SQUAREM 2021.1 estatísticas 4.4.2 estatísticas4 4.4.2
string 1.8.7 stringr 1.5.1 Sobrevivência 3.5-8
Charme 5.17.14.1 Sistema 3.4.3 fontes do sistema 1.2.1
tcltk (uma linguagem de programação) 4.4.2 testthat 3.2.3 formatação de texto 1.0.0
Tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 mudança de hora 0.3.0 data e hora 4041.110
Tinytex 0.56 Ferramentas 4.4.2 tzdb 0.5.0
verificador de URL 1.0.1 usethis 3.1.0 UTF8 1.2.6
utilitários 4.4.2 Identificador Único Universal (UUID) 1.2-1 V8 6.0.2
VCTRS 0.6.5 viridisLite 0.4.2 vruum 1.6.5
Waldo 0.6.1 vibrissas 0.4.1 murchar 3.0.2
xfun 0.51 XML2 1.3.8 xopen 1.0.1
xtable 1.8-4 yaml 2.3.10 Zeallot 0.1.0
ZIP 2.3.2

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.13)

ID do grupo ID do artefato Versão
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) 1.12.638
com.amazonaws AWS-Java-SDK-CloudFormation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws AWS Java SDK para CloudSearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config (configuração do AWS Java SDK) 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-aprendizado de máquina 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws AWS Java SDK para SES 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) 1.12.638
com.amazonaws AWS-Java-SDK-STS 1.12.638
com.amazonaws aws-java-sdk-suporte 1.12.638
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics fluxo 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware sombra kriogénica 4.0.3
com.esotericsoftware Minlog 1.3.0
com.fasterxml colega de turma 1.5.1
com.fasterxml.jackson.core Jackson-Annotations 2.18.2
com.fasterxml.jackson.core Jackson-Core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (formato de dados em CBOR) 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.2
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil Jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Nativos
com.github.fommil.netlib sistema_nativo-Java 1.1
com.github.fommil.netlib sistema_nativo-Java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1-Nativos
com.github.luben zstd-jni 1.5.6-10
com.github.virtuald Curvesapi 1,08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-comum-protos 2.5.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone anotações_propensas_a_erros 2.36.0
com.google.flatbuffers flatbuffers-java 24.3.25
com.google.guava Falha no acesso 1.0.2
com.google.guava Goiaba 33.4.0-JRE
com.google.guava ListenableFuture 9999.0-vazio-para-evitar-conflito-com-Guava
com.google.j2objc j2objc-anotações 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger gerador de perfis 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK para Azure Data Lake Store) 2.3.10
com.microsoft.sqlserver MSSQL-JDBC 11.2.2.jre8
com.microsoft.sqlserver MSSQL-JDBC 12.8.0.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind JAXB-CORE 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning Json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe Configurações 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity analisadores de univocidade 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.9.0
commons-codec commons-codec 1.17.2
Commons Collections Commons Collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload (upload de ficheiros comuns) commons-fileupload (upload de ficheiros comuns) 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.18.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 2.0.2
IO.Delta delta-sharing-client_2.13 1.3.5
io.dropwizard.metrics métricas e anotação 4.2.30
io.dropwizard.metrics métricas-base 4.2.30
io.dropwizard.metrics metrics-graphite 4.2.30
io.dropwizard.metrics métricas e verificações de saúde 4.2.30
io.dropwizard.metrics metrics-jetty9 4.2.30
io.dropwizard.metrics metrics-jmx 4.2.30
io.dropwizard.metrics métricas em formato JSON 4.2.30
io.dropwizard.metrics métricas do JVM 4.2.30
io.dropwizard.metrics Métricas-Servlets 4.2.30
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.1.118.Final
io.netty netty-buffer 4.1.118.Final
io.netty netty-codec 4.1.118.Final
io.netty netty-codec-http 4.1.118.Final
io.netty netty-codec-http2 4.1.118.Final
io.netty netty-codec-socks 4.1.118.Final
io.netty Netty Comum 4.1.118.Final
io.netty Netty Handler 4.1.118.Final
io.netty netty-handler-proxy 4.1.118.Final
io.netty netty-resolver (resolução do Netty) 4.1.118.Final
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes 2.0.70.Final
io.netty Netty-Transport 4.1.118.Final
io.netty netty-transport-classes-epoll 4.1.118.Final
io.netty netty-transport-classes-kqueue 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.118.Final
io.prometeu simpleclient 0.16.1-databricks
io.prometeu simpleclient_comum 0.16.1-databricks
io.prometeu simpleclient_dropwizard 0.16.1-databricks
io.prometeu simpleclient_pushgateway 0.16.1-databricks
io.prometeu simpleclient_servlet 0.16.1-databricks
io.prometeu simpleclient_servlet_common 0.16.1-databricks
io.prometeu simpleclient_tracer_common 0.16.1-databricks
io.prometeu simpleclient_tracer_otel 0.16.1-databricks
io.prometeu simpleclient_tracer_otel_agente 0.16.1-databricks
io.prometheus.jmx recoletor 0.18.0
jacarta.anotação Jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
Jakarta.validação jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.ativação ativação 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind JAXB-API 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.13.0
net.java.dev.jna jna 5.8.0
net.razorvine conserva 1.5
net.sf.jpam JPAM 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve Snowflake Ingest SDK 0.9.6
net.sourceforge.f2j arpack_combinado_tudo 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR Runtime 3.5.2
org.antlr antlr4-tempo de execução 4.13.1
org.antlr StringTemplate 3.2.1
org.apache.ant formiga 1.10.11
org.apache.ant ANT-JSCH 1.10.11
org.apache.ant lançador de formigas 1.10.11
org.apache.arrow formato de flecha 18.2.0
org.apache.arrow núcleo de memória Arrow 18.2.0
org.apache.arrow Arrow-Memory-Netty 18.2.0
org.apache.arrow "patch-do-buffer-da-memória-arrow-netty" 18.2.0
org.apache.arrow vetor de seta 18.2.0
org.apache.avro Avro 1.12.0
org.apache.avro AVRO-IPC 1.12.0
org.apache.avro avro-mapred 1.12.0
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.27.1
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.17.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.13.0
org.apache.curador curador e cliente 5.7.1
org.apache.curador Framework de Curadoria 5.7.1
org.apache.curador curador de receitas 5.7.1
org.apache.datasketches Datasketches-Java 6.1.1
org.apache.datasketches datasketches-memória 3.0.2
org.apache.derby Dérbi 10.14.2.0
org.apache.hadoop tempo de execução do cliente Hadoop 3.4.1
org.apache.hive colmeia-abelha 2.3.10
org.apache.hive Hive-CLI 2.3.10
org.apache.hive Hive-JDBC 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive Hive-Serde 2.3.10
org.apache.hive colmeias-calços 2.3.10
org.apache.hive API de armazenamento Hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims colmeia-calços-comum 2.3.10
org.apache.hive.shims hive-shims-scheduler 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-esquema-json 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.1.1-protobuf sombreado
org.apache.orc formato ORC 1.1.0-protobuf sombreado
org.apache.orc orc-mapreduce 2.1.1-protobuf sombreado
org.apache.orc Orc-cunhas 2.1.1
org.apache.poi POI 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-completo 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-sombreado 4.26
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus anotações do público 0.13.0
org.apache.zookeeper cuidador de zoológico 3.9.3
org.apache.zookeeper guarda de zoológico-juta 3.9.3
org.checkerframework verificador de qualidade 3.43.0
org.codehaus.janino compilador comum 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus DataNucleus Core 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty Jetty-Cliente 9.4.53.v20231009
org.eclipse.jetty jetty-continuation (componente de software do Jetty) 9.4.53.v20231009
org.eclipse.jetty Jetty-HTTP 9.4.53.v20231009
org.eclipse.jetty jetty-io 9.4.53.v20231009
org.eclipse.jetty Jetty-JNDI 9.4.53.v20231009
org.eclipse.jetty Jetty Plus 9.4.53.v20231009
org.eclipse.jetty Jetty-Proxy 9.4.53.v20231009
org.eclipse.jetty Segurança do Jetty 9.4.53.v20231009
org.eclipse.jetty servidor jetty 9.4.53.v20231009
org.eclipse.jetty jetty-servlet 9.4.53.v20231009
org.eclipse.jetty jetty-servlets 9.4.53.v20231009
org.eclipse.jetty Jetty-util 9.4.53.v20231009
org.eclipse.jetty jetty-util-ajax 9.4.53.v20231009
org.eclipse.jetty Aplicação web Jetty 9.4.53.v20231009
org.eclipse.jetty Jetty-XML 9.4.53.v20231009
org.eclipse.jetty.websocket API WebSocket 9.4.53.v20231009
org.eclipse.jetty.websocket Websocket-cliente 9.4.53.v20231009
org.eclipse.jetty.websocket Websocket-Comum 9.4.53.v20231009
org.eclipse.jetty.websocket servidor websocket 9.4.53.v20231009
org.eclipse.jetty.websocket Websocket-servlet 9.4.53.v20231009
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 HK2-Localizador 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 localizador de recursos OSGi 1.0.3
org.glassfish.hk2.external aopalliance-reembalado 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (serviço de contêiner Jersey) 2.41
org.glassfish.jersey.containers jersey-container-servlet-core 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core Jersey comum 2.41
org.glassfish.jersey.core servidor Jersey 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator hibernate-validator (ferramenta de validação de dados de Java) 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.jline Jline 3.27.1-JDK8
org.joda joda-converter 1.7
org.jodd JODD-CORE 3.5.2
org.json4s json4s-ast_2.13 4.0.7
org.json4s JSON4S-core_2.13 4.0.7
org.json4s json4s-jackson-core_2,13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s JSON4S-scalap_2.13 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2,13 2.9.1
org.objenesis objenesis 3.3
org.postgresql PostgreSQL 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2,13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.3.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest compatível com scalatest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest escalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-compatível-com-slf4j 2.0.16
org.slf4j jul-para-slf4j 2.0.16
org.slf4j SLF4J-API 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten ThreeTen-Extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl WildFly-OpenSSL 1.1.3.Final
org.xerial SQLITE-JDBC 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml Snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
Stax stax-api 1.0.1

Sugestão

Para ver as notas de versão das versões do Databricks Runtime que atingiram o fim do suporte (EoS), consulte Notas de versão do Databricks Runtime que atingiram o fim do suporte. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.

  • Last updated on