Compartilhar via

Databricks Runtime 17.2

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 17.2, alimentado pelo Apache Spark 4.0.0.

O Azure Databricks lançou esta versão em setembro de 2025.

Novos recursos e melhorias

O LIKE dá suporte à ordenação UTF8_LCASE

O LIKE operador agora dá suporte à UTF8_LCASE intercalação, permitindo a correspondência sem diferenciar maiúsculas de minúsculas.

st_exteriorring agora há suporte para a função

Agora você pode usar a st_exteriorring função para extrair o limite externo de um polígono e retorná-lo como um linestring. Veja a st_exteriorring função.

Mostrar detalhes do pushdown e EXPLAIN a interface do usuário do Spark para verificações remotas

O EXPLAIN comando e a interface do usuário do Spark para RemoteSparkConnectScan a computação dedicada agora exibem predicados, agregações, cláusulas agrupadas por cláusulas, limites e exemplos que são enviados para baixo na verificação remota.

Declarar várias variáveis locais ou de sessão em uma única DECLARE instrução

No Databricks Runtime 17.2 e superior, você pode declarar várias variáveis locais ou de sessão do mesmo tipo e valor padrão em uma única DECLARE instrução. Consulte DECLARE VARIABLE e instrução composta BEGIN END.

Palavra-chave de suporte TEMPORARY para criação de exibição de métrica

Agora você pode usar a TEMPORARY palavra-chave ao criar uma exibição de métrica. As exibições de métrica temporária são visíveis apenas na sessão que as criou e são descartadas quando a sessão termina. Consulte CREATE VIEW.

Suporte a comandos adicionais com controle de acesso refinado

Agora, o controle de acesso refinado na computação dedicada dá suporte aos comandos e FSCK REPAIR TABLE aos DESCRIBE DETAIL comandos.

Substituir dados seletiva e atomicamente por INSERT REPLACE USING e INSERT REPLACE ON (GA)

INSERT REPLACE USING e INSERT REPLACE ON agora estão disponíveis para o Databricks Runtime 17.2. Ambos os comandos SQL substituem parte da tabela pelo resultado de uma consulta.

INSERT REPLACE USING substitui linhas quando as USING colunas se comparam igual em igualdade. INSERT REPLACE ON substitui as linhas quando correspondem a uma condição definida pelo usuário.

Consulte INSERT a referência da linguagem SQL e substitua seletivamente os dados com o Delta Lake.

Usar E/S nativa para LokiFileSystem.getFileStatus o S3

LokiFileSystem.getFileStatus agora usa a pilha de E/S nativa para o tráfego do Amazon S3 e retorna org.apache.hadoop.fs.FileStatus objetos em vez de shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

Modo ANSI habilitado por padrão para a API do Pandas no Spark

ANSI_MODE agora está habilitado por padrão para a API pandas no Spark com compute.ansi_mode_support=True, o que garante a paridade de conformidade ansi com pandas nativos. A compute.fail_on_ansi_mode opção ainda se aplica se compute.ansi_mode_support estiver definida como False.

O Carregador Automático infere colunas de partição no modo singleVariantColumn

O carregador automático agora infere colunas de partição a partir de caminhos de arquivo ao fazer a ingestão de dados como um tipo de variante semiestruturado usando a opção singleVariantColumn. Anteriormente, as colunas de partição não eram detectadas automaticamente. Consulte as opções do Carregador Automático.

Alterações comportamentais

DESCRIBE CONNECTION mostra as configurações de ambiente para conexões JDBC

O Azure Databricks agora inclui configurações de ambiente definidas pelo DESCRIBE CONNECTION usuário na saída para conexões JDBC que dão suporte a drivers personalizados e são executadas isoladamente. Outros tipos de conexão permanecem inalterados.

Opção para truncar o histórico uniforme durante a migração de tabelas gerenciadas

Agora você pode truncar o histórico uniforme ao migrar tabelas com Uniform/Iceberg habilitado usando ALTER TABLE...SET MANAGED. Isso simplifica as migrações e reduz o tempo de inatividade em comparação com desabilitar e reabilitar o Uniform manualmente.

Sintaxe SQL para opções de leitura Delta em consultas de streaming

Agora você pode especificar opções de leitura Delta para consultas de streaming baseadas em SQL usando a WITH cláusula. Por exemplo:

SELECT * FROM STREAM tbl WITH (SKIPCHANGECOMMITS=true, STARTINGVERSION=X);

Resultados corretos para split com regex vazio e limite positivo

O Azure Databricks agora retorna resultados corretos ao usar split function com um regex vazio e um limite positivo. Anteriormente, a função truncava incorretamente a cadeia de caracteres restante em vez de incluí-la no último elemento.

Correção url_decode e try_url_decode tratamento de erros no Photon

No Photon etry_url_decode(), agoraurl_decode(), failOnError = false retorne NULL para cadeias de caracteres codificadas em URL inválidas em vez de falhar na consulta.

Ambiente de execução compartilhada para UDTFs do Python do Catálogo do Unity

O Azure Databricks agora compartilha o ambiente de execução para UDTFs (funções de tabela definidas pelo usuário) do Python do mesmo proprietário e da sessão spark. Uma cláusula opcional STRICT ISOLATION está disponível para desabilitar o compartilhamento de UDTFs com efeitos colaterais, como modificar variáveis de ambiente ou executar código arbitrário.

Acompanhamento de linha habilitado por padrão para novas tabelas

O Azure Databricks agora habilita o acompanhamento de linhas por padrão para todas as tabelas gerenciadas do Catálogo do Unity recém-criadas. As tabelas existentes não são afetadas e mantêm as configurações atuais de acompanhamento de linhas.

TABLE suporte a argumentos para UDTFs do Unity Catalog no Python

Os UDTFs do Python no Unity Catalog dão suporte TABLE a argumentos, permitindo que as funções aceitem tabelas inteiras como parâmetros de entrada, possibilitando transformações e agregações de dados mais complexas em conjuntos de dados estruturados. Consulte UDTFs (funções de tabela definidas pelo usuário) do Python no Catálogo do Unity. (Backported de 17.3 LTS).

Atualizações de biblioteca

Bibliotecas do Python atualizadas:

Nenhuma biblioteca do Python foi atualizada nesta versão.

Bibliotecas R atualizadas:

Nenhuma biblioteca do R foi atualizada nesta versão.

Bibliotecas Java atualizadas:

  • io.delta.delta-sharing-client_2.13 de 1.3.3 a 1.3.5

Apache Spark

O Databricks Runtime 17.2 inclui o Apache Spark 4.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas na versão 17.1, bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

  • SPARK-53183 Usar Java Files.readString em vez de o.a.s.sql.catalyst.util.fileToString
  • SPARK-51817 Introduza novamente os campos ansiConfig em messageParameters de CAST_INVALID_INPUT e CAST_OVERFLOW
  • SPARK-53124 Podar campos desnecessários de JsonTuple
  • SPARK-53106 Adicionar testes de evolução de esquema para pacotes de conexão do Spark do TWS Scala
  • SPARK-53201 Usar SparkFileUtils.contentEquals em vez de Files.equal
  • SPARK-53308 Não remova aliases em RemoveRedundantAliases que causariam duplicatas
  • SPARK-53241 Suporte createArray em SparkCollectionUtils
  • SPARK-53239 Melhorar MapSort e SortArray desempenho por meio de parallelSort
  • SPARK-53184 Corrigir melt() quando as colunas de valor misturarem cadeias de caracteres e números
  • SPARK-53144 Tornar o CreateViewCommand no efeito colateral SparkConnectPlanner livre
  • SPARK-53303 Usar o codificador de estado vazio quando o estado inicial não for fornecido no TWS
  • SPARK-52917 Ler o suporte para habilitar a viagem de ida e volta para binário no formato xml
  • SPARK-53110 Implementar a função time_trunc no PySpark
  • SPARK-53107 Implementar a função time_trunc no Scala
  • SPARK-52146 Detectar referências de função cíclica em UDFs do SQL
  • SPARK-52469 Usar a API JEP 223 para processar a versão do Java
  • SPARK-53094 Corrigir CUBE com cláusulas de agregação HAVING
  • SPARK-51874 Adicionar TypedConfigBuilder para enumeração Scala
  • SPARK-53287 Adicionar guia de migração ansi
  • SPARK-43100 As métricas de Embaralhamento Baseado em Push devem ser desserializadas corretamente
  • SPARK-53045 DESCRIBE EXTENDED deve ser resiliente a metadados corrompidos
  • SPARK-53114 Suporte join em JavaUtils
  • SPARK-53297 Corrigir o docstring da API de Pipelines Declarativos do StreamingTable
  • SPARK-53181 Habilitar testes de documento em ANSI
  • SPARK-52482 Melhorar o tratamento de exceções para ler determinados arquivos zstd corrompidos
  • SPARK-52990 Apoio StringSubstitutor
  • SPARK-51874 Adicionar TypedConfigBuilder para enumeração Scala
  • SPARK-53169 Remover comentários relacionados a "Set the logger level of File Appender to" de log4j2.properties
  • SPARK-53080 Suporte cleanDirectory dentro e dentro SparkFileUtilsJavaUtils
  • SPARK-53045 DESCRIBE EXTENDED deve ser resiliente a metadados corrompidos
  • SPARK-53000 Renomear StringUtils.scala para StringConcat.scala no sql/api módulo
  • SPARK-52952 Adicionar script de desenvolvimento de coerção do tipo UDF do PySpark
  • SPARK-52998 Várias variáveis dentro de declare
  • SPARK-51817 Introduza novamente os campos ansiConfig em messageParameters de CAST_INVALID_INPUT e CAST_OVERFLOW
  • SPARK-52820 Capturar planos completos em arquivos dourados
  • SPARK-53274 Suporte ao pushdown de junção à esquerda e à direita no JDBCScanBuilder
  • SPARK-52110 Implementar o suporte à sintaxe do SQL para pipelines
  • SPARK-52950 Habilitar o modo ANSI no DataSourceV2StrategySuite
  • SPARK-52947 Corrigir o caminho da imagem no guia de programação de pipelines declarativos
  • SPARK-52592 Suporte à criação de um ps. Série de um ps. Série
  • SPARK-53301 Diferenciar dicas de tipo de UDF do Pandas e UDF de seta
  • SPARK-53146 Tornar o MergeIntoTable no efeito colateral SparkConnectPlanner livre
  • SPARK-53166 Usar SparkExitCode.EXIT_FAILURE no SparkPipelines objeto
  • SPARK-53288 Corrigir erro de declaração com limite global de streaming
  • SPARK-52394 Corrigir o erro de divisão automática por zero no modo ANSI
  • SPARK-51555 Adicionar a função time_diff()
  • SPARK-52948 Habilitar test_np_spark_compat_frame em ANSI
  • SPARK-53134 Limpar importações ANSI não utilizados em testes
  • SPARK-52593 Evite CAST_INVALID_INPUT de MultiIndex.to_seriese Series.dotDataFrame.dot no modo ANSI
  • SPARK-53291 Corrigir a nulidade da coluna de valor
  • SPARK-53097 Tornar o efeito colateral WriteOperationV2 no SparkConnectPlanner livre
  • SPARK-53305 Suporte a TimeType em createDataFrame
  • SPARK-52914 Suporte On-Demand Log Loading para logs sem interrupção em History Server
  • SPARK-33538 Enviar predicados IN/NOT diretamente para o Metastore do Hive
  • SPARK-52849 Adicionar stringifyException a o.a.s.util.Utils
  • SPARK-52771 Corrigir a ampliação de tipo float32 em truediv/floordiv
  • SPARK-52502 Visão geral da contagem de threads
  • SPARK-52788 Corrigir o erro de conversão de valor binário em BinaryType em XML
  • SPARK-53123 Suporte getRootCause em SparkErrorUtils
  • SPARK-53129 Melhorar SparkShell a importação java.net._ por padrão
  • SPARK-53061 Suporte copyFileToDirectory em SparkFileUtils
  • SPARK-52683 Suporte a ExternalCatalog alterTableSchema
  • SPARK-52871 Mesclar o.a.s.sql.catalyst.util.SparkStringUtils para o.a.s.util.SparkStringUtils
  • SPARK-52817 Corrigir o desempenho da Like expressão
  • SPARK-52545 Padronizar o escape de aspas duplas para seguir a especificação do SQL
  • SPARK-52711 Corrigir a ampliação de tipo float32 em mul/rmul ANSI
  • SPARK-52615 Substituir File.mkdirs por Utils.createDirectory
  • SPARK-52381 JsonProtocol: aceitar apenas subclasses do SparkListenerEvent
  • SPARK-52613 Restaurar a impressão de stacktrace completo quando a exceção de ocorrência de HBase/Hive DelegationTokenProvider
  • SPARK-52651 Manipular o tipo definido pelo usuário no ColumnVector aninhado
  • SPARK-52611 Corrigir a versão do SQLConf para excludeSubqueryRefsFromRemoveRedundantAliases...
  • SPARK-52552 Ignorar a imposição de restrição CHECK para exclusões de vetor
  • Parâmetro de suporte -i-I spark-shell 2.13
  • SPARK-52492 Tornar o InMemoryRelation.convertToColumnarIfPossible personalizável
  • SPARK-52451 Tornar o WriteOperation no efeito colateral SparkConnectPlanner livre
  • SPARK-53272 Refatorar a lógica de pushdown do SPJ do BatchScanExec
  • SPARK-53071 Suporte copyFile em SparkFileUtils
  • SPARK-51415 Suporte ao tipo de hora por make_timestamp()
  • SPARK-51554 Adicionar a função time_trunc()
  • SPARK-52426 Suporte ao redirecionamento de stdout/stderr para o sistema de registro em log
  • SPARK-51834 Suporte ao gerenciamento de restrições de tabela de ponta a ponta
  • SPARK-53063 Implementar e chamar novas APIs no FileCommitProtocol em vez do preterido
  • Spark-52546 verificará se sparkContext foi interrompido ao executar o bloco de código catch em execute(), caso contrário, ele retornará o estado errado.
  • SPARK-53023 Remover commons-io dependência do sql/api módulo
  • SPARK-52396 O Diretório Raiz do Artefato deve usar tmpdir
  • SPARK-53131 Melhorar SparkShell a importação java.nio.file._ por padrão
  • SPARK-42322 Atribuir nome to_LEGACY_ERROR_TEMP_2235
  • SPARK-51834 Suporte ao gerenciamento de restrições de tabela de ponta a ponta
  • SPARK-52484 Ignorar a declaração child.supportsColumnar do lado do driver no ColumnarToRowExec
  • SPARK-52384 Corrigir bug Connect não deve diferenciar as opções do JDBC
  • SPARK-52034 Adicionar métodos comuns na característica sparkOperation para operações de thriftserver
  • SPARK-53031 Suporte getFile em SparkFileUtils
  • SPARK-52976 Correção de UDF do Python que não aceita cadeia de caracteres agrupada como tipo de param/retorno de entrada (17.x)
  • SPARK-52943 Habilitar arrow_cast para todos os tipos de avaliação da UDF do Pandas
  • SPARK-53263 Suporte a TimeType no df.toArrow
  • SPARK-53141 Adicionar APIs para obter o tamanho da memória de sobrecarga e o tamanho da memória offheap do perfil de recurso
  • SPARK-53259 Corrigir a mensagem para INVALID_UDF_EVAL_TYPE
  • SPARK-53167 O inicializador do Spark isRemote também respeita o arquivo de propriedades
  • SPARK-53165 Adicionar SparkExitCode.CLASS_NOT_FOUND
  • SPARK-53171 Melhoria da repetição de UTF8String
  • SPARK-53170 Melhorar SparkUserAppException para ter cause parâmetro
  • SPARK-52989 Adicionar a API close() explícita aos iteradores do Repositório de Estado
  • SPARK-53074 Evitar clustering parcial no SPJ para atender à distribuição necessária de uma criança
  • SPARK-52252 Os codificadores ScalaUDF na subconsulta devem ser resolvidos
  • SPARK-53244 Não armazene configurações habilitadas para execução dupla e habilitadas para modo provisório durante a criação do modo de exibição
  • SPARK-53192 Sempre armazenar em cache um DataSource no Cache de Planos do Spark Connect
  • SPARK-51813 Adicionar um DefaultCachedBatchKryoSerializer não anulável para evitar a propagação nula no serde DefaultCachedBatch
  • SPARK-52904 Reaplicar "[SC-202233][python] Habilitar convertToArrowArrayS...
  • SPARK-53253 Corrigir o registro UDF do tipo SQL_SCALAR_ARROW_ITER_UDF
  • SPARK-53243 Listar os tipos de avaliação com suporte em nós de seta
  • SPARK-53130 Corrigir toJson o comportamento dos tipos de cadeia de caracteres agrupadas
  • SPARK-53003 Suporte strip em SparkStringUtils
  • SPARK-51902 Sincronizar OSS: Impor restrição de verificação na inserção de tabela
  • SPARK-52047 Gerar PySparkValueError para tipos de plotagem sem suporte
  • SPARK-53004 Suporte abbreviate em SparkStringUtils
  • SPARK-53066 Melhorar a EXPLAIN saída do pushdown de Junção DSv2
  • SPARK-30848 Remover productHash do TreeNode
  • SPARK-53046 Usar Java readAllBytes em vez de IOUtils.toByteArray
  • SPARK-53206 Usar SparkFileUtils.move em vez de com.google.common.io.Files.move
  • SPARK-53066 Melhorar a EXPLAIN saída do pushdown de Junção DSv2
  • SPARK-53069 Corrigir métricas incorretas do repositório de estado com famílias de colunas virtuais
  • SPARK-52904 Habilitar convertToArrowArraySafely por padrão [17.x]
  • SPARK-52821 add int-DecimalType> pyspark udf return type coercion
  • SPARK-51562 Adicionar time função
  • SPARK-52971 Limitar o tamanho da fila de trabalho do Python ocioso
  • SPARK-53057 Suporte sizeOf dentro e dentro SparkFileUtilsJavaUtils
  • SPARK-53040 Proibir auto-referências dentro de CTEs superiores em CTEs Recursivos
  • SPARK-53104 Introduzir ansi_mode_context para evitar várias verificações de configuração por chamada à API
  • SPARK-47547 Adicionar BloomFilter v2 e usá-la como padrão
  • SPARK-53098DeduplicateRelations não deve remapear expressões se o antigo ExprId ainda existir na saída
  • SPARK-53049 Suporte toString em SparkStreamUtils
  • SPARK-53062 Suporte deleteQuietly dentro e dentro SparkFileUtilsJavaUtils
  • SPARK-53070 Suporte is(Not)?Empty em SparkCollectionUtils
  • SPARK-53020 Os args do JPMS também devem se aplicar ao processo não SparkSubmit
  • SPARK-52968 Emitir métricas adicionais do repositório de estado
  • SPARK-52975 Simplificar nomes de campo no sql de junção de pushdown
  • SPARK-52926 Adicionado SQLMetric para a duração do tempo de busca de esquema remoto.
  • SPARK-53059 Seta UDF não precisa depender de pandas
  • SPARK-52646 Evite CAST_INVALID_INPUT __eq__ no modo ANSI
  • SPARK-52622 Evite CAST_INVALID_INPUT DataFrame.melt no modo ANSI
  • SPARK-52985 Gerar TypeError para operando numpy pandas em operadores de comparação
  • SPARK-52580 Evite CAST_INVALID_INPUT replace no modo ANSI
  • SPARK-52549 Desabilitar auto-referências de CTE recursivas de funções de janela e classificações internas
  • SPARK-52895 Não adicione elementos duplicados em resolveExprsWithAggregate
  • SPARK-50748 Corrigir um problema de condição de corrida que ocorre quando as operações são interrompidas
  • SPARK-52737 Predicado de pushdown e número de aplicativos para FsHistoryProvider ao listar aplicativos
  • SPARK-53018 ArrowStreamArrowUDFSerializer deve respeitar o argumento arrow_cast
  • SPARK-53013 Corrigir UDTF do Python com otimização de seta que não retorna linhas na junção lateral
  • SPARK-51834 Sincronizar OSS: dar suporte à restrição de tabela de ponta a ponta altere a restrição adicionar/soltar
  • SPARK-52921 Especificar outputPartitioning para UnionExec para o mesmo particionamento de saída que operadores filhos
  • SPARK-52908 Impedir que o nome da variável iterador entre em conflito com nomes de rótulos no caminho para a raiz do AST
  • SPARK-52954 Coerção de tipo de retorno de suporte de UDF de seta
  • SPARK-52925 Retornar mensagem de erro correta para referências de autoatendimento de âncora em rCTEs
  • SPARK-52889 Implementar a função current_time no PySpark
  • SPARK-52675 Interromper manipuladores de ML deslocados em testes
  • SPARK-52959 Suporte a UDT no UDTF do Python com otimização de seta
  • SPARK-52962 BroadcastExchangeExec não deve redefinir métricas
  • SPARK-52956 Preservar metadados de alias ao recolher projetos
  • SPARK-52890 Implementar as funções to_time e try_to_time no PySpark
  • SPARK-52888 Implementar a função make_time no PySpark
  • SPARK-52892 Tempo de suporte na hora, minuto e segunda funções no PySpark
  • SPARK-52837 Suporte a TimeType no pyspark
  • SPARK-52023 Correção de dados corrompidos/segfault retornando Option[Product] do udaf
  • SPARK-52955 Alterar os tipos de retorno de WindowResolution.resolveOrder e WindowResolution.resolveFrame para WindowExpression
  • SPARK-52166 Adicionar suporte para PipelineEvents
  • SPARK-51834 Correção: remover o valor válido do toDDL
  • SPARK-52735 Corrigir condições de erro ausentes para UDFs do SQL
  • SPARK-51834 Sincronizar o suporte do OSS criar/substituir tabela de ponta a ponta por restrição
  • SPARK-51834 Sincronizar chamadas de atualização do OSS ResolvedIdentifier
  • SPARK-52929 Suporte ao conector MySQL e SQLServer para pushdown de Junção DSv2
  • SPARK-52448 Adicionar Expressão Struct Simplificada.Literal
  • SPARK-52882 Implementar a função current_time no Scala
  • SPARK-52905 UDF de seta para janela
  • SPARK-52876 Corrigir um erro de digitação buffer em bodyChunkFetchSuccess.toString
  • SPARK-52883 Implementar as funções to_time e try_to_time no Scala
  • SPARK-52751 Não valide ansiosamente o nome da coluna em dataframe['col_name']
  • SPARK-52791 Corrigir erro ao inferir um UDT com um primeiro elemento nulo
  • SPARK-52686Union deve ser resolvido somente se não houver duplicatas
  • SPARK-52881 Implementar a função make_time no Scala
  • SPARK-52919 Corrigir o pushdown de Junção DSv2 para usar a coluna de alias anteriormente
  • SPARK-52866 Adicionar suporte para try_to_date
  • SPARK-52846 Adicionar uma métrica no JDBCRDD por quanto tempo leva para buscar o conjunto de resultados
  • SPARK-52859 Adicionar característica do SparkSystemUtils
  • SPARK-52823 Suporte ao pushdown de junção DSv2 para o conector Oracle
  • SPARK-52165 Configurar o scaffolding de build para o projeto de pipelines
  • SPARK-52869 Adicionar validação FrameLessOffsetWindowFunction para validarResolvedWindowExpression para reutilização no analisador de passagem única
  • SPARK-52885 Implementar as funções de hora, minuto e segundo no Scala para o tipo TIME
  • SPARK-52903 Cortar aliases de nível superior antes da resolução LCA
  • SPARK-52832 Corrigir aspas do identificador de dialeto JDBC
  • SPARK-52870 Citar corretamente nomes de variáveis na FOR instrução
  • SPARK-52859 Adicionar SparkSystemUtils característica
  • SPARK-52900 Usar SparkStringUtils.stringToSeq em FsHistoryProvider
  • SPARK-52809 Não mantenha as referências de leitor e iterador para todas as partições em ouvintes de conclusão de tarefa para atualização de métrica
  • SPARK-52815 Melhorar SparkClassUtils o suporte getAllInterfaces
  • SPARK-52795 Incluir runId nos logs do repositório de estado
  • SPARK-52779 Suporte ao literal TimeType no Connect
  • SPARK-52899 Corrigir o teste QueryExecutionErrorsSuite para registrar h2Dialect de volta
  • SPARK-52862 Corrigir a verificação de nulidade de Decimal('NaN')
  • SPARK-52214 UDF de seta para agregação
  • SPARK-52787 Reorganizar a execução de streaming dir em torno de áreas de runtime e ponto de verificação
  • SPARK-51564 Análise de tempo no formato de relógio de 12h
  • SPARK-52859 Adicionar SparkSystemUtils característica
  • SPARK-51562 Adicionar time função
  • SPARK-52850 Ignorar conversões de chamada se a função de identidade
  • SPARK-52863 Limpar caminhos de código para versões antigas do Pandas
  • SPARK-52516 Não mantenha a referência do iterador anterior depois de avançar para o próximo arquivo em ParquetPartitionReaderFactory
  • SPARK-52848 Evitar conversão em Double tempo de conversão/TIMESTAMP para DECIMAL
  • SPARK-52770 Tipo de suporte TIME no proto connect
  • SPARK-52842 Nova funcionalidade e bugfixes para o analisador de passagem única
  • SPARK-52620 Suporte à conversão de TEMPO para DECIMAL
  • SPARK-52783 Lógica de validação de refatoração windowFunction de checkAnalysis para reutilização no analisador de passagem única
  • SPARK-51695 Sincronizar tabela de criação/substituição/alteração do OSS para restrição exclusiva via DSv2
  • SPARK-51695 Sincronizar restrição de descarte do OSS via DSv2
  • SPARK-52824 Classificação de erro CheckpointFileManager
  • SPARK-52829 Corrigir LocalDataToArrowConversion.convert para manipular linhas vazias corretamente
  • SPARK-52811 Otimizar ArrowTableToRowsConversion.convert para melhorar seu desempenho
  • SPARK-52796 Otimizar LocalDataToArrowConversion.convert para melhorar seu desempenho
  • SPARK-51695 Sincronizar alterações do analisador de alteração de tabela de adição de tabela do OSS
  • SPARK-52619 Converter TimeType em IntegralType
  • SPARK-52187 Introduzir pushdown de Junção para DSv2
  • SPARK-52782 Retornar NULL de +/- em datetime com NULL
  • SPARK-51695 Introduzir alterações de analisador para restrições de tabela (CHECK, PK, FK)
  • SPARK-52808spark.history.retainedApplications deve ser positivo
  • SPARK-52776 Não divida o campo de comm no ProcfsMetricsGetter
  • SPARK-52793 Suporte isUnix em o.a.s.util.Utils
  • SPARK-52792 Remover commons-lang3 dependência de network-common
  • SPARK-52797 Usar Utils.isWindows em vez de reavaliar em PythonWorkerFactory
  • SPARK-52784 Adicionar a conversão de TimeZoneAware em WindowFrameTypeCoercion.createBoundaryCast
  • SPARK-52725 Atrasar a inicialização do gerenciador de perfil de recursos até que o plug-in seja carregado
  • SPARK-52565 Impor resolução ordinal antes de outras expressões de ordem de classificação
  • SPARK-52740 Correção de NPE no HDFSBackedStateStoreProvider acessando StateStoreConf.sqlConf quando a versão do formato de ponto de verificação é >=2
  • SPARK-52673 Adicionar o tratamento grpc RetryInfo às políticas de repetição do Spark Connect
  • SPARK-52724 Aprimorar a manipulação de erros do OOM de junção de difusão com SHUFFLE_MERGE suporte à dica
  • SPARK-52781 Corrigir erro de digitação de dtyeps no internal.py
  • SPARK-52730 Armazenar o driver subjacente e a versão do banco de dados no JDBCRDD
  • SPARK-52727 Refatorar a resolução da janela para reutilizá-la no analisador de passagem única
  • SPARK-52695 Suporte de gravação de tipo definido pelo usuário para o formato de arquivo xml
  • SPARK-52722 Classe JdbcRDD preterida
  • SPARK-51695 Introduzir alterações de analisador para restrições de tabela (CHECK, PK, FK)
  • SPARK-52763 Subtrair TIME de suporte
  • SPARK-52768 Corrigir o erro de digitação "movendo" no pandas/series.py
  • SPARK-52730 Armazenar o driver subjacente e a versão do banco de dados no JDBCRDD
  • SPARK-52694 Adicionar o.a.s.sql.Encoders#udtAPI
  • SPARK-52720 Corrigir a ampliação de tipo float32 em add/radd ANSI
  • SPARK-52723 Validação do nome da coluna do lado do servidor
  • SPARK-52760 Corrigir a ampliação de tipo float32 em sub/rsub ANSI
  • SPARK-52738 Suporte à agregação do tipo TIME com um UDAF quando o buffer subjacente é um UnsafeRow
  • SPARK-52704 Simplificar as interoperações entre o SQLConf e as opções de formato de arquivo em TextBasedFileFormats
  • SPARK-52706 Corrigir inconsistências e refatorar tipos primitivos no analisador
  • SPARK-52718 Corrigir a ampliação de tipo float32 em rmod/mod ANSI
  • SPARK-52736 Corrigir erros de digitação 'movendo' no pyspark/pandas/generic.py

Suporte ao driver ODBC/JDBC do Azure Databricks

O Azure Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Ambiente do sistema

  • Sistema operacional: Ubuntu 24.04.3 LTS
  • Java: Zulu17.58+21-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.4.2
  • Delta Lake: 4.0.0

Bibliotecas do Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
annotated-types 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 flecha 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 atributos 24.3.0
comando automático 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
Armazenamento em Blob do Azure 12.23.0 azure-storage-file-datalake 12.17.0 babel 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 preto 24.10.0
bleach 6.2.0 blinker 1.7.0 boto3 1.36.2
botocore 1.36.3 ferramentas de cache 5.5.1 certificado 2025.1.31
cffi 1.17.1 chardet 4.0.0 normalizador de conjunto de caracteres 3.3.2
click 8.1.7 cloudpickle 3.0.0 comm 0.2.1
contourpy 1.3.1 criptografia 43.0.3 ciclista 0.11.0
Cython 3.0.12 databricks-sdk 0.49.0 dbus-python 1.3.2
debugpy 1.8.11 decorador 5.1.1 defusedxml 0.7.1
Deprecated 1.2.13 distlib 0.3.9 de docstring para markdown 0.11
em execução 0.8.3 Visão geral de facetas 1.1.1 fastapi 0.115.12
fastjsonschema 2.21.1 bloqueio de arquivo 3.18.0 fonttools 4.55.3
fqdn 1.5.1 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.20.0 google-auth (autenticação do Google) 2.40.0
google-cloud-core 2.4.3 armazenamento na nuvem do Google 3.1.0 google-crc32c 1.7.1
google-mídia-retomável 2.7.2 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.14.0 httpcore 1.0.2
httplib2 0.20.4 httpx 0.27.0 IDNA 3.7
importlib-metadata 6.6.0 importlib_resources 6.4.0 inflect 7.3.1
iniconfig 1.1.1 ipyflow-core 0.0.209 ipykernel 6.29.5
ipython 8.30.0 ipython-genutils 0.2.0 ipywidgets 7.8.1
isodate 0.6.1 isoduration 20.11.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 Jedi 0.19.2
Jinja2 3.1.5 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 jsonpointer 3.0.0 jsonschema 4.23.0
Especificações do JSON Schema 2023.7.1 eventos Jupyter 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.3 jupyter_core 5.7.2 Servidor Jupyter 2.14.1
Terminais do servidor Jupyter 0.4.4 jupyterlab 4.3.4 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3 kiwisolver 1.4.8
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
markdown-it-py 2.2.0 MarkupSafe 3.0.2 matplotlib 3.10.0
matplotlib-inline 0.1.7 Mccabe 0.7.0 mdurl 0.1.0
Mistune 2.0.4 mlflow-skinny 3.0.1 mmh3 5.1.0
more-itertools 10.3.0 msal 1.32.3 msal-extensions 1.3.1
mypy-extensions 1.0.0 nbclient 0.8.0 nbconvert 7.16.4
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
notebook 7.3.2 notebook_shim 0.2.3 numpy 2.1.3
oauthlib 3.2.2 opentelemetry-api 1.32.1 opentelemetry-sdk 1.32.1
Convenções Semânticas do OpenTelemetry 0,53b1 substituições 7.4.0 empacotamento 24,2
Pandas 2.2.3 pandocfilters 1.5.0 parso 0.8.4
pathspec 0.10.3 patsy 1.0.1 pexpect 4.8.0
almofada 11.1.0 pip 25.0.1 platformdirs 3.10.0
enredo 5.24.1 Pluggy 1.5.0 prometheus_client 0.21.0
prompt-toolkit 3.0.43 proto-plus 1.26.1 protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 Pyarrow 19.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.71 pycparser 2.21
pydantic 2.10.6 pydantic_core 2.27.2 pyflakes 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 pyodbc 5.2.0 pyparsing 3.2.0
pyright 1.1.394 pytest 8.3.5 python-dateutil 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server (servidor LSP para Python) 1.12.0
pytoolconfig 1.2.6 Pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 referência 0.30.2 requests 2.32.3
rfc3339-validator 0.1.4 rfc3986-validator (validador de RFC 3986) 0.1.1 rico 13.9.4
corda 1.12.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.11.3 scikit-aprender 1.6.1 scipy 1.15.1
seaborn (biblioteca de visualização em Python) 0.13.2 Send2Trash 1.8.2 Ferramentas de configuração 74.0.0
seis 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2,5 sqlparse 0.5.3
ssh-import-id 5.11 dados empilhados 0.2.0 starlette 0.46.2
statsmodels (biblioteca para modelos estatísticos em Python) 0.14.4 strictyaml 1.7.3 tenacidade 9.0.0
terminado 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 tornado 6.4.2
traitlets 5.14.3 guarda-tipo 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
atualizações não supervisionadas 0.1 uri-template 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 webcolors 24.11.1 codificações web 0.5.1
websocket-client (cliente WebSocket) 1.8.0 whatthepatch 1.0.2 wheel 0.45.1
widgetsnbextension 3.6.6 embrulhado 1.17.0 yapf 0.40.2
zipp 3.21.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2025-03-20.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
flecha 19.0.1 AskPass 1.2.1 afirme isso 0.2.1
backports 1.5.0 base 4.4.2 base64enc 0.1-3
bigD 0.3.0 bit 4.6.0 bit64 4.6.0-1
bitops 1.0-9 blob 1.2.4 ciar 1.3-30
Fabricação de cerveja 1.0-10 brio 1.1.5 vassoura 1.0.7
bslib 0.9.0 cachem 1.1.0 callr 3.7.6
sinal de interpolação 7.0-1 Cellranger 1.1.0 chron 2.3-62
classe 7.3-22 CLI 3.6.5 clipr 0.8.0
relógio 0.7.2 cluster 2.1.6 codetools 0.2-20
espaço de cores 2.1-1 commonmark 1.9.5 compilador 4.4.2
config 0.3.2 conflituoso 1.2.0 cpp11 0.5.2
crayon 1.5.3 credenciais 2.0.2 encurvar 6.4.0
Tabela de Dados 1.17.0 conjuntos de dados 4.4.2 DBI 1.2.3
dbplyr 2.5.0 Descrição 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 hash 0.6.37
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-16 reticências 0.3.2 avaliar 1.0.3
fansi 1.0.6 cores 2.1.2 mapa rápido 1.2.0
fontawesome 0.5.3 forcats 1.0.0 foreach 1.5.2
estrangeiro 0.8 - 86 forge 0.2.0 fs 1.6.5
futuro 1.34.0 future.apply 1.11.3 gargle 1.5.2
genéricos 0.1.4 gert 2.1.4 ggplot2 3.5.1
gh 1.4.1 git2r 0.35.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.18.0 cola 1.8.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.2
Gráficos 4.4.2 grDevices 4.4.2 grade 4.4.2
gridExtra 2.3 gsubfn 0.7 gt 0.11.1
gtable 0.3.6 capacete de segurança 1.4.1 refúgio 2.5.4
mais alto 0.11 hms 1.1.3 ferramentas HTML 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.1.1 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 Iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.9.1 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.50 rotulagem 0.4.3
posterior 1.4.1 treliça 0,22-5 lava vulcânica 1.8.1
ciclo de vida 1.0.4 ouça 0.9.1 lubrificado 1.9.4
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
Matriz 1.6-5 memorização 2.0.1 Métodos 4.4.2
mgcv 1.9-1 mime 0.13 miniUI 0.1.1.1
mlflow 2.20.4 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-164 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.3.3 paralelo 4.4.2
parallelly 1.42.0 coluna 1.11.0 pkgbuild 1.4.6
pkgconfig 2.0.3 pkgdown 2.1.1 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 elogio 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.6
Prodlim 2024.06.25 profvis 0.4.0 progresso 1.2.3
progressr 0.15.1 Promessas 1.3.2 proto 1.0.0
proxy 0.4-27 P.S. 1.9.0 purrr 1.0.4
R6 2.6.1 ragg 1.3.3 randomForest 4.7-1.2
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.14 RcppEigen 0.3.4.0.2 capaz de reagir 0.4.4
reactR 0.6.1 Readr 2.1.5 readxl 1.4.5
Receitas 1.2.0 jogo de revanche 2.0.0 revanche2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.6 rmarkdown 2.29 RODBC 1.3-26
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-15 RSQLite 2.3.9 rstudioapi 0.17.1
rversions 2.1.2 rvest 1.0.4 Sass 0.4.9
escamas 1.3.0 Seletor 0.4-2 informações de sessão 1.2.3
forma 1.4.6.1 brilhante 1.10.0 sourcetools 0.1.7-1
sparklyr 1.9.1 SparkR 4.0.0 sparsevctrs 0.3.1
espacial 7.3-17 splines 4.4.2 sqldf 0.4-11
SQUAREM 2021.1 estatísticas 4.4.2 estatísticas4 4.4.2
stringi 1.8.7 stringr 1.5.1 sobrevivência 3.5-8
swagger 5.17.14.1 sys 3.4.3 systemfonts 1.2.1
tcltk 4.4.2 testthat 3.2.3 formatação de texto 1.0.0
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 mudança de horário 0.3.0 data e hora 4041.110
tinytex 0.56 Ferramentas 4.4.2 tzdb 0.5.0
verificador de URL 1.0.1 usethis 3.1.0 utf8 1.2.6
utils 4.4.2 identificador único universal (UUID) 1.2-1 V8 6.0.2
vctrs 0.6.5 viridisLite 0.4.2 vroom 1.6.5
Waldo 0.6.1 whisker 0.4.1 murchar 3.0.2
xfun 0.51 xml2 1.3.8 xopen 1.0.1
xtable 1.8-4 YAML 2.3.10 zeallot 0.1.0
zip 2.3.2

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.13)

ID do grupo ID do artefato Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity (pacote de identidade Cognito para Java da AWS) 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect (SDK Java da AWS para conexão direta) 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws SDK Java para o ECS da AWS 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam (kit de desenvolvimento de software Java da AWS para IAM) 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning (SDK da AWS para aprendizado de máquina) 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support (suporte para AWS Java SDK) 1.12.638
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics fluxo 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware kryo-shaded 4.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de classe 1.5.1
com.fasterxml.jackson.core Anotações do Jackson 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.2
com.fasterxml.jackson.datatype jackson-module-paranamer 2.18.2
com.fasterxml.jackson.datatype jackson-module-scala_2.13 2.18.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.6-10
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone anotações_propensas_a_erros 2.36.0
com.google.flatbuffers flatbuffers-java 24.3.25
com.google.guava failureaccess 1.0.2
com.google.guava guava 33.4.0-jre
com.google.guava listenablefuture 9999.0-empty-to-avoid-conflict-with-guava
com.google.j2objc j2objc-annotations 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger criador de perfil 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.10
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.9.0
commons-codec commons-codec 1.17.2
commons-collections (coleções comuns) commons-collections (coleções comuns) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.18.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 2.0.2
io.delta delta-sharing-client_2.13 1.3.5
io.dropwizard.metrics anotação de métricas 4.2.30
io.dropwizard.metrics metrics-core 4.2.30
io.dropwizard.metrics metrics-graphite 4.2.30
io.dropwizard.metrics métricas-verificações de saúde 4.2.30
io.dropwizard.metrics metrics-jetty9 4.2.30
io.dropwizard.metrics metrics-jmx 4.2.30
io.dropwizard.metrics metrics-json (métricas em JSON) 4.2.30
io.dropwizard.metrics metrics-jvm 4.2.30
io.dropwizard.metrics metrics-servlets 4.2.30
io.github.java-diff-utils java-diff-utils 4,15
io.netty Netty-all 4.1.118.Final
io.netty netty-buffer 4.1.118.Final
io.netty netty-codec 4.1.118.Final
io.netty netty-codec-http 4.1.118.Final
io.netty netty-codec-http2 4.1.118.Final
io.netty netty-codec-socks 4.1.118.Final
io.netty netty-common 4.1.118.Final
io.netty netty-handler 4.1.118.Final
io.netty netty-handler-proxy 4.1.118.Final
io.netty Netty Resolver 4.1.118.Final
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-windows-x86_64
io.netty Netty Tcnative Classes 2.0.70.Final
io.netty netty-transport 4.1.118.Final
io.netty netty-transport-classes-epoll 4.1.118.Final
io.netty netty-transport-classes-kqueue 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-x86_64
io.netty netty-transport-native-unix-comum 4.1.118.Final
io.prometheus simpleclient 0.16.1-databricks
io.prometheus simpleclient_common 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx coletor 0.18.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.13.0
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant lançador de formigas 1.10.11
org.apache.arrow arrow-format 18.2.0
org.apache.arrow arrow-memory-core 18.2.0
org.apache.arrow Arrow-Memory-Netty 18.2.0
org.apache.arrow arrow-memory-netty-buffer-patch 18.2.0
org.apache.arrow arrow-vector 18.2.0
org.apache.avro Avro 1.12.0
org.apache.avro avro-ipc 1.12.0
org.apache.avro avro-mapred 1.12.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.27.1
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.17.0
org.apache.commons commons-math3 3.6.1
org.apache.commons Texto Comum 1.13.0
org.apache.curator curator-client 5.7.1
org.apache.curator estrutura do curador 5.7.1
org.apache.curator curador de receitas 5.7.1
org.apache.datasketches datasketches-java 6.1.1
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby Dérbi 10.14.2.0
org.apache.hadoop tempo de execução do cliente Hadoop 3.4.1
org.apache.hive hive-beeline (ferramenta de linha de comando para conectar-se ao Hive) 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde 2.3.10
org.apache.hive hive-shims 2.3.10
org.apache.hive API de armazenamento do Hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common 2.3.10
org.apache.hive.shims Agendador de Ajustes do Hive (hive-shims-scheduler) 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.1.1-shaded-protobuf
org.apache.orc formato ORC 1.1.0-shaded-protobuf
org.apache.orc orc-mapreduce 2.1.1-shaded-protobuf
org.apache.orc orc-calços 2.1.1
org.apache.poi poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.26
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus anotações de público-alvo 0.13.0
org.apache.zookeeper zelador de zoológico 3.9.3
org.apache.zookeeper guarda de zoológico-juta 3.9.3
org.checkerframework checker-qual 3.43.0
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.53.v20231009
org.eclipse.jetty jetty-continuation 9.4.53.v20231009
org.eclipse.jetty jetty-http 9.4.53.v20231009
org.eclipse.jetty jetty-io 9.4.53.v20231009
org.eclipse.jetty jetty-jndi 9.4.53.v20231009
org.eclipse.jetty jetty-plus 9.4.53.v20231009
org.eclipse.jetty jetty-proxy 9.4.53.v20231009
org.eclipse.jetty jetty-security 9.4.53.v20231009
org.eclipse.jetty servidor jetty 9.4.53.v20231009
org.eclipse.jetty jetty-servlet 9.4.53.v20231009
org.eclipse.jetty jetty-servlets 9.4.53.v20231009
org.eclipse.jetty jetty-util 9.4.53.v20231009
org.eclipse.jetty jetty-util-ajax 9.4.53.v20231009
org.eclipse.jetty Jetty Webapp 9.4.53.v20231009
org.eclipse.jetty jetty-xml 9.4.53.v20231009
org.eclipse.jetty.websocket API de WebSocket 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-client (cliente WebSocket) 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-common 9.4.53.v20231009
org.eclipse.jetty.websocket servidor WebSocket 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-servlet 9.4.53.v20231009
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 Localizador de Recursos OSGi 1.0.3
org.glassfish.hk2.external AliançaAOP-Reempacotado 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.41
org.glassfish.jersey.containers jersey-container-servlet-core 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey-common 2.41
org.glassfish.jersey.core jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator hibernate-validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotações 17.0.0
org.jline jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.9.1
org.objenesis objenesis 3.3
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.3.0
org.scala-sbt interface de teste 1,0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest compatível com scalatest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
Stax stax-api 1.0.1

Dica

Para ver as notas de release das versões do Databricks Runtime que atingiram o fim do suporte (EoS), confira Notas de release do Databricks Runtime em fim de suporte. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.

  • Last updated on